91精品欧美在线观看免费 ,初毛初精小男生gv网站

您當(dāng)前所在位置：首頁 → 數(shù)據(jù)庫 → Oracle → 詳解Oracle數(shù)據(jù)庫中文全文索引

詳解Oracle數(shù)據(jù)庫中文全文索引 時間：2015-06-28 00:00:00 來源：IT貓撲網(wǎng) 作者：網(wǎng)管聯(lián)盟 我要評論(0)

一、歷史背景

Oracle 數(shù)據(jù)庫的全文檢索技術(shù)已經(jīng)非常完美，Oracle Text使Oracle9i具備了強(qiáng)大的文本檢索能力和智能化的文本管理能力。Oracle Text是Oracle9i采用的新名稱，在Oracle8/8i中它被稱作Oracle interMedia Text，在Oracle8以前它的名稱是Oracle ConText Cartridge。

二、Oracle Text 索引文檔時所使用的主要邏輯步驟如下：

(1) 數(shù)據(jù)存儲邏輯搜索表的所有行，并讀取列中的數(shù)據(jù)。通常，這只是列數(shù)據(jù)，但有些數(shù)據(jù)存儲使用列數(shù)據(jù)作為文檔數(shù)據(jù)的指針。

(2) 過濾器提取文檔數(shù)據(jù)并將其轉(zhuǎn)換為文本表示方式。存儲二進(jìn)制文檔 (如 Word 或 Acrobat 文件) 時需要這樣做。過濾器的輸出不必是純文本格式 -- 它可以是 XML 或 HTML 之類的文本格式。

(3) 分段器提取過濾器的輸出信息，并將其轉(zhuǎn)換為純文本。包括 XML 和 HTML 在內(nèi)的不同文本格式有不同的分段器。轉(zhuǎn)換為純文本涉及檢測重要文檔段標(biāo)記、移去不可見的信息和文本重新格式化。

(4) 詞法分析器提取分段器中的純文本，并將其拆分為不連續(xù)的標(biāo)記。既存在空白字符分隔語言使用的詞法分析器，也存在分段復(fù)雜的亞洲語言使用的專門詞法分析器。

(5) 索引引擎提取詞法分析器中的所有標(biāo)記、文檔段在分段器中的偏移量以及被稱為非索引字的低信息含量字列表，并構(gòu)建反向索引。倒排索引存儲標(biāo)記和含有這些標(biāo)記的文檔。

三、需要的權(quán)限

要使用Oracle Text，必須具有CTXAPP角色或者是CTXSYS用戶。Oracle Text為系統(tǒng)管理員提供CTXSYS用戶，為應(yīng)用程序開發(fā)人員提供CTXAPP角色。具有CTXAPP角色的用戶可執(zhí)行以下任務(wù)：創(chuàng)建索引，管理 Oracle Text 數(shù)據(jù)字典，包括創(chuàng)建和刪除首選項(xiàng)，進(jìn)行Oracle Text 查詢，使用 Oracle Text PL/SQL程序包。

如圖所示：

四、具體的實(shí)現(xiàn)

文本裝入文本列后，就可以創(chuàng)建Oracle Text索引。文檔以許多不同方案、格式和語言存儲。因此，每個 Oracle Text 索引有許多需要設(shè)置的選項(xiàng)，以針對特定情況配置索引。創(chuàng)建索引時，Oracle Text可使用若干個默認(rèn)值，但在大多數(shù)情況下要求用戶通過指定首選項(xiàng)來配置索引。

每個索引的許多選項(xiàng)組成功能組，稱為"類"，每個類集中體現(xiàn)配置的某一方面，可以認(rèn)為這些類就是與文檔數(shù)據(jù)庫有關(guān)的一些問題。例如：數(shù)據(jù)存儲、過濾器、詞法分析器、相關(guān)詞表、存儲等。

每個類具有許多預(yù)定義的行為，稱之為對象。每個對象是類問題可能具有的答案，并且大多數(shù)對象都包含有屬性。通過屬性來定制對象，從而使對索引的配置更加多變以適應(yīng)于不同的應(yīng)用。

（1）存儲（Storage）類

存儲類指定構(gòu)成Oracle Text索引的數(shù)據(jù)庫表和索引的表空間參數(shù)和創(chuàng)建參數(shù)。它僅有一個基本對象：BASIC_STORAGE，其屬性包括：I_Index_Clause、I_Table_Clause、K_Table_Clause、N_Table_Clause、P_Table_Clause、R_Table_Clause。

（2）數(shù)據(jù)存儲（Datastore）類

數(shù)據(jù)存儲：關(guān)于列中存儲文本的位置和其他信息。默認(rèn)情況下，文本直接存儲到列中，表中的每行都表示一個單獨(dú)的完整文檔。其他數(shù)據(jù)存儲位置包括存儲在單獨(dú)文件中或以其 URL 標(biāo)識的 Web 頁上。七個基本對象包括：Default_Datastore、Detail_Datastore、Direct_Datastore、File_Datastore、Multi_Column_Datastore 、URL_Datastore、User_Datastore。

（3）文檔段組（Section Group）類

文檔段組是用于指定一組文檔段的對象。必須先定義文檔段，然后才能使用索引通過 WITHIN 運(yùn)算符在文檔段內(nèi)進(jìn)行查詢。文檔段定義為文檔段組的一部分。包含七個基本對象：AUTO_SECTION_GROUP、BASIC_SECTION_GROUP、HTML_SECTION_GROUP、NEWS_SECTION_GROUP、NULL_SECTION_GROUP、XML_SECTION_GROUP、PATH_SECTION_GROUP。

（4）相關(guān)詞表（Wordlist）類

相關(guān)詞表標(biāo)識用于索引的詞干和模糊匹配查詢選項(xiàng)的語言，只有一個基本對象BASIC_WORDLIST，其屬性有：Fuzzy_Match、Fuzzy_Numresults、Fuzzy_Score、Stemmer、Substring_Index、Wildcard_Maxterms、Prefix_Index、Prefix_Max_Length、Prefix_Min_Length。

（5）索引集（Index Set）

索引集是一個或多個Oracle 索引 (不是Oracle Text索引) 的集合，用于創(chuàng)建 CTXCAT類型的Oracle Text索引，只有一個基本對象BASIC_INDEX_SET。

（6）詞法分析器（Lexer）類

詞法分析器類標(biāo)識文本使用的語言，還確定在文本中如何標(biāo)識標(biāo)記。默認(rèn)的詞法分析器是英語或其他西歐語言，用空格、標(biāo)準(zhǔn)標(biāo)點(diǎn)和非字母數(shù)字字符標(biāo)識標(biāo)記，同時禁用大小寫。包含8個基本對象：BASIC_LEXER、CHINESE_LEXER、CHINESE_VGRAM_LEXER、JAPANESE_LEXER、JAPANESE_VGRAM_LEXER、KOREAN_LEXER、KOREAN__MORPH_ LEXER、MULTI_LEXER。

（7）過濾器（Filter）類

過濾器確定如何過濾文本以建立索引?？梢允褂眠^濾器對文字處理器處理的文檔、格式化的文檔、純文本和 HTML 文檔建立索引，包括5個基本對象：CHARSET_FILTER、INSO_FILTER INSO、NULL_FILTER、PROCEDURE_FILTER、USER_FILTER。

（8）非索引字表（Stoplist）類

非索引字表類是用以指定一組不編入索引的單詞 (稱為非索引字)。有兩個基本對象：BASIC_STOPLIST (一種語言中的所有非索引字) 、 MULTI_STOPLIST (包含多種語言中的非索引字的多語言非索引字表)。

具體操作實(shí)踐

1、創(chuàng)建詞法分析器及相關(guān)詞表

Begin?
-- 定義一個詞法分析器
ctx_ddl.drop_preference('cnlex');
ctx_ddl.create_preference('cnlex','CHINESE_LEXER'); --針對中文
-- 定義一個相關(guān)詞表
ctx_ddl.create_preference('mywordlist', 'BASIC_WORDLIST');
ctx_ddl.set_attribute('mywordlist','PREFIX_INDEX','TRUE');
ctx_ddl.set_attribute('mywordlist','PREFIX_MIN_LENGTH',1);
ctx_ddl.set_attribute('mywordlist','PREFIX_MAX_LENGTH', 5);
ctx_ddl.set_attribute('mywordlist','SUBSTRING_INDEX', 'YES');
end;
// 上面的語句中，如果是針對英語語種則可以采用下面的語句來定義詞法分析器
ctx_ddl.create_preference('mylex','BASIC_LEXER');
ctx_ddl.set_attribute('mylex','printjoins','_-');

2、在需要創(chuàng)建全文索引的表中創(chuàng)建索引（索引類型必須是 ctxsys.context，即應(yīng)用上下文索引）

create index idx_person_desc on personinfo(persondesc)

indextype is ctxsys.context

parameters (

'DATASTORE CTXSYS.DIRECT_DATASTORE FILTER

CTXSYS.NULL_FILTER LEXER cnlex WORDLIST mywordlist');

-- 請注意此處采用的是NULL_FILTER過濾器，如果采用INSO_FILTER則不能對中文進(jìn)行全文索引

3、進(jìn)行全文索引的同步

exec ctx_ddl.sync_index('idx_user_info', '20M');

具體理解

Oracle實(shí)現(xiàn)全文檢索，其機(jī)制其實(shí)很簡單。即通過Oracle專利的詞法分析器(lexer),將文章中所有的表意單元（Oracle 稱為 term，此處我理解為單詞或者一些有意義的詞語）找出來，記錄在一組以 dr$開頭的表中，同時記下該term出現(xiàn)的位置、次數(shù)、hash 值等信息。檢索時，Oracle 從這組表中查找相應(yīng)的 term，并計(jì)算其出現(xiàn)頻率，根據(jù)某個算法來計(jì)算每個文檔的得分（score）,即所謂的‘匹配率’。而lexer則是該機(jī)制的核心，它決定了全文檢索的效率。Oracle 針對不同的語言提供了不同的 lexer, 而我們通常能用到其中的三個：

basic_lexer: 針對英語。它能根據(jù)空格和標(biāo)點(diǎn)來將英語單詞從句子中分離，還能自動將一些出現(xiàn)頻率過高已經(jīng)失去檢索意義的單詞作為‘垃圾’處理，如if , is 等，具有較高的處理效率。但該lexer應(yīng)用于漢語則有很多問題，由于它只認(rèn)空格和標(biāo)點(diǎn)，而漢語的一句話中通常不會有空格，因此，它會把整句話作為一個term,事實(shí)上失去檢索能力。以‘中國人民站起來了’這句話為例，basic_lexer 分析的結(jié)果只有一個term ,就是‘中國人民站起來了’。此時若檢索‘中國’，將檢索不到內(nèi)容。

chinese_vgram_lexer: 專門的漢語分析器，支持所有漢字字符集。該分析器按字為單元來分析漢語句子?！袊嗣裾酒饋砹?r

關(guān)鍵詞標(biāo)簽：Oracle,數(shù)據(jù)庫

相關(guān)閱讀

文章評論

查看所有0條評論>>