JAVA lucene全文檢索工具包的理解與使用

1、申明：原文來自1 lucene簡介 1.1 什么是luceneLucene是一個全文搜索框架，而不是應(yīng)用產(chǎn)品。因此它并不像 或者google Desktop那么拿來就能用，它只是提供了一種工具讓你能實(shí)現(xiàn)這些產(chǎn)品。 1.2 lucene能做什么 要 回答這個問題，先要了解lucene的本質(zhì)。實(shí)際上lucene的功能很單一，說到底，就是你給它若干個字符串，然后它為你提供一個全文搜索服務(wù)，告訴你 你要搜索的關(guān)鍵詞出現(xiàn)在哪里。知道了這個本質(zhì)，你就可以發(fā)揮想象做任何符合這個條件的事情了。你可以把站內(nèi)新聞都索引了，做個資料庫；你可以把一個數(shù)據(jù)庫 表的若干個字段索引起來，那就不用再擔(dān)心因?yàn)椤?like%”而

2、鎖表了；你也可以寫個自己的搜索引擎 1.3 你該不該選擇lucene下面給出一些測試數(shù)據(jù)，如果你覺得可以接受，那么可以選擇。 測試一：250萬記錄，300M左右文本，生成索引380M左右，800線程下平均處理時間300ms。 測試二：37000記錄，索引數(shù)據(jù)庫中的兩個varchar字段，索引文件2.6M，800線程下平均處理時間1.5ms。 2 lucene的工作方式lucene提供的服務(wù)實(shí)際包含兩部分：一入一出。所謂入是寫入，即將你提供的源（本質(zhì)是字符串）寫入索引或者將其從索引中刪除；所謂出是讀出，即向用戶提供全文搜索服務(wù)，讓用戶可以通過關(guān)鍵詞定位源。 2.1寫入流程源字符串首先經(jīng)過anal

3、yzer處理，包括：分詞，分成一個個單詞；去除stopword（可選）。 將源中需要的信息加入Document的各個Field中，并把需要索引的Field索引起來，把需要存儲的Field存儲起來。 將索引寫入存儲器，存儲器可以是內(nèi)存或磁盤。 2.2讀出流程 用戶提供搜索關(guān)鍵詞，經(jīng)過analyzer處理。 對處理后的關(guān)鍵詞搜索索引找出對應(yīng)的Document。 用戶根據(jù)需要從找到的Document中提取需要的Field。 3 一些需要知道的概念lucene用到一些概念，了解它們的含義，有利于下面的講解。 3.1 analyzerAnalyzer 是分析器，它的作用是把一個字符串按某種規(guī)則劃分成一個

4、個詞語，并去除其中的無效詞語，這里說的無效詞語是指英文中的“of”、 “the”，中文中的 “的”、“地”等詞語，這些詞語在文章中大量出現(xiàn)，但是本身不包含什么關(guān)鍵信息，去掉有利于縮小索引文件、提高效率、提高命中率。 分詞的規(guī)則千變?nèi)f化，但目的只有一個：按語義劃分。這點(diǎn)在英文中比較容易實(shí)現(xiàn)，因?yàn)橛⑽谋旧砭褪且詥卧~為單位的，已經(jīng)用空格分開；而中文則必須以某種方法將連成一片的句子劃分成一個個詞語。具體劃分方法下面再詳細(xì)介紹，這里只需了解分析器的概念即可。 3.2 document用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數(shù)據(jù)庫表的一條記錄等等。一條記錄經(jīng)過索引之后，就是以一個Docum

5、ent的形式存儲在索引文件中的。用戶進(jìn)行搜索，也是以Document列表的形式返回。 3.3 field一個Document可以包含多個信息域，例如一篇文章可以包含“標(biāo)題”、“正文”、“最后修改時間”等信息域，這些信息域就是通過Field在Document中存儲的。 Field有兩個屬性可選：存儲和索引。通過存儲屬性你可以控制是否對這個Field進(jìn)行存儲；通過索引屬性你可以控制是否對該Field進(jìn)行索引。這看起來似乎有些廢話，事實(shí)上對這兩個屬性的正確組合很重要，下面舉例說明： 還 是以剛才的文章為例子，我們需要對標(biāo)題和正文進(jìn)行全文搜索，所以我們要把索引屬性設(shè)置為真，同時我們希望能直接從搜索結(jié)果

6、中提取文章標(biāo)題，所以我們把標(biāo)題 域的存儲屬性設(shè)置為真，但是由于正文域太大了，我們?yōu)榱丝s小索引文件大小，將正文域的存儲屬性設(shè)置為假，當(dāng)需要時再直接讀取文件；我們只是希望能從搜索解 果中提取最后修改時間，不需要對它進(jìn)行搜索，所以我們把最后修改時間域的存儲屬性設(shè)置為真，索引屬性設(shè)置為假。上面的三個域涵蓋了兩個屬性的三種組合，還 有一種全為假的沒有用到，事實(shí)上Field不允許你那么設(shè)置，因?yàn)榧炔淮鎯τ植凰饕挠蚴菦]有意義的。 3.4 termterm是搜索的最小單位，它表示文檔的一個詞語，term由兩部分組成：它表示的詞語和這個詞語所出現(xiàn)的field。 3.5 tockentocken是term的一次

7、出現(xiàn)，它包含trem文本和相應(yīng)的起止偏移，以及一個類型字符串。一句話中可以出現(xiàn)多次相同的詞語，它們都用同一個term表示，但是用不同的tocken，每個tocken標(biāo)記該詞語出現(xiàn)的地方。 3.6 segment添加索引時并不是每個document都馬上添加到同一個索引文件，它們首先被寫入到不同的小文件，然后再合并成一個大索引文件，這里每個小文件都是一個segment。 4 lucene的結(jié)構(gòu) lucene包括core和sandbox兩部分，其中core是lucene穩(wěn)定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。 Lucene core有七個包：ana

8、lysis，document，index，queryParser，search，store，util。 4.1 analysisAnalysis包含一些內(nèi)建的分析器，例如按空白字符分詞的WhitespaceAnalyzer，添加了stopwrod過濾的StopAnalyzer，最常用的StandardAnalyzer。 4.2 documentDocument包含文檔的數(shù)據(jù)結(jié)構(gòu)，例如Document類定義了存儲文檔的數(shù)據(jù)結(jié)構(gòu)，F(xiàn)ield類定義了Document的一個域。 4.3 indexIndex 包含了索引的讀寫類，例如對索引文件的segment進(jìn)行寫、合并、優(yōu)化的IndexWriter類

9、和對索引進(jìn)行讀取和刪除操作的 IndexReader類，這里要注意的是不要被IndexReader這個名字誤導(dǎo)，以為它是索引文件的讀取類，實(shí)際上刪除索引也是由它完成， IndexWriter只關(guān)心如何將索引寫入一個個segment，并將它們合并優(yōu)化；IndexReader則關(guān)注索引文件中各個文檔的組織形式。 4.4 queryParserQueryParser 包含了解析查詢語句的類，lucene的查詢語句和sql語句有點(diǎn)類似，有各種保留字，按照一定的語法可以組成各種查詢。 Lucene有很多種 Query類，它們都繼承自Query，執(zhí)行各種特殊的查詢，QueryParser的作用就是解析查詢

10、語句，按順序調(diào)用各種 Query類查找出結(jié)果。 4.5 searchSearch包含了從索引中搜索結(jié)果的各種類，例如剛才說的各種Query類，包括TermQuery、BooleanQuery等就在這個包里。 4.6 store Store包含了索引的存儲類，例如Directory定義了索引文件的存儲結(jié)構(gòu)，F(xiàn)SDirectory為存儲在文件中的索引，RAMDirectory為存儲在內(nèi)存中的索引，MmapDirectory為使用內(nèi)存映射的索引。 4.7 utilUtil包含一些公共工具類，例如時間和字符串之間的轉(zhuǎn)換工具。 5 如何建索引5.1 最簡單的能完成索引的代碼片斷IndexWriter w

11、riter = new IndexWriter(“/data/index/”, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED); doc.add(new Field("content", "lucene works well", Field.Store.YES,

12、Field.Index.TOKENIZED); writer.addDocument(doc); writer.optimize(); writer.close(); 下面我們分析一下這段代碼。 首先我們創(chuàng)建了一個writer，并指定存放索引的目錄為“/data/index”，使用的分析器為StandardAnalyzer，第三個參數(shù)說明如果已經(jīng)有索引文件在索引目錄下，我們將覆蓋它們。 然后我們新建一個document。 我們向document添加一個field，名字是“title”，內(nèi)容是“l(fā)ucene introduction”，對它進(jìn)行存儲并索引。 再添加一個名字是“content”的f

13、ield，內(nèi)容是“l(fā)ucene works well”，也是存儲并索引。 然后我們將這個文檔添加到索引中，如果有多個文檔，可以重復(fù)上面的操作，創(chuàng)建document并添加。 添加完所有document，我們對索引進(jìn)行優(yōu)化，優(yōu)化主要是將多個segment合并到一個，有利于提高索引速度。 隨后將writer關(guān)閉，這點(diǎn)很重要。 對，創(chuàng)建索引就這么簡單！ 當(dāng)然你可能修改上面的代碼獲得更具個性化的服務(wù)。 5.2 將索引直接寫在內(nèi)存 你需要首先創(chuàng)建一個RAMDirectory，并將其傳給writer，代碼如下： Directory dir = new RAMDirectory(); IndexWriter

14、writer = new IndexWriter(dir, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(new Field("title", "lucene introduction", Field.Store.YES, Field.Index.TOKENIZED); doc.add(new Field("content", "lucene works well", Field.Store.YES, Field.Inde

15、x.TOKENIZED); writer.addDocument(doc); writer.optimize(); writer.close(); 5.3 索引文本文件 如果你想把純文本文件索引起來，而不想自己將它們讀入字符串創(chuàng)建field，你可以用下面的代碼創(chuàng)建field： Field field = new Field("content", new FileReader(file); 這里的file就是該文本文件。該構(gòu)造函數(shù)實(shí)際上是讀去文件內(nèi)容，并對其進(jìn)行索引，但不存儲。 6 如何維護(hù)索引索引的維護(hù)操作都是由IndexReader類提供。 6.1 如何刪除索引lucen

16、e提供了兩種從索引中刪除document的方法，一種是 void deleteDocument(int docNum) 這種方法是根據(jù)document在索引中的編號來刪除，每個document加進(jìn)索引后都會有個唯一編號，所以根據(jù)編號刪除是一種精確刪除，但是這個編號是索引的內(nèi)部結(jié)構(gòu)，一般我們不會知道某個文件的編號到底是幾，所以用處不大。另一種是 void deleteDocuments(Term term) 這種方法實(shí)際上是首先根據(jù)參數(shù)term執(zhí)行一個搜索操作，然后把搜索到的結(jié)果批量刪除了。我們可以通過這個方法提供一個嚴(yán)格的查詢條件，達(dá)到刪除指定document的目的。 下面給出一個例子： Di

17、rectory dir = FSDirectory.getDirectory(PATH, false); IndexReader reader = IndexReader.open(dir); Term term = new Term(field, key); reader.deleteDocuments(term); reader.close(); 6.2 如何更新索引 lucene并沒有提供專門的索引更新方法，我們需要先將相應(yīng)的document刪除，然后再將新的document加入索引。例如： Directory dir = FSDirectory.getDirectory(PATH, f

18、alse); IndexReader reader = IndexReader.open(dir); Term term = new Term(“title”, “l(fā)ucene introduction”); reader.deleteDocuments(term); reader.close(); IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(), true); Document doc = new Document(); doc.add(new Field("title", "lu

19、cene introduction", Field.Store.YES, Field.Index.TOKENIZED); doc.add(new Field("content", "lucene is funny", Field.Store.YES, Field.Index.TOKENIZED); writer.addDocument(doc); writer.optimize(); writer.close(); 7 如何搜索lucene 的搜索相當(dāng)強(qiáng)大，它提供了很多輔助查詢類，每個類都繼承自Query類，各自完成一種特殊的查詢，你可以像搭積

20、木一樣將它們?nèi)我饨M合使用，完成一些復(fù)雜操 作；另外lucene還提供了Sort類對結(jié)果進(jìn)行排序，提供了Filter類對查詢條件進(jìn)行限制。你或許會不自覺地拿它跟SQL語句進(jìn)行比較： “l(fā)ucene能執(zhí)行and、or、order by、where、like %xx%操作嗎？”回答是：“當(dāng)然沒問題！” 7.1 各種各樣的Query下面我們看看lucene到底允許我們進(jìn)行哪些查詢操作： 7.1.1 TermQuery首先介紹最基本的查詢，如果你想執(zhí)行一個這樣的查詢：“在content域中包含lucene的document”，那么你可以用TermQuery： Term t = new Term(&quo

21、t;content", " lucene" Query query = new TermQuery(t); 7.1.2 BooleanQuery如果你想這么查詢：“在content域中包含java或perl的document”，那么你可以建立兩個TermQuery并把它們用BooleanQuery連接起來： TermQuery termQuery1 = new TermQuery(new Term("content", "java"); TermQuery termQuery 2 = new TermQuery(new Te

22、rm("content", "perl"); BooleanQuery booleanQuery = new BooleanQuery(); booleanQuery.add(termQuery 1, BooleanClause.Occur.SHOULD); booleanQuery.add(termQuery 2, BooleanClause.Occur.SHOULD); 7.1.3 WildcardQuery如果你想對某單詞進(jìn)行通配符查詢，你可以用WildcardQuery，通配符包括?匹配一個任意字符和*匹配零個或多個任意字符，例如你搜索use*，

23、你可能找到useful或者useless： Query query = new WildcardQuery(new Term("content", "use*"); 7.1.4 PhraseQuery你可能對中日關(guān)系比較感興趣，想查找中和日挨得比較近（5個字的距離內(nèi)）的文章，超過這個距離的不予考慮，你可以： PhraseQuery query = new PhraseQuery(); query.setSlop(5); query.add(new Term("content ", “中”); query.add(new Term(“c

24、ontent”, “日”); 那么它可能搜到“中日合作”、“中方和日方”，但是搜不到“中國某高層領(lǐng)導(dǎo)說日本欠扁”。 7.1.5 PrefixQuery如果你想搜以中開頭的詞語，你可以用PrefixQuery： PrefixQuery query = new PrefixQuery(new Term("content ", "中"); 7.1.6 FuzzyQueryFuzzyQuery用來搜索相似的term，使用Levenshtein算法。假設(shè)你想搜索跟wuzza相似的詞語，你可以： Query query = new FuzzyQuery(new Te

25、rm("content", "wuzza"); 你可能得到fuzzy和wuzzy。 7.1.7 RangeQuery 另一個常用的Query是RangeQuery，你也許想搜索時間域從20060101到20060130之間的document，你可以用RangeQuery： RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true); 最后的true表示用閉合區(qū)間。 7.2 QueryParser看 了這么多Query

26、，你可能會問：“不會讓我自己組合各種Query吧，太麻煩了！”當(dāng)然不會，lucene提供了一種類似于SQL語句的查詢語句，我們 姑且叫它lucene語句，通過它，你可以把各種查詢一句話搞定，lucene會自動把它們查分成小塊交給相應(yīng)Query執(zhí)行。下面我們對應(yīng)每種 Query演示一下： TermQuery可以用“field:key”方式，例如“content:lucene”。 BooleanQuery中與用+，或用 ，例如“content:java contenterl”。 WildcardQuery仍然用?和*，例如“content:use*”。 PhraseQuery用，例如“conten

27、t:"中日"5”。 PrefixQuery用*，例如“中*”。 FuzzyQuery用，例如“content: wuzza ”。 RangeQuery用或，前者表示閉區(qū)間，后者表示開區(qū)間，例如“time:20060101 TO 20060130”，注意TO區(qū)分大小寫。 你 可以任意組合query string，完成復(fù)雜操作，例如“標(biāo)題或正文包括lucene，并且時間在20060101到20060130之間的文章”可以表示為：“+ (title:lucene content:lucene) +time:20060101 TO 20060130”。代碼如下： Directory

28、 dir = FSDirectory.getDirectory(PATH, false); IndexSearcher is = new IndexSearcher(dir); QueryParser parser = new QueryParser("content", new StandardAnalyzer(); Query query = parser.parse("+(title:lucene content:lucene) +time:20060101 TO 20060130" Hits hits = is.search(query); fo

29、r (int i = 0; i < hits.length(); i+) Document doc = hits.doc(i); System.out.println(doc.get("title"); is.close(); 首先我們創(chuàng)建一個在指定文件目錄上的IndexSearcher。 然后創(chuàng)建一個使用StandardAnalyzer作為分析器的QueryParser，它默認(rèn)搜索的域是content。 接著我們用QueryParser來parse查詢字串，生成一個Query。 然后利用這個Query去查找結(jié)果，結(jié)果以Hits的形式返回。 這個Hits對象包含一個列

30、表，我們挨個把它的內(nèi)容顯示出來。 7.3 Filterfilter 的作用就是限制只查詢索引的某個子集，它的作用有點(diǎn)像SQL語句里的where，但又有區(qū)別，它不是正規(guī)查詢的一部分，只是對數(shù)據(jù)源進(jìn)行預(yù)處理，然后交給 查詢語句。注意它執(zhí)行的是預(yù)處理，而不是對查詢結(jié)果進(jìn)行過濾，所以使用filter的代價是很大的，它可能會使一次查詢耗時提高一百倍。 最常用的filter是RangeFilter和QueryFilter。RangeFilter是設(shè)定只搜索指定范圍內(nèi)的索引；QueryFilter是在上次查詢的結(jié)果中搜索。 Filter的使用非常簡單，你只需創(chuàng)建一個filter實(shí)例，然后把它傳給search

31、er。繼續(xù)上面的例子，查詢“時間在20060101到20060130之間的文章”除了將限制寫在query string中，你還可以寫在RangeFilter中： Directory dir = FSDirectory.getDirectory(PATH, false); IndexSearcher is = new IndexSearcher(dir); QueryParser parser = new QueryParser("content", new StandardAnalyzer(); Query query = parser.parse("title:

32、lucene content:lucene" RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true); Hits hits = is.search(query, filter); for (int i = 0; i < hits.length(); i+) Document doc = hits.doc(i); System.out.println(doc.get("title"); is.cl

33、ose(); 7.4 Sort有時你想要一個排好序的結(jié)果集，就像SQL語句的“order by”，lucene能做到：通過Sort。 Sort sort = new Sort(“time”); /相當(dāng)于SQL的“order by time” Sort sort = new Sort(“time”, true); / 相當(dāng)于SQL的“order by time desc” 下面是一個完整的例子： Directory dir = FSDirectory.getDirectory(PATH, false); IndexSearcher is = new IndexSearcher(dir); Que

34、ryParser parser = new QueryParser("content", new StandardAnalyzer(); Query query = parser.parse("title:lucene content:lucene" RangeFilter filter = new RangeFilter("time", "20060101", "20060230", true, true); Sort sort = new Sort(“time”); Hits hits =

35、is.search(query, filter, sort); for (int i = 0; i < hits.length(); i+) Document doc = hits.doc(i); System.out.println(doc.get("title"); is.close(); 8 分析器在 前面的概念介紹中我們已經(jīng)知道了分析器的作用，就是把句子按照語義切分成一個個詞語。英文切分已經(jīng)有了很成熟的分析器： StandardAnalyzer，很多情況下StandardAnalyzer是個不錯的選擇。甚至你會發(fā)現(xiàn)StandardAnalyzer也能對中 文進(jìn)

36、行分詞。 但是我們的焦點(diǎn)是中文分詞，StandardAnalyzer能支持中文分詞嗎？實(shí)踐證明是可以的，但是效果并不好，搜索“如果” 會把“牛奶不如果汁好喝”也搜索出來，而且索引文件很大。那么我們手頭上還有什么分析器可以使用呢？core里面沒有，我們可以在sandbox里面找到 兩個： ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準(zhǔn)的問題。相比之下用StandardAnalyzer和 ChineseAnalyzer建立索引時間差不多，索引文件大小也差不多，CJKAnalyzer表現(xiàn)會差些，索引文件大且耗時比較長。 要解 決問題，首先分析一下這三個分析器的分詞方

37、式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個字切分，也就是說 “牛奶不如果汁好喝”會被它們切分成“牛 奶 不 如 果 汁 好 喝”；而CJKAnalyzer則會切分成“牛奶 奶不 不如 如果 果汁 汁好好喝”。這也就解釋了為什么搜索“果汁”都能匹配這個句子。 以上分詞的缺點(diǎn)至少有兩個：匹配不準(zhǔn)確和索引文件大。我們的目標(biāo)是將上面的句子 分解成 “牛奶 不如 果汁好喝”。這里的關(guān)鍵就是語義識別，我們?nèi)绾巫R別“牛奶”是一個詞而“奶不”不是詞語？我們很自然會想到基于詞庫的分詞法，也就是我們先得到一個詞庫， 里面列舉了大部分詞語，我們把句子按某種方式切分，當(dāng)?shù)玫降?/p>

38、詞語與詞庫中的項(xiàng)匹配時，我們就認(rèn)為這種切分是正確的。這樣切詞的過程就轉(zhuǎn)變成匹配的過程，而 匹配的方式最簡單的有正向最大匹配和逆向最大匹配兩種，說白了就是一個從句子開頭向后進(jìn)行匹配，一個從句子末尾向前進(jìn)行匹配。基于詞庫的分詞詞庫非常重 要，詞庫的容量直接影響搜索結(jié)果，在相同詞庫的前提下，據(jù)說逆向最大匹配優(yōu)于正向最大匹配。 當(dāng)然還有別的分詞方法，這本身就是一個學(xué)科，我這里 也沒有深入研究?；氐骄唧w應(yīng)用，我們的目標(biāo)是能找到成熟的、現(xiàn)成的分詞工具，避免重新發(fā)明車輪。經(jīng)過網(wǎng)上搜索，用的比較多的是中科院的 ICTCLAS和一個不開放源碼但是免費(fèi)的JE-Analysis。ICTCLAS有個問題是它是一個動態(tài)

39、鏈接庫， java調(diào)用需要本地方法調(diào)用，不方便也有安全隱患，而且口碑也確實(shí)不大好。JE-Analysis效果還不錯，當(dāng)然也會有分詞不準(zhǔn)的地方，相比比較方便 放心。 9 性能優(yōu)化一直到這里，我們還是在討論怎么樣使lucene跑起來，完成指定任 務(wù)。利用前面說的也確實(shí)能完成大部分功能。但是測試表明lucene的性能并不是很好，在大數(shù)據(jù)量大并發(fā)的條件下甚至?xí)邪敕昼姺祷氐那闆r。另外大數(shù)據(jù)量 的數(shù)據(jù)初始化建立索引也是一個十分耗時的過程。那么如何提高lucene的性能呢？下面從優(yōu)化創(chuàng)建索引性能和優(yōu)化搜索性能兩方面介紹。 9.1 優(yōu)化創(chuàng)建索引性能 這 方面的優(yōu)化途徑比較有限，IndexWriter提供了一

40、些接口可以控制建立索引的操作，另外我們可以先將索引寫入RAMDirectory，再批量寫入 FSDirectory，不管怎樣，目的都是盡量少的文件IO，因?yàn)閯?chuàng)建索引的最大瓶頸在于磁盤IO。另外選擇一個較好的分析器也能提高一些性能。 9.1.1 通過設(shè)置IndexWriter的參數(shù)優(yōu)化索引建立 setMaxBufferedDocs(int maxBufferedDocs) 控制寫入一個新的segment前內(nèi)存中保存的document的數(shù)目，設(shè)置較大的數(shù)目可以加快建索引速度，默認(rèn)為10。 setMaxMergeDocs(int maxMergeDocs) 控制一個segment中可以保存的最大do

41、cument數(shù)目，值較小有利于追加索引的速度，默認(rèn)Integer.MAX_VALUE，無需修改。 setMergeFactor(int mergeFactor) 控制多個segment合并的頻率，值較大時建立索引速度較快，默認(rèn)是10，可以在建立索引時設(shè)置為100。 9.1.2 通過RAMDirectory緩寫提高性能 我們可以先把索引寫入RAMDirectory，達(dá)到一定數(shù)量時再批量寫進(jìn)FSDirectory，減少磁盤IO次數(shù)。 FSDirectory fsDir = FSDirectory.getDirectory("/data/index", true); RAMDir

42、ectory ramDir = new RAMDirectory(); IndexWriter fsWriter = new IndexWriter(fsDir, new StandardAnalyzer(), true); IndexWriter ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true); while (there are documents to index) . create Document . ramWriter.addDocument(doc); if (condition for flush

43、ing memory to disk has been met) fsWriter.addIndexes(new Directory ramDir ); ramWriter.close(); ramWriter = new IndexWriter(ramDir, new StandardAnalyzer(), true); 9.1.3 選擇較好的分析器這 個優(yōu)化主要是對磁盤空間的優(yōu)化，可以將索引文件減小將近一半，相同測試數(shù)據(jù)下由600M減少到380M。但是對時間并沒有什么幫助，甚至?xí)枰L時間， 因?yàn)檩^好的分析器需要匹配詞庫，會消耗更多cpu，測試數(shù)據(jù)用StandardAnalyzer耗時1

44、33分鐘；用MMAnalyzer耗時150分鐘。 9.2 優(yōu)化搜索性能 雖然建立索引的操作非常耗時，但是那畢竟只在最初創(chuàng)建時才需要，平時只是少量的維護(hù)操作，更何況這些可以放到一個后臺進(jìn)程處理，并不影響用戶搜索。我們創(chuàng)建索引的目的就是給用戶搜索，所以搜索的性能才是我們最關(guān)心的。下面就來探討一下如何提高搜索性能。 9.2.1 將索引放入內(nèi)存這是一個最直觀的想法，因?yàn)閮?nèi)存比磁盤快很多。Lucene提供了RAMDirectory可以在內(nèi)存中容納索引： Directory fsDir = FSDirectory.getDirectory(“/data/index/”, false); Directory

45、 ramDir = new RAMDirectory(fsDir); Searcher searcher = new IndexSearcher(ramDir); 但是實(shí)踐證明RAMDirectory和FSDirectory速度差不多，當(dāng)數(shù)據(jù)量很小時兩者都非?？?，當(dāng)數(shù)據(jù)量較大時（索引文件400M）RAMDirectory甚至比FSDirectory還要慢一點(diǎn)，這確實(shí)讓人出乎意料。 而且lucene的搜索非常耗內(nèi)存，即使將400M的索引文件載入內(nèi)存，在運(yùn)行一段時間后都會out of memory，所以個人認(rèn)為載入內(nèi)存的作用并不大。 9.2.2 優(yōu)化時間范圍限制 既然載入內(nèi)存并不能提高效率，一定有

46、其它瓶頸，經(jīng)過測試發(fā)現(xiàn)最大的瓶頸居然是時間范圍限制，那么我們可以怎樣使時間范圍限制的代價最小呢？ 當(dāng)需要搜索指定時間范圍內(nèi)的結(jié)果時，可以： 1、 用RangeQuery，設(shè)置范圍，但是RangeQuery的實(shí)現(xiàn)實(shí)際上是將時間范圍內(nèi)的時間點(diǎn)展開，組成一個個BooleanClause加入到 BooleanQuery中查詢，因此時間范圍不可能設(shè)置太大，經(jīng)測試，范圍超過一個月就會拋 BooleanQuery.TooManyClauses，可以通過設(shè)置 BooleanQuery.setMaxClauseCount (int maxClauseCount)擴(kuò)大，但是擴(kuò)大也是有限的，并且隨著maxClauseCount擴(kuò)大，占用內(nèi)存也擴(kuò)大 2、用 RangeFilter代替RangeQuery，經(jīng)測試速度不會比RangeQuery慢，但是仍然有性能瓶頸，查詢的90%以上時間耗費(fèi)在 Range