基于Sphinx構(gòu)建準(zhǔn)實(shí)時(shí)更新的分布式通用搜索引擎平臺(tái)

孔雀V–CtrlV百度文庫集文件編號(hào)：20121223-02整理人：http://www.ctrlv.cc/基于Sphinx構(gòu)建準(zhǔn)實(shí)時(shí)更新的分布式通用搜索引擎平臺(tái)標(biāo)簽：搜索引擎、分布式、Sphinx、MySQL、并發(fā)前言：

2008年7月，我寫過一篇文章《基于Sphinx+MySQL的千萬級(jí)數(shù)據(jù)全文檢索（搜索引擎）架構(gòu)設(shè)計(jì)》。有不少網(wǎng)友希望閱讀全文，我將該文檔整理了一下，分享出來。文檔解壓后大小為7.33M，共19頁。

本站下載地址：

/book/sphinx/sphinx_mysql.zip

新浪下載分流：

/f/6728201.html

上述文檔架構(gòu)存在的局限，我在2008年12月的文章《億級(jí)數(shù)據(jù)的高并發(fā)通用搜索引擎架構(gòu)設(shè)計(jì)》中已經(jīng)指出：一是MySQL本身的并發(fā)能力有限，在200～300個(gè)并發(fā)連接下，查詢和更新就比較慢了；二是由于MySQL表的主鍵與Sphinx索引的ID一一對(duì)應(yīng)，從而無法跨多表建立整站查詢，而且新增加類別還得修改配置文件，比較麻煩；三是因?yàn)楹蚆ySQL集成，無法發(fā)揮出Sphinx的優(yōu)勢。雖然如此，但對(duì)于一些寫入量不大的搜索應(yīng)用，已經(jīng)足夠了，或許對(duì)很多人會(huì)有幫助。

正文：

在這之后，本人基于《億級(jí)數(shù)據(jù)的高并發(fā)通用搜索引擎架構(gòu)設(shè)計(jì)》開發(fā)的Sphinx分布式通用站內(nèi)搜索引擎平臺(tái)，已經(jīng)在生產(chǎn)環(huán)境運(yùn)行9個(gè)月以上，經(jīng)過運(yùn)營中的不斷完善與改進(jìn)，目前已形成了一套可擴(kuò)展的分布式通用站內(nèi)搜索引擎框架。CMS、視頻、論壇等產(chǎn)品發(fā)生的增、刪、改操作，文本內(nèi)容實(shí)時(shí)寫入自行開發(fā)的

HTTPSQS

高性能簡單消息隊(duì)列服務(wù)，通過隊(duì)列控制器更新索引和存儲(chǔ)。提供支持XML、JSON的API查詢接口，支持億級(jí)數(shù)據(jù)的索引、分布式、中文分詞、高亮顯示、自動(dòng)摘要、準(zhǔn)實(shí)時(shí)（1分鐘內(nèi)）增量索引更新。

下面是Sphinx新的搜索架構(gòu)中技術(shù)關(guān)鍵點(diǎn)實(shí)現(xiàn)方式的一些介紹，與大家分享、交流一下：

1、一元分詞和中文分詞的結(jié)合：

①、一元分詞位于索引更新模塊。Sphinx索引引擎對(duì)于CJK（中日韓）語言（必須是UTF-8編碼）支持一元切分，假設(shè)【反恐行動(dòng)是國產(chǎn)主視角射擊網(wǎng)絡(luò)游戲】這段文字，Sphinx會(huì)將其切成【反恐行動(dòng)是國產(chǎn)主視角射擊網(wǎng)絡(luò)游戲】，然后對(duì)每個(gè)字建立反向索引。如果用這句話中包含的字組成一個(gè)不存在的詞語，例如【恐動(dòng)】，也會(huì)被搜索到，所以搜索時(shí)，需要加引號(hào)，例如搜索【"反恐行動(dòng)"】，就能完全匹配連在一起的四個(gè)字，不連續(xù)的【"恐動(dòng)"】就不會(huì)被搜索到。但是，這樣還有一個(gè)問題，搜索【"反恐行動(dòng)游戲"】或【"國產(chǎn)網(wǎng)絡(luò)游戲"】就會(huì)搜索不到。對(duì)于這個(gè)問題，采用位于搜索查詢模塊的中文分詞來處理。

sphinx.conf配置文件中關(guān)于UTF-8中文一元分詞的配置如下：...省略...

indext_source_main{

source

=t_source_main

path

=/data0/search/sphinx/data/t_source_main字段u2<50并且u2>90）

&filter_range=u1:1.23,99.645,false;u2:1034.3,7834.56,true

（浮點(diǎn)數(shù)范圍過濾器：字段u1>=1.23并且u1<=99.645，字段u2<1034.3并且u2>7834.56）

6、搜索結(jié)果前臺(tái)頁面示例：

7、同一套服務(wù)器平臺(tái)與API接口，通用于各類產(chǎn)品：

示例：

金山游戲文章與視頻搜索：/result.php?w=%