搜索引擎與寶貝搜索不得不說的故事

1、搜索引擎與寶貝搜索不得不說的故事1認(rèn)識(shí)淘寶寶貝搜索買個(gè)iphone5！送女朋友什么裙子好呢？手機(jī)大甩賣！連衣裙包郵！牛仔褲清倉買一送一！寶貝搜索2數(shù)據(jù)量大: 8億數(shù)據(jù)更新量大: 2億天查詢量大: 3-4億PV天查詢準(zhǔn)確率要求高對(duì)買家負(fù)責(zé)，降低查找成本查詢召回率要求高對(duì)賣家負(fù)責(zé)，讓每個(gè)寶貝搜索可達(dá)業(yè)務(wù)邏輯復(fù)雜：屬性信息遠(yuǎn)大于倒排信息寶貝搜索的特點(diǎn)3寶貝搜發(fā)展史數(shù)據(jù)量4寶貝搜發(fā)展史查詢量5淘寶網(wǎng) 2003年商城 2008年一淘網(wǎng) 2012年未來寶貝搜索發(fā)展史大事記C2C寶貝C2C寶貝B2C寶貝C2C寶貝B2C寶貝全網(wǎng)購物搜索一站式購物體驗(yàn)發(fā)現(xiàn)比較優(yōu)惠券C2C寶貝B2C寶貝全網(wǎng)購物搜索一站式購物體驗(yàn)

2、發(fā)現(xiàn)比較優(yōu)惠券個(gè)性化協(xié)同搜索6淘寶搜索架構(gòu)演變解決搜索功能解決容量速度業(yè)務(wù)邏輯分離業(yè)務(wù)引擎分離引擎平臺(tái)統(tǒng)一7不斷增長的搜索 復(fù)雜多變的業(yè)務(wù)數(shù)據(jù)量日益增長龐大的屬性信息頻繁地?cái)?shù)據(jù)更新靈活的運(yùn)帷平臺(tái)每年痛并快樂著的大促（1111/1212） 爆發(fā)式流量增長和更新量增長搜索引擎面臨的技術(shù)挑戰(zhàn)8關(guān)聯(lián)非引擎服務(wù)(UPS、QP、Forest etc.)多路數(shù)據(jù)混排(同構(gòu)數(shù)據(jù)、異構(gòu)數(shù)據(jù))搜索結(jié)果Rerank其他各種“異想天開”的業(yè)務(wù)邏輯統(tǒng)一服務(wù)入口解決之道數(shù)據(jù)聚合層(SP/Agg)9Build插件：允許對(duì)建索引的原始文檔進(jìn)行加工分詞插件： 控制檢索粒度QRS插件：改寫Query定制業(yè)務(wù)邏輯、改寫結(jié)果滿足業(yè)務(wù)

3、需求屬性信息定制化：直接使用Attr(price)、簡單表達(dá)式(price+postage)、插件化(lib.so)Scorer插件：特殊的屬性信息定制化功能豐富的配置接口解決之道靈活的配置插件接口10高召回率、低響應(yīng)延時(shí) 內(nèi)存引擎數(shù)據(jù)量的增長、屬性信息的增多帶來挑戰(zhàn)根據(jù)業(yè)務(wù)需求不斷對(duì)引擎進(jìn)行瘦身倒排信息壓縮(P4Delta等)正排信息精確存儲(chǔ)(xBits, int8, int16, int32, )正排信息壓縮(GroupVariInt等)正排信息去重(偏移存儲(chǔ))屬性信息編碼壓縮解決之道減肥是永恒的主題11神級(jí)性能優(yōu)化之道Cache奇跡般近乎無損的截?cái)嗌钊肜斫鈽I(yè)務(wù)對(duì)付頻繁更新帶來的性能衰減UPI(運(yùn)維支撐)商品搜索性能殺手正排信息的訪問(L1/L2 Cache與RAM的博弈)業(yè)務(wù)發(fā)展永遠(yuǎn)都是粗曠型的定期Review業(yè)務(wù)實(shí)現(xiàn)常常會(huì)有意想不到的收獲數(shù)據(jù)分層解決之道性能優(yōu)化12偉大的Admin集中式管理故障自動(dòng)恢復(fù)多集群管理按需索引分發(fā)索引自動(dòng)切換和更新集群拓?fù)鋭?dòng)態(tài)發(fā)現(xiàn)解決之道一體化運(yùn)維體系13解決中小商業(yè)搜索應(yīng)用大量小應(yīng)用運(yùn)維Search as a service自助式使用搜索在線修改schema全流程索引自描述核心技術(shù)HBaseFree schemaRank formular解決之道OpenSearch14業(yè)務(wù)的發(fā)展讓一起問題回到原點(diǎn)：性能