王春明-京東-搜索部平臺(tái)部負(fù)責(zé)人-京東搜索架構(gòu)演進(jìn)之路

嘉賓：京東-搜索與大數(shù)據(jù)平臺(tái)部王春明wangchunming@??搜索產(chǎn)品簡(jiǎn)介?搜索架構(gòu)演進(jìn)之路?搜索應(yīng)對(duì)1111之道?搜索的挑戰(zhàn)?索引商品數(shù)億，每天近億次更新?服務(wù)用戶(hù)數(shù)過(guò)億，日PV過(guò)億?相同點(diǎn)–海量數(shù)據(jù)–高并發(fā)請(qǐng)求–低延遲響應(yīng)?差異點(diǎn)–電商數(shù)據(jù)結(jié)構(gòu)化–召回率要求高–信息更新時(shí)效性要求高–用戶(hù)個(gè)性化需求高?搜索產(chǎn)品簡(jiǎn)介??搜索架構(gòu)演進(jìn)之路?搜索應(yīng)對(duì)1111之道?搜索的挑戰(zhàn)ee?系統(tǒng)結(jié)構(gòu)：簡(jiǎn)單?數(shù)據(jù)量級(jí)：百萬(wàn)?更新方式：全量Index1DB1dex………IndexNDBNIndex1DB1dex………IndexNDBNSearchserviceIndex1?系統(tǒng)結(jié)構(gòu)–數(shù)據(jù)分庫(kù)分表，分別處理，進(jìn)行合并–增加實(shí)時(shí)索引模塊?數(shù)據(jù)量級(jí)：千萬(wàn)?更新方式：全量+增量workerIndexN?系統(tǒng)結(jié)構(gòu)–離線(xiàn)hadoop處理?數(shù)據(jù)量級(jí)：億級(jí)?更新方式：全量+增量8Blender27Merger56Detail34Searcher運(yùn)營(yíng)平臺(tái)，QP8Blender27Merger56Detail34Searcher運(yùn)營(yíng)平臺(tái)，QP,廣告平臺(tái)等OfflineBuildUpdate增量數(shù)據(jù)中心Hadoop全量數(shù)據(jù)前端VIP1CM調(diào)用流數(shù)據(jù)流服務(wù)注冊(cè)與訂閱?數(shù)據(jù)生產(chǎn)：數(shù)據(jù)生產(chǎn)分片，全量、增量統(tǒng)一分?Clustermap：角色管理、負(fù)責(zé)均衡?Blender：不同搜索結(jié)果混合服務(wù)?Merger：搜索結(jié)果合并?Seacher：搜索召回服務(wù)?Detail：搜索結(jié)果包裝服務(wù)Blender?搜索產(chǎn)品簡(jiǎn)介?搜索架構(gòu)演進(jìn)之路??搜索應(yīng)對(duì)1111之道?搜索的挑戰(zhàn)–高并發(fā)查詢(xún)：平時(shí)5-10倍的流量–低延時(shí)：平均耗時(shí)100ms以?xún)?nèi)–復(fù)雜的排序模型：相關(guān)性、品牌等眾多模型耗時(shí)–個(gè)性化需求：緩存命中率低?部署結(jié)構(gòu)–雙機(jī)房部署–機(jī)房?jī)?nèi)均勻分布–負(fù)載均衡–核心渠道調(diào)用，與其他調(diào)用物理隔離YNNNergerSearcherofileHitattrHitpageNHitdoccache果AttronlylHitpage果Y?搜索服務(wù)流程YNNNergerSearcherofileHitattrHitpageNHitdoccache果AttronlylHitpage果YtMergerMergerYNYNNClient解析參數(shù)請(qǐng)求Searcher調(diào)用UserProfileYHitpagecacheYN拉取增量結(jié)果合并不同搜索結(jié)果AttronlyY在線(xiàn)業(yè)務(wù)邏輯處理排序合并各列結(jié)果HitattrcacheYNYNNClient解析參數(shù)請(qǐng)求Searcher調(diào)用UserProfileYHitpagecacheYN拉取增量結(jié)果合并不同搜索結(jié)果AttronlyY在線(xiàn)業(yè)務(wù)邏輯處理排序合并各列結(jié)果Hitattrcache請(qǐng)請(qǐng)求MergerHitdoccache調(diào)用OP、QP拉取全量+增量結(jié)果排序HitpagecHitpagecache包裝在線(xiàn)業(yè)務(wù)邏輯處理MergerSearcherMerger?搜索托底系統(tǒng)?監(jiān)控–外部服務(wù)–核心模塊性能–調(diào)用方?報(bào)警–范圍–閾值?壓測(cè)–全鏈路–線(xiàn)上日志回放