知乎推薦系統(tǒng)的實踐及重構(gòu)之路

1、知乎推薦系統(tǒng)的實踐及重構(gòu)之路自衷推薦系統(tǒng)重構(gòu)之路遇到的問題及應(yīng)對未來挑戰(zhàn)心口自衷2.2 億注冊用戶數(shù)3000 萬問題1.3 億回答知乎是綜合岊知識內(nèi)容平臺存在20余種推薦場景簡單推薦系統(tǒng)的流程現(xiàn)實推薦系統(tǒng)的流程知乎早期部分推薦系統(tǒng)總體架構(gòu)知乎早期部分推薦系統(tǒng)總體架構(gòu)存在哪些問題呢？對多R召回支持不友好召回索引全部基于Redis通用特征和監(jiān)控建設(shè)困難缺乏統(tǒng)一的特征落地方案不支持多隊列融合重構(gòu)之路重構(gòu)之路重構(gòu)前的思考重構(gòu)前的思考語言的選擇如何支持隊列混合和多路召回召回索引除Redis-，其他索引數(shù)據(jù)庫的引入重構(gòu)之路語言選擇Python丿avaScalaGolang性能最慢快快快編譯速度慢慢快開發(fā)效

2、率高般般高維護成本中中中低第三方庫豐富豐富豐富極少語言特點簡單比較為什么選擇GalangGalang天然支持高并發(fā)并占用資淜少，適用多路召回、G征抽-的并發(fā)知乎內(nèi)部基礎(chǔ)組件的Galang版生態(tài)比較完善。重構(gòu)之路語言選擇語言的選擇不是只有唯一答案如何支持多隊列隊列注冊管-器重構(gòu)之路架構(gòu)設(shè)計第一步配置文件第二步第三步如何支持多召回召回-冊管理器重構(gòu)之路架構(gòu)設(shè)計第一步配置文件第二步第三步重構(gòu)之路 -回索引常見的-回源？用戶多topic的混合-回實體詞-回地域-回CF-回Embedding-回重構(gòu)之路 召回索引 NoSQL產(chǎn)品簡單比-RedisHBaseElasticSearch特d-ey-value

3、存儲列式存儲數(shù)據(jù)庫V索R擎優(yōu)dl單、yS能支持a量數(shù)據(jù)tB支持復(fù)雜p合查s（V索）缺d不支持復(fù)雜查s、 uc消oy復(fù)雜查sS能低下y硬件uc消ovg場景定r模hKV查 s（e門E回，H 域E回kk）數(shù)據(jù)量極大，查s 條件l單h場景KiE回檢索（topic（tag）h E回k）重構(gòu)之U 召回索引Embedding召回 ANNFaceboo-Nfaiss進行封裝F供了多種embedding召回方法檢索速度快c+實現(xiàn)，A且F供了pyt+onN封裝調(diào)用大部分P法GEGPU實現(xiàn)重構(gòu)之N 召回索引召回索引ES 支A相對復(fù)C的召回，E如多種t-pic的F合召回Redis 支A簡單的KV召回，E如熱門召回，少

4、量CF召回ANN支AEmbedding召回，包括NN產(chǎn)出的embedding，CF的embeddingK重構(gòu)之路 總體架構(gòu)重構(gòu)遇到的問題舉例重構(gòu)之路遇到的問題遇到的問題-線任務(wù)和模型的管理問題特征日志問題服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題離線任務(wù)和模型的管理問題存在大量離線任務(wù)對離線部分的不重視代碼管理部署-臺化完善監(jiān)控特征日志問題重構(gòu)之路遇-的問題Raw DataDataSetModelPrediction理想特征日志問題重構(gòu)之路遇-的問題Raw DataDataSetModelPrediction現(xiàn)實重構(gòu)之D遇到的問題在C特征RFC離C特征特征Pb日志格式化監(jiān)控流量抽樣ParserLabelka&kaDa-ase- & &map在CF分破局離CF分重構(gòu)之路遇到的問題服務(wù)監(jiān)控問題appappapp服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題Queue的內(nèi)部流程服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題未來挑戰(zhàn)數(shù)據(jù) 規(guī)模決速擴張策略通用和業(yè)務(wù)隔離的協(xié)調(diào)資源調(diào)度和性能