愛奇藝推薦中臺技術(shù)架構(gòu)實踐

1、愛奇藝推薦中臺技術(shù)架構(gòu)實踐目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同 問題三：推薦需求不同業(yè)務(wù)對接效果需求排期，堆積如山推薦中臺背景業(yè)務(wù)方重復(fù)造輪子推薦業(yè)務(wù)小視頻熱點動漫看點推薦實體豎屏小視頻橫屏視頻圖文漫畫直播推薦形式個性化推薦信息流推薦相關(guān)推薦主題推薦推薦需求入場規(guī)則時效性多樣性AB實驗?zāi)夸浲扑]中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同 問題三：推薦需求不同業(yè)務(wù)對接效果推薦閉環(huán)實體數(shù)倉推薦池算法引擎用戶行為數(shù)據(jù)推薦中臺整體架構(gòu)多端適配（APP/PC/H5/PAD/VR/TV）愛奇藝 TO C 個性化用戶觸達系統(tǒng)愛奇藝 TO

2、 C 短視頻推薦觸達系統(tǒng)愛奇藝APPPCVRTVAPP泡泡好多 納豆姜餅 無際PPS基礎(chǔ)服務(wù)平臺審核平臺分布式在線機器 學(xué)習(xí)平臺用戶數(shù)據(jù) 分析平臺通用AB TEST平臺標(biāo)注平臺大數(shù)據(jù)存儲 和服務(wù)平臺內(nèi)容生產(chǎn)系統(tǒng)愛奇藝號PGC優(yōu)質(zhì)內(nèi)容優(yōu)質(zhì)卡段（人工，AI）基礎(chǔ)內(nèi)容理解組件基礎(chǔ)用戶畫像多路召回愛奇藝推薦中臺排序（粗排，精排、Rerank）融合控制特殊策略干預(yù)通用推薦池平臺用戶興趣試探保量系統(tǒng)通用特征服務(wù)新內(nèi)容試探推薦中臺內(nèi)部架構(gòu)內(nèi)容 理解分類體系內(nèi)容標(biāo)簽深度特征質(zhì)量評估推薦池視頻圖文直播漫畫輕小說線上 引擎用戶興趣召回過濾粗排精排多樣性控制Workflow 配置平臺基本配置模塊配置報表效果總表AB

3、實驗 報表用戶畫像靜態(tài)畫像短期畫像中期畫像長期畫像召回模型熱門召回相關(guān)召回協(xié)同召回向量召回排序模型LRFMGBDTDNN特征工程Meta特征統(tǒng)計特征向量特征環(huán)境特征推薦中臺內(nèi)部架構(gòu)：推薦池長，短，小視頻智能特征庫非視頻數(shù)據(jù)愛奇藝號數(shù)據(jù)自定義數(shù)據(jù)源適配數(shù)據(jù)生產(chǎn)源用戶行為數(shù)據(jù)數(shù)據(jù)校驗實時監(jiān)控輔助功能漏斗分析HAsnapshot文件近實時Hbase表去重mapping推薦池數(shù)據(jù)服務(wù)實時更新消息推薦池通用邏輯層通用元數(shù)據(jù) 轉(zhuǎn)換實體關(guān)聯(lián)通用去重數(shù)據(jù)補償/ 糾錯通用緩存統(tǒng)一數(shù)據(jù)拓 撲/字典推薦池運維服務(wù)一站式workflow 配置平臺自動化部署toolkit業(yè)務(wù)推薦池孵化器規(guī)則引擎準(zhǔn)入/過濾/ 退場業(yè)務(wù)去

4、重干預(yù)后臺推薦中臺內(nèi)部架構(gòu)：內(nèi)容理解分類體系內(nèi)容標(biāo)簽質(zhì)量評估內(nèi)容風(fēng)險評估內(nèi)容深度表示通用內(nèi)容 理解組件文本理解圖像理解多模態(tài)特征融合視頻理解音頻理解內(nèi)容理解 基礎(chǔ)技術(shù)產(chǎn)品標(biāo)簽體 系定制業(yè)務(wù)線標(biāo)準(zhǔn)適配產(chǎn)品用戶群行 為適配業(yè)務(wù)定制 化組件內(nèi)容理解 服務(wù)在線服務(wù)消息推送智能特征庫推薦中臺內(nèi)部架構(gòu)：特征工程特征倉庫特征文件實時特征 消息特征查詢特征運維部署平臺一站式workflow配置平臺特征運維特征校驗任務(wù)監(jiān)控服務(wù)降級附加服務(wù)HAmeta特征統(tǒng)計特征深度特征特征數(shù)據(jù)業(yè)務(wù)隔離解析配置數(shù)據(jù)規(guī)范特征數(shù)據(jù)源接入平臺實時特征計算平臺實時統(tǒng)計 特征框架實時特征歸session特征 一化框架實時meta 特征框架

5、用戶行為實時ETL細粒度延遲 監(jiān)控告警多機房互備（HA）實時/離線規(guī) 范統(tǒng)一流式ETL 處理框架離線特征計算平臺數(shù)據(jù)轉(zhuǎn)化統(tǒng)計特征 計算框架特征ID服務(wù)化數(shù)據(jù)源解析meta特征 計算框架正排服務(wù)化特征歸一化外部特征 接入框架推薦中臺內(nèi)部架構(gòu)：算法數(shù)據(jù)接入數(shù)據(jù)格式規(guī)約數(shù)據(jù)同步流程樣本處理流程配置文件排序模型線性模型樹模型深度學(xué)習(xí) 模型多目標(biāo)模型 融合監(jiān)控離線評估產(chǎn)出校驗畫像數(shù)據(jù)監(jiān)控超時監(jiān)控覆蓋監(jiān)控標(biāo)簽標(biāo)準(zhǔn)化標(biāo)簽計算數(shù)據(jù)抽取興趣計算數(shù)據(jù)清洗興趣衰減興趣合并業(yè)務(wù)畫像靜態(tài)興趣短期興趣中期興趣長期興趣標(biāo)簽擴展基礎(chǔ)畫像全站基礎(chǔ) 畫像多模型融合新用戶模版召回興趣不足時的召回拓展冷啟試探實體詞&主題詞召回分類召

6、回語義Embedding模型相關(guān)召回Item協(xié)同過濾行為Embedding模型協(xié)同召回全局熱門區(qū)分用戶群的熱門熱門召回厭倦懲罰召回配比質(zhì)量控制召回策略推薦中臺內(nèi)部架構(gòu)：引擎用戶興趣服務(wù)興趣獲取興趣衰減興趣試探負反饋過濾興趣冷凍Root服務(wù)人工干預(yù)融合控制定向運營AB分流保量系統(tǒng)上線部署配置平臺UIAB實驗配置平臺一站式workflow配置平臺召回服務(wù)平臺向量召回服務(wù)向量召回倒排召回服務(wù)標(biāo)簽召回協(xié)同召回附加服務(wù)多語言實時監(jiān)控智能降級HA回滾機制服務(wù)發(fā)現(xiàn)調(diào)用鏈特征服務(wù)離線特征實時特征特征填充特征轉(zhuǎn)換引擎現(xiàn)場模型服務(wù)DNNFMGBDTLR粗排服務(wù)單路粗排多路粗排多樣性控制多目標(biāo)精排多樣性控制模型Re

7、rank精排服務(wù)目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同 問題三：推薦需求不同業(yè)務(wù)對接效果問題一：推薦形式不同個性化推薦信息流推薦相關(guān)推薦主題推薦解決方案一：統(tǒng)一接口參數(shù)含義area推薦區(qū)域，綁定策略配置passport_id登錄IDdevice_id設(shè)備IDcontext_id上下文ID，相關(guān)推薦session_id會話ID，翻頁去重theme_id主題ID，主題推薦解決方案一：統(tǒng)一流程用戶畫像推薦歷史一級召回一級排序Rerank是否個性化是否信息流二級召回二級排序YYNNYN是否主題模式請 求響應(yīng)解決方案一：召回倉庫熱門召回標(biāo)簽召回協(xié)同召回主題召回地

8、域召回向量召回協(xié)同過濾Word2VecDSSM解決方案一：模型倉庫Factorization MachinesLogistic RegressionGBDTWide & DeepDeepFM目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同 問題三：推薦需求不同業(yè)務(wù)對接效果問題二：推薦實體不同豎屏小視頻橫屏視頻圖文漫畫直播解決方案二：統(tǒng)一實體字段原始字段名映射字段名通用字段定義idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_time first_online_timefirst_pub

9、lish_timeis_valid/is_onlineis_valid業(yè)務(wù)獨有字段定義live_statusliveroom_live_status解決方案二：推薦池合并愛奇藝 小視頻好多 小視頻片段VLOG劇頭條影訊奇秀直播游戲直播豎屏視頻 公共池橫屏視頻 公共池圖文公共 池直播公共 池視頻公共 數(shù)據(jù)圖文公共 數(shù)據(jù)直播公共 數(shù)據(jù)中臺業(yè)務(wù)同類推薦池公共層數(shù)據(jù)解決方案二：通用特征通用特征展示量點擊量點擊率長點擊率平均觀看時長消費金額新鮮度熱度業(yè)務(wù)方提供特征解決方案二：自定義特征目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同 問題三：推薦需求不同業(yè)務(wù)對接效果問題三：需求不同入場規(guī)則時效性多樣性AB實驗業(yè)務(wù)方提供入場規(guī)則腳本解決方案三：入場規(guī)則腳本業(yè)務(wù)方提供LUA過濾腳本解決方案三：引擎在