2024Ranking經(jīng)驗(yàn)分享應(yīng)用

知?推薦頁Ranking經(jīng)驗(yàn)分享知乎推薦頁場景和Ranking深度學(xué)習(xí)在RankingRankingAPPFeedRankingGlobal能處理更高維度特征，如幾十萬話題量級，GBDT無法完成訓(xùn)練；使用GPUHDFS2、內(nèi)容畫像Multihot：內(nèi)容多個話題OnehotwithvalueMultihotwithvalue特征原始值全：比如加歷史CTR特征的時候，可以把pv和click都帶上；顯式交叉特征：DNN能學(xué)習(xí)特征的非線性能力，增加交叉特征可以降低模型搜索的會大，什么樣的內(nèi)容更容易被用戶點(diǎn)，比如視頻在wifi下更容易被點(diǎn)，視頻點(diǎn)擊率高數(shù)據(jù)挖掘特征：如內(nèi)容Embedding特征。文本角度：tfidfword2vec等；數(shù)據(jù)：將搜索行為進(jìn)行session切分，組織成類似于sentence序列；樣本：85oloss：nce-loss“上下文”就是指在點(diǎn)擊該Item事件前后，固定窗口下其他Item的Id信息。DNN兩個獨(dú)立的隱含層cancat最后輸出sigmoid與交叉熵?fù)p失作為lossDNN將用戶和內(nèi)容的特征，分別按照內(nèi)容的field分為不同的每個block將上面的隱含層concat再經(jīng)過后面的DNN模型。Deep增加了一階和FM模塊，F(xiàn)M通過block之間的內(nèi)積實(shí)現(xiàn)；AUC提升0.2LastView+Lastviewtopic與當(dāng)前內(nèi)容的幾個topic計(jì)算AttentionScore，再按權(quán)重進(jìn)行sumpooling；AUC提升約0.2我們基于的考慮是用戶過去點(diǎn)擊的內(nèi)容肯定對他2將要點(diǎn)擊的內(nèi)容產(chǎn)生動態(tài)影響，這個模EmbeddingLastDisplay+點(diǎn)擊的內(nèi)容對當(dāng)下的點(diǎn)擊行為同樣會產(chǎn)生影響，所以這里面增加了LastDisplay(包括點(diǎn)擊LastDisplay經(jīng)過Embedding后與是否點(diǎn)擊結(jié)合，再進(jìn)入GRU模塊，最后狀態(tài)當(dāng)做DNN輸入；AUC提升約0.4CTR點(diǎn)贊率，基于評論率等等，一共設(shè)計(jì)8個目標(biāo)。每個taskLoss可以是幾個task的loss做簡單線性加權(quán)；上線仍然要確定各個ctr1、對于隨時間變化的統(tǒng)計(jì)特征，比如用戶和內(nèi)容畫像的統(tǒng)計(jì)值，線上service應(yīng)當(dāng)紀(jì)錄請2、如果發(fā)現(xiàn)線下效果好，比如AUC和NDCG提升明顯，但上線效果不顯著，很可能是們GlobalRanking使用同一套proto結(jié)構(gòu)和特征抽取模塊實(shí)現(xiàn)；4、做特征歸一化操作，發(fā)現(xiàn)有特別大的值，比如幾萬或者幾十萬，要先取log，不然會導(dǎo)致這個特征大部分值都趨向0，相當(dāng)于征失效；5、輸入特征要做非法檢查，防止出現(xiàn)inf，nan6、對于線上的每次請求，用戶特征都是一樣的，可以只計(jì)算一遍用戶特征相關(guān)的block，7、訓(xùn)練數(shù)據(jù)量要盡可能大，可以使用FlatBuffer結(jié)構(gòu)把訓(xùn)練數(shù)據(jù)存放在HDFS上，訓(xùn)練時直接從HDFS讀取，邊讀取邊訓(xùn)練；搜索帶著query來的，結(jié)果與之相關(guān)性越高越好，不用太關(guān)心結(jié)果的多2、CTR預(yù)估模型是pointwiseCr