2024Ranking經(jīng)驗(yàn)分享應(yīng)用

知?推薦頁Ranking經(jīng)驗(yàn)分享知乎推薦頁場(chǎng)景和Ranking深度學(xué)習(xí)在RankingRankingAPPFeedRankingGlobal能處理更高維度特征，如幾十萬話題量級(jí)，GBDT無法完成訓(xùn)練；使用GPUHDFS2、內(nèi)容畫像Multihot：內(nèi)容多個(gè)話題OnehotwithvalueMultihotwithvalue特征原始值全：比如加歷史CTR特征的時(shí)候，可以把pv和click都帶上；顯式交叉特征：DNN能學(xué)習(xí)特征的非線性能力，增加交叉特征可以降低模型搜索的會(huì)大，什么樣的內(nèi)容更容易被用戶點(diǎn)，比如視頻在wifi下更容易被點(diǎn)，視頻點(diǎn)擊率高數(shù)據(jù)挖掘特征：如內(nèi)容Embedding特征。文本角度：tfidfword2vec等；數(shù)據(jù)：將搜索行為進(jìn)行session切分，組織成類似于sentence序列；樣本：85oloss：nce-loss“上下文”就是指在點(diǎn)擊該Item事件前后，固定窗口下其他Item的Id信息。DNN兩個(gè)獨(dú)立的隱含層cancat最后輸出sigmoid與交叉熵?fù)p失作為lossDNN將用戶和內(nèi)容的特征，分別按照內(nèi)容的field分為不同的每個(gè)block將上面的隱含層concat再經(jīng)過后面的DNN模型。Deep增加了一階和FM模塊，F(xiàn)M通過block之間的內(nèi)積實(shí)現(xiàn)；AUC提升0.2LastView+Lastviewtopic與當(dāng)前內(nèi)容的幾個(gè)topic計(jì)算AttentionScore，再按權(quán)重進(jìn)行sumpooling；AUC提升約0.2我們基于的考慮是用戶過去點(diǎn)擊的內(nèi)容肯定對(duì)他2將要點(diǎn)擊的內(nèi)容產(chǎn)生動(dòng)態(tài)影響，這個(gè)模EmbeddingLastDisplay+點(diǎn)擊的內(nèi)容對(duì)當(dāng)下的點(diǎn)擊行為同樣會(huì)產(chǎn)生影響，所以這里面增加了LastDisplay(包括點(diǎn)擊LastDisplay經(jīng)過Embedding后與是否點(diǎn)擊結(jié)合，再進(jìn)入GRU模塊，最后狀態(tài)當(dāng)做DNN輸入；AUC提升約0.4CTR點(diǎn)贊率，基于評(píng)論率等等，一共設(shè)計(jì)8個(gè)目標(biāo)。每個(gè)taskLoss可以是幾個(gè)task的loss做簡(jiǎn)單線性加權(quán)；上線仍然要確定各個(gè)ctr1、對(duì)于隨時(shí)間變化的統(tǒng)計(jì)特征，比如用戶和內(nèi)容畫像的統(tǒng)計(jì)值，線上service應(yīng)當(dāng)紀(jì)錄請(qǐng)2、如果發(fā)現(xiàn)線下效果好，比如AUC和NDCG提升明顯，但上線效果不顯著，很可能是們GlobalRanking使用同一套proto結(jié)構(gòu)和特征抽取模塊實(shí)現(xiàn)；4、做特征歸一化操作，發(fā)現(xiàn)有特別大的值，比如幾萬或者幾十萬，要先取log，不然會(huì)導(dǎo)致這個(gè)特征大部分值都趨向0，相當(dāng)于征失效；5、輸入特征要做非法檢查，防止出現(xiàn)inf，nan6、對(duì)于線上的每次請(qǐng)求，用戶特征都是一樣的，可以只計(jì)算一遍用戶特征相關(guān)的block，7、訓(xùn)練數(shù)據(jù)量要盡可能大，可以使用FlatBuffer結(jié)構(gòu)把訓(xùn)練數(shù)據(jù)存放在HDFS上，訓(xùn)練時(shí)直接從HDFS讀取，邊讀取邊訓(xùn)練；搜索帶著query來的，結(jié)果與之相關(guān)性越高越好，不用太關(guān)心結(jié)果的多2、CTR預(yù)估模型是pointwiseCr