2024愛奇藝搜索排序模型迭代

愛奇藝搜索排序模型迭代時候，我們的解決方案。這次分享的ppt針對一線的開發(fā)人員，希望可以給一線的開發(fā)人app天更關(guān)注在doc層和query層是如何做這些匹配的。內(nèi)容生態(tài)，愛奇藝的視頻搜索不僅僅是站內(nèi)搜索引擎，而是全網(wǎng)的視頻通過對用戶的query進(jìn)行切詞，將右邊的視頻資源的文本描述信息構(gòu)建構(gòu)建倒排索引，此詞權(quán)重query1.0后的新詞與視頻做相關(guān)性計算，取top結(jié)果返回給用戶，以此來實現(xiàn)拓展詞召回。第一步query以及點擊的document生成doc-query們再從新標(biāo)注一部分翻譯的groundtruth。義空間，那么該場景造成的mismatch現(xiàn)象會非常嚴(yán)重。那么此時，我們就需要把二者映具體做法：利用搜索點擊日志，來構(gòu)建一個搜索點擊二部圖。如下圖中可以看到：doc4與query2query4query6doc4但是我們已然不難看出，三個query詞之間具有較強的相關(guān)性，并且這個結(jié)論的置信度也并以次來拓展query的表達(dá)。n-gram來拆解擬合，最后用動態(tài)規(guī)劃去選擇最優(yōu)的表達(dá)向量。nlpnlp本相似性（如dssm）；基于交互querydocument我們當(dāng)前的策略是基于表達(dá)，如下圖所示框架：首先，抽取query下的正負(fù)樣例；之后，idf權(quán)重很高；最難點在于groundtrue構(gòu)建，嚴(yán)重影響語義模型的效果。下圖是精確匹配2.0的版本，在這個版本我們基于翻譯模型把query進(jìn)行查詢詞拓展，同click-simi最后基于相關(guān)性模型去計算query和視頻內(nèi)容是否相關(guān)。界提出的，在工業(yè)界通過a/btest，不斷的嘗試后得出的比較成功的案例。用戶query的時效性（新聞資訊&老電影，游戲&電視?。?；query（新鮮度、語義召回、視頻來源、歷史點擊表現(xiàn)等）。后面當(dāng)我們的特征越來越多的時候，以上四個因素已經(jīng)開始很難全面地涵蓋各種排序因子所以后面遷移到了學(xué)習(xí)系統(tǒng)，基于用戶在歷史的排序結(jié)果的點擊行為收集起來構(gòu)造label，根據(jù)用戶在搜索時候給出的queryvideo與label進(jìn)行join，得到groundturth，之后進(jìn)入學(xué)習(xí)系統(tǒng)進(jìn)行學(xué)習(xí)，訓(xùn)練處一個排序模pointwise，相關(guān)不相關(guān)；pairwise，A優(yōu)于B；r(iii代表i個結(jié)果的排序位置。直觀理解：ir(i)越大，ndcglistwise量化為三個等級：excllent,good,normal負(fù)樣例：skip-abovedocument后面我們發(fā)現(xiàn)，id特征也是有重要意義的，在特征工程中應(yīng)該予以考慮，由于我們在提取在沒有加入稀疏類特征之前，我們的模型是mbd-mrt模型，在IR領(lǐng)域是最先進(jìn)的模gbdtbotng同時有很好的學(xué)習(xí)泛化能力，樹結(jié)構(gòu)很難兼容高維稀疏特征，比方說我們的dcument是到瓶頸。但是在出來高維稀疏特征的時候，像LR、M、M可以認(rèn)為是線性模型，特征LR很多情況下特征組合方式比較重要，樹模型從根節(jié)點到葉子節(jié)點的路徑其實是一種組合方第一種方式LR特征和原始特征做拼接，學(xué)習(xí)gbdt模型。稀疏特征拼接，在此基礎(chǔ)上用LR學(xué)習(xí)。dnnquerydocumentembeddingdocumentquery（兩個負(fù)樣例，所以我們自己做了點積），gbdt與embedding特征做拼接，最后經(jīng)過三個全連接層，接