2024搜索引擎算法體系

2010年前用的各種各種模型偏簡(jiǎn)單，各種模型都需要自己實(shí)現(xiàn)，當(dāng)時(shí)數(shù)據(jù)量和計(jì)算機(jī)計(jì)算例如bayes做查詢?cè)~分類能達(dá)到80%精度，加一些策略之后可以達(dá)到90%左右；10年到13年間運(yùn)用一些略微復(fù)雜的算法，如bayes網(wǎng)絡(luò)、點(diǎn)擊模型、隨機(jī)場(chǎng)模型，從決策樹(shù)到Ensemble，如GBDT/RF都用在機(jī)器學(xué)習(xí)的排序里面，這些在公司里面發(fā)展挺快；第三階段就是深度學(xué)習(xí)算法，如CNN、RNN還有WideinDeep都在公司得到廣泛應(yīng)用；目前DockMartLTR（pagerank、trustrank）；另基于Bayes、LR、SVM等傳統(tǒng)分類模型，基于神經(jīng)網(wǎng)絡(luò)。上圖右邊是相關(guān)評(píng)測(cè)指標(biāo)?！暗貓D”就是一個(gè)pattern。這種模型可以進(jìn)行擴(kuò)展，如“雙中心詞+pat”或“中心詞+屬性”。大家可以覺(jué)得這個(gè)算法簡(jiǎn)單，在搜狗中可以覆蓋60%的query，所占類別90%，應(yīng)pat些擴(kuò)展后的中心詞列表以及pat表，這是二分圖概念。我們?cè)偌右恍┛捎锌蔁o(wú)詞又生成一bayes為例說(shuō)明，假如查詢?cè)~分類，每個(gè)term模型。SVM也是一種類似的用法，也是將term打散當(dāng)做向量作為學(xué)習(xí)類別。再來(lái)看一個(gè)FaceBook的FastText模型，這個(gè)模型只有一個(gè)隱層，下面就是各種很快就能跑出來(lái)。而且FacebookcbowsoftmaxCNN維的向量+二三維長(zhǎng)度的卷積核，最后形成針對(duì)查詢?cè)~一個(gè)完整的embedding向量，然后softmaxRNNCNNRNN首先介紹一個(gè)頂層的LTR模型，右邊是搜索排序指標(biāo)，上邊一引擎線下的一些排序指標(biāo)，主要是進(jìn)行人工評(píng)測(cè)的。NDCG，NDCG越高。LTR模型整體分為左邊的三種，大多數(shù)引擎選用的是listwise或pairwise，微信中LambdaMart引入了NDCG變化因子，直接優(yōu)化最終評(píng)測(cè)指標(biāo)。termtitleterm，termFMembedding向量做一個(gè)優(yōu)化。CDSSMDock進(jìn)行一個(gè)編碼，在往上就是計(jì)算他們的距離，最終加一個(gè)softmax將其變換成一個(gè)概率；跟我們的點(diǎn)擊和標(biāo)注進(jìn)行擬合算一個(gè)交叉熵。具體實(shí)現(xiàn)有用CNN也有用RNN，方法類似，只是將embedding層換成各種出一個(gè)詞改寫為另一個(gè)詞的概率。一開(kāi)始是通過(guò)SMT的方法，后才發(fā)現(xiàn)NMT而提供一個(gè)EmbeddingDecodedock（2）DecodertitleWDLClickModle（1）簡(jiǎn)單點(diǎn)擊模型，假設(shè)用戶在瀏覽排序結(jié)果的瀏覽，這其實(shí)也是順序?yàn)g覽的過(guò)程，并且對(duì)用戶點(diǎn)擊滿意度也進(jìn)行建模。（3）UBM允許下面我們看一下稍微新一點(diǎn)的思路和算法：（1）首先就是