信息檢索16-神經(jīng)網(wǎng)絡方法課件

1、第16講 Neural IR基于深度神經(jīng)網(wǎng)絡的IR模型2017/10/091提綱 上一講回顧 深度神經(jīng)網(wǎng)絡(DNN)基礎 詞向量 Neural IR Model2提綱 上一講回顧 深度神經(jīng)網(wǎng)絡(DNN)基礎 詞向量 Neural IR Model34上一講回顧（待）4提綱 上一講回顧 深度神經(jīng)網(wǎng)絡(DNN)基礎 詞向量 Neural IR Model5激活函數(shù)7激活函數(shù)上述激活函數(shù)特點Sigmoid：兩端飽和區(qū)梯度極??；輸出不以0為中心；指數(shù)函數(shù)計算代價大。Tanh：兩端飽和區(qū)梯度極??；輸出以0為中心；指數(shù)函數(shù)計算代價大。ReLU：在激活值大于0時不存在梯度極小的情況；輸出不以0為中心；計算代

2、價小；收斂速度快。除了上述三種激活函數(shù)，還有其它一些激活函數(shù)，如Maxout，Leaky ReLU，ELU等。激活函數(shù)對參數(shù)的學習過程影響較大，需要根據(jù)情況適當選擇。8Softmax歸一化10參數(shù)的學習11參數(shù)的學習目標：學習一組網(wǎng)絡參數(shù)，使得預測 y 與實際標簽y的誤差 (損失)最小。BP算法：即反向傳播算法，是學習神經(jīng)網(wǎng)絡參數(shù)的一個重要方法，給定一個樣本 (x, y)，包含如下兩個過程：前向計算 (forward)：根據(jù)輸入 x，計算網(wǎng)絡的輸出 y；反向計算 (backward)：計算網(wǎng)絡預測 y 與標簽 y 之間的誤差 (損失) 關于 網(wǎng)絡各參數(shù)的梯度；主要應用求導的鏈式法則。梯度下降算

3、法：BP算法只是得到了誤差 (損失) 關于網(wǎng)絡參數(shù)的梯度，而梯度下降算法定義了網(wǎng)絡參數(shù)的更新方式，如SGD：其它常見的參數(shù)更新方式：Momentum，Adam，Adagrad，RMSprop等在實際應用中，一般是同時使用一組樣本 (一個batch) 來對網(wǎng)絡參數(shù)進行更新。另外還有一些二階的方法：牛頓法，共軛梯度，BFGS12正則化L1與L2正則圖解：L1正則（右），L2正則（左）圖中同一個藍色環(huán)上的損失相同，中心點損失最小；紅色環(huán)上模相等，原點處模最小，為0；黑色點為解，在黑色點處損失的減小與模的增加達到臨界點，即損失的繼續(xù)減小不能彌補模增加的部分，導致它們的和反而增加了。14正則化DNN中常

4、用的正則化方法數(shù)據(jù)集增強：通過對已有的數(shù)據(jù)樣本做特定的變換來構造新的樣本。噪聲魯棒性：通過往輸入、權重或者標簽中注入噪聲來達到正則化的效果。提前終止：通過引入驗證集，訓練到驗證集上誤差達到最小時，則停止訓練。參數(shù)共享：通過使網(wǎng)絡的不同部分共享參數(shù)達到正則化效果，參數(shù)共享減小了模型的假設空間。Bagging集成方法：訓練若干模型，然后由這些模型對輸出進行表決，以此來減小泛化誤差。Dropout：通過對神經(jīng)元以一定概率進行丟棄達到正則化效果，通常認為是Bagging的一種近似。15卷積神經(jīng)網(wǎng)絡 (CNN)卷積圖解 輸入：32x32x3；卷積核：5x5x3，1個；輸出：28x28x1，步長：117卷

5、積神經(jīng)網(wǎng)絡 (CNN)池化(Pooling)：池化的總體思想是使用某一位置的相鄰輸出的總體統(tǒng)計特征來代替網(wǎng)絡在該位置的輸出。常見池化方式: max-pooling, min-pooling, average-pooling, sum-pooling。以下用max-pooling舉例18卷積神經(jīng)網(wǎng)絡 (CNN)Max-pooling圖解卷積層的三個過程：卷積：卷積核對輸入的線性變換激活：激活函數(shù)對卷積核輸出的非線性變換池化：對激活輸出進行進一步調(diào)整兩個參數(shù)：filter的大小，stride：filter移動的步長19池化的特點近似不變性：當輸入做少量平移時，輸出不會發(fā)生變化；近似不變性使得網(wǎng)絡更

6、多地關注某些特征是否出現(xiàn)而不關心其具體的位置;由于近似不變性，網(wǎng)絡能夠容忍一些微小的噪聲或者擾動。卷積和池化帶來的好處主要有：減少參數(shù)，減少噪聲20循環(huán)神經(jīng)網(wǎng)絡 (RNN)循環(huán)神經(jīng)網(wǎng)絡 (RNN)：一種用來專門處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡。一個序列當前的輸出與前面的輸出有關網(wǎng)絡會對前面的信息進行記憶并應用于當前輸出的計算中，即隱藏層之間的節(jié)點不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出在實踐中，為了降低復雜性往往假設當前的狀態(tài)只與前面的幾個狀態(tài)相關 21循環(huán)神經(jīng)網(wǎng)絡 (RNN)22循環(huán)神經(jīng)網(wǎng)絡 (RNN)一些常見的RNN結構： 24循環(huán)神經(jīng)網(wǎng)絡 (RNN)2

7、5循環(huán)神經(jīng)網(wǎng)絡 (RNN)27循環(huán)神經(jīng)網(wǎng)絡 (RNN)若忽略遺忘門控信號，普通RNN與LSTM信息流如下：可以看到，若 f 對輸入的梯度很小，則經(jīng)過幾個單元的反向傳播后，梯度就消失了；LSTM通過將當前狀態(tài)通過相加的方式直接傳遞到下一個單元，減輕了梯度消失的問題。而遺忘門的作用則是讓網(wǎng)絡自行學習是否需要記住很早以前的狀態(tài)信息；除了LSTM結構，還有一些其它門控結構來處理RNN中的梯度消失問題，如GRU，請同學們自行查詢相關資料。28DNN基礎：總結DNN（深度神經(jīng)網(wǎng)絡）：一種多層的神經(jīng)網(wǎng)絡，采用一個或多個隱藏層學習數(shù)據(jù)暗含的特征，從而得到更好的數(shù)據(jù)表示兩種常見的DNN結構CNN（卷積神經(jīng)網(wǎng)絡）

8、：應用于類似網(wǎng)絡結構數(shù)據(jù)，例如圖像矩陣使用卷積和池化減少參數(shù)，減少噪聲RNN（循環(huán)神經(jīng)網(wǎng)絡）：應用于序列數(shù)據(jù)隱藏層之間的節(jié)點有連接梯度爆炸（特征值1）與消失(特征值1)：引入LSTM后面介紹如何應用于信息檢索29參考資料UFLDL教程：/wiki/index.php/UFLDL%E6%95%99%E7%A8%8BGoodfellow I, Bengio Y, Courville A. Deep learningM. MIT press, 2016. /cs231n slides: /2016/syllabusJozefowicz R, Zaremba W, Sutskever I. An em

9、pirical exploration of recurrent network architecturesC/Proceedings of the 32nd International Conference on Machine Learning (ICML-15). 2015: 2342-2350.Lipton Z C, Berkowitz J, Elkan C. A critical review of recurrent neural networks for sequence learningJ. arXiv preprint arXiv:1506.00019, 2015.Bisho

10、p C. Bishop, C.M.: Pattern Recognition and Machine Learning. SpringerM/ Stat Sci. 2006:140-155.注：本小節(jié)所有圖均來自上述材料，為了簡潔未一一注明，特此說明。30提綱 上一講回顧 深度神經(jīng)網(wǎng)絡(DNN)基礎 詞向量 Neural IR Model31Word2Vec基于神經(jīng)網(wǎng)絡的一種用于訓練詞向量的模型Mikolov etc., arXiv 2013兩種模型CBOW和Skip-Gram衍生出句向量訓練模型Para2VecWord2Vec在NLP和IR領域具有廣泛應用32CBOW模型Continuous

11、 Bag-of-Words（CBOW）模型基本思想為根據(jù)上下文信息來預測詞項三層網(wǎng)絡結構輸入層（Input）：詞項的上下文信息投影層（Projection）：整合上下文信息輸出層（Output）：預測詞項目標函數(shù)訓練算法梯度下降法33Skip-gram模型Continuous Skip-Gram（Skip-Gram）模型基本思想為根據(jù)詞項來預測上下文信息三層網(wǎng)絡結構輸入層（Input）：詞項的信息投影層（Projection）：恒等變換輸出層（Output）：預測詞項的上下文信息目標函數(shù)訓練算法梯度下降法34Para2Vec用于訓練句向量的模型Le etc., ICML 2014基本思想與Wo

12、rd2Vec相同，Para2Vec利用特殊詞項Paragraph id標記每一篇文檔，訓練詞向量時，Paragraph id作為該文檔中每一個詞的上下文的一部分參與詞向量的訓練，最后Paragraph id的向量用于表示整個文檔。35詞嵌入詞/句嵌入的生成初始時模型為每一個詞項分配一個隨機參數(shù)向量，然后利用隨機梯度下降法對CBOW或Skip-Gram模型的目標函數(shù)進行優(yōu)化，不斷地對每一個詞項的參數(shù)向量進行調(diào)整，模型訓練結束時最終的參數(shù)向量即作為詞項的嵌入（Word Embedding）。重要特性度量詞項間的相似性SummerWinter，StrongPowerful，ChinaTaiwan詞嵌

13、入在向量運算中保持語義關聯(lián) Word2Vec/Para2Vec vs LDAWord2Vec/Para2Vec訓練時考慮了詞項的上下文信息LDA訓練時僅基于詞項的統(tǒng)計信息IR中的應用：文檔的相關性取決于文檔上下文內(nèi)容36詞嵌入：總結建立詞的上下文網(wǎng)絡模型，訓練得到權重參數(shù)權重參數(shù)向量即為所謂詞嵌入向量的維度k：一個重要的參數(shù)權重參數(shù)：表示每一維的重要性語料中每一個單詞最終由一個k維（語義）向量表示37參考資料T. Mikolov, et al. Efficient Estimation of Word Representations in Vector Space. arXiv preprin

14、t arXiv:1301.3781 (2013). Q. Le, and T. Mikolov. Distributed Representations of Sentences and Documents. ICML. Vol. 14. 2014.Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionalityC/Advances in neural information processing systems. 2013: 31

15、11-3119.38提綱 上一講回顧 深度神經(jīng)網(wǎng)絡(DNN)基礎 詞向量 Neural IR Model 開源工具及代碼39相關背景信息檢索 (IR)：給定用戶查詢，返回相關文檔，滿足用戶信息需求傳統(tǒng)IR模型如TFIDF基于查詢詞項的分布進行文檔相關度評分詞頻分布：Log 詞頻全局分布：IDF近年來，深度神經(jīng)網(wǎng)絡 (DNN) 在自然語言處理 (NLP) 領域得到了廣泛應用已有一些研究人員對DNN在IR領域的應用進行了一定的探索，涌現(xiàn)了一批基于DNN的檢索模型這一類模型通常稱為 Neural IR Model40現(xiàn)有NIR模型的常用架構 基本思想：基于Word2Vec產(chǎn)生單詞和文檔的向量表示，基

16、于DNN提取文檔-查詢特征/匹配信號，然后輸入一個前饋網(wǎng)絡或Learning to Rank 算法產(chǎn)生最終的文檔相關度評分現(xiàn)有NIR模型之間的區(qū)別主要在于怎樣利用DNN得到可以用于文檔排序的特征/匹配信號IR相對于其它機器學習任務的難點在于相關性的主觀性對于不同查詢、不同任務，文檔的相關性是不同的使用部分查詢訓練得到的排序模型，難以應用到其它查詢Pointwise Learning to rank算法也有類似的問題，因而產(chǎn)生了Pairwise 算法因此通常采用查詢 文檔之間 word pair的相似度矩陣抵消查詢之間相關性定義的差異轉(zhuǎn)化為圖，可以使用CNN、RNN也有一些早期的工作先用DNN學

17、習得到查詢和文檔的表示，再計算相似度，即representation-based方法，不過效果不好，最近的工作都是基于相似度矩陣，即interaction-based方法。41MatchPyramid Pang etc., Neu-IR 2016背景與基本思想：在文本匹配的過程中，需要考慮各種層次的匹配信號，包括單詞層次、短語層次以及句子層次等等；卷積神經(jīng)網(wǎng)絡 (CNN) 結構在計算機視覺 (CV) 領域的成功表明其能夠很好地勝任這種復雜多層次信號的提?。粚τ诮o定兩段待匹配文本，可以構建一個單詞-單詞相似度矩陣，把該矩陣視為一張偽圖像，則CNN可以直接應用于文本匹配過程中的不同層次匹配信號的提

18、取。42MatchPyramid 模型結構給定兩段文本，首先計算一個基于單詞-單詞相似度的匹配矩陣 (matching matrix)， 之后一些級聯(lián)卷積神經(jīng)網(wǎng)絡 (CNN) 層作用于該匹配矩陣逐步獲取更高層次的匹配信號 (短語層次、句子層次等)，最后一個MLP網(wǎng)絡結構作用于最后一個CNN層的輸出，得到給定文本最終的匹配分數(shù)。 MatchPyramid模型結構來源：Pang etc., Neu-IR 201643MatchPyramid 實驗設置Pooling size對模型的影響44MatchPyramid 實驗設置與baseline的比較：QL，BM25，DSSM，CDSSM，ARC-I，

19、ARC-IIPooling size對模型的影響Similarity function對模型的影響：指示函數(shù)(Ind)，點積(Dot)，余弦相似度(Cos)，高斯核(Gau)Kernel size對模型的影響實驗結果45MatchPyramid 實驗結果實驗結論相比所有其它基于DNN的檢索模型，MatchPyramid具有更好的效果，且能夠取得與傳統(tǒng)檢索模型接近的結果。Pooling size太大或大小均不好，對于查詢，近似取查詢長度的中位數(shù)，對于文檔，近似取平均段長度比較合適。對于Similarity function，使用高斯核能得到最好效果，指示函數(shù)能夠得到與高斯核相近的結果，余弦相似度

20、稍微差點，點積與前三者差距較大。對于指示函數(shù)相似度，Kernel Size對模型效果影響不大；對于高斯核相似度，一個合適大小的Kernel Size能取得更好的結果。DRMM (Deep Relevance Matching Model)Guo etc., CIKM 2016背景與基本思想：現(xiàn)有的基于DNN的檢索模型將檢索任務視為兩段文本的匹配任務，更多地關注語義匹配 (Semantic Matching)，即所謂軟匹配 ；相比普通的文本匹配任務，檢索任務更需要關注相關性匹配 (Relevance Matching) ;通過顯式地對精確匹配信號 (Exact Matching Signals)

21、，查詢詞重要度 (Query Term Importance)，以及多樣匹配要求 (Diverse Matching Requirement)進行建模，得到的模型更加適合于檢索任務47基本算法步驟構建查詢(q) 文檔(d)相似度矩陣對每一行（即每一個查詢詞）統(tǒng)計矩陣中相似度數(shù)值的分布區(qū)間計數(shù)（Count）取 0, 0.1, 0.2, , 1.011個點，對應不同強度的匹配信號Count取對數(shù) (LCH)，然后輸入到前饋網(wǎng)絡每個查詢詞對應一個前饋網(wǎng)絡Softmax(前饋網(wǎng)絡輸出評分 * IDF)，線性加和得到文檔最終評分48模型結構給定查詢q和文檔d，對于q中的每一個詞，計算其與d中每個詞余弦相

22、似度，統(tǒng)計落在給定各個區(qū)間的數(shù)目，將得到的向量輸入到一個MLP網(wǎng)絡，得到d關于該查詢詞的評分，最后將d關于q中各個詞的評分線性加權得到d的相關性評分。各個查詢詞的權重由一個Softmax結構給出，輸入為查詢詞的詞向量或者逆文檔頻率。 DRMM模型結構來源： Guo etc., CIKM 2016實驗設置與baseline比較：QL，BM25，DSSM，CDSSM，ARC-I，ARC-II，MatchPyramid余弦相似度計數(shù)變換方式與查詢詞權重計算方式對模型的影響：直接使用計數(shù)(CH)，除以總數(shù)(NH)，取對數(shù)(LCH)；輸入查詢詞向量(TV)，輸入查詢詞逆文檔頻率(IDF)實驗結果實驗設置

23、與baseline比較：QL，BM25，DSSM，CDSSM，ARC-I，ARC-II，MatchPyramid余弦相似度計數(shù)變換方式與查詢詞權重計算方式對模型的影響：直接使用計數(shù)(CH)，除以總數(shù)(NH)，取對數(shù)(LCH)；輸入查詢詞向量(TV)，輸入查詢詞逆文檔頻率(IDF)實驗結果DRMM 實驗結論DRMM的效果優(yōu)于所有baselines，包括傳統(tǒng)檢索模型QL和BM25，是第一個能夠取得比傳統(tǒng)檢索模型更好效果的基于DNN的檢索模型但是傳統(tǒng)模型并未使用諸如PRF的重排策略基于LCH和IDF的模型效果最好LCH：匹配信號的Count取LogIDF：Term Gating線性加權權重某種程度上

24、借鑒了傳統(tǒng)模型的TFIDF結構52Duet Mitra etc., WWW 2017背景與基本思想：現(xiàn)有的許多模型學習文本的分布式表示(Distributed Representation) ，然后在潛在語義空間對查詢和文檔進行匹配；傳統(tǒng)檢索模型中詞通常離散的或者說局部的表示，對于給定查詢，文檔是否相關通常由查詢詞的精確匹配 (Exact Matching) 來決定;本文假定以上兩種方式是互補的，通過對這兩種方式進行結合，期望能得更好的效果。53模型結構模型由兩部分組成：局部模型 (local model) 以及分布式模型 (distributed model)。局部模型輸入為查詢與文檔的單詞

25、-單詞相似度矩陣，相似度由單詞one-hot表示的余弦值衡量，經(jīng)過CNN層、全連接層和Dropout層，最終輸出一個標量評分；分布式模型輸入為查詢和文檔的n-graph表示，它們的n-graph表示各自經(jīng)過CNN層或全鏈接層，得到中間表示，然后對它們的中間表示求Hadamard Product得到一個矩陣，此矩陣經(jīng)過全連接層和Dropout層，也輸出一個標量評分。最終局部模型和分布式模型輸出的評分求和得到最終的評分。來源： Mitra etc., WWW 2017Duet 實驗設置與baselines的比較：LSA，BM25，DM，QL，DRRM，DSSM，CDSSM，DESMDuet模型與L

26、ocal Model與Distributed Model的比較使用人工判定的不相關文檔訓練與使用隨機采樣作為不相關文檔訓練對比實驗結果55Duet 實驗結果實驗結論Duet組合模型要比單獨的Local模型以及Distributed模型的效果好，說明精確匹配與潛在空間的匹配的確是互補的。使用人工判定的不相關文檔訓練要比使用隨機采樣不相關文檔訓練的效果好56K-NRM (Kernel-based Neural Relevance Model) Xiong etc., SIGIR 2017背景與基本思想：現(xiàn)有的基于分布式表示 (distributed representations) 的文檔排序方法

27、還很少取得成功；查詢詞與文檔詞的精確匹配是一種強相關信號，然而軟匹配 (soft-match)也是一種不可忽視的弱相關信號；本文使用查詢詞與文檔詞的分布式表示相似度 (如詞向量余弦相似度) 來構建翻譯矩陣 (translation matrix) ，一種新的kernel-pooling技術用來提取多層次的軟匹配 (soft-match) 特征，這些軟匹配特征可以輸入learning-to-rank層獲取最終排序評分。57模型結構 Embedding Layer 將單詞映射為其分布式表示；查詢詞與文檔詞之間的相似度構成Translation Matrix；將K個核作用于每個查詢詞對應的Trans

28、lation Matrix的一行，得到每個查詢詞對應的K維軟匹配特征，求和得到最終的Ranking Features；一個Learning-to-rank層作用于最終的特征得到最終的排序評分。使用RBF 核函數(shù)將矩陣每一行轉(zhuǎn)化為一個對數(shù)評分Soft-TF取=0, 0.1, 0.2, , 1.011個點，對應不同強度的匹配信號實驗設置與baselines比較：LM，BM25，RankSVM，Coor-Ascent，Trans，DRMM，CDSSM3中不同的Test Labels：與Training Labels使用相同的模型 (Testing-Same)；與Training Labels 使用不

29、同的模型 (Testing-DIFF)；直接使用用戶點擊 (Testing-RAW)Sougo數(shù)據(jù)實驗結果實驗設置與baselines比較：LM，BM25，RankSVM，Coor-Ascent，Trans，DRMM，CDSSM3中不同的Test Labels：與Training Labels使用相同的模型 (Testing-Same)；與Training Labels 使用不同的模型 (Testing-DIFF)；直接使用用戶點擊 (Testing-RAW)實驗結果模型結構實驗設置與baselines比較：LM，BM25，RankSVM，Coor-Ascent，Trans，DRMM，CDSS

30、M3中不同的Test Labels：與Training Labels使用相同的模型 (Testing-Same)；與Training Labels 使用不同的模型 (Testing-DIFF)；直接使用用戶點擊 (Testing-RAW)實驗結果模型結構實驗設置與baselines比較：LM，BM25，RankSVM，Coor-Ascent，Trans，DRMM，CDSSM3中不同的Test Labels：與Training Labels使用相同的模型 (Testing-Same)；與Training Labels 使用不同的模型 (Testing-DIFF)；直接使用用戶點擊 (Testin

31、g-RAW)實驗結果K-NRM：結論 是一個End-to-end的NIR model，沒有使用IDF/TF等handcraft權重/特征使用3種不同的Test Labels設置，相比所有baselines，K-NRM均能取得顯著提高Testing-DIFF的結果表明了K-NRM模型的魯棒性；MRR以及NDCG1的結果表明K-NRM擅長靠前位置的文檔的排序軟匹配 (soft match) 是模型有效的最基本條件；基于kernel的詞向量能夠得到更好的軟匹配特征63PACRR (Position Aware Convolutional Recurrent Relevance Model) Hui

32、etc., EMNLP 2017背景與基本思想：現(xiàn)有基于DNN的檢索模型主要基于unigram單詞匹配，對于位置相關的匹配信息 (如term proximity和term dependencies) 的建模還沒有充分的研究 ；本文通過將具有不同大小 (k=2,lg) 卷積核的卷積層作用于查詢與文檔間的單詞-單詞相似度矩陣，來對k-gram匹配信息進行建模。64模型結構 首先，計算查詢與文檔之間的單詞-單詞相似度矩陣sim|q|x|d|，并通過裁剪或者補齊等方式得到固定大小的矩陣simlqxld；對于核大小為k x k (k=2,lg) 的卷積層，用nf個卷積核作用于矩陣simlqxld并對卷積

33、核維度進行max pooling，得到與simlqxld形狀相同的矩陣；之后，對文檔維度進行ns-max pooling，并將不同的k值對應的結果以及查詢詞的IDF信息以查詢詞為基準連接起來；最后將查詢詞向量送入RNN得到最終評分。 PACRR模型結構來源：Hui etc., EMNLP 2017作者后續(xù)研究表明使用前饋網(wǎng)絡結果更好PACRR 實驗設置與baselines比較：MatchPyramid，DRMM，DUETL，K-NRM相似度矩陣sim|q|x|d|調(diào)整方式對比：裁剪或補0 (PACRR-firstk)，選取與查詢具有較高相似度的文本段 (PACRR-kwindow)3組實驗：重排QL檢索結果 (RERANKSIMPLE)，重排6年所有的提交TREC runs (RERANKALL)，文檔對相關性預測 (PAIRACCURACY)實驗