主題模型綜述

主題模型概述THOMASHOFMANNth@DepartmentofComputerScience,BrownUniversity,Providence,USAUnsupervisedLearningbyProbabilisticLatent

SemanticAnalysis1精品PPT·借鑒參考第一頁，共十五頁。PPT內容概述主題模型概述。UnsupervisedLearningbyProbabilisticLatent

SemanticAnalysis。精品PPT·借鑒參考。Latentsemanticanalysis(LSA)。Probabilisticlatentsemanticanalysis(PLSA)。LDA(LatentDirichletAnalysis)。思想：找低階的矩陣對terms-doc矩陣進行分解，得到doc的潛在語義。迭代法、并行方法、求NN’的特征值法。P(zk|di)：表示在di這篇文章中選擇主題zk的概率。(1)E步驟：求隱含變量Given當前估計的參數(shù)條件下的后驗概率。(2)M步驟：最大化Completedata對數(shù)似然函數(shù)的期望，此時我們使用E步驟里計算的隱含變量的后驗概率，得到新的參數(shù)值第二頁，共十五頁。ContentLatentsemanticanalysis(LSA)SVDProbabilisticlatentsemanticanalysis(PLSA)ExpectMaximum(EM)LDA(LatentDirichletAnalysis)各種變種及應用（擴展部分）3精品PPT·借鑒參考第三頁，共十五頁。LSA主要用于文本分析思想：找低階的矩陣對terms-doc矩陣進行分解，得到doc的潛在語義可以處理多義詞和同義詞的問題求解方式：SVD（奇異值分解）4精品PPT·借鑒參考第四頁，共十五頁。SVD奇異值分解詞項文檔矩陣做SVD分解求解方法：迭代法、并行方法、求NN’的特征值法5精品PPT·借鑒參考第五頁，共十五頁。PLSAGeneratemodel其中：P(di)：表示生成這篇文章的先驗概率P(zk|di)：表示在di這篇文章中選擇主題zk的概率P(wj|zk)：表示在Zk主題下選擇單詞wj的概率6精品PPT·借鑒參考第六頁，共十五頁。7精品PPT·借鑒參考第七頁，共十五頁。最大似然函數(shù)8精品PPT·借鑒參考第八頁，共十五頁。EM（期望最大化算法）EM算法的步驟是：(1)E步驟：求隱含變量Given當前估計的參數(shù)條件下的后驗概率。(2)M步驟：最大化Completedata對數(shù)似然函數(shù)的期望，此時我們使用E步驟里計算的隱含變量的后驗概率，得到新的參數(shù)值。兩步迭代進行直到收斂。9精品PPT·借鑒參考第九頁，共十五頁。解決方法（MLE)10精品PPT·借鑒參考第十頁，共十五頁。拉格朗日乘子法11精品PPT·借鑒參考第十一頁，共十五頁。求解方程組得到12精品PPT·借鑒參考第十二頁，共十五頁。LDA13精品PPT·借鑒參考第十三頁，共十五頁。14精品PPT·借鑒參考第十四頁，共十五頁。涉及到的數(shù)學知識概率

條件概率、貝葉斯、Gamma\Beta\Dir