主題模型介紹

1、主題模型介紹第1頁，共13頁。主要內(nèi)容Dirichlet-Multinomial 共軛分布LSA、Unigram model 和PLSALDA模型Gibbs Sampling張永俊 信息學(xué)院 中國人民大學(xué)2第2頁，共13頁。Dirichlet-Multinomial 共軛分布Multinomial分布Dirichlet分布張永俊 信息學(xué)院 中國人民大學(xué)3第3頁，共13頁。Dirichlet-Multinomial 共軛分布貝葉斯法則共軛分布：后驗(yàn)概率分布和先驗(yàn)概率分布有相同的形式張永俊 信息學(xué)院 中國人民大學(xué)4第4頁，共13頁。隱性語義分析（LSA）VSM:不能解決一詞多義和一義多詞LAS：S

2、VD分解左奇異向量表示詞的一些特性，右奇異向量表示文檔的一些特性，中間的奇異值矩陣表示左奇異向量的一行與右奇異向量的一列的重要程序，數(shù)字越大越重要。缺乏嚴(yán)謹(jǐn)?shù)臄?shù)理統(tǒng)計(jì)基礎(chǔ)，而且SVD分解非常耗時(shí)張永俊 信息學(xué)院 中國人民大學(xué)5第5頁，共13頁。Unigram 模型每篇文檔都是由各個(gè)詞組成（文檔詞）所有的詞服從獨(dú)立的Multinomial分布Dirichlet先驗(yàn)下的Unigram model：張永俊 信息學(xué)院 中國人民大學(xué)6第6頁，共13頁。PLSA模型每個(gè)文檔的主題服從Multinomial 分布每個(gè)主題下的詞項(xiàng)上服從Multinomial 分布生成方式給定文檔d后，以一定的概率選擇d對(duì)應(yīng)的

3、主題z，然后以一定概率選擇z中的詞語w張永俊 信息學(xué)院 中國人民大學(xué)7第7頁，共13頁。PLSA模型P(z|d):給定文檔下主題的概率:M*K,文檔-主題矩陣P(w|z):給定主題下詞的出現(xiàn)概率:K*V，主題-詞矩陣張永俊 信息學(xué)院 中國人民大學(xué)8第8頁，共13頁。LDA在PLSA基礎(chǔ)上加入Dirichlet先驗(yàn)分布張永俊 信息學(xué)院 中國人民大學(xué)9第9頁，共13頁。張永俊 信息學(xué)院 中國人民大學(xué)10第10頁，共13頁。張永俊 信息學(xué)院 中國人民大學(xué)11w是觀測值已知，z是隱含變量，真正需要采樣的是第11頁，共13頁。Gibbs samplingMCMC步驟：1. choose dimension i (random or by permutation)2. sample xi from 3. Iteration.張永俊 信息學(xué)院 中國人民大學(xué)12