naivebayes樸素貝葉斯文本分類

1、2021/4/81 naive貝葉斯文本分類2021/4/82樸素貝葉斯具有容易實現(xiàn)，運行速度快的特點，被廣泛使用2021/4/83樸素貝葉斯算法簡介 在分類（classification）問題中，常常需要把一個事物分到某個類別。一個事物具有很多屬性，把它的眾多屬性看做一個向量，即x=(x1,x2,x3,xn)，用x這個向量來代表這個事物。 有類別集合 y=（y1,y2,y3,.yn） 分別計算 p(y1|x) p(y2|x) p(y3|x). p(yn|x), 如果p(yk|x) =max p(y1|x) p(y2|x) p(y3|x). p(yn|x) , x就屬于yk類。2021/4/8

2、4 如何計算如何計算 p(y p(yk k|x)|x) 方法：運用貝葉斯公式方法：運用貝葉斯公式 p(y p(yk k|x)=p(x|y|x)=p(x|yK K) )* *p(yp(yk k)/p(x)/p(x) 在之前已介紹x=(x1,x2,x3,xn)，樸素貝葉斯假設(shè)x1,x2,x3,xn 是相互獨立的(樸素貝葉斯存在的樸素貝葉斯存在的bug)則有 p( x | yk ) = p( x1,x2,x3,xn|yk ) = p( x1 | yk ) *p( x2 | yk ). *p( xn | yk ) (1)(1)式中等式最右邊部分的各項是可以通過統(tǒng)計得到的，p(yk)和p(x)也是已知的

3、，這樣我們就可以算出p(yp(yk k|x)|x)2021/4/85 現(xiàn)在開始進入本文的主旨部分：如何將貝葉斯分類器應(yīng)現(xiàn)在開始進入本文的主旨部分：如何將貝葉斯分類器應(yīng)用到用到語義消歧語義消歧文本分類上來。文本分類上來。 1 在文本分類中，假設(shè)我們有一個文檔在文本分類中，假設(shè)我們有一個文檔d 和一個固定的和一個固定的 類集合類集合C=c1,c2,cj 2 我們把一堆打了標簽的文檔集合我們把一堆打了標簽的文檔集合作為訓練樣本，作為訓練樣本，比如比如 就是說文本就是說文本 “hello world” 的類型標簽是的類型標簽是computer 3 通過訓練樣本來得到一個映射函數(shù)，可以把文本通過訓練樣本

4、來得到一個映射函數(shù)，可以把文本x映射映射到類型到類型ck中中 2021/4/86 計算映射函數(shù)的多項式模型計算映射函數(shù)的多項式模型設(shè)某文檔設(shè)某文檔d=(t1,t2,tk)，tk是該文檔中出現(xiàn)過的單詞是該文檔中出現(xiàn)過的單詞 ，允許重復(fù)允許重復(fù)先驗概率先驗概率P(c)= 類類c下單詞總數(shù)下單詞總數(shù)/整個訓練樣本的單詞總數(shù)整個訓練樣本的單詞總數(shù)類條件概率類條件概率P(tk|c)=(類類c下單詞下單詞tk在各個文檔中出現(xiàn)過的次數(shù)之在各個文檔中出現(xiàn)過的次數(shù)之和和+1)/(類類c下單詞總數(shù)下單詞總數(shù)+|V|)V是訓練樣本的單詞表（即抽取單詞，單詞出現(xiàn)多次，只算一個）是訓練樣本的單詞表（即抽取單詞，單詞出現(xiàn)多次，只算一個）|V|則表示訓練樣本包含多少種單詞。則表示訓練樣本包含多少種單詞。2021/4/87 演示文本分類 本程序通過事先從文檔輸入訓練集，產(chǎn)生一個條件概率矩陣，來指導之后的文本分類。在分類結(jié)果完成后，用戶可以選擇分類是否正確，如果分類正確，新輸入的結(jié)果會作為新的訓練加入訓練集（昨晚才寫完，可能有bug） 這體現(xiàn)了方法論中經(jīng)驗主義的的特點，在不斷的分類中 分類器會不斷學習，成長。2021/4/88注：注：文檔資料素材和資料部分文檔資料素材和資料部分來自網(wǎng)絡(luò)，如不