naivebayes樸素貝葉斯文本分類(lèi)

1、2021/3/101 naive貝葉斯文本分類(lèi) 2021/3/102 樸素貝葉斯具有容易實(shí)現(xiàn)，運(yùn)行速度 快的特點(diǎn)，被廣泛使用 2021/3/103 樸素貝葉斯算法簡(jiǎn)介 在分類(lèi)（classification）問(wèn)題中，常常需要把一個(gè)事物分 到某個(gè)類(lèi)別。一個(gè)事物具有很多屬性，把它的眾多屬性 看做一個(gè)向量，即x=(x1,x2,x3,xn)，用x這個(gè)向量來(lái)代表 這個(gè)事物。 有類(lèi)別集合 y=（y1,y2,y3,.yn） 分別計(jì)算 p(y1|x) p(y2|x) p(y3|x). p(yn|x), 如果p(yk|x) =max p(y1|x) p(y2|x) p(y3|x). p(yn|x) , x就屬于y

2、k類(lèi)。 2021/3/104 如何計(jì)算如何計(jì)算 p(y p(yk k|x)|x) 方法：運(yùn)用貝葉斯公式方法：運(yùn)用貝葉斯公式 p(y p(yk k|x)=p(x|y|x)=p(x|yK K) )* *p(yp(yk k)/p(x)/p(x) 在之前已介紹x=(x1,x2,x3,xn)，樸素貝葉斯假設(shè) x1,x2,x3,xn 是相互獨(dú)立的(樸素貝葉斯存在的樸素貝葉斯存在的bug) 則有 p( x | yk ) = p( x1,x2,x3,xn|yk ) = p( x1 | yk ) *p( x2 | yk ) . *p( xn | yk ) (1) (1)式中等式最右邊部分的各項(xiàng)是可以通過(guò)統(tǒng)計(jì)得到

3、的， p(yk)和p(x)也是已知的，這樣我們就可以算出p(yp(yk k|x)|x) 2021/3/105 現(xiàn)在開(kāi)始進(jìn)入本文的主旨部分：如何將貝葉斯分類(lèi)器應(yīng)現(xiàn)在開(kāi)始進(jìn)入本文的主旨部分：如何將貝葉斯分類(lèi)器應(yīng) 用到用到語(yǔ)義消歧語(yǔ)義消歧文本分類(lèi)上來(lái)。文本分類(lèi)上來(lái)。 1 在文本分類(lèi)中，假設(shè)我們有一個(gè)文檔在文本分類(lèi)中，假設(shè)我們有一個(gè)文檔d 和一個(gè)固定的和一個(gè)固定的 類(lèi)集合類(lèi)集合C=c1,c2,cj 2 我們把一堆打了標(biāo)簽的文檔集合我們把一堆打了標(biāo)簽的文檔集合作為訓(xùn)練樣本，作為訓(xùn)練樣本， 比如比如 就是說(shuō)文本就是說(shuō)文本 “hello world” 的類(lèi)型標(biāo)簽是的類(lèi)型標(biāo)簽是computer 3 通過(guò)訓(xùn)練樣

4、本來(lái)得到一個(gè)映射函數(shù)，可以把文本通過(guò)訓(xùn)練樣本來(lái)得到一個(gè)映射函數(shù)，可以把文本x映射映射 到類(lèi)型到類(lèi)型ck中中 2021/3/106 計(jì)算映射函數(shù)的多項(xiàng)式模型計(jì)算映射函數(shù)的多項(xiàng)式模型 設(shè)某文檔設(shè)某文檔d=(t1,t2,tk)，tk是該文檔中出現(xiàn)過(guò)的單詞是該文檔中出現(xiàn)過(guò)的單詞 ，允許重復(fù)允許重復(fù) 先驗(yàn)概率先驗(yàn)概率P(c)= 類(lèi)類(lèi)c下單詞總數(shù)下單詞總數(shù)/整個(gè)訓(xùn)練樣本的單詞總數(shù)整個(gè)訓(xùn)練樣本的單詞總數(shù) 類(lèi)條件概率類(lèi)條件概率P(tk|c)=(類(lèi)類(lèi)c下單詞下單詞tk在各個(gè)文檔中出現(xiàn)過(guò)的次數(shù)之在各個(gè)文檔中出現(xiàn)過(guò)的次數(shù)之和和+1)/ (類(lèi)類(lèi)c下單詞總數(shù)下單詞總數(shù)+|V|) V是訓(xùn)練樣本的單詞表（即抽取單詞，單詞出現(xiàn)多次，只算一個(gè)）是訓(xùn)練樣本的單詞表（即抽取單詞，單詞出現(xiàn)多次，只算一個(gè)） |V|則表示訓(xùn)練樣本包含多少種單詞。則表示訓(xùn)練樣本包含多少種單詞。 2021/3/107 演示文本分類(lèi) 本程序通過(guò)事先從文檔輸入訓(xùn)練集，產(chǎn)生一個(gè)條件概率 矩陣，來(lái)指導(dǎo)之后的文本分類(lèi)。在分類(lèi)結(jié)果完成后，用 戶(hù)可以選擇分類(lèi)是否正確，如果分類(lèi)正確，新輸入的結(jié) 果會(huì)作為新的訓(xùn)練加入訓(xùn)練集（昨晚才寫(xiě)完，可能有bug） 這體現(xiàn)了方法論中經(jīng)驗(yàn)主義的的特點(diǎn)，在不斷的分類(lèi)中 分類(lèi)器會(huì)不斷學(xué)習(xí)，成長(zhǎng)。 注：注：文檔資料素材和資料部分文檔資料素材和資料部分 來(lái)自網(wǎng)絡(luò)，如不慎侵