貝葉斯分類代碼

1、Python運行下貝葉斯分類代碼最近在網站上謾罵的人比較多，想寫一個語義分類器，讓電腦自動屏蔽那些罵人的評論，怎么辦呢？這就用到了一個機器學習的算法貝葉斯文本分類器。這個算法很有用處，可以讓電腦識別人類語言，如果加上一點心理學的知識，可以讓電腦理解人類的文章并讓電腦判斷作者的個性特征，這就復雜了，現(xiàn)在我們先做一個簡單的示范。1. 首先是需要一個樣本集，用于訓練文本分類器：這里面用到了一個分詞算法【cs.perse】，其實是一個機械分詞算法，cs.py 文件的代碼粘貼在最下面。2. 下面的函數(shù)利用樣本創(chuàng)建一個詞表，也就是所有詞的集合3. 下面的函數(shù)將一個詞表轉換成詞向量4. 訓練樣本得到臟話/非

2、臟話的詞分布概率5. 利用貝葉斯條件概率，計算輸入的一句話到底是不是罵人的話，如果是罵人的話，就返回1，否則返回06. 最后測試一下【fuck you! mother fucker!】這句話，輸出結果為：1#以下是cs.py文件的代碼#coding:utf8import timeimport pandas as pdimport stringdef load_words(dic_file=./Freq/SogouLabDic.dic): t=time.time() word_dic= first_word_dic= for line in open(dic_file): line=unicod

3、e(line,utf8).split() word=line0 word_len=line1 sex=line2 if len(line)=3 else None first_word_dic.setdefault(word0,) first_word_dicword0.append(word) word_dicword=(word_len,sex) for first_word,words in first_word_dic.items(): word_dicfirst_word=sorted(words,key=lambda x:len(x),reverse=False) print lo

4、ad_words time:,time.time()-t return first_word_dic,word_dicfirst_word_dic,word_dic=load_words()model_dic= letters:string.ascii_letters, digits:string.digits, punctuation:string.punctuation, def match_ascii(i,sentence): result= for i in range(i,len(sentence): if not sentencei in string.ascii_letters:

5、break result +=sentencei return resultdef match_word(i,sentence,first_word_dic=first_word_dic): first_word=sentencei if not first_word_dic.has_key(first_word): if first_word in string.ascii_letters: return match_ascii(i,sentence) return words=first_word_dicfirst_word for word in words: if sentencei:

6、i+len(word)=word: return word return first_worddef perse(sentence): if sentence: words= i=0 while i len(sentence): matched_word=match_word(i,sentence) if not matched_word= :words.append(matched_word) i +=len(matched_word) return wordsif _name_=_main_: sentence=u我曾經跨過山和abd dfdf大海!互,聯(lián)網詞語搭配關系庫來自于對SOGOU搜索引擎所索引到的中文互聯(lián)網語料的統(tǒng)計分析，統(tǒng)計所進行的時間是2006年10