機器學(xué)習(xí)試驗報告-樸素貝葉斯學(xué)習(xí)和分類文本

機器學(xué)習(xí)實驗報告樸素貝葉斯學(xué)習(xí)和分類文本（2015年度秋季學(xué)期）、實驗內(nèi)容問題：通過樸素貝葉斯學(xué)習(xí)和分類文本目標(biāo)：可以通過訓(xùn)練好的貝葉斯分類器對文本正確分類二、實驗設(shè)計實驗原理與設(shè)計：在分類(classification)問題中，常常需要把一個事物分到某個類別。一個事物具有很多屬性，把它的眾多屬性看做一個向量，即x=(x1,x2,x3，…,xn),用x這個向量來代表這個事物。類別也是有很多種，用集合Y=y1,y2,...ym表示。如果x屬于y1類別，就可以給x打上y1標(biāo)簽，意思是說x屬于y1類別。這就是所謂的分類(Classification)。x的集合記為X，稱為屬性集。一般X和丫的關(guān)系是不確定的，你只能在某種程度上說x有多大可能性屬于類y1,比如說x有80%的可能性屬于類y1,這時可以把X和Y看做是隨機變量，P(Y|X)稱為Y的后驗概率(posteriorprobability)，與之相對的，P(Y)稱為Y的先驗概率(priorprobability)1。在訓(xùn)練階段，我們要根據(jù)從訓(xùn)練數(shù)據(jù)中收集的信息，對X和Y的每一種組合學(xué)習(xí)后驗概率P(Y|X)。分類時，來了一個實例x，在剛才訓(xùn)練得到的一堆后驗概率中找出所有的P(Y|x)，其中最大的那個y，即為x所屬分類。根據(jù)貝葉斯公式，后驗概率為P(Y\X)=在比較不同Y值的后驗概率時，分母P(X)總是常數(shù)，因此可以忽略。先驗概率P(Y)可以通過計算訓(xùn)練集中屬于每一個類的訓(xùn)練樣本所占的比例容易地估計。在文本分類中，假設(shè)我們有一個文檔dEX，X是文檔向量空間(d。cumentspace)，和一個固定的類集合C={c1,c2，…,cj}，類別又稱為標(biāo)簽。顯然，文檔向量空間是一個高維度空間。我們把一堆打了標(biāo)簽的文檔集合＜d,c＞作為訓(xùn)練樣本，＜d,c＞EXxC。例如：＜d,c＞={BeijingjoinstheWorldTradeOrganization,China}對于這個只有一句話的文檔，我們把它歸類到China，即打上china標(biāo)簽。我們期望用某種訓(xùn)練算法，訓(xùn)練出一個函數(shù)Y，能夠?qū)⑽臋n映射到某一個類別：Y：X玲C這種類型的學(xué)習(xí)方法叫做有監(jiān)督學(xué)習(xí)，因為事先有一個監(jiān)督者(我們事先給出了一堆打好標(biāo)簽的文檔)像個老師一樣監(jiān)督著整個學(xué)習(xí)過程。樸素貝葉斯分類器是一種有監(jiān)督學(xué)習(xí)。實驗主要代碼：1、由于中文本身是沒有自然分割符(如空格之類符號)，所以要獲得中文文本的特征變量向量首先需要對文本進行中文分詞。這里采用極易中文分詞組件

pLblicclassChineseSpliter(/**k培啟的立手K行三■可paramtejct培定的玨splitToken用于出"『‘^return疔河兆辛的文本publicstaticStringsplitfStringtejctjStringsplitTokerStringresult=null;MMAnalyzeranalyzer=n，MMAnal,yzer();tryresult=analyzer.segment(texrtsplitToken);catch(lOExceptione)e.printStackTracef);returnresultj先驗概率計算，N表示訓(xùn)練文本集總數(shù)量。zzlaaarrz.DrFrcbatilitir工二:對己二已a-dtizTraininj^ataKanag's^加=neT.<7rairLingDataKaziage"();/***先驗概率。?頻am;給定的分類*Oretum給定條件下的先喊概率*/p.;bli2a:白；二二：二二百t匚@Ljulet之FtfEt二:ng匚!zL?atrez=OF;士二catITc=T±n,getT]?aiziingFileCcLin-^z^la35i^icdtiQQ{ci;zlsatIT=3im.gstlrainingFileCcunt();re7-HefIT;returnre-;條件概率計算，為在條件A下發(fā)生的條件事件B發(fā)生的條件概率。x給定的文本屬性，c給定的分類

(3LibLi2 Z1O33ca二uu二atzcPKC《Ettin」KrStrinjcj?—四?I二1二日:ITzc=t±n.geTCGU^L^Q[irainEfeyC'=2；l^fsiJiQatiGcifc,總)；zloatlie=tin.getZEainingFile^QuntDf?lassizic.atiDrLfc^;zloatV=tim.jetTraningClasaiziLations().length;涂=小乂匕-1)/<Mc-M-%；〃為了避免出現(xiàn)二這樣極端情況，進行加權(quán)處理returnret;對給定的文本進行分類publicstringclasaiiyI'SzringzextJ:―一tenn3=ChineseSdIi.ter.spLlt(text,"").splLtf，：一中文分詞處理[分詞后結(jié)果可能還包含有僖用詞〕口-iKCpEt匚網(wǎng)口工d3<比53，；“占掉信用同，I乂免鼻口向幺，類S7rinj["Classes=tim,gm;二rmriing二1己msi.：ication3();?'/1畀考flc-atprehility=0..OF-LL3L<Cld331T^-Re3UlL>CI'S=HSWAC&L131X匚1日BNlRReSUlI；〉()；//分類結(jié)果fDr(inti=0;i<0133323.,length;i++)StringCi-Cluh-n[1];“第i個分類”■比■二二=ca上PeB｛二Ems,匚斗；；計算哈定的史本屬性向里止53在給定的分類二中的今英條件概率“限存方類結(jié)果ClassizyEeaultcr=newClassizyResult();cr.elassiricaLion=二；"一類cr.prQtiLity=prc±i二卬;"矢健字在分類的條件概率System..out,print.1n("Inprocess--Pn)jSy13tem“out.p工izit;二n(匚it":"十probility);crs.add(cr);三、測試數(shù)據(jù)訓(xùn)練集文本：數(shù)據(jù)樣例選用Sogou實驗室的文本分類數(shù)據(jù)的mini版本

2O16/V32018文件夾2016/1/320:18文件夾2O16/V32018文性夾2O1&/1/320:18文件夾2O1&/1/320:18文件夾2016/1/330：1S文件夾2O16/V32018文件夾2015/1/320:18文件夾2016/1/320:18文件夾2016/1/320:18文件夾2006/10/2611:27文杰文檔.C000007.cooooos.C000007.cooooos.COOOO1O.COOOO130000014C00D016.C000020COOOO22.COO0O23C00D024C000007汽車C000008財經(jīng)C000010ITC000013健度C000014他肓C000016旅游C000020教直C000022招聘C000023文化C000024軍事測試數(shù)據(jù)文本：微較W司提出K相e憶美的價咯收期是虐口國區(qū)二月二日布指蓑森社消息，微軟幺同堤出占.三七1?蓑元現(xiàn)會加股票的價咯收見理索網(wǎng)站弗良公司，徽較壺巴以每段5姜元的仆格收皮推克，徵依的收期出f較程點二月匚日才收鉆價:9,1=美元溢價腔名，微依苗司和起虎公司的段宗可以選提以觀食至眼里進行交易，微較本雅虎苗司在方完年箕制因「H列已在M至雙方3作■:而近兩H，邪反一f處于困境：書/色題下碧、運營業(yè)既不隹、到f五幅下跋■:可于刁圜在豆璘網(wǎng)市哥麗作為的蹴來說，姬也版舞是一條解：因為歷具導(dǎo)莒胃的互辛喏…標(biāo)通過觀察可知，該文本預(yù)期為IT類文章三、實驗結(jié)果運行結(jié)果如下圖Inprocess....C0^097：4.&S54457E-7Inprocess....C^000S=B.73B709BE-9Inprocess....C^e010：3.9367328E-4Inprocess....C^W@13：4.&4&3947E-11Inproce5s....C^^014：1.395S&7BE-2.?Inprocess....C&W016：L,4360195E-1.5Inprocess....。眄眄工以6.3035146E-1.&Inprocess....C&0O022：5,2257925E-1.6Inprocess....9.&S93B7E-22Inp