論文-基于情感詞典的微博評論情感分析

基于情感詞典的微博評論情感分析學(xué)號：天津財經(jīng)大學(xué)[摘要]近年來微博的出現(xiàn)，極大豐富了人們的生活。其簡短寫作，便捷發(fā)布，實時交互的特點深受大眾歡迎。越來越多的用戶樂于在微博平臺上分享信息，交流觀點和情感。通過對這些信息展開情感分析，可以實現(xiàn)微博輿情監(jiān)控等。情感分析主要是判別微博文本的情感傾向性，即屬于正面、負(fù)面、中性。根據(jù)中文微博的自身特點，在傳統(tǒng)文本情感分析的已有基礎(chǔ)上，展開對微博的情感傾向分析。首先，對微博進行爬蟲搜集微博評論數(shù)據(jù)，然后對爬蟲得到的評論進行中文分詞。最后對分詞得到的文檔對照情感詞典進行情感定位以及情感聚合，結(jié)果得到對整條微博消息作加權(quán)計算獲得其情感傾向性，實現(xiàn)了一個面向中文微博的情感傾向分類系統(tǒng)。[關(guān)鍵詞]微博爬蟲中文分詞情感詞典情感傾向目錄摘要.....................................................I緒論研究背景..........................................(1)研究意義..........................................(1)國內(nèi)外發(fā)展現(xiàn)狀....................................(2)論文的分工........................................(2)具體內(nèi)容............................................(3)三、情感聚合（一）微博的獨特性......................................(4)（二）算法分析..........................................(5)四、實驗代碼............................................(6)五、總結(jié)與展望（一）全文總結(jié).........................................(10)（二）進一步的研究方向..................................(10)六、遇到的問題（一）我們項目進行時出現(xiàn)的問題..........................(10)（二）老師對我們提出的問題..............................(11)（三）其他小組向我們小組提出的問題......................(11)（四）我們向其他小組提出的問題..........................(12)一、緒論（一）項目背景英國Corpora軟件公司開發(fā)了一套名叫“感情色彩(Sentiment)”的軟件，它能判斷報紙刊登的文章對一個政黨的政策是持肯定態(tài)度還是否定態(tài)度、或者網(wǎng)上評論文章是稱贊還是貶低一種產(chǎn)品，以幫助政府和一些大公司全面了解公眾輿論對他們的看法。長期以來，要了解關(guān)于某個問題的報道是正面的還是反面的，是消極的還是中立的，往往需要求助于調(diào)查公司。這些公司的員工仔細(xì)閱讀有關(guān)某個機構(gòu)、個人、事件或問題的所有文字，然后就這些評論的態(tài)度做出反饋。這不僅耗費大量人力和財力，而且過程相當(dāng)緩慢。同時近年來，伴隨著Web與4G技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)以其豐富的內(nèi)容，快捷的方式，呈現(xiàn)給我們一個前所未有的嶄新世界。無數(shù)用戶以及一大批基于互聯(lián)網(wǎng)的社交網(wǎng)絡(luò)平臺步入了高速發(fā)展期。與此同時，論壇、博客、微博等得到了更為廣闊的發(fā)展空間，這些都給人們的生活和社會運行方式帶來了深深的影響。從國外的Twitter、Plurk，到中國的飯否、新浪微博等，短時間里以驚人的速度發(fā)展并擁有了大量用戶。在國內(nèi)，短短幾年時間里，微博從互聯(lián)網(wǎng)的新秀躍升為互聯(lián)網(wǎng)的基礎(chǔ)應(yīng)用之一，以微變革的力量，打開了一個大時代之門。（二）研究意義當(dāng)今世界，信息量巨大，并呈指數(shù)級增長，從現(xiàn)有表達方式了解信息，是一件困難的事情。從巨大的信息量中找到人們關(guān)心的信息或者隱含的結(jié)論，在現(xiàn)階段尚是個難題。龐大的微博信息流攬括了眾多話題，也許這些信息看似瑣碎，而且非常不規(guī)則，可事實上蘊藏著巨大的潛在價值。微博平臺上的各種互動，往往與用戶的心理有關(guān)，用戶一旦在微博中發(fā)言，便有了立場和傾向，這就可以對其做情感分析。通過情感分析的結(jié)果：名人可做自身形象維護；企業(yè)可做微博營銷、客戶關(guān)系管理以及品牌宣傳；商家可通過用戶產(chǎn)品體驗后的評價做產(chǎn)品改進，從而提高市場占有率；政府機構(gòu)可掌握突發(fā)事件后的社會群體心理，進行輿情監(jiān)控；除此之外，還可對特定的高壓力人群做情感分析，從而給他們提供有針對性的心理疏導(dǎo)等等。因此，如何從微博消息中獲取用戶的情感傾向，并服務(wù)于生活是一個很有價值的工作。面對海量的微博數(shù)據(jù)，僅僅依靠人工瀏覽來獲取用戶情感將是一件十分繁瑣與困難的事情。遺憾的是，目前極少有針對中文微博做情感傾向方面的相關(guān)研究?；诖耍疚膶θ绾潍@取微博消息中的情感傾向進行分析，選取當(dāng)前發(fā)展最為迅速的新浪微博，實現(xiàn)一個面向中文微博的情感傾向分類系統(tǒng)。（三）國內(nèi)外發(fā)展現(xiàn)狀通過目前收集到的國內(nèi)外刊物及會議論文來看，關(guān)于文本情感分析方法的文獻大致分為兩類：使用情感詞典及與其關(guān)聯(lián)信息分析文本情感以及使用機器學(xué)習(xí)方法分析文本情感，在此我們只研究使用情感詞典及與其關(guān)聯(lián)信息分析文本情感。近年來，提出一種基于語義理解的文本情感分類方法，通過在情感詞識別中引入情感義原，賦予概念情感語義，對概念的情感相似度重新定義，得到詞語情感語義值。趙妍妍等提出了一種基于句法路徑的情感評價單元自動識別方法,該方法自動獲取句法路徑來描述評價對象及其評價詞語之間的修飾關(guān)系，并通過計算句法路徑編輯距離來改進情感評價單元抽取的系統(tǒng)性能，在對電子產(chǎn)品領(lǐng)域的應(yīng)用，取得了較好的實驗效果。總體來看，使用情感詞典及與其關(guān)聯(lián)信息來分析文本情感，其優(yōu)點是應(yīng)用在詞語特征級，句子級，粒度細(xì)，分析精準(zhǔn)。但受到自然語言處理技術(shù)及相關(guān)抽取技術(shù)的限制，該方法容易丟失數(shù)據(jù)集中隱藏著的重要模式，使得未來研究工作中還有很大的提高空間。（四）論文的分工微博情感分析關(guān)鍵是如何判別微博消息的情感傾向性，首要是從微博上爬蟲爬取微博評論數(shù)據(jù)，其次是對評論進行分詞，接著進行情感定位，最后進行情感聚合加權(quán)計算，由權(quán)重結(jié)果判別出微博消息的情感極性。張倩.....爬蟲爬取微博評論劉思禹.....中文分詞以及去除停用詞李雪.....情感詞定位李一凡.....情感聚合二、具體內(nèi)容網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則，自動的抓取萬維網(wǎng)信息的程序或者腳本。網(wǎng)絡(luò)爬蟲是一個自動提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。情感傾向可認(rèn)為是主體對某一客體主觀存在的內(nèi)心喜惡，內(nèi)在評價的一種傾向。它由兩個方面來衡量：一個情感傾向方向，一個是情感傾向度。情感傾向方向也稱為情感極性。在微博中，可以理解為用戶對某客體表達自身觀點所持的態(tài)度是支持、反對、中立，即通常所指的正面情感、負(fù)面情感、中性情感。例如“贊美”與“表揚”同為褒義詞，表達正面情感，而“齷齪”與“丑陋”就是貶義詞，表達負(fù)面情感。情感傾向度是指主體對客體表達正面情感或負(fù)面情感時的強弱程度，不同的情感程度往往是通過不同的情感詞或情感語氣等來體現(xiàn)。例如：“敬愛”與“親愛”都是表達正面情感，同為褒義詞。但是“敬愛”遠(yuǎn)比“親愛”在表達情感程度上要強烈。通常在情感傾向分析研究中，為了區(qū)分兩者的程度差別，采取給每個情感詞賦予不同的權(quán)值來體現(xiàn)。文本情感分析的分析粒度可以是詞語、句子也可以是段落或篇章。段落篇章級情感分析主要是針對某個主題或事件進行傾向性判斷，一般需要構(gòu)建對應(yīng)事件的情感詞典，如電影評論的分析，需要構(gòu)建電影行業(yè)自己的情感詞典效果會比通用情感詞典效果更好；也可以通過人工標(biāo)注大量電影評論來構(gòu)建分類器。句子級的情感分析大多事通過計算句子里包含的所有情感詞的平均值來得到。篇章級的情感分析，也可以通過聚合篇章中所有的句子的情感傾向來計算得出。因此，針對句子級的情感傾向分析，既能解決較短文本的情感分析，同時也可以是篇章級文本情感分析的基礎(chǔ)。本文正是根據(jù)這一思路，設(shè)計的情感分析算法。情感聚合（一）微博的獨特性微博作為一種新興媒體，有它獨特的文本結(jié)構(gòu)形式。話題型微博指的是圍繞某一話題即標(biāo)簽闡發(fā)意見、進行討論的微博形式，因此在觀點句的使用、表達觀點使用的語言手段以及評價對象的隱現(xiàn)上也有與眾不同的特點。我覺得“究竟140個字能表達多少情感”這個問題非常值得討論?？赡茉诖蠖鄶?shù)情況下，對于一個事件的討論僅僅簡單的敘述就要超過140了，更別提表達一種深刻的意見。用戶對于事件的評論更多的是一種調(diào)侃而并非真正的評論，這就導(dǎo)致了兩方面的問題：第一，在無法全面表達出用戶對問題的態(tài)度的前提下，用戶發(fā)表的評論微博能不能反映用戶的真實情感態(tài)度；第二，由于用戶情感表達不全面，可能用戶發(fā)表的情感微博反而成為了用戶潛意識的第一情感，而在這個階段可能還需要對用戶進行心理學(xué)、行為學(xué)上的分析，這也就超出了“微博情感分析”的范圍了。所以，如果要想真正的挖掘出用戶情感的傾向，用戶的心理、性格和習(xí)慣應(yīng)該有很大的影響比例。（1）句子簡短，單句多微博有字?jǐn)?shù)限制，因而往往短小。話題型微博又因為有一個明確的話題，人們是圍繞這個話題發(fā)表意見，寫微博，只要表達了心情、態(tài)度，三言兩語也可，只字片語也行，所以與一般文體相比，話題型微博中句子相對簡短，單句居多。（2）觀點負(fù)面傾向多話題型微博的形成是基于一定的社會話題和社會事件，而當(dāng)今社會引起關(guān)注的話題負(fù)面性較多，這就使得話題型微博在表達觀點時，以否定傾向居多。（3）表達情感強烈而理性評價淡化由于傳播空間的相對自由和匿名評論的相對隱秘，因而網(wǎng)友在表達觀點時會采用一些比較極端和激烈的形式，又因微博字?jǐn)?shù)的限制，無法以邏輯鮮明的論述方式進行理性表達，所以在話題型微博中，觀點句的表達往往感情色彩強烈，而理性評價淡化，臟話、粗話等表現(xiàn)力強的不雅語匯大量出現(xiàn)，這也成為話題型微博觀點句在表達情感和態(tài)度時一種較廣泛的表達方式。（4）口語色彩濃重，情感因子顆粒度加大微博雖然用的是書面形式，但交際的實時性、互動性，使得它具有濃重的口語色彩，人們往往會使用一些口語化詞語把自己內(nèi)心的真實感受直接表達出來，體現(xiàn)句子觀點的情感因子顆粒度加大，往往不再是詞，而是短語。（5）隱晦表達觀點在話題型微博中，除了用一些很“給力”的詞語明確表達觀點外，人們還會采用一種隱晦的、非直接的方式，以言外之意表達觀點。（6）評價對象省略由于話題型微博的話題標(biāo)簽與文本存在著密切的關(guān)聯(lián)，網(wǎng)友在發(fā)布微博時，往往可以直接對整個話題或話題的某一部分進行評價和表達態(tài)度，因而標(biāo)簽或者標(biāo)簽的一部分甚至標(biāo)簽外事物也就成為了評價對象。所以，話題型微博的評價對象常在文本中省略，觀點句更加短小精悍，甚至短小到一個短語、一個詞，也可以被人理解，不會造成傳播上的歧義。（7）語言不夠規(guī)范微博中含有大量非規(guī)范性的語言文字，也是話題型微博語言的一個特點。這種非規(guī)范性可能有幾個方面的原因：一方面，是非人為的原因造成的輸入失誤或常識上的漢字書寫錯誤；另一方面，微博表達自由，加之敏感話題在法律上的限制，會人為地加入一些噪聲、非規(guī)范詞、非規(guī)范符號和非規(guī)范語言格式。（二）算法分析本文在前面說過，篇章級情感傾向通過聚合篇章中所有的句子的情感傾向來計算得出。句子級由句子中所含情感詞來計算。通過前兩步的操作，我們完成了句子意群的劃分，同時也提出了每個意群里的情感詞、否定詞和程度副詞。有了這些，下面我們先求出意群的情感值：情感群—情感值=否定詞-1*程度詞權(quán)重*情感詞權(quán)重我們在實際應(yīng)用中又發(fā)現(xiàn)，當(dāng)一個句子中同時出現(xiàn)否定詞和程度詞時，由于否定詞和程度詞相對位置的不同，會引起情感的不同，比如：“我很不高興”——分詞之后：我很不高興“我不很高興”——分詞之后：我不很高興可以看出，第一句話表達的是一種很強烈的負(fù)面情感，而第二句話則表達的是一種較弱的正面情感。因此，如果否定詞在程度詞之前，起到的是減弱的作用；如果否定詞在程度詞之后，則起到的是逆向情感的作用。所以我們對上述算法做了一下調(diào)整：W=1If位置（否定詞）>位置（程度詞）：W=-1意群情感值=W*程度詞權(quán)重*情感詞權(quán)重If位置（否定詞）<位置（程度詞）：W=0.5意群情感值=W*程度詞權(quán)重*情感詞權(quán)重如果意群里出現(xiàn)多個否定詞，則處理辦法為：ForninnotWord：W=-1*W句子是由意群組成，故句子的情感我們可以簡單記做：句子情感值=sum（意群情感值1，意群情感值2……）段落是由不同的句子組成，但是考慮到段落的長短變化很大，故放棄用求和的方式來計算情感值，改為求平均值：段落情感值=average（句子1情感值，句子2情感值……）文檔是由不同的段落組成，同理，不同文檔有不同的段落，故我們同樣求平均值：文檔情感值=average（段落1情感值，段落2情感值……）以上是情感值的計算，至于情感傾向，首先可以通過情感值的符號來判斷情感傾向是正向還是負(fù)向，若情感傾向不止正、負(fù)、中立這三種情況，還有更細(xì)的劃分，則可以根據(jù)情感正負(fù)的情況，把對應(yīng)的情感傾向進行匯總來表述。四、實驗代碼具體代碼如下： publicdoublecomputeSen(Stringdoc,Stringvalue,StringsenPath){ Stringregx1="<(.+?)>"; Patternp=Ppile(regx1);Matcherm1=p.matcher(doc);Matcherm2=p.matcher(value);//建立了m1和m2兩個列分別存儲詞語和價值A(chǔ)rrayList<String>doclist=newArrayList<>();ArrayList<String>valuelist=newArrayList<>();while(m2.find()){ valuelist.add(m2.group(1)); } while(m1.find()){ doclist.add(m1.group(1)); } Iterator<String>dociter=doclist.iterator(); Iterator<String>valueiter=valuelist.iterator(); while(dociter.hasNext()){ Stringjuzi=null; System.out.print(juzi=dociter.next()); String[]cpvalue=valueiter.next().split(","); for(inti=0;i<cpvalue.length;i++){ System.out.print(""+cpvalue[i]+""); } //每個句子被標(biāo)記了NA、DA和PW，根據(jù)標(biāo)記的NADAPW即積極消極 和強烈的屬性用來計算每個句子的極性。 if(juzi.equals("PW")){tolSens=Float.parseFloat(cpvalue[0]);} if(juzi.equals("NAPW")){ tolSens=Float.parseFloat(cpvalue[0])*Float.parseFloat(cpvalue[1]); } if(juzi.equals("NANAPW")){ tolSens=Float.parseFloat(cpvalue[2]); } if(juzi.equals("DAPW")){ if(Float.parseFloat(cpvalue[1])>0){ tolSens=Float.parseFloat(cpvalue[1])+(1-Float.parseFloat(cpvalue[1]))*Float.parseFloat(cpvalue[0]); }else{ tolSens=Float.parseFloat(cpvalue[1])+(-1-Float.parseFloat(cpvalue[1]))*Float.parseFloat(cpvalue[0]); } } if(juzi.equals("DADAPW")){ tolSens=Float.parseFloat(cpvalue[2])+ (1-Float.parseFloat(cpvalue[2]))*Float.parseFloat(cpvalue[0])+ (1-Float.parseFloat(cpvalue[2])-(1-Float.parseFloat(cpvalue[2]))*Float.parseFloat(cpvalue[0]))*Float.parseFloat(cpvalue[1]); } if(juzi.equals("NADAPW")){ tolSens=Float.parseFloat(cpvalue[2])+(1-Float.parseFloat(cpvalue[0]))*(Float.parseFloat(cpvalue[1])-2); } if(juzi.equals("DANAPW")){ tolSens=Float.parseFloat(cpvalue[2])*Float.parseFloat(cpvalue[1])+ (-1-Float.parseFloat(cpvalue[2]))*Float.parseFloat(cpvalue[1])*Float.parseFloat(cpvalue[1]); } System.out.print("("+tolSens+")"); //把總的短語極性相加，得到一個句子總的強度 docSens=tolSens+docSens; } sensTxt=newStringBuffer();//判斷句子的強度，得到句子的情感傾向并輸出 if(docSens>0){ sensTxt.append("pos"+"\r\n"); System.out.println("總情感極值是："+docSens+"判斷為：pos"); }elseif(docSens<0){ sensTxt.append("neg"+"\r\n"); System.out.println("總情感極值是："+docSens+"判斷為：neg"); }else{ sensTxt.append("neutral"+"\r\n"); System.out.println("總情感極值是："+docSens+"判斷為：neutral"); } saveSens(senPath,sensTxt.toString()); tolSens=0; docSens=0; returntolSens; } 由于自身局限性，考慮到句子之間的差異以及不同段落對文檔的重要性，但是算法并沒有完全實現(xiàn)。五、總結(jié)與展望（一）全文總結(jié)還有很多值得改進的地方，比如句子是由詞語根據(jù)一定的語言規(guī)則構(gòu)成的，應(yīng)該把句子中詞語的依存關(guān)系納入到句子情感的計算過程中去，可根據(jù)句子依存關(guān)系，從句子的根節(jié)點開始對每個詞進行情感傾向計算，根據(jù)句子依存關(guān)系求出句子的情感傾向和情感值。評論的情感，也應(yīng)該根據(jù)句子的不同重要程度來計算，根據(jù)句子對評論的重要程度賦予不同權(quán)重，調(diào)整其對評論情感的貢獻程度。確定句子的重要程度，可以根據(jù)句子在評論中的位置，根據(jù)句子中所含信息量的大小，句子中所含關(guān)鍵詞的多少等等。（二）進一步的研究方向由于微博評論情感的分散和不集中，我們今后工作的重點是針對于微博評論自身的獨特性，改良代碼，使其適應(yīng)微博評論的結(jié)構(gòu)，提高準(zhǔn)確性。六、遇到的問題（一）我們項目進行時出現(xiàn)的問題實現(xiàn)工具的選擇，開始我們選擇了C++作為實現(xiàn)平臺，但是在實際操作過程中遇到很多解決不了的問題，我們后來又選擇了不太熟悉，但是網(wǎng)絡(luò)上教學(xué)資源相對豐富的java作為實現(xiàn)平臺，最終順利實現(xiàn)了一些功能。文件流寫出的分詞文件亂碼的問題。解決方法：分詞后的文件出現(xiàn)亂碼主要是因為原文件與分詞保存的文件格式不一樣導(dǎo)致的問題。例如我們原來在微博上爬取得評論是以ANSI格式保存的，但是分詞文件的存放格式是UTF-8格式。解決方法非常簡單，只要將他們兩的文件的保存格式改為一樣的就不會出現(xiàn)此問題了。3、評論文件太大導(dǎo)致報錯。解決方法：打開eclipse存放的文件夾，用記事本打開eclipse.ini文件，將openFile--launcher.XXMaxPermSize下的打開文件大小改成大于你的測試用的txt文件的大小。（二）老師對我們提出的問題關(guān)于系統(tǒng)準(zhǔn)確度和針對微博評論的效果為了提高我們微博話題情感的分析的準(zhǔn)確度，我們在設(shè)法將字典做成可經(jīng)過測試，動態(tài)添加新的情感詞的動態(tài)詞典。遇到了一些困難：首先就是我們無法判定一個新分出來的詞是否是情感詞以及它為情感詞的判斷標(biāo)準(zhǔn)。第二就是我們無法判定它的情感傾向。基于這個問題上我們又設(shè)想是否可以建立我們研究的話題的專門的專業(yè)性的字典，如手機