中文微博情感評(píng)測(cè)報(bào)告

中文微博情感評(píng)測(cè)報(bào)告浙江工商大學(xué)計(jì)算機(jī)與信息工程學(xué)院報(bào)告人：陳威指導(dǎo)老師：施寒瀟提綱研究背景及意義任務(wù)預(yù)備任務(wù)分析與實(shí)施總結(jié)背景

在Web2.0大背景下，微博作為用戶發(fā)言、相互交流的重要途徑，具有數(shù)量大、更新快的特點(diǎn)，是從中發(fā)掘用戶觀點(diǎn)以及情感傾向的可靠來(lái)源。針對(duì)微博的自然語(yǔ)言處理研究已成為當(dāng)前一個(gè)新的研究熱點(diǎn)和前沿課題，而情感分析就是其中一個(gè)熱點(diǎn)話題。微博情感分析情感分析，包括觀點(diǎn)挖掘、觀點(diǎn)分析、主客觀分析等。情感分析的目的是從文本中挖掘用戶表達(dá)的觀點(diǎn)以及情感傾向。主要技術(shù)：（1）情感詞典與規(guī)則相結(jié)合的方法（2）機(jī)器學(xué)習(xí)意義過(guò)濾不合法網(wǎng)絡(luò)輿論信息，營(yíng)造良好的網(wǎng)絡(luò)環(huán)境監(jiān)督輿論的走勢(shì)，輔助社會(huì)管理實(shí)現(xiàn)商品個(gè)性化推薦對(duì)社會(huì)計(jì)算的研究有重要的意義提綱研究背景及意義任務(wù)預(yù)備任務(wù)分析與實(shí)施總結(jié)任務(wù)清單任務(wù)一：觀點(diǎn)句判定任務(wù)二：分析情感傾向任務(wù)三：提取情感要素技術(shù)準(zhǔn)備分類器：SVM、CRF情感詞典擴(kuò)充：加入網(wǎng)絡(luò)用語(yǔ)和表情符號(hào)中文分詞技術(shù)：海量云分詞提綱研究背景及意義任務(wù)預(yù)備任務(wù)分析與實(shí)施總結(jié)任務(wù)處理流程構(gòu)建特征集人工標(biāo)注訓(xùn)練語(yǔ)料訓(xùn)練集及訓(xùn)練模型生成預(yù)測(cè)集生成及預(yù)測(cè)人工標(biāo)注利用本團(tuán)隊(duì)自主開(kāi)發(fā)的標(biāo)注工具標(biāo)注嚴(yán)格按照主辦方提供的標(biāo)注規(guī)則，從樣列文件中選取1219條具有代表性的微博進(jìn)行標(biāo)注標(biāo)注內(nèi)容包括：是否為觀點(diǎn)句、情感傾向性、情感要素訓(xùn)練語(yǔ)料任務(wù)一：人工標(biāo)注的1219條微博任務(wù)二：任務(wù)一訓(xùn)練語(yǔ)料中451條為觀點(diǎn)句的微博任務(wù)一特征集特征序號(hào)特征類型特征內(nèi)容描述1鏈接是否含有url鏈接鏈接通常以http:開(kāi)頭。2表情符號(hào)是否含有情感表情符號(hào)參考網(wǎng)絡(luò)表情符號(hào)詞典3情感詞是否出現(xiàn)情感詞在基本的情感詞典基礎(chǔ)上，再加入包含情感的網(wǎng)絡(luò)用語(yǔ)作為情感詞典的擴(kuò)充。4情感詞個(gè)數(shù)情感詞出現(xiàn)的個(gè)數(shù)5標(biāo)點(diǎn)符號(hào)是否出現(xiàn)感嘆號(hào)和問(wèn)號(hào)。?。?標(biāo)點(diǎn)符號(hào)是否出現(xiàn)連續(xù)的感嘆號(hào)和問(wèn)號(hào)。?。。?，？？？7反轉(zhuǎn)詞是否出現(xiàn)反轉(zhuǎn)詞。是否情感詞前面存在反轉(zhuǎn)詞（情感詞前3個(gè)詞之內(nèi)）8程度副詞是否含有程度副詞。很，特別等9語(yǔ)氣詞是否含有語(yǔ)氣詞。啊，哪，啦，呀，吧，呢10網(wǎng)絡(luò)用語(yǔ)是否存在網(wǎng)絡(luò)用語(yǔ)參考網(wǎng)絡(luò)用語(yǔ)詞典內(nèi)容11目標(biāo)值是否為觀點(diǎn)句任務(wù)二特征集特征序號(hào)特征類型特征內(nèi)容描述1鏈接是否含有url鏈接鏈接通常以http:開(kāi)頭。2正面表情符號(hào)正向情感表情符號(hào)個(gè)數(shù)參考網(wǎng)絡(luò)用語(yǔ)表情詞典3負(fù)面表情符號(hào)負(fù)向情感表情符號(hào)個(gè)數(shù)參考網(wǎng)絡(luò)用語(yǔ)表情詞典4正面情感詞正向情感詞出現(xiàn)個(gè)數(shù)在基本的情感詞典基礎(chǔ)上，加入包含情感的網(wǎng)絡(luò)用語(yǔ)作為情感詞典的擴(kuò)充。5負(fù)面情感詞負(fù)向情感詞出現(xiàn)個(gè)數(shù)在基本的情感詞典基礎(chǔ)上，加入包含情感的網(wǎng)絡(luò)用語(yǔ)作為情感詞典的擴(kuò)充。6反轉(zhuǎn)詞是否出現(xiàn)反轉(zhuǎn)詞。是否情感詞前面存在反轉(zhuǎn)詞（情感詞前3個(gè)詞之內(nèi)）7問(wèn)號(hào)是否出現(xiàn)問(wèn)號(hào)8標(biāo)點(diǎn)符號(hào)是否出現(xiàn)問(wèn)號(hào)或者連續(xù)的問(wèn)號(hào)。9目標(biāo)值情感正負(fù)訓(xùn)練模型生成網(wǎng)絡(luò)用語(yǔ)、表情特征提取提取特征訓(xùn)練模型格式轉(zhuǎn)換分詞SVM訓(xùn)練人工標(biāo)注語(yǔ)料海量分詞格式分詞結(jié)果訓(xùn)練集格式轉(zhuǎn)換預(yù)測(cè)集生成網(wǎng)絡(luò)用語(yǔ)、表情特征提取提取特征格式轉(zhuǎn)換分詞待預(yù)測(cè)微博海量分詞格式分詞結(jié)果預(yù)測(cè)集格式轉(zhuǎn)換預(yù)處理預(yù)測(cè)集生成及預(yù)測(cè)細(xì)節(jié)任務(wù)一分詞前預(yù)處理:過(guò)濾類似“我感到很高興”這樣的主觀抒發(fā)情感句，并定為非觀點(diǎn)句。任務(wù)二預(yù)測(cè)集生成：根據(jù)任務(wù)一的預(yù)測(cè)結(jié)果，從中提取預(yù)測(cè)為觀點(diǎn)句的微博使用SVM對(duì)預(yù)測(cè)集進(jìn)行預(yù)測(cè)評(píng)測(cè)結(jié)果任務(wù)微平均宏平均正確率召回率F值正確率召回率F值一0.6450.9590.7720.6490.9600.770二0.8040.7710.7870.8090.7780.793任務(wù)三流程分詞特征提取CRF訓(xùn)練及預(yù)測(cè)結(jié)構(gòu)化標(biāo)注情感要素提取任務(wù)三特征集特征序號(hào)特征類型特征內(nèi)容描述1Token即該詞語(yǔ)名稱分詞所得的某一個(gè)詞的名稱2POSToken的詞性該詞的詞性，可以在分詞結(jié)果中取得3上下文窗口某Token上下Token的特征選取了上下文窗口為5的詞語(yǔ)的Token、POS特征4目標(biāo)值結(jié)構(gòu)化標(biāo)注用于提取情感要素特征訓(xùn)練集生成使用與任務(wù)二相同的人工標(biāo)注集作為訓(xùn)練語(yǔ)料結(jié)構(gòu)化標(biāo)注：TP-B

表示情感要素開(kāi)始詞，TP-E表示情感要素結(jié)束詞SO為情感詞，BG為背景情感要素確定標(biāo)注為SO，即情感詞，作為微博情感傾向標(biāo)注為TP-B或TP-E，則可能是情感要素沒(méi)有標(biāo)注TP-的角色，那么就認(rèn)為該句沒(méi)有情感要素總結(jié)

本團(tuán)隊(duì)在本次比賽中，運(yùn)用自然語(yǔ)言處理與機(jī)器學(xué)習(xí)的相關(guān)知識(shí)，結(jié)合自身的思路與創(chuàng)新，對(duì)任務(wù)一（觀點(diǎn)句識(shí)別）和任務(wù)二（情感傾向分析）的評(píng)測(cè)取得了較為理想的結(jié)果，而在任務(wù)