中文微博情感評(píng)測(cè)報(bào)告

1、中文微博情感評(píng)測(cè)報(bào)告中文微博情感評(píng)測(cè)報(bào)告 提綱 研究背景及意義研究背景及意義 任務(wù)預(yù)備任務(wù)預(yù)備 任務(wù)分析與實(shí)施任務(wù)分析與實(shí)施 總結(jié)總結(jié) 背景 在web2.0大背景下，微博作為用戶發(fā) 言、相互交流的重要途徑，具有數(shù)量大、 更新快的特點(diǎn)，是從中發(fā)掘用戶觀點(diǎn)以及 情感傾向的可靠來(lái)源。針對(duì)微博的自然語(yǔ) 言處理研究已成為當(dāng)前一個(gè)新的研究熱點(diǎn) 和前沿課題，而情感分析就是其中一個(gè)熱 點(diǎn)話題。 微博情感分析 l情感分析，包括觀點(diǎn)挖掘、觀點(diǎn)分析、主 客觀分析等。情感分析的目的是從文本中 挖掘用戶表達(dá)的觀點(diǎn)以及情感傾向。 l主要技術(shù)：（1）情感詞典與規(guī)則相結(jié)合的 方法（2）機(jī)器學(xué)習(xí) 意義 l過(guò)濾不合法網(wǎng)絡(luò)輿論信息

2、，營(yíng)造良好的網(wǎng) 絡(luò)環(huán)境 l監(jiān)督輿論的走勢(shì)，輔助社會(huì)管理 l實(shí)現(xiàn)商品個(gè)性化推薦 l對(duì)社會(huì)計(jì)算的研究有重要的意義 提綱 研究背景及意義研究背景及意義 任務(wù)預(yù)備任務(wù)預(yù)備 任務(wù)分析與實(shí)施任務(wù)分析與實(shí)施 總結(jié)總結(jié) 任務(wù)清單 l 任務(wù)一：觀點(diǎn)句判定 l 任務(wù)二：分析情感傾向 l 任務(wù)三：提取情感要素 技術(shù)準(zhǔn)備 l 分類器：svm 、 crf l 情感詞典擴(kuò)充：加入網(wǎng)絡(luò)用語(yǔ)和表情符號(hào) l 中文分詞技術(shù)：海量云分詞 提綱 研究背景及意義研究背景及意義 任務(wù)預(yù)備任務(wù)預(yù)備 任務(wù)分析與實(shí)施任務(wù)分析與實(shí)施 總結(jié)總結(jié) 任務(wù)處理流程 構(gòu)建特征集 人工標(biāo)注 訓(xùn)練語(yǔ)料 訓(xùn)練集及訓(xùn) 練模型生成 預(yù)測(cè)集生 成及預(yù)測(cè) 人工標(biāo)注 l

3、利用本團(tuán)隊(duì)自主開發(fā)的標(biāo)注工具標(biāo)注 l嚴(yán)格按照主辦方提供的標(biāo)注規(guī)則，從樣列 文件中選取1219條具有代表性的微博進(jìn)行 標(biāo)注 l標(biāo)注內(nèi)容包括：是否為觀點(diǎn)句、情感傾向 性、情感要素 訓(xùn)練語(yǔ)料 任務(wù)一：人工標(biāo)注的1219條微博 任務(wù)二：任務(wù)一訓(xùn)練語(yǔ)料中451條為觀 點(diǎn)句的微博 任務(wù)一特征集 特征序號(hào)特征類型特征內(nèi)容描述 1鏈接是否含有url鏈接鏈接通常以http:開頭。 2表情符號(hào)是否含有情感表情符號(hào)參考網(wǎng)絡(luò)表情符號(hào)詞典 3情感詞是否出現(xiàn)情感詞在基本的情感詞典基礎(chǔ)上，再加入包含情 感的網(wǎng)絡(luò)用語(yǔ)作為情感詞典的擴(kuò)充。 4情感詞個(gè)數(shù)情感詞出現(xiàn)的個(gè)數(shù) 5標(biāo)點(diǎn)符號(hào)是否出現(xiàn)感嘆號(hào)和問號(hào)。！ ？ 6標(biāo)點(diǎn)符號(hào)是否出現(xiàn)

4、連續(xù)的感嘆號(hào)和 問號(hào)。 ！，？ 7反轉(zhuǎn)詞是否出現(xiàn)反轉(zhuǎn)詞。是否情感詞前面存在反轉(zhuǎn)詞（情感詞前3 個(gè)詞之內(nèi)） 8程度副詞是否含有程度副詞。很，特別等 9語(yǔ)氣詞是否含有語(yǔ)氣詞。啊，哪，啦，呀，吧，呢 10網(wǎng)絡(luò)用語(yǔ)是否存在網(wǎng)絡(luò)用語(yǔ)參考網(wǎng)絡(luò)用語(yǔ)詞典內(nèi)容 11目標(biāo)值是否為觀點(diǎn)句 任務(wù)二特征集 特征序號(hào)特征類型特征內(nèi)容描述 1鏈接是否含有url鏈接鏈接通常以http:開頭。 2正面表情符號(hào)正向情感表情符號(hào)個(gè)數(shù)參考網(wǎng)絡(luò)用語(yǔ)表情詞典 3負(fù)面表情符號(hào)負(fù)向情感表情符號(hào)個(gè)數(shù)參考網(wǎng)絡(luò)用語(yǔ)表情詞典 4正面情感詞正向情感詞出現(xiàn)個(gè)數(shù)在基本的情感詞典基礎(chǔ)上，加入包含情感的網(wǎng)絡(luò) 用語(yǔ)作為情感詞典的擴(kuò)充。 5負(fù)面情感詞負(fù)向情感詞出

5、現(xiàn)個(gè)數(shù)在基本的情感詞典基礎(chǔ)上，加入包含情感的網(wǎng)絡(luò) 用語(yǔ)作為情感詞典的擴(kuò)充。 6反轉(zhuǎn)詞是否出現(xiàn)反轉(zhuǎn)詞。是否情感詞前面存在反轉(zhuǎn)詞（情感詞前3個(gè)詞之 內(nèi)） 7問號(hào)是否出現(xiàn)問號(hào) 8標(biāo)點(diǎn)符號(hào)是否出現(xiàn)問號(hào)或者連續(xù)的問號(hào)。 9目標(biāo)值情感正負(fù) 訓(xùn)練模型生成 網(wǎng)絡(luò)用語(yǔ)、表情特征提取 提取特征 訓(xùn)練模型 格式轉(zhuǎn)換 分 詞 svm訓(xùn)練 人工標(biāo)注語(yǔ)料海量分詞格式 分詞結(jié)果 訓(xùn)練集格式轉(zhuǎn)換 預(yù)測(cè)集生成 網(wǎng)絡(luò)用語(yǔ)、表情特征提取 提取特征 格式轉(zhuǎn)換 分 詞 待預(yù)測(cè)微博 海量分詞格式 分詞結(jié)果 預(yù)測(cè)集格式轉(zhuǎn)換 預(yù)處理 預(yù)測(cè)集生成及預(yù)測(cè)細(xì)節(jié) 任務(wù)一分詞前預(yù)處理 : 過(guò)濾類似 “我感 到很高興”這樣的主觀抒發(fā)情感句，并 定為非觀

6、點(diǎn)句。 任務(wù)二預(yù)測(cè)集生成：根據(jù)任務(wù)一的預(yù)測(cè) 結(jié)果，從中提取預(yù)測(cè)為觀點(diǎn)句的微博 使用svm對(duì)預(yù)測(cè)集進(jìn)行預(yù)測(cè) 評(píng)測(cè)結(jié)果 任務(wù) 微平均宏平均 正確率召回率f值正確率召回率f值 一0.6450.9590.7720.6490.9600.770 二0.8040.7710.7870.8090.7780.793 任務(wù)三流程 分詞特征提取crf訓(xùn)練及預(yù)測(cè) 結(jié)構(gòu)化標(biāo)注 情感要素提取 任務(wù)三特征集 特征序號(hào)特征類型特征內(nèi)容描述 1token即該詞語(yǔ)名稱分詞所得的某一個(gè)詞的名稱 2postoken的詞性該詞的詞性，可以在分詞結(jié)果中 取得 3上下文窗口某token上下token的 特征 選取了上下文窗口為5的詞語(yǔ)的 token 、pos特征 4目標(biāo)值結(jié)構(gòu)化標(biāo)注 用于提取情感要素特征 訓(xùn)練集生成 使用與任務(wù)二相同的人工標(biāo)注集作為訓(xùn)練 語(yǔ)料 結(jié)構(gòu)化標(biāo)注：tp-b 表示情感要素開始詞， tp-e 表示情感要素結(jié)束詞 so為情感詞，bg為背景 情感要素確定 u標(biāo)注為so，即情感詞，作為微博情感傾向 u標(biāo)注為tp-b或tp-e，則可能是情感要素 u沒有標(biāo)注tp-的角色，那么就認(rèn)為該句沒有 情感要素 總結(jié) 本團(tuán)隊(duì)在本次比賽中，運(yùn)用自然語(yǔ)言處 理與機(jī)器學(xué)習(xí)的相關(guān)知識(shí)，結(jié)合自身的思 路與創(chuàng)新，對(duì)任務(wù)一（觀點(diǎn)句識(shí)別）和任 務(wù)二（情感傾向分析）的評(píng)測(cè)取得了較為 理想的結(jié)果，而在任務(wù)三的實(shí)施方面由于 時(shí)間和精力方面的