文本挖掘和情感分析課件

1、全國(guó)地方高校MOOC聯(lián)盟指定參考書，深圳大學(xué)教材出版基金資助新媒體數(shù)據(jù)挖掘-基于R語言王小峰 方捷 主編課件ver1.0 by 王小峰第七章文本挖掘和情感分析7.1R環(huán)境下的文本挖掘7.2情感分析of402習(xí)題7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4037.1.1 中文分詞 分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程，同理，中文分詞(Chinese Word Segmentation) 指的是將一個(gè)漢字序列切分成一個(gè)一個(gè)單獨(dú)的詞?，F(xiàn)有的分詞算法可分為三大類：基于詞典(也叫做模式或字符串模式)的方法、基于統(tǒng)計(jì)的方法和基于理解的分詞方法。7.1R環(huán)境下的文本挖掘第七

2、章 文本挖掘和情感分析of404 定義：按照一定策略將待分析的漢字串與一個(gè)“大機(jī)器詞典”中的詞條進(jìn)行匹配，若在詞典中找到某個(gè)字符串，則匹配成功。按照掃描方向的不同可分為正向匹配和逆向匹配，按照長(zhǎng)度的不同可分為最大匹配和最小匹配。1 基于詞典的分詞方法從左向右取待切分漢語句的m個(gè)字符作為匹配字段，m為大機(jī)器詞典中最長(zhǎng)詞條個(gè)數(shù)。01查找大機(jī)器詞典并進(jìn)行匹配：若匹配成功，則將這個(gè)匹配字段作為一個(gè)詞切分出來。02若匹配不成功，則將這個(gè)匹配字段的最后一個(gè)字去掉，剩下的字符串作為新的匹配字段，進(jìn)行再次匹配，重復(fù)以上過程，直到切分出所有詞為止。037.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of405

3、 舉例：對(duì)“南京市長(zhǎng)江大橋”這個(gè)句子進(jìn)行分詞，根據(jù)正向最大匹配的原則：1 基于詞典的分詞方法先從句子中拿出前5個(gè)字符“南京市長(zhǎng)江”，把這5個(gè)字符到詞典中匹配，發(fā)現(xiàn)沒有這個(gè)詞，那就縮短取字個(gè)數(shù)，取前四個(gè)“南京市長(zhǎng)”，發(fā)現(xiàn)詞庫有這個(gè)詞，就把該詞切下來；01對(duì)剩余三個(gè)字“江大橋”再次進(jìn)行正向最大匹配，會(huì)切成“江”、“大橋”02整個(gè)句子切分完成為：南京市長(zhǎng)、江、大橋；03 顯然詞典的建立是中文分詞的前期重要工作，但幸運(yùn)的是，今天這些工作由R的各種軟件包已經(jīng)提前做好了！7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of406 隨著大規(guī)模語料庫的建立，統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的研究和發(fā)展，基于統(tǒng)計(jì)的中文分詞方

4、法漸漸成為了主流方法。 其主要思想是給出大量已經(jīng)分詞的文本，利用統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型學(xué)習(xí)詞語切分的規(guī)律(稱為訓(xùn)練)，從而實(shí)現(xiàn)對(duì)未知文本的切分。把每個(gè)詞看做是由詞的最小單位各個(gè)字總成的，如果相連的字在不同的文本中出現(xiàn)的次數(shù)越多，就證明這相連的字很可能就是一個(gè)詞。因此我們就可以利用字與字相鄰出現(xiàn)的頻率來反應(yīng)成詞的可靠度，統(tǒng)計(jì)語料中相鄰共現(xiàn)的各個(gè)字的組合的頻度，當(dāng)組合頻度高于某一個(gè)臨界值時(shí)，我們便可認(rèn)為此字組可能會(huì)構(gòu)成一個(gè)詞語。主要的統(tǒng)計(jì)有模型：N元文法模型(N-gram)，隱馬爾可夫模型(Hidden Markov Model，HMM)，最大熵模型(ME)，條件隨機(jī)場(chǎng)模型(Conditional Ra

5、ndom Fields，CRF)等。2 基于統(tǒng)計(jì)的分詞方法7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of407 這種分詞方法是通過讓計(jì)算機(jī)模擬人對(duì)句子的理解，達(dá)到識(shí)別詞的效果。其基本思想就是在分詞的同時(shí)進(jìn)行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。它通常包括三個(gè)部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對(duì)分詞歧義進(jìn)行判斷，即它模擬了人對(duì)句子的理解過程。這種分詞方法需要使用大量的語言知識(shí)和信息。由于漢語語言知識(shí)的籠統(tǒng)、復(fù)雜性，難以將各種語言信息組織成機(jī)器可直接讀取的形式，因此目前基于理解的分詞系統(tǒng)還處在試

6、驗(yàn)階段。3 基于理解的分詞方法7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of408 文本挖掘的第一步，就是要進(jìn)行分詞，分詞將直接影響文本挖掘的效果。R語言在分詞方面有很好的支持，中文分詞包“jiebaR”(結(jié)巴分詞)就是一個(gè)不錯(cuò)的選擇。jiebaR是一款高效的R語言中文分詞包，底層使用的是C+，通過Rcpp進(jìn)行調(diào)用很高效。結(jié)巴分詞基于MIT協(xié)議，就是免費(fèi)和開源的，感謝國(guó)人作者的給力支持，讓R的可以方便的處理中文文本。jiebaR軟件包的Github地址為：/qinwf/jiebaR。1 簡(jiǎn)介7.1.2 中文分詞包jiebaR的使用7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4

7、09 文本挖掘的第一步，就是要進(jìn)行分詞，分詞將直接影響文本挖掘的效果。R語言在分詞方面有很好的支持，中文分詞包“jiebaR”(結(jié)巴分詞)就是一個(gè)不錯(cuò)的選擇。jiebaR是一款高效的R語言中文分詞包，底層使用的是C+，通過Rcpp進(jìn)行調(diào)用很高效。結(jié)巴分詞基于MIT協(xié)議，就是免費(fèi)和開源的，感謝國(guó)人作者的給力支持，讓R的可以方便的處理中文文本。jiebaR軟件包的Github地址為： /qinwf/jiebaR。2 安裝和簡(jiǎn)單實(shí)驗(yàn)if(!require(jiebaR)install.packages(jiebaR);library(jiebaR)if(!require(jiebaR)#如果第一種方

8、法不能安裝，可使用devtools來進(jìn)行安裝 if(!require(devtools)install.packages(devtools);library(devtools) install_github(qinwf/jiebaRD) install_github(qinwf/jiebaR); library(jiebaR)wk = worker()wk我是圖書新媒體數(shù)據(jù)挖掘?qū)嵺`基于R語言的作者wk show_dictpath()1 C:/Program Files/R/R-3.4.2/library/jiebaRD/dict# 查看目錄dir(show_dictpath()1 C:/Pro

9、gram Files/R/R-3.4.2/library/jiebaRD/dict1 backup.rda hmm_model.utf8 hmm_model.zip 4 idf.utf8 idf.zip jieba.dict.utf87 jieba.dict.zip model.rda README.md 10 stop_words.utf8 user.dict.utf8scan(file=C:/Program Files/R/R-3.4.2/library/jiebaRD/dict/jieba.dict.utf8, what=character(),nlines=50,sep=n, enco

10、ding=utf-8,fileEncoding=utf-8)Read 50 items1 1號(hào)店 3 n 1號(hào)店 3 n 4S店 3 n 4s店 3 n AA制 3 n 6 AB型 3 n AT&T 3 nz A型 3 n A座 3 n A股 3 n 11 A輪 3 n A輪 3 n BB機(jī) 3 n BB機(jī) 3 n BP機(jī) 3 n 16 BP機(jī) 3 n B型 3 n B座 3 n B股 3 n B超 3 n 21 B輪 3 n B輪 3 n C# 3 nz C+ 3 nz CALL機(jī) 3 n26 CALL機(jī) 3 n CD機(jī) 3 n CD機(jī) 3 n CD盒 3 n C座 3 n 31 C盤 3

11、n C盤 3 n C語言 3 n C語言 3 n D座 3 n 36 D版 3 n D盤 3 n D盤 3 n E化 3 n E座 3 n 41 E盤 3 n E盤 3 n E通 3 n F座 3 n F盤 3 n 46 F盤 3 n G盤 3 n G盤 3 n H盤 3 n H盤 3 n“ 7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4014# 查看默認(rèn)的詞庫位置 show_dictpath()1 C:/Program Files/R/R-3.4.2/library/jiebaRD/dict# 查看目錄dir(show_dictpath()1 C:/Program Files/R/

12、R-3.4.2/library/jiebaRD/dict1 backup.rda hmm_model.utf8 hmm_model.zip 4 idf.utf8 idf.zip jieba.dict.utf87 jieba.dict.zip model.rda README.md 10 stop_words.utf8 user.dict.utf8”7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4015 (2) 探索詞典 用戶詞典第一行有二列，第一列為詞項(xiàng)，第二列為詞性標(biāo)記，沒有詞頻的列。用戶詞典默認(rèn)詞頻為系統(tǒng)詞庫中的最大詞頻。jiebaR包關(guān)于詞典詞性標(biāo)記，如表7-2所示，是采用ict

13、clas的標(biāo)記方法。ICTCLAS 漢語詞性標(biāo)注集。if(!require(devtools)install.packages(devtools);library(devtools)if(!require(stringi)install.packages(stringi);library(stringi)if(!require(pbapply)install.packages(pbapply);library(pbapply)if(!require(Rcpp)install.packages(Rcpp);library(Rcpp)if(!require(RcppProgress)install

14、.packages(RcppProgress);library(RcppProgress)if(!require(RcppProgress)install.packages(RcppProgress);library(RcppProgress)install_github(qinwf/cidian)library(cidian)# 轉(zhuǎn)換二進(jìn)制詞典到文本文件。decode_scel(scel = ./14108.scel,cpp = TRUE)# 查看生成的詞典文件scan(file=./14108.scel_2017-10-25_00_22_11.dict, what=character(),

15、nlines=50,sep=n, encoding=utf-8,fileEncoding=utf-8) 接下來把生成的搜狗詞典放在詞典目錄下就可以使用了，或干脆直接替換掉user.dict.utf8。這樣一來，jiebaR默認(rèn)的用戶詞典就是搜狗詞典了，功能打升級(jí)！7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4016scan(file=C:/Program Files/R/R-3.4.2/library/jiebaRD/dict/jieba.dict.utf8, what=character(),nlines=50,sep=n, encoding=utf-8,fileEncoding=

16、utf-8)Read 50 items1 1號(hào)店 3 n 1號(hào)店 3 n 4S店 3 n 4s店 3 n AA制 3 n 6 AB型 3 n AT&T 3 nz A型 3 n A座 3 n A股 3 n 11 A輪 3 n A輪 3 n BB機(jī) 3 n BB機(jī) 3 n BP機(jī) 3 n 16 BP機(jī) 3 n B型 3 n B座 3 n B股 3 n B超 3 n 21 B輪 3 n B輪 3 n C# 3 nz C+ 3 nz CALL機(jī) 3 n26 CALL機(jī) 3 n CD機(jī) 3 n CD機(jī) 3 n CD盒 3 n C座 3 n 31 C盤 3 n C盤 3 n C語言 3 n C語言 3 n

17、 D座 3 n 36 D版 3 n D盤 3 n D盤 3 n E化 3 n E座 3 n 41 E盤 3 n E盤 3 n E通 3 n F座 3 n F盤 3 n 46 F盤 3 n G盤 3 n G盤 3 n H盤 3 n H盤 3 n“ scan(file=C:/Program Files/R/R-3.4.2/library/jiebaRD/dict/user.dict.utf8, what=character(),nlines=50,sep=n, encoding=utf-8,fileEncoding=utf-8)Read 5 items1 云計(jì)算 韓玉鑒賞 藍(lán)翔 nz CEO 江大

18、橋7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4017 停用詞就是分詞過程中我們不希望被作為結(jié)果的高頻重復(fù)的詞，英文例如the,or,and等，中文例如的，地，得，我，你，他等；這些詞使用頻率過高，如果被作為結(jié)果會(huì)在統(tǒng)計(jì)詞頻的時(shí)候引起噪音，因此通常將這些詞過濾掉。 在jiebaR中，過濾停用詞有2種方法，一種是通過配置stop_word文件，另一種是使用filter_segment()函數(shù)。5 停用詞過濾新建一個(gè)stop_word.txt文件,內(nèi)容為“我我是”wk = worker(stop_word=stop_word.txt) #加載分詞引擎，并配置停用詞過濾segment-wk

19、我是新媒體數(shù)據(jù)挖掘?qū)嵺`基于R語言圖書的作者“filter-c(作者)filter_segment(segment,filter)7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4018 關(guān)鍵詞提取是文本處理非常重要的一個(gè)環(huán)節(jié)，一個(gè)經(jīng)典算法是TF-IDF算法。其中，TF(Term Frequency)代表詞頻，IDF(Inverse Document Frequency)表示逆文檔頻率。如果某個(gè)詞在文章中多次出現(xiàn)，而且不是停用詞，那么它很可能就反應(yīng)了這段文章的特性，這就是我們要找的關(guān)鍵詞。再通過IDF來算出每個(gè)詞的權(quán)重，不常見的詞出現(xiàn)的頻率越高，則權(quán)重越大。 jiebaR包的關(guān)鍵詞提取提取

20、的實(shí)現(xiàn)，也是使用了TF-IDF的算法。在安裝目錄中的idf.utf8文件，為IDF的語料庫。6 關(guān)鍵詞提取7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of40196 關(guān)鍵詞提取segment-wkR以其強(qiáng)大的計(jì)算和統(tǒng)計(jì)能力、突出的可視化能力繪圖，受到了越來越多的數(shù)據(jù)分析科研工作者的喜愛。freq(segment)# 計(jì)算詞頻keys = worker(keywords,topn=5)# 取TF-IDF的前5的關(guān)鍵詞vector_keywords(segment,keys)# 計(jì)算關(guān)鍵詞7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of40206 關(guān)鍵詞提取wk = worker()s

21、egment-wkR以其強(qiáng)大的計(jì)算和統(tǒng)計(jì)能力、突出的可視化能力繪圖，受到了越來越多的數(shù)據(jù)分析科研工作者的喜愛。freq(segment)# 計(jì)算詞頻7.1R環(huán)境下的文本挖掘第七章 文本挖掘和情感分析of4021 詞云本身對(duì)于分析數(shù)據(jù)用處不大，但是因?yàn)樗闹庇^和美觀，在做報(bào)告的時(shí)候可達(dá)到錦上添花的效果。R里面繪制詞云的包主要有wordcloud、wordcloud2(最新版本)。本節(jié)主要講解wordcloud2的用法。7.1.3 詞云包wordcloud2的使用wordcloud2(demoFreqC) #demoFreqC里面內(nèi)置了一個(gè)數(shù)據(jù)集 wordcloud2(demoFreqC,colo

22、r=random-light,backgroundColor = green,shape = diamond)letterCloud(demoFreqC, word = LOVE, wordSize = 2)第七章文本挖掘和情感分析7.2情感分析7.1R環(huán)境下的文本挖掘of4022習(xí)題7.2情感分析第七章 文本挖掘和情感分析of4023 段文本或一篇文章反映了什么態(tài)度或情緒？是褒義還是貶義？是肯定還是否定？對(duì)這些內(nèi)容的分析就是情感分析，或者叫情感傾向分析。情感傾向可認(rèn)為是主體對(duì)某一客體主觀存在的內(nèi)心喜惡，內(nèi)在評(píng)價(jià)的一種傾向。當(dāng)然，有正常閱讀能力的人，在看了一篇文章后能夠判斷文章的情感和極性，但

23、這是主觀體驗(yàn)，不是量化數(shù)據(jù)。在對(duì)文章進(jìn)行分析的時(shí)候，通常需要進(jìn)行量化的分析，顯得更加直觀、客觀。7.2情感分析第七章 文本挖掘和情感分析of4024 目前情感分析的一些研究工作主要基于監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，基于規(guī)則和跨領(lǐng)域等方向展開。公認(rèn)的情感分析比較系統(tǒng)的研究工作開始于(Pang et al., 2002)基于監(jiān)督學(xué)習(xí)(supervised learning)方法對(duì)電影評(píng)論文本進(jìn)行情感傾向性分類和(Turney,2002)基于無監(jiān)督學(xué)習(xí)(unsupervised learning)對(duì)文本情感情感傾向性分類的研究。1 起源7.2情感分析第七章 文本挖掘和情感分析of4025 目前情感分析的研究

24、基本借鑒文本分類等機(jī)器學(xué)習(xí)的方法，還沒有根據(jù)自身的特點(diǎn)形成一套獨(dú)立的研究方法，當(dāng)然在某種程度上也可以把情感分析看出一種特殊的文本分類。比較成熟的方法是基于監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)方法，半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)目前的研究不是很多，單純的基于規(guī)則的情感分析這兩年已很少研究了。既然目前很多情感分析的研究基于機(jī)器學(xué)習(xí)，那么特征選擇就是一個(gè)很重要的問題，N元語法等句法特征是使用最多的一類特征，而語義特征(語義計(jì)算)和結(jié)構(gòu)特征(樹核函數(shù))從文本分類的角度看效果遠(yuǎn)沒有句法特征效果好，所以目前的研究不是很多的。2 發(fā)展 由于基于監(jiān)督學(xué)習(xí)情感分析的研究已經(jīng)很成熟了，而且在真實(shí)世界中由于測(cè)試集的數(shù)量要遠(yuǎn)遠(yuǎn)多于訓(xùn)練集的數(shù)量

25、，并且測(cè)試集的領(lǐng)域也不像在監(jiān)督學(xué)習(xí)中被限制為和訓(xùn)練集一致，也就是說目前情感分析所應(yīng)用的歸納偏置假設(shè)在真實(shí)世界中顯得太強(qiáng)的，為了和真實(shí)世界相一致，基于半監(jiān)督學(xué)習(xí)或弱指導(dǎo)學(xué)習(xí)的情感分析和跨領(lǐng)域的情感分析勢(shì)必是將來的研究趨勢(shì)。 在情感分析的最初階段基于語義和基于規(guī)則的情感分析曾獲得了比較大的重視，但是由于本身實(shí)現(xiàn)的復(fù)雜性以及文本分類和機(jī)器學(xué)習(xí)方法在情感分析應(yīng)用上獲得的成功，目前關(guān)于這方面的研究以及很少了，但是事實(shí)上，語義的相關(guān)性和上下文的相關(guān)性正是情感分析和文本分類最大的不同之處，所以將基于語義和規(guī)則的情感分析與基于機(jī)器學(xué)習(xí)的情感分析相結(jié)合也將是未來的研究趨勢(shì)。7.2情感分析第七章 文本挖掘和情感分

26、析of4026目前有兩種比較流行的情感分析方：機(jī)器學(xué)習(xí)法和詞庫法。機(jī)器學(xué)習(xí)法是在已知分類語料的情況下，構(gòu)建文檔-詞條矩陣，然后應(yīng)該各種分類算法（knn、NB、RF、SVM、DL等），預(yù)測(cè)出其他句子的情感。在此就分享一下自己如何通過詞庫的方式為每一句評(píng)論定性為正面或負(fù)面。詞庫法則什么高深的理論基礎(chǔ)，其核心思想是對(duì)待分析文本進(jìn)行分詞，通過對(duì)比正負(fù)面詞庫，通過簡(jiǎn)單的加減法即可計(jì)算出句子的正負(fù)面得分。雖然正負(fù)面詞庫的構(gòu)建、自定義詞典的導(dǎo)入等工作較為繁瑣，但該方法非常通俗易懂。127.2.2 情感分析的簡(jiǎn)單實(shí)現(xiàn)7.2情感分析第七章 文本挖掘和情感分析of4027 接下來以詞庫法實(shí)現(xiàn)一個(gè)簡(jiǎn)單的情感分析，t

27、ext.xls中是待分析評(píng)論文本（例如對(duì)大眾CC的評(píng)論），存儲(chǔ)為兩列：idspace1我愛CC，超級(jí)省油，一箱油可以從深圳跑到福州，很滿意2爆發(fā)性超強(qiáng)，5秒內(nèi)加速到百公里不費(fèi)勁3性價(jià)比高，比相同性能的寶馬系實(shí)惠不少4感覺有缺陷，內(nèi)飾有毛刺5我覺得被欺騙了，價(jià)格上面有水分6流線型無邊框設(shè)計(jì)，超級(jí)好看正面詞庫pos.txt的內(nèi)容為（注意每個(gè)詞在txt文本中獨(dú)占一行，這里以空格顯示，下同）：超贊 智能 滿意 強(qiáng)大 超強(qiáng) 穩(wěn)定 優(yōu)惠 超強(qiáng) 很好 快速穩(wěn)定 省油 好看 耐看 實(shí)惠。負(fù)面詞庫neg.txt的內(nèi)容為：漏氣 慢 差 差勁 毛刺 缺陷 虧 被坑 騙 被騙 欺騙 隱瞞。停用詞庫stopwords.

28、txt的內(nèi)容為：了 我 的 車 買 跑 在 錢 到 里面 下面 簡(jiǎn)直。7.2情感分析第七章 文本挖掘和情感分析of4028if(!require(readxl)install.packages(readxl);library(readxl)if(!require(jiebaR)install.packages(jiebaR);library(jiebaR)if(!require(plyr)install.packages(plyr);library(plyr)if(!require(wordcloud)install.packages(wordcloud);library(wordcloud)evaluation - read_excel(file.choose()head(evaluation)str(evaluation)pos - readLines(file.choose(), encoding = UTF-8)neg - readLines(file.choose(), encoding = UTF-8)stopword