文本數(shù)據(jù)分析 功能實(shí)現(xiàn)

Python數(shù)據(jù)分析商務(wù)數(shù)據(jù)分析與應(yīng)用專業(yè)教學(xué)資源庫(kù)功能實(shí)現(xiàn)Python數(shù)據(jù)分析商務(wù)數(shù)據(jù)分析與應(yīng)用專業(yè)教學(xué)資源庫(kù)PAGE2/4功能實(shí)現(xiàn)功能實(shí)現(xiàn)亢華愛(ài)（北京信息職業(yè)技術(shù)學(xué)院）摘要：詞云就是對(duì)網(wǎng)絡(luò)文本中出現(xiàn)頻率比較高的“關(guān)鍵詞”予以視覺(jué)上的突岀，形成關(guān)鍵詞渲染，從而過(guò)濾掉大量的文本信息，使得瀏覽網(wǎng)頁(yè)的人一眼掃過(guò)文本就可以領(lǐng)略文本的主旨。關(guān)鍵詞：功能實(shí)現(xiàn)；lcnt()函數(shù)功能實(shí)現(xiàn)使用Pandas中read_csv()函數(shù)讀取“商品評(píng)價(jià)信息.csv”文件，并轉(zhuǎn)換成DataFrame對(duì)象進(jìn)行展示，具體代碼如下：從輸岀結(jié)果中可以看到，多條評(píng)價(jià)信息是沒(méi)用的且重復(fù)的，所以，這里可以使用pandas中的drop_duplicates()方法刪除重復(fù)的數(shù)據(jù)，具體代碼如下：通過(guò)比較兩次輸出的行數(shù)可以看到，后面輸岀的數(shù)據(jù)明顯減少了100多行。刪除完重復(fù)的數(shù)據(jù)后，計(jì)算機(jī)仍然不能分析出這件商品的好壞，這主要是因?yàn)槲谋镜男畔⒘渴潜容^龐大的，我們需要對(duì)這些文本進(jìn)行分詞等預(yù)處理操作，以便統(tǒng)計(jì)詞頻。前期采集的評(píng)價(jià)文本大多是中文的，使用NLTK庫(kù)處理中文又比較麻煩，因此，這里換成用jieba分詞工具對(duì)評(píng)價(jià)文本進(jìn)行前期處理，不過(guò)需要保證數(shù)據(jù)是字符串類型的。在這里，我們可以通過(guò)lcnt()函數(shù)進(jìn)行分詞，該函數(shù)需要接收兩個(gè)參數(shù)，第一個(gè)參數(shù)表示需要分詞的字符串，cut_all參數(shù)用來(lái)控制是否采用全模式分詞，這里采用精確模式即可，具體代碼如下從輸岀的列表中可以看出，分詞的結(jié)果中有很多諸如“了”“一個(gè)”“是”等字或詞，它們對(duì)于分析用戶的評(píng)價(jià)是沒(méi)有意義的，需要參考中文停用詞表，將這些沒(méi)有無(wú)意義的詞進(jìn)行刪除。注意：由于中文的復(fù)雜性，大多數(shù)停用詞表中的停用詞并不是十分的齊全，所以，這里我們針對(duì)本案例中的文本稍微進(jìn)行了一些調(diào)整，并整合到了“停用詞表.txt”文件中。這里，可以使用準(zhǔn)備好的停用詞表進(jìn)行過(guò)濾，具體的做法就是遍歷分詞后的結(jié)果，如果某個(gè)詞或字在停用詞表中出現(xiàn)，就直接刪除，否則就保留下來(lái)，具體代碼如下：在刪除停用詞之后，從輸出的結(jié)果中可以大致看出評(píng)價(jià)的特征信息，不過(guò)后期還是需要統(tǒng)計(jì)這些詞語(yǔ)出現(xiàn)的次數(shù)，才能進(jìn)一步知曉用戶對(duì)商品的喜惡。如果希望獲得每個(gè)詞語(yǔ)出現(xiàn)的次數(shù)，則可以使用NLTK庫(kù)中的FreqDist類進(jìn)行詞頻統(tǒng)計(jì)，具體代碼如下：從返回的統(tǒng)計(jì)詞頻中，可以很直接地找到具有代表性的詞語(yǔ)，比如“衣服”“喜歡”“挺舒服”等。根據(jù)上述用戶評(píng)價(jià)的特征信息，可以使用wordcloud模塊進(jìn)行詞云展示，wordcloud模塊會(huì)將出現(xiàn)頻率高的詞語(yǔ)進(jìn)行放大顯示，而出現(xiàn)頻率較低的詞語(yǔ)進(jìn)行縮小顯示。要想使用wordcloud模塊，則需要在終端中使用pip命令進(jìn)行安裝，具體命令如下：wordcloud模塊安裝完成之后，將分詞后的結(jié)果new_data使用wordcloud進(jìn)行展示，具體代碼如下：運(yùn)行結(jié)果如圖8-9所示。圖8-9運(yùn)行結(jié)果從圖8-9中可以看出，“衣服”“比較”“喜歡”“挺舒服”這幾個(gè)詞是最為突出的，這表明用戶對(duì)