文本數(shù)據(jù)處理424數(shù)據(jù)可視化課件浙教版高中信息技術(shù)必修1

第四章

數(shù)據(jù)處理與應(yīng)用4.2

大數(shù)據(jù)處理4.2.3文本數(shù)據(jù)處理4.2.4數(shù)據(jù)可視化學(xué)習(xí)目標(biāo)了解文本處理應(yīng)用領(lǐng)域及一般處理過(guò)程。了解中文分詞常用算法及特征提取方式。能使用常見(jiàn)分詞系統(tǒng)（如：jieba分詞）進(jìn)行文本數(shù)據(jù)處理。了解數(shù)據(jù)可視化的作用。了解數(shù)據(jù)可視化相關(guān)工具及原理。知識(shí)點(diǎn)一：文本數(shù)據(jù)處理新課講授文本數(shù)據(jù)處理是大數(shù)據(jù)處理的重要分支之一，目的是從大規(guī)模的文本數(shù)據(jù)中提取出符合需要的、感興趣的和隱藏的信息。目前，文本數(shù)據(jù)處理主要應(yīng)用在搜索引擎、情報(bào)分析、自動(dòng)摘要、自動(dòng)校對(duì)、論文查重、文本分類(lèi)、垃圾郵件過(guò)濾、機(jī)器翻譯、自動(dòng)應(yīng)答等方面。1.文本數(shù)據(jù)處理的一般過(guò)程（1）中文分詞（是中文文本信息處理的基礎(chǔ)）①基于詞典的分詞方法（字符匹配）②基于統(tǒng)計(jì)的分詞方法③基于規(guī)則的分詞方法①基于詞典的分詞方法

也稱(chēng)作基于字符匹配的分詞方法，即在分析句子時(shí)與詞典中的詞語(yǔ)進(jìn)行對(duì)比，詞典中出現(xiàn)的就劃分為詞。常見(jiàn)分詞系統(tǒng)有jieba分詞。importjieba#引入jieba分詞模塊text="文本數(shù)據(jù)處理的過(guò)程"#定義文本seg_list1=jieba.cut(text,cut_all=True)#全模式分詞print("全模式分詞:"+"/".join(seg_list1))

#文本/本數(shù)/數(shù)據(jù)/數(shù)據(jù)處理/處理/的/過(guò)程seg_list2=jieba.cut(text)#默認(rèn)是精確模式分詞print("默認(rèn)模式分詞:"+"/".join(seg_list2))#文本/數(shù)據(jù)處理/的/過(guò)程join()：用于把序列中的所有元素放入一個(gè)字符串，元素是通過(guò)指定的分隔符進(jìn)行分隔的。cut_all=True全模式分詞：把句子中所有可以成詞的詞語(yǔ)都掃描出來(lái)，速度非?？欤遣荒芙鉀Q歧義。cut_all=False精確模式分詞：試圖將句子最精確地切開(kāi)，適合文本分析。②基于統(tǒng)計(jì)的分詞方法

依據(jù)上下文中相鄰字出現(xiàn)的頻率統(tǒng)計(jì)，同時(shí)出現(xiàn)的次數(shù)越高就越可能組成一個(gè)詞。一般是將其與基于詞典的分詞方法結(jié)合使用。③基于規(guī)則的分詞方法

通過(guò)讓計(jì)算機(jī)模擬人的理解方式，根據(jù)大量的現(xiàn)有資料和規(guī)則進(jìn)行學(xué)習(xí)，達(dá)到對(duì)文字進(jìn)行分詞的效果。這種分詞方法目前還處于試驗(yàn)階段。（2）特征提取特征項(xiàng)：在中文文本分析中可以采用字、詞或短語(yǔ)作為表示文本的特征項(xiàng)。特征詞：相比較而言，詞的切分難度小且更能表達(dá)文本的含義。目前，大多數(shù)中文文本分析中都采用詞作為特征項(xiàng)，這種詞稱(chēng)作特征詞。通?？芍苯佑梅衷~算法和詞頻統(tǒng)計(jì)得出的結(jié)果作為特征詞，但對(duì)于稍大一些的文本，提取出的特征詞數(shù)量將非常大，其計(jì)算處理過(guò)程的效率非常低，計(jì)算結(jié)果的準(zhǔn)確性也很難令人滿(mǎn)意。因此，必須找出最具代表性、最有效的文本特征，通常的辦法是通過(guò)特征提取來(lái)減少特征詞的數(shù)量，提高文本處理的速度和效率。特征提取的方式：根據(jù)專(zhuān)家的知識(shí)挑選有價(jià)值的特征；用數(shù)學(xué)建模的方法構(gòu)造評(píng)估函數(shù)自動(dòng)選取特征（目前大多基于概率統(tǒng)計(jì)設(shè)計(jì)）。2.文本數(shù)據(jù)分析與應(yīng)用在取得特征詞后，需要根據(jù)項(xiàng)目的需求，確定解決問(wèn)題的路徑，選取合適的工具、設(shè)計(jì)算法抽取出文本中隱含的價(jià)值。（1）標(biāo)簽云用詞頻表現(xiàn)文本特征，將關(guān)鍵詞按照一定的順序和規(guī)律排列，如頻度遞減、字母順序等，并以文字大小的形式代表詞語(yǔ)的重要性。是文本可視化的一種方式，廣泛應(yīng)用于報(bào)紙、雜志等傳統(tǒng)媒體和互聯(lián)網(wǎng)。（2）文本情感分析

通過(guò)計(jì)算機(jī)技術(shù)對(duì)文本的主觀性、觀點(diǎn)、情緒、極性進(jìn)行挖掘和分析，對(duì)文本的情感傾向做出分類(lèi)判斷。根據(jù)分析的粒度不同，分為詞語(yǔ)級(jí)、語(yǔ)句級(jí)、整篇文章級(jí)三類(lèi)。主要應(yīng)用于網(wǎng)絡(luò)輿情監(jiān)控、用戶(hù)評(píng)論分析與決策、信息預(yù)測(cè)等眾多領(lǐng)域。（2）文本情感分析

通過(guò)計(jì)算機(jī)技術(shù)對(duì)文本的主觀性、觀點(diǎn)、情緒、極性進(jìn)行挖掘和分析，對(duì)文本的情感傾向做出分類(lèi)判斷。主要應(yīng)用于網(wǎng)絡(luò)輿情監(jiān)控、用戶(hù)評(píng)論分析與決策、信息預(yù)測(cè)等眾多領(lǐng)域。知識(shí)點(diǎn)二：數(shù)據(jù)可視化將數(shù)據(jù)以圖形圖像等形式表示，直接呈現(xiàn)數(shù)據(jù)中蘊(yùn)含信息的處理過(guò)程。1、可視化的作用(1)快捷觀察與追蹤數(shù)據(jù)利用可視化技術(shù)，可以將處于不斷變化中的數(shù)據(jù)生成實(shí)時(shí)變化的可視化圖表，幫助人們快捷地發(fā)現(xiàn)各種數(shù)據(jù)的動(dòng)態(tài)變化過(guò)程。如百度地圖提供的實(shí)時(shí)路況服務(wù)，中國(guó)天氣網(wǎng)提供的各地天氣實(shí)況。(2)實(shí)時(shí)分析數(shù)據(jù)利用可視化技術(shù)，可以實(shí)時(shí)將數(shù)據(jù)轉(zhuǎn)換為圖像呈現(xiàn)給用戶(hù)，幫助用戶(hù)分析數(shù)據(jù)的內(nèi)涵和特征。如利用百度指數(shù)分析全國(guó)某段時(shí)間搜索關(guān)鍵詞“數(shù)據(jù)可視化”的情況，通過(guò)交互，用戶(hù)可以選擇從趨勢(shì)研究、需求圖譜、輿情洞察、人群畫(huà)像等多個(gè)角度進(jìn)行分析。(3)增強(qiáng)數(shù)據(jù)的解釋力與吸引力利用數(shù)據(jù)圖表，直觀、動(dòng)態(tài)地呈現(xiàn)新聞、研究報(bào)告等內(nèi)容，可以幫助人們?cè)诙虝r(shí)間內(nèi)了解內(nèi)容、理解數(shù)據(jù)背后的含義，同時(shí)增強(qiáng)數(shù)據(jù)的吸引力，提高人們的閱讀興趣。2、可視化的基本方法分類(lèi)數(shù)據(jù)間關(guān)系的描述可視化方法案例(1)有關(guān)時(shí)間趨勢(shì)的可視化時(shí)間序列數(shù)據(jù)變化的過(guò)程和趨勢(shì)折線(xiàn)圖、柱形圖等。天氣、人口遷移、經(jīng)濟(jì)發(fā)展(2)有關(guān)比例的可視化各部分的大小及其占總體比例的情況餅圖、環(huán)形圖（面包圈圖）等。衣服面料成分、投票結(jié)果(3)有關(guān)關(guān)系的可視化變量之間的關(guān)聯(lián)性和分布關(guān)系（根據(jù)某一已知指標(biāo)預(yù)測(cè)另一指標(biāo)）散點(diǎn)圖（2-3）、氣泡圖（3-4）等。身高與體重、用戶(hù)滿(mǎn)意度與收貨天數(shù)、(4)有關(guān)差異的可視化多種變量的對(duì)象與同類(lèi)之間的差異和聯(lián)系（異常值）雷達(dá)圖等。同學(xué)間期中各科成績(jī)(5)有關(guān)空間關(guān)系的可視化分析和展示與地理數(shù)據(jù)相關(guān)的數(shù)據(jù)地圖等。騰訊地圖打車(chē)3.可視化的工具(1)主要用于數(shù)據(jù)可視化的工具有：大數(shù)據(jù)魔鏡、Gephi、Tableanu（主要用于實(shí)時(shí)可視化分析）等。(2)使用Python、R等計(jì)算機(jī)語(yǔ)言編寫(xiě)程序?qū)崿F(xiàn)數(shù)據(jù)的可視化。(3)可視化工具庫(kù)，如基于JavaScript的D3.js、Highcharts、GooleCharts等，基于Python的matplotlib等。4.可視化的典型案例1.文本數(shù)據(jù)處理的主要步驟包括：①數(shù)據(jù)分析②特征提?、鄯衷~