《商業(yè)分析概論》文本挖掘

商業(yè)分析概論文本挖掘目錄文本挖掘概述文本預(yù)處理文本分類文本聚類文本自動(dòng)摘要文本信息過(guò)濾段落分析文本分析的粒度：文本分析的層次：文本分析與挖掘詞語(yǔ)分析句子分析篇章分析語(yǔ)形分析語(yǔ)法分析語(yǔ)義分析語(yǔ)用分析文本挖掘處理的是非結(jié)構(gòu)化的文本信息，它的主要任務(wù)是分析文本的內(nèi)容特征，發(fā)現(xiàn)文本數(shù)據(jù)庫(kù)中概念、文本之間的相互關(guān)系和相互作用，為用戶提供相關(guān)知識(shí)和信息。因此，文本挖掘和數(shù)據(jù)庫(kù)挖掘在目標(biāo)上具有相似性，在技術(shù)實(shí)現(xiàn)上具有一定的差異。文本挖掘的一般過(guò)程9.1文本挖掘概述特征標(biāo)引特征集縮減知識(shí)模式的提取知識(shí)模式的輸出知識(shí)模式的評(píng)價(jià)文本預(yù)處理將非結(jié)構(gòu)化的文本數(shù)據(jù)進(jìn)行整理，以便計(jì)算機(jī)進(jìn)行分析常用方法：分詞、去停用詞、詞性標(biāo)注等特征提取從文本中提取能代表其特征的部分，用結(jié)構(gòu)化的形式保存起來(lái)常用方法：布爾邏輯模型、向量空間模型、概率模型等特征選擇從提取的特征中甄選最具有區(qū)分能力的特征，降低特征維數(shù)常用方法：文檔頻率、信息增益、互信息、卡方統(tǒng)計(jì)量等模式發(fā)現(xiàn)使用各類機(jī)器算法和學(xué)習(xí)方法，對(duì)文本數(shù)據(jù)進(jìn)行分析與挖掘，以獲取隱藏的知識(shí)常用方法：文本分類、文本聚類、關(guān)聯(lián)規(guī)則等質(zhì)量評(píng)價(jià)使用已經(jīng)定義好的標(biāo)準(zhǔn)對(duì)獲取的知識(shí)進(jìn)行評(píng)估。若有必要?jiǎng)t返回之前的某個(gè)環(huán)節(jié)進(jìn)行調(diào)整和改進(jìn)。是整個(gè)流程中的反饋部分9.1文本挖掘概述過(guò)程及方法9.2文本預(yù)處理文本表示標(biāo)引與中文分詞文本相似度計(jì)算9.2文本預(yù)處理：文本表示布爾邏輯模型將文本看做由一組詞條向量(??1,??2,……,????)構(gòu)成。將文本中出現(xiàn)的詞用“1”表示，沒(méi)出現(xiàn)的詞用“0”表示。向量空間模型以特征向量的形式表示文本，兩個(gè)文本之間的相似度通過(guò)文本特征向量之間的相關(guān)度來(lái)計(jì)算。向量空間模型中，文本D表示為由特征詞條和特征詞條的權(quán)重所組成的向量，形式如下：((??1,??1)(??2,??2)…(????,????))，其中????表示特征詞條，????則表示特征詞條????的權(quán)重。而兩個(gè)文本的相似度就通過(guò)兩個(gè)文本向量之間的相關(guān)度來(lái)度量。目前，常用的計(jì)算文本特征向量相關(guān)度的方法主要有:基于向量?jī)?nèi)積的方法和基于向量夾角的方法。VSM的基本思路：用向量模型來(lái)標(biāo)識(shí)一篇文檔或一個(gè)查詢把文檔看作一系列索引詞(IndexTerm)組成，每一個(gè)詞都有一個(gè)權(quán)重(Termweight)，不同的索引詞根據(jù)自己在文檔中的權(quán)重來(lái)影響文檔相關(guān)性的打分計(jì)算。在向量空間模型中可以把所有此文檔中詞(term)的權(quán)重(termweight)看作一個(gè)向量，并以此權(quán)重向量來(lái)表征文檔。查詢和文檔都可轉(zhuǎn)化成索引詞及其權(quán)重組成的向量。向量空間模型VSM（VectorSpaceModel）9.2文本預(yù)處理：文本表示文檔-索引詞詞矩陣(Doc-TermMatrix)n篇文檔，m個(gè)索引詞詞構(gòu)成的矩陣Am*n，每列可以看成每篇文檔的向量表示，同時(shí)，每行也可以可以看成標(biāo)引詞的向量表示，矩陣元素可以是詞頻，也可以是布爾型。表示文檔詞頻的詞頻矩陣d1d2d3d4d5d6t132285356915320t236190765713370t325331604822126t4301407020116359.2文本預(yù)處理：文本表示向量表示M個(gè)無(wú)序標(biāo)引項(xiàng)ti(詞條項(xiàng),

特征)，詞根/詞/短語(yǔ)/其他每個(gè)文檔d可以用標(biāo)引項(xiàng)向量來(lái)表示權(quán)重計(jì)算，N個(gè)訓(xùn)練文檔WM*N=(wij)詞頻統(tǒng)計(jì)TFi,j:特征i在文檔j中出現(xiàn)次數(shù)，詞頻(TermFrequency)DFi:所有文檔集合中出現(xiàn)特征i的文檔數(shù)目，文檔頻率(DocumentFrequency)詞項(xiàng)的權(quán)重:{0,1},tf(詞頻=termfrequency),tf*idf,9.2文本預(yù)處理：文本表示常用算法：TF-IDFTF-IDF（termfrequency–inversedocumentfrequency）是一種統(tǒng)計(jì)方法，用以評(píng)估一詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度。TF-IDF的主要思想是：如果某個(gè)詞或短語(yǔ)在一篇文章中出現(xiàn)的頻率TF高，并且在其他文章中很少出現(xiàn)，則認(rèn)為此詞或者短語(yǔ)具有很好的類別區(qū)分能力，適合做特征詞。TF-IDF實(shí)際上是：TF*IDF，TF詞頻(TermFrequency)，IDF逆向文件頻率(InverseDocumentFrequency)。TF表示詞條在文檔d中出現(xiàn)的頻率。IDF的主要思想是：如果包含詞條t的文檔越少，也就是n越小，IDF越大，則說(shuō)明詞條t具有很好的類別區(qū)分能力。實(shí)際上，如果一個(gè)詞條在一個(gè)類的文檔中頻繁出現(xiàn)，則說(shuō)明該詞條能夠很好代表這個(gè)類的文本的特征，這樣的詞條應(yīng)該給它們賦予較高的權(quán)重，并選來(lái)作為該類文本的特征詞以區(qū)別于其它類文檔。這就是IDF的不足之處。9.2文本預(yù)處理：文本表示9.2文本預(yù)處理：標(biāo)引與文本分詞將一個(gè)漢字序列切分成一個(gè)一個(gè)單獨(dú)的詞的過(guò)程。是深層次分析文本的前提。由于中文語(yǔ)法與句法的多變性與特殊性，在分詞過(guò)程中需要計(jì)算機(jī)對(duì)歧義、未登錄詞等進(jìn)行識(shí)別與判斷，以便正確地進(jìn)行分詞目前的分詞方法主要有：基于詞典的分詞、基于統(tǒng)計(jì)的分詞、基于理解的分詞分詞是將一個(gè)漢字序列切分成一個(gè)一個(gè)單獨(dú)的詞的過(guò)程。是深層次分析文本的前提。由于中文語(yǔ)法與句法的多變性與特殊性，在分詞過(guò)程中需要計(jì)算機(jī)對(duì)歧義、未登錄詞等進(jìn)行識(shí)別與判斷，以便正確地進(jìn)行分詞目前的分詞方法主要有基于詞典的分詞基于統(tǒng)計(jì)的分詞基于理解的分詞中文文本分詞技術(shù)1)基于詞典的分詞又稱為機(jī)械分詞法主要思想：將文本切分后的一小段與一個(gè)詞典里的詞進(jìn)行比較，如果存在，則劃分為一個(gè)詞。主要算法：正向最大匹配法、逆向最大匹配法、雙向最大匹配法等優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單缺點(diǎn)：依賴詞典規(guī)模，詞典規(guī)模越大分詞的正確率越高；無(wú)法很好地處理歧義與未登錄詞問(wèn)題9.2文本預(yù)處理：標(biāo)引與文本分詞中文文本分詞技術(shù)1)基于詞典的分詞正向最大匹配法正向最大匹配是指以詞典為依據(jù)，選取包含幾個(gè)漢字的符號(hào)串（如6-8個(gè)）作為最大符號(hào)串，把最大符號(hào)串與詞典中的單詞條目相匹配，如果不能匹配，就削掉一個(gè)漢字繼續(xù)匹配，直到在詞典中找到相應(yīng)的單詞為止。匹配的方向是從右向左。9.2文本預(yù)處理：標(biāo)引與文本分詞正向最大匹配法下面以“我們?cè)谝吧鷦?dòng)物園玩”詳細(xì)說(shuō)明一下匹配方法：正向即從前往后取詞（根據(jù)對(duì)應(yīng)字典的最長(zhǎng)字符串長(zhǎng)度，如定義為7），從7->1，每次減一個(gè)字，直到詞典命中或剩下1個(gè)單字。第1次：“我們?cè)谝吧鷦?dòng)物”，掃描7字詞典，無(wú)第2次：“我們?cè)谝吧鷦?dòng)”，掃描6字詞典，無(wú)。。。。第6次：“我們”，掃描2字詞典，有掃描中止，輸出第1個(gè)詞為“我們”，去除第1個(gè)詞后開(kāi)始第2輪掃描，……最終切分結(jié)果為：“我們/在野/生動(dòng)/物/園/玩”。9.2文本預(yù)處理：標(biāo)引與文本分詞中文分詞工具ICTCLAS（InstituteofComputingTechnology,ChineseLexicalAnalysisSystem）：中科院計(jì)算技術(shù)研究所在多年的研究工作積累的基礎(chǔ)上研制出的漢語(yǔ)分詞開(kāi)源系統(tǒng)。主要功能包括中文分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、新詞識(shí)別，同時(shí)支持用戶詞典，并且支持多種語(yǔ)言二次開(kāi)發(fā)。是當(dāng)前世界上最好的漢語(yǔ)詞法分析器。IKAnalyzer：開(kāi)源的輕量級(jí)中文分詞工具包，使用Java語(yǔ)言編寫。分析速度快，在特定環(huán)境下可達(dá)到160萬(wàn)字/秒。支持英文字母、數(shù)字、中文詞匯等分詞處理，兼容日文、韓文和用戶詞典自定義擴(kuò)展。SCWS（SimpleChineseWordsSegmentation）：一套基于詞頻詞典的機(jī)械中文分詞引擎。它能將一整段的中文文本基本正確地切分成詞。在算法上采用自行采集的詞頻詞典，并輔以一定程度上的專有名詞、人名、地名、數(shù)字年代等規(guī)則集來(lái)達(dá)到基本分詞的目的。庖丁解牛分詞器：完全基于Lucene的中文分詞系統(tǒng)。支持不限個(gè)數(shù)的用戶自定義詞典。9.2文本預(yù)處理：標(biāo)引與文本分詞詞性標(biāo)注和去除停用詞詞性標(biāo)注漢語(yǔ)由于缺乏語(yǔ)法形態(tài)變化，詞的應(yīng)用比較靈活，詞類兼類（一個(gè)詞有多個(gè)詞性，如編輯既可為動(dòng)詞，也可為名詞）現(xiàn)象特別多，也很復(fù)雜，因而需要做詞性標(biāo)注去除停用詞虛詞以及在文本中經(jīng)常出現(xiàn)但不表示文本內(nèi)容的詞被稱為停用詞由于停用詞對(duì)表示文本內(nèi)容毫無(wú)幫助，因此應(yīng)該將其去除，以降低文本特征的復(fù)雜度，減少資源的消耗目前的去除停用詞方法主要是：構(gòu)造停用詞表，若某詞在停用詞表中出現(xiàn)，則應(yīng)當(dāng)刪除不限個(gè)數(shù)的用戶自定義詞典。9.2文本預(yù)處理：標(biāo)引與文本分詞通過(guò)特征標(biāo)引可以獲得文本對(duì)應(yīng)的關(guān)鍵詞向量，也可以獲得文本對(duì)應(yīng)的關(guān)鍵詞相對(duì)詞頻向量。一般認(rèn)為，相似的文本具有相似的關(guān)鍵詞或相對(duì)詞頻，因此，可以基于關(guān)鍵詞向量或關(guān)鍵詞相對(duì)詞頻向量計(jì)算一組文本的相似度。利用文本的相似度，可以進(jìn)一步對(duì)文本進(jìn)行分類、聚類，也可以從文本中抽出重要的段落或語(yǔ)句。189.2文本預(yù)處理：標(biāo)引與文本分詞9.2文本預(yù)處理：文本相似度計(jì)算基于詞間關(guān)系的計(jì)算法語(yǔ)詞對(duì)的共現(xiàn)（co-occurrence）來(lái)計(jì)算相似度文本集合且足夠大足夠大的文本集合可以自動(dòng)生成一個(gè)詞匯共現(xiàn)詞典。利用詞匯之間的句法關(guān)系來(lái)計(jì)算相似度從文本中抽取出一個(gè)分析網(wǎng)絡(luò)（AnalysisNetwork）作為文本的簡(jiǎn)化包含（關(guān)系，元素一，元素二）的元組，元素一”和“元素二”對(duì)應(yīng)兩個(gè)名詞，“關(guān)系”通常對(duì)應(yīng)一個(gè)動(dòng)詞“元素一”和“元素二”在句法上具有用“關(guān)系”表示的相近的聯(lián)系計(jì)算相應(yīng)的分析網(wǎng)絡(luò)間的詞一致性（termagreement）、詞對(duì)一致性和行一致性（lineagreement）的權(quán)值和可以進(jìn)行相似度的度量19VSM的文檔相似度計(jì)算文檔和查詢條件之間的相關(guān)程度(即相似度)可由它們各自向量在向量空問(wèn)中的相對(duì)位置來(lái)決定。相似度計(jì)算函數(shù)有很多種，較常用的是兩個(gè)向量夾角的余弦函數(shù)。文檔和查詢條件的相似度值由以下公式獲得：djq

9.2文本預(yù)處理：文本相似度計(jì)算向量相似度算法余弦相似性（cosine-basedsimilarity）相關(guān)相似性（Pearson相關(guān)系數(shù)）修正的余弦相似性（adjusted-cosinesimilarity）9.2文本預(yù)處理：文本相似度計(jì)算9.3文本分類基于訓(xùn)練集的文本分類向量空間模型法基于關(guān)聯(lián)的方法神經(jīng)網(wǎng)絡(luò)方法基于遺傳算法的方法基于EM算法的方法等基于關(guān)聯(lián)的分類方法9.3文本分類基于關(guān)聯(lián)的分類方法通過(guò)信息檢索技術(shù)和關(guān)聯(lián)分析技術(shù)提取出關(guān)鍵詞；利用已有的詞類生成關(guān)鍵詞的概念層次，使用概念層次可以在不同層次上對(duì)文本進(jìn)行分類，以便于在信息檢索時(shí)可以靈活地?cái)U(kuò)檢、縮檢，在文本挖掘時(shí)可以實(shí)現(xiàn)多層挖掘；利用關(guān)聯(lián)挖掘方法去發(fā)現(xiàn)關(guān)聯(lián)詞，每一類文本對(duì)應(yīng)一組關(guān)聯(lián)規(guī)則；用關(guān)聯(lián)規(guī)則去對(duì)新的文檔進(jìn)行分類。9.3文本分類基于詞表的文本分類方法（1）分類名詞入庫(kù)。分類名詞就是分類體系中的類目詞。類名作為表達(dá)一個(gè)類別的名稱，往往能夠很好地表達(dá)類別的特征。（2）當(dāng)一個(gè)詞可以分屬不同的類別時(shí)，計(jì)算機(jī)需要進(jìn)行分析才能判斷該詞究竟屬于哪一類，分析所依賴的信息來(lái)自于詞表。（3） 建立關(guān)鍵詞與分類主題詞的連接表，以方便分類；（4）解決各類別中帶有共性的小類，復(fù)分詞、所屬分類號(hào)、所屬?gòu)?fù)分類別等信息保存于復(fù)分詞表中。（5）分類算法的實(shí)施。分類詞表的編制很困難，通常利用已有的分詞結(jié)果或手工標(biāo)引的主題詞構(gòu)建分類詞表。9.3文本分類文本分類效果評(píng)價(jià)分全率分準(zhǔn)率等值平均F值宏平均微平均9.4文本聚類文本聚類就是對(duì)文本實(shí)現(xiàn)自動(dòng)聚類的技術(shù)。文本聚類技術(shù)在文本挖掘和信息檢索等不同領(lǐng)域都有應(yīng)用。文本聚類的目的提高信息檢索系統(tǒng)的查準(zhǔn)率和查全率，并被作為尋找文本最近鄰居的有效方式用于瀏覽文本、顯示文本集合，或者在響應(yīng)用戶查詢時(shí)，用于組織搜索引擎返回的結(jié)果文本聚類算法劃分劃分方法層次方法基于統(tǒng)計(jì)的方法基于神經(jīng)網(wǎng)絡(luò)的方法基于遺傳算法的方法9.4文本聚類劃分聚類法對(duì)包含n個(gè)文檔的文本集合，劃分將生成k個(gè)分組，k<=n，每一個(gè)分組代表一個(gè)聚類聚類的準(zhǔn)則函數(shù)通常選用平方誤差準(zhǔn)則典型的劃分方法（Partitioningmethods）:k-平均方法

k-中心點(diǎn)方法K-means聚類方法012345678910012345678910012345678910012345678910K=2ArbitrarilychooseKobjectasinitialclustercenterAssigneachobjectstomostsimilarcenterUpdatetheclustermeansUpdatetheclustermeansreassignreassign9.4文本聚類9.4文本聚類k-平均、k-中心點(diǎn)是典型的基于劃分的聚類方法。給定k，k-中心點(diǎn)算法的處理流程如下：（1）對(duì)于等待聚類的文本集D，確定要生成的簇的數(shù)目k；（2）按照某種原則（可隨機(jī)）生成k個(gè)聚類中心作為聚類的初始中心點(diǎn)S={s1,…,sj,…,sk}；（3）對(duì)D中的每一個(gè)文本di，依次計(jì)算它與各個(gè)中心點(diǎn)sj的相似度sim(di,sj)；（4）選取具有最大的相似度的中心點(diǎn)argmaxsim(di,sj),將di歸入以sj為聚類中心的簇Cj，從而得到D的一個(gè)聚類C={C1,…,Ck}；（5）重新確定每個(gè)簇的中心點(diǎn)；（6）反復(fù)執(zhí)行步驟3~5，直到中心點(diǎn)不再改變，文本不再重新被分配為止。299.4文本聚類二分k-平均法（Bisectingk-means）：二分k-平均法是對(duì)k-平均法進(jìn)行改進(jìn)的一種簡(jiǎn)單有效的算法，但是嚴(yán)格說(shuō)來(lái)，它也是一種分裂的層次聚類算法。算法流程如下：（1）選擇一簇進(jìn)行分裂?？梢赃x擇當(dāng)前最大的簇或者當(dāng)前總體相似性最小的簇；（2）使用基本的k-平均算法來(lái)尋找待分裂后的兩個(gè)子簇；（3）重復(fù)步驟2，并根據(jù)選出的子簇進(jìn)行分裂，以使新生成的簇具有最大的總體相似性；（4）重復(fù)步驟1、2、3，直到生成的簇的數(shù)目達(dá)到預(yù)定的值。30層次聚類方法凝聚的方法(agglomerative)，也稱自底向上（bottom-up）分裂的方法（divisive），也稱自頂向下（top-down）還有許多變形（改進(jìn)）方法，如BIRCH,CURE等9.4文本聚類層次聚類方法用凝聚的層次聚類方法對(duì)文本集D={d1，…，di

，…，dn}進(jìn)行聚類，算法流程如下：（1）文本集D={d1，…，di，…，dn}中的每一個(gè)文本di看作是一個(gè)具有單個(gè)成員的簇Ci={di}，這些簇構(gòu)成了D的一個(gè)聚類C={C1，…，Ci，…，Cn}；（2）計(jì)算C中每對(duì)簇（Ci，Cj）之間的相似度sim(Ci，Cj)；（3）選取具有最大相似度的一對(duì)簇（Ci，Cj），并將Ci和Cj合并為一個(gè)新的簇Ck=Ci∪Cj，從而構(gòu)成D的一個(gè)新簇C={C1，…，Cn-1}；（4）重復(fù)步驟2~3，直到C中只剩下一個(gè)簇或者達(dá)到一個(gè)終止條件為止。9.4文本聚類神經(jīng)網(wǎng)絡(luò)法與GA方法神經(jīng)網(wǎng)絡(luò)理論中的自組織特征映射法（SOM）方法可用來(lái)生成詞匯聚類地圖（WordClusterMap）和文本聚類地圖（DocumentClusterMap）。SOM（self-organizingmap）神經(jīng)網(wǎng)絡(luò)是一種基于模型的聚類方法。SOM是由芬蘭赫爾辛基大學(xué)神經(jīng)網(wǎng)絡(luò)專家Kohonen教授在1981年提出的競(jìng)爭(zhēng)式神經(jīng)網(wǎng)絡(luò)，它模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能，在訓(xùn)練中能無(wú)監(jiān)督地進(jìn)行自組織學(xué)習(xí)。由于它的強(qiáng)大功能，多年來(lái)，網(wǎng)絡(luò)在數(shù)據(jù)分類、知識(shí)獲取、過(guò)程監(jiān)控、故障識(shí)別等領(lǐng)域中得到了廣泛應(yīng)用。9.4文本聚類典型的SOM聚類算法1.