文本挖掘課件

1、2022/10/101第5章 文本挖掘2022/10/102主要內(nèi)容文本挖掘的背景文本挖掘的過程特征抽取特征選擇文本分類文本聚類模型評(píng)價(jià)2022/10/103文本挖掘的背景傳統(tǒng)的自然語言理解是對(duì)文本進(jìn)行較低層次的理解，主要進(jìn)行基于詞、語法和語義信息的分析，并通過詞在句子中出現(xiàn)的次序發(fā)現(xiàn)有意義的信息。文本高層次理解的對(duì)象可以是僅包含簡(jiǎn)單句子的單個(gè)文本也可以是多個(gè)文本組成的文本集，但是現(xiàn)有的技術(shù)手段雖然基本上解決了單個(gè)句子的分析問題，但是還很難覆蓋所有的語言現(xiàn)象，特別是對(duì)整個(gè)段落或篇章的理解還無從下手。將數(shù)據(jù)挖掘的成果用于分析以自然語言描述的文本，這種方法被稱為文本挖掘(Text Mining)或

2、文本知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Text).2022/10/104文本挖掘的背景（續(xù)）文本挖掘與數(shù)據(jù)挖掘的區(qū)別：文本挖掘：文檔本身是半結(jié)構(gòu)化的或非結(jié)構(gòu)化的，無確定形式并且缺乏機(jī)器可理解的語義；數(shù)據(jù)挖掘：其對(duì)象以數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)為主，并利用關(guān)系表等存儲(chǔ)結(jié)構(gòu)來發(fā)現(xiàn)知識(shí)因此，數(shù)據(jù)挖掘的技術(shù)不適用于文本挖掘，或至少需要預(yù)處理。2022/10/105提綱文本挖掘的背景文本挖掘的過程特征抽取特征選擇文本分類文本聚類模型評(píng)價(jià)2022/10/107提綱文本挖掘的背景文本挖掘的過程特征抽取特征選擇文本分類文本聚類模型評(píng)價(jià)國(guó)內(nèi)外研究狀況2022/10/108文本特征抽取定義：文本特

3、征指的是關(guān)于文本的元數(shù)據(jù)分類：描述性特征：文本的名稱、日期、大小、類型等。語義性特征：文本的作者、標(biāo)題、機(jī)構(gòu)、內(nèi)容等。2022/10/1010文本表示向量空間模型(Vector Space Model)M個(gè)無序標(biāo)引項(xiàng)ti (詞條項(xiàng), 特征)，詞根/詞/短語/其他每個(gè)文檔d可以用標(biāo)引項(xiàng)向量來表示權(quán)重計(jì)算，N個(gè)訓(xùn)練文檔WM*N= (wij)詞項(xiàng)的權(quán)重: 0,1, tf(詞頻=term frequency), tf*idf,2022/10/1011文本表示詞頻矩陣行對(duì)應(yīng)關(guān)鍵詞t，列對(duì)應(yīng)文檔d向量將每一個(gè)文檔視為空間向量v向量值反映單詞t與文檔d的關(guān)聯(lián)度矩陣元素可以是詞頻，也可以是布爾型。表示文檔詞頻

4、的詞頻矩陣d1d2d3d4d5d6t132285356915320t236190765713370t325331604822126t4301407020116352022/10/1012中文特征詞(Term)的粒度Character，字：中Word，詞：中國(guó)Phrase，短語：中國(guó)人民銀行Concept，概念同義詞：開心 高興 興奮相關(guān)詞cluster，word cluster：葛非/顧俊N-gram，N元組：中國(guó) 國(guó)人 人民 民銀 銀行某種規(guī)律性模式：比如某個(gè)window中出現(xiàn)的固定模式2022/10/1014英文特征詞一般采用keyword,無需分詞,單詞之間有空格分開。停用詞（stop

5、word），指文檔中出現(xiàn)的連詞，介詞，冠詞等并無太大意義的詞。例如在英文中常用的停用詞有the，a, it等；在中文中常見的有“是”，“的”，“地”等。索引詞（標(biāo)引詞，關(guān)鍵祠）:可以用于指代文檔內(nèi)容的預(yù)選詞語,一般為名詞或名詞詞組。詞干提取 countries = country，interesting = interest2022/10/1015權(quán)重計(jì)算方法布爾權(quán)重(boolean weighting)aij=1(TFij0) or (TFij=0)0TFIDF型權(quán)重TF: aij=TFijTF*IDF: aij=TFij*log(N/DFi)TFC: 對(duì)上面進(jìn)行歸一化LTC: 降低TF的作

6、用基于熵概念的權(quán)重(Entropy weighting)稱為term i的某種熵如果term分布極度均勻：熵等于-1只在一個(gè)文檔中出現(xiàn)：熵等于02022/10/1017特征選擇(2)term的熵：該值越大，說明分布越均勻，越有可能出現(xiàn)在較多的類別中；該值越小，說明分布越傾斜，詞可能出現(xiàn)在較少的類別中相對(duì)熵(not 交叉熵)：也稱為KL距離(Kullback-Leibler divergence) ，反映了文本類別的概率分布和在出現(xiàn)了某個(gè)特定詞匯條件下的文本類別的概率分布之間的距離，該值越大，詞對(duì)文本類別分布的影響也大。2022/10/1018特征選擇(3)2 統(tǒng)計(jì)量：度量?jī)烧?term和類別)

7、獨(dú)立性的缺乏程度， 2 越大，獨(dú)立性越小，相關(guān)性越大(若ADBC,則類和詞獨(dú)立, N=A+B+C+D)互信息(Mutual Information)：MI越大t和c共現(xiàn)程度越大ABCDttcc2022/10/1019特征選擇(4)Robertson & Sparck Jones公式其他Odds: Term Strength: 2022/10/1020特征選擇方法的性能比較(1)2022/10/1021特征選擇方法的性能比較(2)2022/10/1022特征選擇方法的性能比較(3)YangYi-ming2022/10/1024提綱文本挖掘的背景文本挖掘的過程特征建立特征選擇文本分類文本聚類202

8、2/10/1025文本分類定義：給定分類體系，將文本分到某個(gè)或者某幾個(gè)類別中。分類體系一般人工構(gòu)造政治、體育、軍事中美關(guān)系、恐怖事件分類系統(tǒng)可以是層次結(jié)構(gòu)，如yahoo!分類模式2類問題，屬于或不屬于(binary)多類問題，多個(gè)類別(multi-class)，可拆分成2類問題一個(gè)文本可以屬于多類(multi-label)這里講的分類主要基于內(nèi)容很多分類體系: Reuters分類體系、中圖分類2022/10/1027自動(dòng)文本分類方法Rocchio方法Nave BayeskNN方法決策樹方法decision treeDecision Rule ClassifierThe Widrow-Hoff

9、Classifier神經(jīng)網(wǎng)絡(luò)方法Neural Networks支持向量機(jī)SVM基于投票的方法(voting method)2022/10/1028Rocchio方法可以認(rèn)為類中心向量法是它的特例Rocchio公式分類類C中心向量的權(quán)重訓(xùn)練樣本中正例個(gè)數(shù)文檔向量的權(quán)重2022/10/1029Nave Bayes參數(shù)計(jì)算Bayes公式2022/10/1030kNN方法一種Lazy Learning, Example-based Learning新文本k=1, A類k=4，B類k=10，B類帶權(quán)重計(jì)算，計(jì)算權(quán)重和最大的類。k常取3或者5。2022/10/1031決策樹方法構(gòu)造決策樹CARTC4.5

10、(由ID3發(fā)展而來)CHAID決策樹的剪枝(pruning)2022/10/1032Decision Rule Learningwheat & form WHEATwheat & commodity WHEATbushels & export WHEATwheat & agriculture WHEATwheat & tonnes WHEATwheat & winter & soft WHEAT(粗糙集)RoughSet 邏輯表達(dá)式(AQ11算法)學(xué)習(xí)到如下規(guī)則2022/10/1033The Widrow-Hoff ClassifierOnline Learning類c向量的第j個(gè)分量xi的第

11、j個(gè)分量Learning RateTarget Value ( 0 or 1)2022/10/1034Neural Network.c1c2cnInput LayerHidden LayerOutput LayerBackpropagation2022/10/1035支持向量機(jī)Support Vector MachineSupport VectorOptimal Separating Hyperplane2022/10/1036基于投票的方法Bagging方法訓(xùn)練R個(gè)分類器fi，分類器之間其他相同就是參數(shù)不同。其中fi是通過從訓(xùn)練集合中(N篇文檔)隨機(jī)取(取后放回)N次文檔構(gòu)成的訓(xùn)練集合訓(xùn)練得

12、到的。對(duì)于新文檔d，用這R個(gè)分類器去分類，得到的最多的那個(gè)類別作為d的最終類別Boosting方法類似Bagging方法，但是訓(xùn)練是串行進(jìn)行的，第k個(gè)分類器訓(xùn)練時(shí)關(guān)注對(duì)前k-1分類器中錯(cuò)分的文檔，即不是隨機(jī)取，而是加大取這些文檔的概率AdaBoostAdaBoost MH2022/10/1037分類方法的評(píng)估鄰接表每個(gè)類Precision=a/(a+b), Recall=a/(a+c), fallout=b/(b+d)=false alarm rate, accuracy=(a+d)/(a+b+c+d), error=(b+c)/(a+b+c+d)=1-accuracy, miss rate=1-recallF=(2+1)p.r/(2p+r)Break Even Point, BEP, p=r的點(diǎn)如果多類排序輸出，