文本數據挖掘及其應用

1、文本數據挖掘及其應用摘要：隨著Internet ±文檔信息的迅猛發(fā)展，文本分類成為處理和組織大量文檔數據的關鍵技術。本文首先對文本挖掘進行了概述包括文本挖掘的研究現(xiàn)狀、主要內容、相關技術以及熱點難點進行了探討，然后通過兩個例子簡單地說明了文本挖掘的應用問題。關鍵詞：文本挖掘研究現(xiàn)狀相關技術應用1引言隨著科技的發(fā)展和網絡的普及，人們可獲得的數據量越來越多，這些數據多數是以文本形式存在的。而這些文本數據大多是比較繁雜的，這就導致了數據量大但信息卻比較匱乏的狀況。如何從這些繁雜的文本數據中獲得有用的信息越來越受到人們的關注。在文本文檔中發(fā)現(xiàn)有意義或有用的模式的過程"n1的文本挖掘

2、技術為解決這一問題提供了一個有效的途徑。而文本分類技術是文本挖掘技術的一個重要分支，是有效處理和組織錯綜復雜的文本數據的關鍵技術，能夠有效的幫助人們組織和分流信息。2文本挖掘概述2.1文本挖掘介紹數據挖掘技術本身就是當前數據技術發(fā)展的新領域，文本挖掘則發(fā)展歷史更短。 傳統(tǒng)的信息檢索技術對于海量數據的處理并不盡如人意，文本挖掘便日益重要起來， 可見文本挖掘技術是從信息抽取以及相關技術領域中慢慢演化而成的。1）文本挖掘的定義文本挖掘作為數據挖掘的一個新主題 引起了人們的極大興趣，同時它也是一個富于爭 議的研究方向。目前其定義尚無統(tǒng)一的結論， 需要國內外學者開展更多的研究以進行精確的 定義，類似于我

3、們熟知的數據挖掘定義。我們對文本挖掘作如下定義。定義2.1.1文本挖掘是指從大量文本數據中抽取事先未知的可理解的最終可用的信息 或知識的過程。直觀地說，當數據挖掘的對象完全由文本這種數據類型組成時，這個過程就稱為文本挖掘。2 ）文本挖掘的研究現(xiàn)狀國外對于文本挖掘的研究開展較早，50年代末，H.P.Luhn在這一領域進行了開創(chuàng)性的研究，提出了詞頻統(tǒng)計思想于自動分類。1960年，Maron發(fā)表了關于自動分類的第一篇論文，隨后，眾多學者在這一領域進行了卓有成效的研究工作。研究主要有圍繞文本的挖掘模型、 文本特征抽取與文本中間表示、文本挖掘算法（如關聯(lián)規(guī)則抽取、語義關系挖掘、文本聚類 與主題分析、趨勢

4、分析）、文本挖掘工具等，其中首次將KDD中的只是發(fā)現(xiàn)模型運用于 KDT。我國學術界正式引入文本挖掘的概念并開展針對中文的文本挖掘是從最近幾年才開始 的。從公開發(fā)表的有代表性的研究成果來看，目前我國文本挖掘研究還處于消化吸收國外相關的理論和技術與小規(guī)模實驗階段，還存在如下不足和問題：（1）沒有形成完整的適合中文信息處理的文本挖掘理論與技術框架。目前的中文文本挖掘研究只是在某些方面和某些狹窄的應用領域展開。在技術手段方面主要是借用國外針對英文語料的挖掘技術， 沒有針對漢語本身的特點，沒有充分利用當前的中文信息處理與分析技術來構建針對中文文本的文本挖掘模型，限制了中文文本挖掘的進一步發(fā)展。（2）中文

5、文本的特征提取與表示大多數采用飼袋”法，飼袋”法即提取文本高詞頻構成特征向量來表達文本特征。這樣忽略了詞在文本（句子）中擔當的語法和語義角色，同樣也 忽略了詞與詞之間的順序，致使大量有用信息丟失。 而且用 飼袋”法處理真實中文文本數據 時，特征向量的維數往往是高維的，這將使挖掘算法效率大大降低。(3) 知識挖掘的種類和深度有限，一般只是進行文本的分類、聚類或者信息抽取，而且 針對開放語料的實驗結果也不是很理想。2.2文本挖掘主要內容存儲信息使用最多的是文本，所以文本挖掘被認為比數據挖掘具有更高的商業(yè)潛力，當數據挖掘的對象完全由文本這種數據類型組成時，這個過程就稱為文本數據挖掘，事實上， 最近研

6、究表明公司信息有 80%包含在文本文檔中。1) 文本分類文本分類指按照預先定義的主題類別，為文檔集合中的每個文檔確定一個類別。這樣用戶不但能夠方便地瀏覽文檔，而且可以通過限制搜索范圍來使文檔的查找更容易、快捷。目前，用于英文文本分類的分類方法較多，用于中文文本分類的方法較少，主要有樸素貝葉斯分類(Na?Ve Bayes),向量空間模型(Vector Space Model)以及線性最小二乘 LLSF(Linear Least Square Fit)。2) 文本聚類聚類與分類的不同之處在于， 聚類沒有預先定義好的主體類別， 它的目標是將文檔集合 分成若干個簇，要求同一簇內文檔內容的相似度盡可能的

7、大，而不同簇之間的相似度盡可能的小。3) 文本結構分析其目的是為了更好地理解文本的主題思想，了解文本表達的內容以及采用的方式，最終結果是建立文本的邏輯結構，即文本結構樹，根結點是文本主題，依次為層次和段落。4) Web文本數據挖掘4在Web迅猛發(fā)展的同時，不能忽視 信息爆炸”的問題，即信息極大豐富而知識相對匱乏。 據估計，Web已經發(fā)展成為擁有3億個頁面的分布式信息空間，而且這個數字仍以每4-6個月翻1倍的速度增加，在這些大量、異質的Web信息資源中，蘊含著具有巨大潛在價值的知識。人們迫切需要能夠從Web上快速、有效的發(fā)現(xiàn)資源和知識的工具。文本挖掘目前面臨的問題有挖掘算法的效率和可擴展性、遺漏

8、及噪聲數據的處理、私有數據的保護與數據安全性等。2.3文本挖掘技術1,2文本挖掘不但要處理大量的結構化和非結構化的文檔數據，而且還要處理其中復雜的語義關系，因此，現(xiàn)有的數據挖掘技術無法直接應用于其上。對于非結構化問題，一條途徑是 發(fā)展全新的數據挖掘算法直接對非結構化數據進行挖掘，對于數據非常復雜，導致這種算法的復雜性很高；另一條途徑就是將非結構化問題結構化，利用現(xiàn)有的數據挖掘技術進行挖掘，目前的文本挖掘一般采用該途徑進行。對于語義關系，則需要集成計算語言學和自然語言處理等成果進行分析。我們按照文本挖掘過程介紹其涉及的主要技術及其主要進展。1) 文本數據預處理技術預處理技術包括Stemming

9、(英文)/分詞(中文)、特征表示和特征提取。與數據庫中 的結構化數據相比，文本具有有限的結構，或者根本就沒有結構。此外，文檔的內容是人類 所使用的自然語言，計算機很難處理其語義。文本信息源的這些特殊性使得數據預處理技術在文本挖掘中更加重要。(1) 分詞技術在對文檔進行特征提取前，需要先進行文本信息的預處理，對英文而言需要進行 Stemming處理，中文的情況則不同，因為中文詞與詞之間沒有固定的間隔符(空格)，需 要進行分詞處理。目前主要有基于詞庫的分詞算法和無詞典的分詞技術兩種?；谠~庫的分詞算法包括正向最大匹配、正向最小匹配、逆向匹配及逐次遍歷匹配法等。這類算法的特點是易于實現(xiàn)，設計簡單；但

10、分詞的正確性很大程度上取決于所建的詞庫。因此基于詞庫的分詞技術對于歧義和未登錄詞的切分有很大的困難?；跓o詞典的分詞技術的基本思想是：基于詞頻的統(tǒng)計，將原文中任意前后緊鄰的兩個字作為一個詞進行出現(xiàn)頻率的統(tǒng)計，出現(xiàn)的次數越高，成為一個詞的可能性就越大，在頻率超過某個預先設定的閾值時，就將其作為一個詞進行索引。這種方法能夠有效地提出未登錄 詞。(2) 特征表示文本特征指的是關于文本的元數據，分為描述性特征(如文本的名稱、日期、大小、類 型等)和語義性特征(如文本的作者、機構、標題、內容等)。特征表示是指一定特征項(如詞條或描述)來代表文檔，在文本挖掘時只需對這些特征項進行處理，從而實現(xiàn)對非結構化的

11、文本處理。這是一個非結構化向結構化轉換的處理步驟。特征表示的構造過程就是挖掘模型的構造過程。特征表示模型有多種，常用的有布爾邏輯型、向量空間模型(Vector SpaceModel , VSM)、概率型以及混合型等。W3C近來制定的XML , RDF等規(guī)范提供了對 Web文檔資源進行描述的語言和框架。(3) 特征提取用向量空間模型得到的特征向量的維數往往會達到數十萬維，如此高維的特征對即將進行的分類學習未必全是重要、有益的(一般只選擇 2%-5%的最佳特征作為分類數據)，而且 高維的特征會大大增加機器的學習時間，這便是特征提取所要完成的工作。特征提取算法一般是構造一個評價函數，對每個特征進行評

12、估， 然后把特征按分值高低排隊，預定數目分數最高的特征被選取。在文本處理中，常用的評估函數有信息增益(Information Gain )、互信息(Mutual Information )、文本證據權(The Weight of Evidence for Text)和詞頻。2) 文本挖掘分析技術文本轉換為向量形式并經特征提取后，便可以進行挖掘分析了。常用的文本挖掘分析技術有：文本結構分析、文本摘要、文本分類、文本聚類、文本關聯(lián)分析、分布分析和趨勢預 測等。(1) 文本結構分析其目的是為了更好地理解文本的主題思想，了解文本所表達的內容以及采用的方式。最終結果是建立文本的邏輯結構，即文本結構樹，根

13、節(jié)點是文本主題，依次為層次和段落。(2 )文本摘要文本摘要是指從文檔中抽取關鍵信息，用簡潔的形式對文檔內容進行解釋和概括。這樣，用戶不需要瀏覽全文就可以了解文檔或文檔集合的總體內容。任何一篇文章總有一些主題句，大部分位于整篇文章的開頭或結尾部分，而且往往是在段首或段尾，因此文本摘要自動生成算法主要考察文本的開頭、結尾，而且在構造句子的權值函數時，相應的給標題、子標題、段首和段尾的句子較大的權值，按權值大小選擇句子組 成相應的摘要。(3 )文本分類文本分類的目的是讓機器學會一個分類函數或分類模型，該模型能把文本映射到已存在的多個類別中的某一類，是檢索或查詢的速度更快，準確率更高。訓練方法和分類算

14、法是分類系統(tǒng)的核心部分。用于文本分類的分類方法較多，主要有樸素貝葉斯分類、向量空間模型、 決策樹、支持向量機、后向傳播分類、遺傳算法、基于案例的推理、K-最鄰近、基于中心點的分類方法、粗糙集、模糊集以及線性最小二乘等。厲宇航等指出傳統(tǒng)特征提取的方法是基于詞形的，并不考察詞語的意義，忽略了同一意義下詞形的多樣性， 不確定性以及詞義間的關系，尤其是上下位關系。 該文的方法在向量空 間模型的基礎上，以 概念”為基礎，同時考慮詞義的上位關系，使得訓練過程中可以從詞語 中提煉出更加概括性的信息，從而達到提高分類精度的目的。(4) 文本聚類文本分類是將文檔歸入到已經存在的類中，文本聚類的目標和文本分類是一

15、樣的，知識實現(xiàn)的方法不同。 文本聚類是無教師的機器學習，聚類沒有預先定義好的主題類別，它的目標是將文檔集合分成若干個簇，要求同一簇內文檔內容的相似度盡可能大，而不同簇間的相似度盡可能小。Hearst等人的研究已經證明了聚類假設”，即與用戶查詢相關的文檔通常會聚類的比較靠近，而遠離與用戶查詢不相關的文檔。(5 )關聯(lián)分析關聯(lián)分析是指從文檔集合中找出不同詞語之間的關系。Feldman和Hirsh研究了文本數據庫中關聯(lián)規(guī)則的挖掘，提出了一種從大量文檔中發(fā)現(xiàn)數千本在Amazon網站上找不到的新書籍；Wang Ke等以Web上的電影介紹作為測試文檔， 通過使用OEM模型從這些半結構化的頁 面中抽取詞語項

16、，進而得到一些關于電影名稱、導演、演員、編劇的出現(xiàn)模式。(6) 分布分析與趨勢預測分布分析與趨勢預測是指通過對文檔的分析，得到特定數據在某個歷史時刻的情況或將來的取值趨勢。Feldman R等使用多種分布模型對路透社的兩萬多篇新聞進行了挖掘，得到 主題、國家、組織、人、股票交易之間的相對分布，揭示了一些有趣的趨勢。Wuthrich B等通過分析 Web上出版的權威性經濟文章對每天的股票市場指數進行預測，取得了良好的效 果。(7) 可視化技術數據可視化(Data Visualization )技術指的是運用計算機圖形學和圖像處理技術，將數 據轉換為圖形或圖像在屏幕上顯示出來，并進行交互處理的理論

17、、方法和技術。它涉及到計算機圖形學、圖像處理、計算機輔助設計、計算機視覺及人機交互技術等多個領域。國內外 學者已經對信息可視化技術進行了大量的研究，運用最小張力計算、多維標度法、語義分析、內容圖譜分析、引文網絡分析及神經網絡技術，進行了信息和數據的可視化表達。2.4文本挖掘熱點難點問題顯然，目標不同，文本挖掘的過程也不盡相同。但不論何種目標，都不可忽視如下幾個 方面的研究：1) 文本建模向量空間模型，也稱為 飼袋”法，是目前文本處理的標準模式。簡答講，就是提取文本 高頻詞構成特征向量來表達文本特征的方法，該方法有效描述了詞與文檔間的頻率關系。面對復雜繁瑣的自然語言文本，向量空間模型是目前最為簡

18、便有效的文本表示方法。但向量空間模型建模方法最大的問題就是忽略了詞在文本中承擔的語法和語義上的作 用，同時忽略了詞與詞之間的順序關系，丟失了大量有用信息，從而減弱了高頻詞向量表達文本特征的可信度。 同時，向量空間模型在處理真實文本數據時形成的特征向量的高維性也 嚴重影響了后續(xù)文本挖掘的效率和結果的準確性。此外，建模前的文本預處理工作作為整個文本挖掘過程的基礎尤為重要。而不同的語言處理又常常不同。如何解決多語言混合如中英文混合情況下的文本處理和建模工作日益重 要。同時，不同的語言有不同的切詞處理方式。并且存在著大量多詞同義、一詞多義的現(xiàn)象。2) 特征降維文本模型的高維特性制約了文本挖掘的效果。不

19、論何種語種，由于語言本身的非結構特性以及建模后的高維特性， 使得后續(xù)挖掘過程中都面臨嚴重的效率問題。因此有效的降維是進行后續(xù)文本挖掘的重要一環(huán)。目前的文本降維方法主要采用基于奇異值分解的潛在語義分析技術。該技術通過分析特征詞之間的語義相關性來減少特征向量的維數，通過將詞一文檔的高維表示投影在低維潛在語義空間中，降低空間的維數，進而得到詞一文檔的不再稀疏的低維表示。并且，由詞袋模型在進行奇異值分解后得到的子空間不再是僅僅反映出詞匯出現(xiàn)的頻率和分布關系，而進一步揭示了詞匯或文檔之間的語義聯(lián)系。3）挖掘算法的選擇模型創(chuàng)建成功并且進行了有效的降維處理之后，就可以進行具體的挖掘操作了。從狹義的角度理解，

20、也可以說這部分才是真正的挖掘。而廣義上來說，整個過程才構成文本挖掘的全部過程。文本挖掘算法并不是一個新的領域，通常就是數據挖掘方法在文本數據上的應用。因此多數挖掘方法來自機器學習、統(tǒng)計學習、自然語言處理、信息抽取、信息檢索以及知識管理 等領域，最終目標就是對建模后的文本數據進行分析和處理，找到其中潛在的有用信息。根據不同的應用目標， 挖掘出的知識種類不盡相同，由此可以對文本挖掘的技術和算法進行如下的分類：如根據發(fā)現(xiàn)關聯(lián)規(guī)則、聚類、趨勢、差異等知識的不同，分別對應不同領 域的算法選擇。任何算法技術的研究和設計都離不開開始實驗的仿真和具體實例的驗證。文本數據挖掘過程亦是如此。由于文本數據的復雜多樣

21、性，導致文本數據的挖掘過程相對其他結構化數據 要復雜繁瑣的多，對數據的敏感性更為嚴重，在很多情況下，面臨對開放語料的實驗結果不理想的問題。因此選擇更好的評價方法，克服現(xiàn)有語料手工分類不準確帶來的誤差，以更好地對算法做出評價，同樣重要。4）模型的理解及可視化表達多數文本挖掘應用實例的目標同數據挖掘類似，通常是要輔助用戶的決策和判斷，因此從用戶的角度來看，文本挖掘所發(fā)現(xiàn)結果的可理解至關重要。而對于各種方法挖掘出的模式、規(guī)則等結果，提高可理解性的解決方法通常有兩種：一種是以生成人類易于理解的自然語言的方式進行呈現(xiàn)，如對文檔進行摘要的方法；另一種方式則是以圖形界面方式展示結果，通過提供相對少量的規(guī)則，

22、利用計算機圖形學、圖像處理等可視化技術將結果更加直觀的呈現(xiàn) 給用戶。近年來，可視化技術作為展示結果的關鍵一環(huán)逐漸成為文本挖掘過程中日益重要的一個 分支。大量的研究結合語義分析、內容圖譜分析、最小張力計算、神經網絡技術、多維標度 法等數據分析和處理方法進行了結果的可視化表達。3文本挖掘的應用文本挖掘的研究剛剛開始，其應用的研究正逐漸地增多，應用范圍也正逐漸地擴大，例 如在英文挖掘方面 Brin提出了一種從大量文檔中發(fā)現(xiàn)一對詞語出現(xiàn)模式的算法，并用來在Web上尋找作者和書名的出現(xiàn)模式，從而發(fā)現(xiàn)了數千本在Amazon網站上找不到的新書籍，Wang等人以 Web上的電影介紹作為測試文檔，通過使用 OE

23、M模型從這些半結構化的頁面中抽取詞語項進而得到一些關于電影名稱、導演、演員、編劇的出現(xiàn)模式。3.1基于STCS的新型信息搜索引擎人們已經進入信息極大豐富的時代，一方面信息來源廣泛， 包括 Web文檔圖書文獻數字化資料等，這些異構的信息分布在Internet空間中；另一方面，信息量巨大。面對信息的海洋，人們覺得力不從心，往往花費了很多時間卻所獲甚少。在這種情況下，如何有效地提 供基于Internet的資源發(fā)現(xiàn)服務，以幫助用戶從大量信息資源的集合中找到與給定的查詢 請求相關的、恰當數目的資源子集，也就成為一項重要而迫切的研究課題。傳統(tǒng)的搜索引擎，例如Alta Vista Yahoo等，試圖解決In

24、ternet上的資源發(fā)現(xiàn)問題， 但是， 從資源覆蓋度、檢索精度、檢索結果可視化、可維護性等諸多方面來看，其效果遠不能夠令人滿意。我們注意到搜索引擎采用的是典型的集中方式 它們試圖遍歷整個Web，對其上所有的 文檔生成索引，供用戶檢索。這種集中方式有一些嚴重的弊端，主要表現(xiàn)在：1、覆蓋度有限；2、維護困難；3、消耗太大，包括網絡帶寬、搜索引擎自身昂貴的硬件設施等。我們認為Internet上的資源發(fā)現(xiàn)更適于采取分布協(xié)作的策略。目前，分布計算以及多Agent系統(tǒng)等領域的研究已經取得了豐碩的成果，可以用于集成某些自制、異構的協(xié)作資源發(fā)現(xiàn)系統(tǒng)這正是我們設計新型信息搜索引擎的出發(fā)點。下面給出我們設計的新型

25、信息搜索引擎的原型該模型基于STCS設計，如圖3-1所示。St檔搜IS圖3-1基于STCS的搜索引擎系統(tǒng)的工作流程如下：(1) 特征提?。簩τ脩籼峤坏哪繕藰颖?欲查詢的文檔樣本)進行特征提取，生成挖掘 目標的特征矢量；(2) 站點查詢：在特征矢量中取權值最大的5個特征項作為查詢關鍵字，向多個資源索引系統(tǒng)發(fā)送查詢請求，將返回的結果URL作為文檔采集的起點；(3) 信息采集：運行 Robot程序從查詢到的源 URL開始進行文檔采集；(4) 模式匹配：提取出源文檔的特征矢量，并進行特征匹配，把符合閾值條件的文檔提 交給用戶。采用分布協(xié)作的資源發(fā)現(xiàn)策略后，各個資源發(fā)現(xiàn)子系統(tǒng)所要管理的信息資源相對縮小，

26、 消耗降低，便于維護；同時，通過各系統(tǒng)之間的相互協(xié)作，覆蓋度擴大，這也正是我們設計 的新型信息搜索引擎的優(yōu)點。3.2文本挖掘器 TextMiner在第二章，我們已經討論了文本挖掘的各種功能，現(xiàn)在的研究工作大都專注于某種功能的研究，在一定程度上解決了用戶的某些特定需求，如文本的分類、聚類、關聯(lián)等。然而當用戶面對一大堆文檔， 提出 請幫忙在這些文檔中找出一些有趣的東西”這樣一個問題的時候，單獨的某種功能恐怕就無能為力了，而這種需求是客觀存在的。為此，我們認為有必要 進行功能齊全的文本挖掘系統(tǒng)的研究，以滿足這種需求。在前面各種文本挖掘功能的基礎上，我們設計了文本挖掘器( TextMiner)。TextMiner 采用多agent的體系結構，首次提出文本中央挖掘器 TCMU的概念，以幫助用戶快速、 有效的 挖掘各種文本。下面給出系統(tǒng)原型的組件和系統(tǒng)行為的簡要描述。1) 文本預處理agent;利用啟發(fā)式