基于多向量和實(shí)體模糊匹配的話題關(guān)聯(lián)識(shí)別

1、基于多向量和實(shí)體模糊匹配的話題關(guān)聯(lián)識(shí)別    摘要：本文在對(duì)新聞報(bào)道理論分析及實(shí)驗(yàn)驗(yàn)證的基礎(chǔ)上，提出一種多向量表示模型，使其在盡量不丟失信息的情況下，對(duì)特征集合盡可能細(xì)地劃分?；谠撃Ｐ停疚脑O(shè)計(jì)了一種模糊匹配的方法用于計(jì)算命名實(shí)體子向量之間的關(guān)聯(lián)度，它們和多個(gè)向量相似度一起用支持向量機(jī)進(jìn)行整合，形成報(bào)道模型間的相似度。本文選用TDT4中文語料作為測(cè)試語料，將上述模型及模糊匹配技術(shù)用于話題關(guān)聯(lián)識(shí)別。實(shí)驗(yàn)表明，多向量模型能夠改進(jìn)話題關(guān)聯(lián)識(shí)別的性能，模糊匹配技術(shù)也在一定程度上彌補(bǔ)了精確匹配帶來的性能損失。關(guān)鍵詞：計(jì)算機(jī)應(yīng)用；中文信息處理；話題關(guān)聯(lián)識(shí)別；多向量

2、表示模型；命名實(shí)體模糊匹配1引言新聞是一種主要的信息載體，新聞?wù)Z料一直是自然語言處理研究人員關(guān)注的對(duì)象。話題發(fā)現(xiàn)與追蹤(Topic Detection and Tracking，TDT)就是以大規(guī)模的新聞?wù)Z料庫(kù)為研究對(duì)象，該研究通過監(jiān)控新聞報(bào)道所描述的話題，來發(fā)現(xiàn)新的用戶感興趣的信息并跟蹤下去，最后將涉及某個(gè)話題的報(bào)道組織起來以某種方式呈現(xiàn)給用戶。在需要實(shí)時(shí)高效訪問大容量信息的領(lǐng)域中，TDT具有很大的應(yīng)用價(jià)值。作為話題發(fā)現(xiàn)與追蹤的核心技術(shù)，話題關(guān)聯(lián)識(shí)別的任務(wù)是判斷兩篇報(bào)道是否描述了同一個(gè)話題。這里的話題指發(fā)生在特定時(shí)間、地點(diǎn)的一個(gè)核心事件或活動(dòng)，以及所有與之直接相關(guān)的事件或活動(dòng)。該任務(wù)被認(rèn)為是

3、其他TDT研究?jī)?nèi)容的基礎(chǔ)和核心關(guān)鍵技術(shù)。目前已有很多機(jī)器學(xué)習(xí)的算法應(yīng)用到話題關(guān)聯(lián)識(shí)別中來。主要分為兩類：基于向量空間模型的方法和基于概率模型的方法。兩者各有優(yōu)缺點(diǎn)，其中向量空間模型一直是話題關(guān)聯(lián)識(shí)別研究中的主流，它將文本內(nèi)容轉(zhuǎn)換成易于數(shù)學(xué)處理的向量方式，使得各種相似運(yùn)算和排序成為可能，在TDT研究中一直都表現(xiàn)不錯(cuò)，但是該模型的局限在于其獨(dú)立性假設(shè)，即向量特征之間是相互獨(dú)立的，文本在向量模型轉(zhuǎn)換的過程中丟失了所有的關(guān)聯(lián)信息；而概率模型理論基礎(chǔ)扎實(shí)，有較好的發(fā)展?jié)摿?，但是由于TDT中的新聞報(bào)道通常較為簡(jiǎn)短精練，使模型原本就有的稀疏問題更加嚴(yán)重。無論是哪種方法，其前提都是將文本表示成為機(jī)器能夠處理的

4、形式，表示模型及其使用方法的好壞將會(huì)很大的影響到整個(gè)系統(tǒng)的性能。本文基于向量空間表示模型，考慮到不同類型的詞如果區(qū)別對(duì)待，則能夠引入詞性關(guān)聯(lián)信息，使之在一定程度上緩解基于向量模型的獨(dú)立性假設(shè)限制。前期研究結(jié)果也表明：文本在向表示模型轉(zhuǎn)換的過程中，若有信息丟失，系統(tǒng)性能也會(huì)相應(yīng)降低；同時(shí)在不丟失信息的情況下，信息劃分的越細(xì)越好。因此，本文從文本中抽取出十類比較富含信息的詞，以十個(gè)向量來表示，并用支持向量機(jī)整合多個(gè)向量相似度。同時(shí)我們又考慮了表示模型中人名、地名、組織名向量間基于模糊匹配的關(guān)聯(lián)信息，把他們和多個(gè)向量相似度一起作為SVM的特征輸入對(duì)新聞報(bào)道間的話題關(guān)聯(lián)性進(jìn)行訓(xùn)練和測(cè)試。實(shí)驗(yàn)表明多向量

5、文本表示模型和命名實(shí)體關(guān)聯(lián)信息能夠有效地改進(jìn)系統(tǒng)性能。本文內(nèi)容組織如下：第二節(jié)介紹用于對(duì)比的基準(zhǔn)系統(tǒng)；第三節(jié)重點(diǎn)介紹多向量文本表示模型，主要包括特征選取及劃分、多個(gè)相似度整合方法等；另一個(gè)重點(diǎn)問題命名實(shí)體關(guān)聯(lián)信息的計(jì)算和使用將在第四節(jié)介紹；第五節(jié)給出實(shí)驗(yàn)結(jié)果并進(jìn)行分析；最后做出總結(jié)。2基準(zhǔn)方法從第一節(jié)的相關(guān)工作中我們知道，基于向量表示模型構(gòu)建的話題關(guān)聯(lián)系統(tǒng)是目前性能最好的系統(tǒng)之一，很多相關(guān)研究中都以此作為他們的基準(zhǔn)方法。本文也作了同樣的選擇，基準(zhǔn)方法中用一個(gè)向量表示新聞報(bào)道，向量特征是切分后的詞加上其詞性標(biāo)記，對(duì)于同一個(gè)詞，如果標(biāo)記為不同詞性，則認(rèn)為是不同特征，向量中每一維表示該特征在報(bào)道中的

6、權(quán)重。本文中的所有實(shí)驗(yàn)語料都來自于TDT評(píng)測(cè)的中文報(bào)道。在預(yù)處理中，每篇新聞報(bào)道都進(jìn)行分詞、詞性標(biāo)注、停用詞過濾，之后將獲得用于向量模型表示的特征候選集合，特征的頻率以及報(bào)道長(zhǎng)度將在預(yù)處理之后統(tǒng)計(jì)得出。文中采用的分詞和詞性標(biāo)注器是漢語詞法分析系統(tǒng)ICTCLAS，所使用的停用詞表包括507個(gè)停用詞，在過濾停用詞時(shí)不考慮詞性信息。計(jì)算向量特征的權(quán)重值是建立向量模型的一個(gè)重要部分。本文中的特征權(quán)重都基于傳統(tǒng)的tf×idf計(jì)算方法，但計(jì)算過程又是動(dòng)態(tài)的，具體的計(jì)算方式如公式(1)、(2)、(3)所示：在兩個(gè)向量都經(jīng)過標(biāo)準(zhǔn)化長(zhǎng)度為1之后，余弦函數(shù)僅僅是兩個(gè)向量的內(nèi)積，即向量夾角的余弦值，如公式

7、(4)所示。余弦相似度在度量向量間的相似度時(shí)，向量的稀疏性會(huì)降低余弦相似度的性能。新聞報(bào)道通常比較簡(jiǎn)短精練，因此稀疏問題在話題關(guān)聯(lián)研究中就顯得更為嚴(yán)重，這在一定程度上影響了余弦相似度性能的發(fā)揮。本文提出的以多個(gè)向量表示一篇報(bào)道，在一定程度上稍微緩解了稀疏性對(duì)系統(tǒng)性能的影響。3多向量文本表示模型為了給TDT中的新聞文本建立合適的表示模型，除了理論分析之外，我們還進(jìn)行了一系列基于向量空間表示模型的實(shí)驗(yàn)，其中在模型信息含量、特征劃分粒度等方面都進(jìn)行了比較，有單向量表示模型，也有按照不同標(biāo)準(zhǔn)劃分后的多向量表示模型。實(shí)驗(yàn)結(jié)果表明：在表示一篇新聞報(bào)道時(shí)，如果在模型轉(zhuǎn)換的過程中有信息丟失，那么一定會(huì)造成系統(tǒng)

8、檢測(cè)代價(jià)提高和性能下降；表示模型在信息含量不變的情況下，信息區(qū)分的越細(xì)越好，并且每類信息間的相似度計(jì)算方法以及多個(gè)信息相似度整合的方法也會(huì)對(duì)系統(tǒng)性能有很大影響，根據(jù)該結(jié)論本文提出了多向量文本表示模型，包括：一、對(duì)文本進(jìn)行特征抽取，然后按照某種劃分方式把抽取出的特征集合劃分為多個(gè)不相交的子集，每個(gè)子集由一個(gè)向量表示；二、模型之間對(duì)應(yīng)子向量的相似度計(jì)算；三、對(duì)多個(gè)相似度進(jìn)行整合，從而判斷兩個(gè)模型之間的相似性。其中向量特征的權(quán)重計(jì)算和對(duì)應(yīng)子向量間相似度的計(jì)算和基準(zhǔn)方法中的一致，這里就不再重復(fù)。3.1特征抽取及劃分對(duì)文本進(jìn)行特征抽取并劃分是建立多向量模型的第一步。首先選用一種特征表示，多向量模型中的特

9、征和基準(zhǔn)方法中的一樣，對(duì)報(bào)道經(jīng)過分詞、詞性標(biāo)注及停用詞過濾后，以詞及其詞性標(biāo)記為特征，對(duì)于同一個(gè)字串，如果標(biāo)記為不同詞性，則認(rèn)為是不同特征。然后根據(jù)詞性從該候選特征集合中抽取出十類富含信息量的特征用于建立多向量文本表示模型。經(jīng)過分析我們認(rèn)為，在中文詞性標(biāo)記中有十類詞含有的信息比較具有實(shí)際意義，包括人名、地名、組織名、數(shù)詞、時(shí)間詞、名詞(包括名詞、其他專名)、動(dòng)詞(包括動(dòng)詞、副動(dòng)詞、名動(dòng)詞)、形容詞(包括形容詞、副形詞、名形詞)、副詞、習(xí)語(包括成語、習(xí)用語)。最后用十個(gè)子向量表示選出的這十類特征子集構(gòu)成本文的多向量文本表示模型：URF，并且當(dāng)ij時(shí)FiFi=，其中F是候選特征集合，F(xiàn)i、

10、60;    Fi是抽取出的特征子集。所有子向量中的特征權(quán)重計(jì)算方法都和基準(zhǔn)方法中的一致。3.2多個(gè)相似度整合方法將報(bào)道表示成十向量表示模型之后，用余弦相似度計(jì)算出對(duì)應(yīng)子向量之間相似度，那么如何將這些相似度整合起來得到兩文本間的相似度又是一個(gè)非常關(guān)鍵的步驟。本文采用一種機(jī)器學(xué)習(xí)的整合方法，即支持向量機(jī)學(xué)習(xí)器(SVM)。SVM是新一代學(xué)習(xí)算法，已經(jīng)在很多領(lǐng)域中獲得了較好的應(yīng)用。它以統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理為基礎(chǔ)，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，以期獲得最好的推廣能力。SVM不僅要求能將兩類樣本正確分開，而且使分類間隔最大

11、。在多向量表示模型中使用SVM進(jìn)行多相似度的整合，就是以多個(gè)相似度構(gòu)成的向量作為輸入進(jìn)行訓(xùn)練，獲得由支持向量線性組合構(gòu)成的分類線方程，通過該方程對(duì)測(cè)試向量進(jìn)行代入計(jì)算，得到最后的置信值作為報(bào)道間的最終相似度，利用該值的正負(fù)屬性對(duì)話題關(guān)聯(lián)性進(jìn)行判斷。4命名實(shí)體模糊匹配從上節(jié)的多向量文本表示模型可以看到，我們已經(jīng)從信息含量、內(nèi)容描述上做到盡可能充分、準(zhǔn)確，但是在計(jì)算對(duì)應(yīng)子向量問的相似度時(shí)，子向量特征間的特征是精確匹配，這么做會(huì)損失系統(tǒng)一部分性能。例如，處理一個(gè)新聞報(bào)道對(duì)Pi=(Si1，Si2)，si1Sj，si2Sk，1im，1jkn時(shí)，Si1的多向量表示模型中的地點(diǎn)子特征向量為中國(guó)，si2的多向

12、量表示模型中的地點(diǎn)子特征向量為北京，如果使用特征精確匹配，那么兩個(gè)地點(diǎn)子向量的相似度為零，但顯然“中國(guó)”和“北京”兩者有著密切的聯(lián)系。為解決這一問題，本節(jié)提出了一種特征模糊匹配的方法，并應(yīng)用于受精確匹配影響最大的命名實(shí)體子向量上。下面我們?cè)敿?xì)介紹這種基于模糊匹配的關(guān)聯(lián)信息的獲取和使用方法。4.1關(guān)聯(lián)度計(jì)算在計(jì)算兩個(gè)命名實(shí)體子向量之間的關(guān)聯(lián)度時(shí)，要首先知道兩個(gè)命名實(shí)體詞之間的關(guān)聯(lián)度。這里的詞關(guān)聯(lián)度是指兩個(gè)實(shí)體詞在背景語料中的關(guān)聯(lián)程度，即在一個(gè)文檔集合中的關(guān)聯(lián)度，共同出現(xiàn)在一個(gè)文檔中被認(rèn)為是一次關(guān)聯(lián)。我們知道互信息是對(duì)兩個(gè)隨機(jī)事件相關(guān)性的度量，有著簡(jiǎn)單、能實(shí)際地反映出數(shù)據(jù)之間關(guān)聯(lián)程度的優(yōu)點(diǎn)，在文本

13、處理中通常是用來計(jì)算兩個(gè)詞在一個(gè)文檔中的關(guān)聯(lián)度，它的一次關(guān)聯(lián)是在文檔中的一次共現(xiàn)。由此看來，兩者在計(jì)算目標(biāo)上具有很大的相似性，但在定義上又有區(qū)別。因此本文中詞關(guān)聯(lián)度的計(jì)算不等同于互信息，而是借鑒了互信息的思想，把整個(gè)背景語料看作是互信息計(jì)算中的一篇文檔，把背景語料中的每篇文檔作為統(tǒng)計(jì)共現(xiàn)的窗口，這樣互信息計(jì)算中兩個(gè)詞在一個(gè)文檔中共現(xiàn)和獨(dú)立出現(xiàn)的概率替換為他們?cè)诒尘罢Z料中共現(xiàn)和獨(dú)立出現(xiàn)的報(bào)道個(gè)數(shù)，同時(shí)又考慮到每個(gè)詞在當(dāng)前各自報(bào)道中權(quán)重值，以期望能準(zhǔn)確地反映兩個(gè)詞之間的關(guān)聯(lián)度，具體計(jì)算如公式(6)、(7)、(8)所示。實(shí)驗(yàn)表明上述基于互信息的計(jì)算方法確實(shí)使性能獲得了改進(jìn)。上述歸一化代價(jià)函數(shù)是針對(duì)一

14、個(gè)話題的。評(píng)測(cè)整個(gè)TDT系統(tǒng)的性能，即總的錯(cuò)誤識(shí)別的代價(jià)，需要考慮多個(gè)話題，有話題加權(quán)和報(bào)道加權(quán)兩種解決方法，通常采用前者為主要系統(tǒng)評(píng)價(jià)指標(biāo)，因?yàn)檫@種方法不會(huì)受某些包含大量新聞報(bào)道話題的識(shí)別代價(jià)的影響。檢測(cè)代價(jià)取決于一個(gè)好的檢測(cè)方法和閾值選擇方法。如果閾值選擇不好，即使系統(tǒng)有很低的最小檢測(cè)代價(jià)，系統(tǒng)當(dāng)前輸出的檢測(cè)代價(jià)也可能很高。因此本文主要關(guān)注系統(tǒng)當(dāng)前輸出的檢測(cè)代價(jià)。5.2實(shí)驗(yàn)及結(jié)果分析為驗(yàn)證上述方法在話題關(guān)聯(lián)識(shí)別中有效性，本文共實(shí)現(xiàn)了三個(gè)話題關(guān)聯(lián)識(shí)別系統(tǒng)：基準(zhǔn)系統(tǒng)，基于多向量表示模型的系統(tǒng)，基于多向量表示模型結(jié)合命名實(shí)體模糊匹配的系統(tǒng)。他們根據(jù)單個(gè)相似度或多相似度整合值對(duì)報(bào)道對(duì)之間的話題相關(guān)

15、性做出判斷，不同新聞報(bào)道對(duì)之間的處理是獨(dú)立的。其中基準(zhǔn)系統(tǒng)采用單向量表示模型和余弦相似度計(jì)算方法，首先在訓(xùn)練樣本中獲取使系統(tǒng)性能達(dá)到最優(yōu)的閾值，用該閾值評(píng)測(cè)基準(zhǔn)系統(tǒng)在測(cè)試樣本中的性能；基于多向量表示模型的話題關(guān)聯(lián)識(shí)別采用了十向量表示模型、余弦相似度計(jì)算方法和SVM多值整合方法；在此基礎(chǔ)上再結(jié)合命名實(shí)體模糊匹配即是本文實(shí)現(xiàn)的第三個(gè)系統(tǒng)。后兩個(gè)系統(tǒng)采用LibSVM，測(cè)試時(shí)根據(jù)分類面方程值的正負(fù)符號(hào)判斷新聞報(bào)道對(duì)的話題關(guān)聯(lián)性。表1中即是這三種方法下話題關(guān)聯(lián)識(shí)別系統(tǒng)的當(dāng)前話題加權(quán)檢測(cè)代價(jià)。從上述實(shí)驗(yàn)結(jié)果中可知，后兩個(gè)話題關(guān)聯(lián)系統(tǒng)在綜合評(píng)定值(標(biāo)準(zhǔn)化話題加權(quán)檢測(cè)代價(jià))上相比基準(zhǔn)系統(tǒng)都有很大改進(jìn)，其中多向

16、量表示模型的使用讓代價(jià)降低了39.8，命名實(shí)體模糊匹配技術(shù)在多向量表示模型的基礎(chǔ)上又降低了兩個(gè)百分點(diǎn)。從單個(gè)評(píng)價(jià)指標(biāo)來看，多向量表示模型技術(shù)雖然使系統(tǒng)誤判率降低了0.86個(gè)百分點(diǎn)，也使系統(tǒng)的丟失率上升了0.4個(gè)百分點(diǎn)，而系統(tǒng)更看重丟失的代價(jià)。我們經(jīng)過分析認(rèn)為丟失率的下降原因可能在建立多向量表示模型時(shí)特征集合劃分的標(biāo)準(zhǔn)上。本文提出十向量表示模型的根據(jù)是“信息區(qū)分應(yīng)該越細(xì)越好”，但是實(shí)體詞和其他詞在表示文檔時(shí)區(qū)分能力顯然是不一樣的。新聞報(bào)道描述一個(gè)事件的框架由實(shí)體詞構(gòu)成，實(shí)體詞詞性之間相互轉(zhuǎn)換的概率較小，把不同類型的實(shí)體詞區(qū)分開有助于增加比較的準(zhǔn)確度。但其他詞(例如名詞、形容詞、副詞)通常用來修飾

17、實(shí)體詞，詞性之間相互轉(zhuǎn)換的概率要大很多，把他們區(qū)分開來則會(huì)增大相似性比較的難度，而且在文本表示中，命名實(shí)體之外的詞占了很大比例，這是多向量模型導(dǎo)致丟失率上升的原因之一。由此可見，對(duì)多向量表示模型來說，建立合適的特征劃分標(biāo)準(zhǔn)非常重要。此外，向量特征之間過于精確的匹配也會(huì)使系統(tǒng)的丟失率上升，而本文提出的命名實(shí)體模糊匹配技術(shù)在一定程度上彌補(bǔ)了精確匹配帶來的性能損失，使丟失率有所下降，盡管仍未恢復(fù)到基準(zhǔn)系統(tǒng)的水平，但仍然給我們一個(gè)啟示：各子向量的模糊匹配技術(shù)應(yīng)該是降低系統(tǒng)丟失率的一個(gè)有效手段。這是命名實(shí)體精確匹配的性能損失來自于同類實(shí)體之間的精確匹配，但是背景語料中事件的發(fā)生使得同類型實(shí)體之間有了一定

18、的關(guān)聯(lián)，其他向量精確匹配的性能損失來自于同一個(gè)詞詞性之間的轉(zhuǎn)換，因此和命名實(shí)體模糊匹配基于背景語料相比，其他詞的模糊匹配需要更多借助于詞和詞性知識(shí)，比如利用各類詞典等知識(shí)源。    從每個(gè)話題的關(guān)聯(lián)識(shí)別結(jié)果來看，進(jìn)一步分析實(shí)驗(yàn)結(jié)果表明，多向量模型幾乎改進(jìn)了所有話題的關(guān)聯(lián)識(shí)別誤判率，但是卻增加了話題5、20、27的丟失率，而命名實(shí)體模糊匹配技術(shù)則在一定程度上彌補(bǔ)了丟失率的下降。此外，也有一些因素在三個(gè)話題關(guān)聯(lián)識(shí)別系統(tǒng)中都存在，并導(dǎo)致了新聞報(bào)道對(duì)話題關(guān)聯(lián)的錯(cuò)誤識(shí)別。這些因素主要包括：向量方法的局限性(例如獨(dú)立性假設(shè))使得一些更有區(qū)別性的特征無法表示出來，例如序關(guān)系特征、不同詞性的詞之間的關(guān)系特征等，從而限制了向量模型在話題關(guān)聯(lián)識(shí)別研究中的有效性；新聞報(bào)道比較對(duì)本身的模糊性，例如話題32描述的國(guó)際金融會(huì)議，通常該類事件的參與者、議題等都會(huì)有較多的重復(fù)，如果新聞報(bào)道對(duì)描述了兩個(gè)該類事件，無論是機(jī)器還是人都很難判斷他們是否描述了同一個(gè)話題。如何克服這些因素帶來的負(fù)面影響同樣是我們下一步需要研究的工作。6總結(jié)本文在“文本信息盡量不丟失、信息劃分粒度越細(xì)越好”的指導(dǎo)下，構(gòu)建了一個(gè)新的多向量文本表示模型。該模型把從新聞報(bào)道中抽取的分詞特征按其詞性劃分，從中挑選十個(gè)富含信息的特征子集表示為向量用來表