語(yǔ)義相似度的計(jì)算方法研究論文

語(yǔ)義相似度的計(jì)算方法研究信息與計(jì)算科學(xué)余牛指導(dǎo)教師冉延平摘要語(yǔ)義相似度計(jì)算在信息檢索、信息抽取、文本分類(lèi)、詞義排歧、基于實(shí)例的機(jī)器翻譯等很多領(lǐng)域中都有廣泛的應(yīng)用特別是近幾十年來(lái)隨著INTERNET技術(shù)的高速發(fā)展,語(yǔ)義相似度計(jì)算成為自然語(yǔ)言處理和信息檢索研究的重要組成部分本文介紹了幾種典型的語(yǔ)義相似度的計(jì)算方法，總結(jié)了語(yǔ)義相似度計(jì)算的兩類(lèi)策略,其中重點(diǎn)介紹了一種基于樹(shù)狀結(jié)構(gòu)中語(yǔ)義詞典HOWNET的語(yǔ)義相似度計(jì)算方法，最后對(duì)兩類(lèi)主要策略進(jìn)行了簡(jiǎn)單的比較關(guān)鍵詞語(yǔ)義相似度語(yǔ)義距離知網(wǎng)語(yǔ)料庫(kù)THERESEACHOFCOMPUTINGMETHODSABOUTSEMANTICSIMILARITYYUNIUDEPARTMENTOFMATHEMATICSANDSTATISTICS,TIANSHUINORMALUNIVERSITY,741000ABSTRACTSEMANTICSIMILARITYISBROADLYUSEDINMANYAPPLICATIONSSUCHASINFORMATIONRETRIEVAL,INFORMATIONEXTRACTION,TEXTCLASSIFICATION,WORDSENSEDISAMBIGUATION,EXAMPLEBASEDMACHINETRANSLATIONANDSOONESPECIALLYWITHTHERAPIDDEVELOPMENTOFINTERNETTECHNOLOGYINRECENTDECADES,CALCULATIONOFSEMANTICSIMILARITYHASALWAYSBEENANIMPORTANTPARTOFNATURALLANGUAGEPROCESSINGANDINFORMATIONRETRIEVALRESEARCHTHISPAPERINTRODUCESSEVERALMAINMETHODSOFCALCULATINGSEMANTICSIMILARITY,THENTWOSTRATEGIESOFSEMANTICSIMILARITYMEASUREMENTARESUMMARIZED,ANDWEFOCUSEONTHEHOWNETBASEDONTHESTUCTUREOFTREEANDUSETHEMTOCALCULATETHESEMANTICSIMILARITY,ANDFINALLYTHETWOSTRATEGIESAREEASILYCOMPAREDKEYWORDSSEMANTICSIMILARITY,SEMANTICDISTANCE,HOWNET,CORPUS1引言語(yǔ)義相似度計(jì)算研究的是用什么樣的方法來(lái)計(jì)算或比較兩個(gè)詞語(yǔ)的相似性自然語(yǔ)言的詞語(yǔ)之間有著非常復(fù)雜的關(guān)系，在實(shí)際應(yīng)用中，有時(shí)需要把這種復(fù)雜的關(guān)系用一種簡(jiǎn)單的數(shù)量來(lái)度量，而語(yǔ)義相似度就是其中的一種詞語(yǔ)的語(yǔ)義相似度計(jì)算主要有兩種方法一類(lèi)是通過(guò)語(yǔ)義詞典,把有關(guān)詞語(yǔ)的概念組織在一個(gè)樹(shù)形的結(jié)構(gòu)中來(lái)計(jì)算另一類(lèi)主要是通過(guò)詞語(yǔ)上下文的信息（本文只介紹了主要的理論方法）,運(yùn)用統(tǒng)計(jì)的方法進(jìn)行求解對(duì)于前一類(lèi)基于樹(shù)狀層次結(jié)構(gòu)的計(jì)算語(yǔ)義相似度方法的研究已經(jīng)比較成熟,國(guó)外的DEKANGLIN,RUDILCILIBRASI等都給出了自己的比較合理的語(yǔ)義相似度計(jì)算公式和方12法國(guó)內(nèi)這方面起步較晚,但發(fā)展很快,董振東,劉群,李素建4等在這方面的研究做了很多3開(kāi)創(chuàng)性的工作,李峰,楊哲,李熙,夏天等后來(lái)者做了很多補(bǔ)充性和改進(jìn)性的工作5678針對(duì)以上研究現(xiàn)狀,筆者對(duì)當(dāng)前的語(yǔ)義相似度研究成果進(jìn)行了簡(jiǎn)單的歸納和總結(jié),然后對(duì)相關(guān)方法進(jìn)行了簡(jiǎn)單比較，并提出了研究的應(yīng)用方向，以供相關(guān)研究人員參考和應(yīng)用2語(yǔ)義相似度什么是語(yǔ)義相似度語(yǔ)義相似度是一個(gè)主觀性相當(dāng)強(qiáng)的概念，沒(méi)有明確的客觀標(biāo)準(zhǔn)可以衡量脫離具體的應(yīng)用去談?wù)撜Z(yǔ)義相似度，很難得到一個(gè)統(tǒng)一的定義由于詞語(yǔ)在語(yǔ)言結(jié)構(gòu)中的一般性,我們著重研究詞語(yǔ)的相似度,進(jìn)而推廣到句子,以致整個(gè)文本的相似度DEKANGLIN認(rèn)為任何兩個(gè)詞語(yǔ)的相似度取決于它們的共性COMMONALITY和個(gè)性1DIFFERENTCES,然后從信息論的角度給出了定義公式1,LOG,BANDESCRIPTOCMBASIM其中，分子表示描述共性所需要的信息量；分母表示完整地描述所需要的信息,BA,量劉群,李素建4以基于實(shí)例的機(jī)器翻譯為背景，認(rèn)為語(yǔ)義相似度就是兩個(gè)詞語(yǔ)在不同的上下文中可以互相替換使用而不改變文本的句法語(yǔ)義結(jié)構(gòu)的程度兩個(gè)詞語(yǔ)，如果在不同的上下文中可以互相替換且不改變文本的句法語(yǔ)義結(jié)構(gòu)的可能性越大，二者的相似度就越高，否則相似度就越低對(duì)于兩個(gè)詞語(yǔ)，如果我們記其相似度為，其詞語(yǔ)距離為21W、,21WSIM，根據(jù)劉群,李素建4的公式21WDIS（2）,2121WDISSIM其中是一個(gè)可調(diào)節(jié)的參數(shù)的含義是當(dāng)相似度為05時(shí)的詞語(yǔ)距離值筆者嘗試從樹(shù)論的角度給出一個(gè)定義,假設(shè)任意兩個(gè)詞語(yǔ)可以表示為一個(gè)樹(shù)形21W、結(jié)構(gòu)中如同義詞詞典WORDNET即為這種樹(shù)形結(jié)構(gòu)的兩個(gè)結(jié)點(diǎn),由于語(yǔ)義距離與語(yǔ)義相似度成反比例關(guān)系。于是,可以給出一個(gè)簡(jiǎn)單公式,21WDIS21WSIM3,2121DISKSIM其中,為樹(shù)中所代表的結(jié)點(diǎn)在樹(shù)中的距離,為比例系數(shù),21IS、K一般地說(shuō),相似度一般被定義為一個(gè)0到1之間的實(shí)數(shù)特別地，當(dāng)兩個(gè)詞語(yǔ)完全一樣時(shí)，它們的相似度為1；當(dāng)兩個(gè)詞語(yǔ)是完全不同的概念時(shí)，它們的相似度接近于03語(yǔ)義相似度的計(jì)算方法詞語(yǔ)距離有兩類(lèi)常見(jiàn)的計(jì)算方法，一種是根據(jù)某種世界知識(shí)（ONTOLOGY）或分類(lèi)體系（TAXONOMY）來(lái)計(jì)算，一種利用大規(guī)模的語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)31根據(jù)世界知識(shí)或分類(lèi)體系計(jì)算詞語(yǔ)語(yǔ)義距離的方法該方法又稱(chēng)基于樹(shù)的語(yǔ)義相似度研究方法，基于樹(shù)的語(yǔ)義相似度計(jì)算的算法大體上分為兩種一是基于距離的語(yǔ)義相似性測(cè)度二是基于信息內(nèi)容的語(yǔ)義相似性測(cè)度一般是利用一部語(yǔ)義詞典（如WORDNET,HOWNET），語(yǔ)義詞典都是將所有的詞組織在一棵或幾棵樹(shù)狀的層次結(jié)構(gòu)中我們知道，在一棵樹(shù)狀圖中，任何兩個(gè)結(jié)點(diǎn)之間有且只有一條路徑于是，這條路徑的長(zhǎng)度就可以作為這兩個(gè)詞語(yǔ)概念間語(yǔ)義距離的一種度量；而且隨著概念所處結(jié)點(diǎn)越深,其所包含的語(yǔ)義信息越豐富,越能準(zhǔn)確地決定概念的性質(zhì),它們對(duì)語(yǔ)義相似度起著決定作用311知網(wǎng)HOWNET簡(jiǎn)介知網(wǎng)是一部語(yǔ)義詞典,由我國(guó)著名機(jī)器翻譯專(zhuān)家董振東逾十年功夫創(chuàng)建的一個(gè)知3識(shí)系統(tǒng),是一個(gè)以漢語(yǔ)和英語(yǔ)的詞語(yǔ)所代表的概念為描述對(duì)象，以揭示概念與概念之間以及概念所具有的屬性之間的關(guān)系為基本內(nèi)容的常識(shí)知識(shí)庫(kù)知網(wǎng)中含有豐富的詞匯語(yǔ)義知識(shí)和世界知識(shí)，為自然語(yǔ)言處理和機(jī)器翻譯等方面的研究提供了寶貴的資源312基于樹(shù)狀層次計(jì)算語(yǔ)義相似度的基本思想以邊作為距離根據(jù)公式3筆者給出的定義,我們的計(jì)算思想是以邊為距離來(lái)計(jì)算語(yǔ)義相似度如果樹(shù)狀語(yǔ)義網(wǎng)中所有的邊即樹(shù)的分支是等長(zhǎng)的,那么邊的數(shù)目可以作為距離的測(cè)度假定要確定詞語(yǔ)之間的語(yǔ)義相似度,可以在該語(yǔ)義網(wǎng)中首先找到包含待比較詞的那21W、些子概念（或義原）在此情況下,之間的語(yǔ)義相似性可以用連接這兩個(gè)概念之21W、間的最短路徑來(lái)表示例如,在圖1取自WORDNET本體中的一小部分中,BOY和GIRL之間的最短路徑是BOYMALEPERSONFEMALEGIRL,最小路徑長(zhǎng)度為4而TEACHER和BOY之間的最小路徑長(zhǎng)度為6因此,GIRL比TEACHER在語(yǔ)義上更接近于BOY該測(cè)度算法在基于WORDNET的語(yǔ)義網(wǎng)中獲得了較好的計(jì)算結(jié)果LIFEFORM,BEINGANIMAI,BEASTPERSON,HUMANADULT,GROWUPMALE,MALEPERSONFEMALE,FEMALEPERSONJUVENILE,JUVENILEPERSONPROFESSIONAL,PROFESSIONALPERSONMALECHILD,BOY,CHILDFEMALECHILD,GIRL,CHILD,LITTLEGIRLCHILD,KID,MINOR,EDUCATOR,PEDAGOGUETEACHER,INSTRUCTORENTITY,SOMETHING圖1313基于知網(wǎng)HOWNET的語(yǔ)義相似度計(jì)算知網(wǎng)中有兩個(gè)主要的概念“概念”與“義原”“概念”是對(duì)詞匯語(yǔ)義的一種描述每一個(gè)詞可以表達(dá)為幾個(gè)概念“概念”是用一種“知識(shí)表示語(yǔ)言”來(lái)描述的，這種“知識(shí)表示語(yǔ)言”所用的“詞匯”叫做“義原”“義原”是用于描述一個(gè)“概念”的最小意義單位與一般的語(yǔ)義詞典WORDNET不同，知網(wǎng)并不是簡(jiǎn)單地將所有的“概念”歸結(jié)到一個(gè)樹(shù)狀的概念層次體系中，而是試圖用一系列的“義原”來(lái)對(duì)每一個(gè)“概念”進(jìn)行描述由于知網(wǎng)HOWNET中詞語(yǔ)不是組織在一個(gè)樹(shù)狀的層次體系中，而是一種網(wǎng)狀結(jié)構(gòu)；同時(shí)借助義原和符號(hào)對(duì)概念進(jìn)行描述對(duì)于兩個(gè)漢語(yǔ)詞語(yǔ)和，如果有個(gè)義1W21N項(xiàng)（概念），有個(gè)義項(xiàng)（概念），1S2NS12WMSMS2劉群,李素建4認(rèn)為和的相似度是各個(gè)概念的相似度之最大值，也就是說(shuō)（4）,MAX,211,21JIJNISWSI為了更加精確地計(jì)算出詞語(yǔ)的語(yǔ)義相似度，在知網(wǎng)中對(duì)一個(gè)實(shí)詞的描述可以表示為一個(gè)特征結(jié)構(gòu)，該特征結(jié)構(gòu)含有以下四個(gè)特征第一基本義原描述其值為一個(gè)基本義原，我們將兩個(gè)概念的這一部分的相似度記為；,21SIM其它基本義原描述對(duì)應(yīng)于語(yǔ)義表達(dá)式中除第一基本義原描述式以外的所有基本義原描述式，其值為一個(gè)基本義原的集合，我們將兩個(gè)概念的這一部分的相似度記為；,21SIM關(guān)系義原描述對(duì)應(yīng)于語(yǔ)義表達(dá)式中所有的關(guān)系義原描述式，其值是一個(gè)特征結(jié)構(gòu)，對(duì)于該特征結(jié)構(gòu)的每一個(gè)特征，其屬性是一個(gè)關(guān)系義原，其值是一個(gè)基本義原，或一個(gè)具體詞我們將兩個(gè)概念的這一部分的相似度記為；,213SIM關(guān)系符號(hào)描述對(duì)應(yīng)于語(yǔ)義表達(dá)式中所有的關(guān)系符號(hào)描述式，其值也是一個(gè)特征結(jié)構(gòu)，對(duì)于該特征結(jié)構(gòu)的每一個(gè)特征，其屬性是一個(gè)關(guān)系義原，其值是一個(gè)集合，該集合的元素是一個(gè)基本義原，或一個(gè)具體詞我們將兩個(gè)概念的這一部分的相似度記為；,214SIM通過(guò)以上分析，可知在實(shí)際的知網(wǎng)結(jié)構(gòu)中,由于各個(gè)義原所處的層次不一樣,因而它們對(duì)詞語(yǔ)相似度的影響程度也不一樣,也就是說(shuō)部分相似性在整體相似性中所占的權(quán)重是不一樣的,權(quán)重（百分比）我們用表示,于是,在知網(wǎng)中,概念的整體相似度可以記I為5,214121SIMSIMI其中,是可調(diào)節(jié)的參數(shù),且有,I14321后者反映了到對(duì)于總體相似度所起到的作用4321,21SIM,214SI依次遞減由于第一獨(dú)立義原描述式反映了一個(gè)概念最主要的特征,所以應(yīng)該將其權(quán)值定義得比較大,一般應(yīng)在05以上在以上計(jì)算中,最后求加權(quán)平均時(shí),各部分取相等的權(quán)值這樣，就把兩個(gè)詞語(yǔ)之間的相似度問(wèn)題歸結(jié)到了兩個(gè)概念之間的相似度問(wèn)題313實(shí)驗(yàn)及結(jié)果根據(jù)以上方法，劉群,李素建4實(shí)現(xiàn)了一個(gè)基于知網(wǎng)的語(yǔ)義相似度計(jì)算程序模塊,這里我們選取其中的一個(gè)實(shí)驗(yàn)結(jié)果片段來(lái)分析方法1僅使用知網(wǎng)語(yǔ)義表達(dá)式中第一基本義原來(lái)計(jì)算詞語(yǔ)相似度；方法2劉群,李素建的語(yǔ)義相似度計(jì)算方法；1實(shí)驗(yàn)結(jié)果如表1表1詞語(yǔ)1詞語(yǔ)2詞語(yǔ)2的義原方法1方法2男人女人人，家，女10000861男人父親人，家，男10001000男人母親人，家，女10000861男人和尚人，宗教，男10000861男人經(jīng)理人，職位，官，商10000630男人高興屬性值，境況，福，良00160048男人收音機(jī)機(jī)器，傳播01860112男人鯉魚(yú)魚(yú)03470209男人蘋(píng)果水果02850171男人工作事物，擔(dān)任01860112男人責(zé)任責(zé)任00160126實(shí)驗(yàn)結(jié)果分析考察方法1的結(jié)果，我們可以看到，“男人”（取義原“人，家，男”）和其它各個(gè)詞的相似度與人的直覺(jué)是比較相符合的將方法1、方法2的結(jié)果相比較，可以看到方法1的結(jié)果比較粗糙，只要是人，相似度都為1，顯然不夠合理；而方法2的結(jié)果中，這兩個(gè)相似度的差距更合理一些32利用大規(guī)模的語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)基于語(yǔ)料庫(kù)的詞語(yǔ)相似度研究大都采用了上下文語(yǔ)境的統(tǒng)計(jì)描述方法,即認(rèn)同這樣一個(gè)論斷詞語(yǔ)的上下文可以為詞語(yǔ)定義提供足夠信息詞語(yǔ)向量空間模型是目前基于統(tǒng)計(jì)的詞語(yǔ)相似度計(jì)算策略使用比較廣泛的一種,算法復(fù)雜度也能夠?qū)崿F(xiàn)的模型該模型事先選擇一組特征詞,然后計(jì)算這一組特征詞與每一個(gè)詞的相關(guān)性一般用這組詞在實(shí)際的大規(guī)模語(yǔ)料中以該詞在上下文中出現(xiàn)的頻率來(lái)度量,于是,對(duì)于每一個(gè)詞都可以得到一個(gè)相關(guān)性的特征詞向量,然后利用這些向量之間的相似度作為這兩個(gè)詞的相似度4其他方法基于信息論和搜索引擎的方法我們這里另外所介紹的第一種方法,主要是基于樹(shù)狀結(jié)構(gòu)中兩個(gè)結(jié)點(diǎn)所含的信息量的大小來(lái)計(jì)算語(yǔ)義相似度,其基本思想是利用信息理論來(lái)進(jìn)行研究如以下DEKANGLIN給1出的公式6LOGL2,2121SPSIM其中,表示兩個(gè)義原,表示離它們最近的共同祖先,是該結(jié)點(diǎn)的子節(jié)點(diǎn)個(gè)21SP數(shù)包括自己與樹(shù)中的所有節(jié)點(diǎn)個(gè)數(shù)的比值這種方法對(duì)樹(shù)狀結(jié)構(gòu)概念所包含的信息量要求比較高，結(jié)果有賴(lài)于語(yǔ)義詞典的完善性和相對(duì)準(zhǔn)確性；優(yōu)點(diǎn)是計(jì)算比較方便第二種方法由計(jì)算機(jī)自然語(yǔ)言處理專(zhuān)家RUDILCILIBRASI和PAULMBVITANYI2200712提出的語(yǔ)義相似度計(jì)算方法,該方法理論基礎(chǔ)涉及信息論,壓縮原理,柯?tīng)柲缏宸驈?fù)雜性,語(yǔ)義WEB,語(yǔ)義學(xué)等,基本思想是把INTERNET作為一個(gè)大型的語(yǔ)料庫(kù),以GOOGLE對(duì)其它的搜索引擎如百度同樣適用作為搜索引擎,搜索返回的結(jié)果數(shù)作為計(jì)算的數(shù)值依據(jù),其計(jì)算公式如下（7）LOG,MINLLOG,AX,YFXFNFYNGD其中,NORMALIZEDGOOGLEDISTANCE,介于0與1之間表示標(biāo)準(zhǔn)谷歌距離以此衡量語(yǔ)義相似性大小,分別表示含概念的網(wǎng)頁(yè)數(shù),表示同時(shí)含有概念,YFX,YXF的網(wǎng)頁(yè)數(shù),表示GOOGLE引用的互聯(lián)網(wǎng)上的網(wǎng)頁(yè)總數(shù)我們可以以一次實(shí)驗(yàn)來(lái)說(shuō)明,YX假設(shè)用GOOGLE搜索詞語(yǔ)“”返回46,700,000記為條結(jié)果,搜索詞語(yǔ)“HORSEF”返回結(jié)果數(shù)為12,200,000記為,搜索同時(shí)含“”的網(wǎng)頁(yè)數(shù)是RIDEYFRIDEHOS2,630,000記為,GOOGLE共引用的網(wǎng)頁(yè)數(shù)是8,058,044,651,代入上述公式7YXFN求得0443,RIDEHOSNGD這種方法在機(jī)器翻譯、文本分類(lèi)等方面有較好的應(yīng)用前景,且方法直觀易于理解缺點(diǎn)是計(jì)算量較大,N搜索引擎所引用的網(wǎng)頁(yè)數(shù)是一個(gè)動(dòng)態(tài)值不易確定，計(jì)算有一定的誤差5兩類(lèi)主要語(yǔ)義相似度計(jì)算方法的比較下面對(duì)基于語(yǔ)義詞典和基于語(yǔ)料庫(kù)的詞語(yǔ)相似度計(jì)算這兩類(lèi)策略的方法、前提條件、所用工具等6個(gè)方面進(jìn)行比較,見(jiàn)表2表2基于語(yǔ)義詞典的詞語(yǔ)相似度計(jì)算基于語(yǔ)料庫(kù)的詞語(yǔ)相似度計(jì)算客觀計(jì)算經(jīng)驗(yàn)法方法前提條件兩個(gè)詞匯具有一定的語(yǔ)義相關(guān)性,當(dāng)且僅當(dāng)它們?cè)诟拍铋g的結(jié)構(gòu)中有且僅有一條路徑詞語(yǔ)的上下文可以為詞語(yǔ)定義提供足夠信息,兩個(gè)詞語(yǔ)語(yǔ)義相似當(dāng)且僅當(dāng)它們處于相似的上下文環(huán)境中所用工具語(yǔ)義詞典大規(guī)模語(yǔ)料庫(kù)理論依據(jù)樹(shù)論,圖論向量空間優(yōu)點(diǎn)比較直觀而且簡(jiǎn)單有效,可以計(jì)算出字面上不相似的詞匯間的相似度能夠客觀地反映詞語(yǔ)的形態(tài)、句法、語(yǔ)義等特點(diǎn)缺點(diǎn)比較受人的主觀影響比較大,有時(shí)不能反映客觀現(xiàn)實(shí)性能依賴(lài)于語(yǔ)料庫(kù)的優(yōu)劣,存在數(shù)據(jù)稀疏的問(wèn)題,也有噪聲干擾6小結(jié)與瞻望鑒于語(yǔ)義相似度在現(xiàn)代科學(xué)領(lǐng)域中的廣泛應(yīng)用,在本文中,我們比較系統(tǒng)介紹了當(dāng)前語(yǔ)義相似度計(jì)算的一些理論及方法,并簡(jiǎn)單比較了兩種主要方法的特點(diǎn)及區(qū)別,重點(diǎn)描述了基于中文語(yǔ)義詞典知網(wǎng)HOWNET的相似度計(jì)算方法最后簡(jiǎn)單介紹了國(guó)外基于搜索引擎的相似度計(jì)算法,很值得我們借鑒對(duì)于下一步的工作,筆者認(rèn)為除了完善語(yǔ)義詞典的全面性和準(zhǔn)確性之外,我們能不能選擇或找到一種相對(duì)比較簡(jiǎn)捷地準(zhǔn)確計(jì)算出語(yǔ)義相似度的方法,以確定出相似度,然后將此方法應(yīng)用于信息檢索等領(lǐng)域,如在百度中要搜索關(guān)鍵詞時(shí),可以設(shè)定一個(gè)相對(duì)合適的相似度值,從而可以全面而準(zhǔn)確地查詢(xún)到