帶輿論評(píng)價(jià)的引文網(wǎng)絡(luò)構(gòu)建與主題發(fā)現(xiàn)

帶輿論評(píng)價(jià)的引文網(wǎng)絡(luò)構(gòu)建與主題發(fā)現(xiàn)

1引言科技文獻(xiàn)是學(xué)者發(fā)布研究成果、交流信息的重要載體?？萍嫉娘w躍發(fā)展及互聯(lián)網(wǎng)的廣泛普及，致使電子文獻(xiàn)海量涌現(xiàn)。引文網(wǎng)絡(luò)[1]能提供巨大的知識(shí)儲(chǔ)備，同時(shí)也制造了一個(gè)知識(shí)沼澤，學(xué)者難以快速有效獲取相關(guān)文獻(xiàn)、研究前沿、各個(gè)熱點(diǎn)之間內(nèi)在聯(lián)系以及經(jīng)典理論對研究的支撐關(guān)系等。引文網(wǎng)絡(luò)作為一個(gè)知識(shí)生產(chǎn)和傳播的復(fù)雜系統(tǒng)，個(gè)人和單個(gè)文獻(xiàn)的作用在網(wǎng)絡(luò)已經(jīng)逐步淡化，僅僅依賴于同行評(píng)議和單純地分析個(gè)體文獻(xiàn)無法真實(shí)地反映整個(gè)網(wǎng)絡(luò)的狀態(tài)。引文網(wǎng)絡(luò)系統(tǒng)在不斷演化，隨著文獻(xiàn)不斷地被引用，網(wǎng)絡(luò)結(jié)點(diǎn)度(文獻(xiàn)被引用數(shù))不斷增加。結(jié)合突現(xiàn)[2]理論分析，微觀層面的相互作用形成宏觀的整體特性，在引文網(wǎng)絡(luò)動(dòng)態(tài)演化過程中，會(huì)突現(xiàn)出網(wǎng)絡(luò)拓?fù)涮匦?，并且從?fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、眾多的科技文獻(xiàn)中突現(xiàn)出領(lǐng)域內(nèi)的中心文獻(xiàn)?，F(xiàn)在評(píng)定文獻(xiàn)的重要性主要利用引文數(shù)、期刊影響因子、同行評(píng)議等[3]，這些評(píng)判標(biāo)準(zhǔn)在一定程度上能反映出文獻(xiàn)在網(wǎng)絡(luò)中的重要程度。現(xiàn)有的文獻(xiàn)檢索系統(tǒng)也按此來對檢索結(jié)果進(jìn)行排序，通常搜索出大量的相關(guān)文獻(xiàn)，難以快速獲取最具影響力的文獻(xiàn)。Huang和Qiu[4]認(rèn)為科技文獻(xiàn)作者發(fā)表的論文中，通常會(huì)不同程度描述所引用的文獻(xiàn)，而這其中就包括作者對所引文獻(xiàn)中肯的評(píng)價(jià)。本文考慮從文獻(xiàn)中有效地提取作者對參考文獻(xiàn)的輿論評(píng)價(jià)，采用突現(xiàn)語義[5，6]的思路，結(jié)合引文網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特性，對文獻(xiàn)在領(lǐng)域內(nèi)的重要程度進(jìn)行評(píng)定顯得更客觀、更有價(jià)值。給引文網(wǎng)絡(luò)賦予科技文獻(xiàn)作者對所引參考文獻(xiàn)的輿論評(píng)價(jià)信息，在作者間相互引用、相互評(píng)價(jià)的動(dòng)態(tài)演化過程中，將會(huì)從引文網(wǎng)絡(luò)中突現(xiàn)出重要文獻(xiàn)。本文考慮在帶輿論評(píng)價(jià)的引文網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行關(guān)鍵詞和網(wǎng)絡(luò)社區(qū)主題提取。近年來，自動(dòng)進(jìn)行主題挖掘的方法和技術(shù)及主題發(fā)展演化正獲得廣泛關(guān)注。Wang等[7]利用TOT(TopicOverTime)型在NIPS會(huì)議數(shù)據(jù)集上獲得了相關(guān)主題隨時(shí)間的變化以及與分類相關(guān)的主題時(shí)間變化關(guān)系。Blei等[8]提的LDA(LatentDirichletAllocation)主題模型方法得到了廣泛的應(yīng)用。Zhou等[9]利用LDA模型分析了CiteSeer數(shù)據(jù)中主題隨時(shí)間變化關(guān)系。王金龍等[10]利用LDA主題模型抽取主題，研究主題之間的影響關(guān)系。這些文獻(xiàn)并未考慮文獻(xiàn)間的相互引用關(guān)系，以及作者的輿論評(píng)價(jià)信息。Huang和Qiu[4]提出一種構(gòu)建CSLN(CitationSemanticLinkNetwork)的方法，描述了網(wǎng)絡(luò)結(jié)點(diǎn)輿論評(píng)價(jià)計(jì)算，本文將結(jié)合該方法建立包含輿論評(píng)價(jià)的引文網(wǎng)絡(luò)，在此基礎(chǔ)上進(jìn)行社區(qū)劃分，再引入信息熵理論改進(jìn)TFIDF[11]算法提取每個(gè)分類中的主題，從而得到每個(gè)主題的關(guān)鍵詞概率表示，取得很好的效果。本文第2部分描述含有輿論評(píng)價(jià)的引文網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)和元數(shù)據(jù)抽?。坏?部分描述文獻(xiàn)輿論評(píng)價(jià)和重要性權(quán)值的計(jì)算，網(wǎng)絡(luò)社區(qū)主題提取與計(jì)算；第4部分對實(shí)驗(yàn)結(jié)果進(jìn)行分析；第5部分為總結(jié)及下一步工作。2基于輿論評(píng)價(jià)的引文系統(tǒng)描述2.1系統(tǒng)描述本文系統(tǒng)主要分為三層：數(shù)據(jù)源層、語義信息抽取及關(guān)聯(lián)存儲(chǔ)層和用戶檢索界面層。系統(tǒng)流程如圖1所示。具體功能如下：在數(shù)據(jù)源層，采用爬蟲技術(shù)從Internet上獲取免費(fèi)的科技文獻(xiàn)資源(PDF格式)，存儲(chǔ)在文獻(xiàn)庫中。接著從PDF文件中抽取文獻(xiàn)元數(shù)據(jù)(圖2)，并根據(jù)文獻(xiàn)的語義關(guān)系存儲(chǔ)抽取的元數(shù)據(jù)。然后利用情感特征詞庫對帶標(biāo)注的句子進(jìn)行輿論評(píng)價(jià)分類，計(jì)算出參考文獻(xiàn)的重要性權(quán)值，構(gòu)建含有權(quán)值的引文網(wǎng)絡(luò)，在此基礎(chǔ)上進(jìn)行網(wǎng)絡(luò)社區(qū)主題提取與計(jì)算。用戶檢索界面層，在文獻(xiàn)檢索時(shí)，給出較好的排序，從而用戶能快速定位到重要文獻(xiàn)。本文重點(diǎn)介紹文獻(xiàn)作者輿論評(píng)價(jià)分析、文獻(xiàn)重要性權(quán)值計(jì)算和社區(qū)主題概率計(jì)算。2.2元數(shù)據(jù)抽取參考文獻(xiàn)[12]利用正則表達(dá)式規(guī)則，對論文結(jié)構(gòu)進(jìn)行分析，提取出論文的標(biāo)題、作者、摘要和關(guān)鍵字等元數(shù)據(jù)信息。華中科技大學(xué)的Semrex[13]系統(tǒng)，采用模式匹配的方法提取參考文獻(xiàn)中的元數(shù)據(jù)，模板分析器自動(dòng)提取出相應(yīng)的模板信息，提取參考文獻(xiàn)中的標(biāo)題、作者、出版時(shí)間等信息，有很高的準(zhǔn)確性。本文將結(jié)合這兩種方法，實(shí)現(xiàn)文獻(xiàn)元數(shù)據(jù)的提取。本文系統(tǒng)只針對英文文獻(xiàn)，標(biāo)準(zhǔn)科技文獻(xiàn)文檔格式通常是一致的。本文的語義信息抽取模塊，首先讀取文獻(xiàn)庫中PDF格式的文獻(xiàn)，利用關(guān)鍵詞“KeyWord”或“Indexword”或“Introduction”和關(guān)鍵詞“References”或“Bibliography”，將文獻(xiàn)信息分離成三部分：頭部信息、正文部分和參考文獻(xiàn)部分；然后抽取各部分信息中的元數(shù)據(jù)(圖2)。2.2.1文獻(xiàn)頭部元數(shù)據(jù)抽取通過建立正則表達(dá)式模板，提取科技文獻(xiàn)頭部信息中的元數(shù)據(jù)，包括：Title、AuthorName、Abstract、KeyWords。利用如下的正則表達(dá)式的規(guī)則(‘\r\n’表示換行，單引號(hào)中的文字為字符串)：利用DBLP收集的文獻(xiàn)信息(http://dblp.unitrier.de/xml)中的作者名稱建立了人名數(shù)據(jù)庫。根據(jù)人名數(shù)據(jù)庫信息分析提取的作者名是否正確。類似地，還定義了其他的一些正則表達(dá)式規(guī)則。2.2.2帶標(biāo)注的句子抽取從論文主體(Body)部分提取出帶標(biāo)注的句子，并標(biāo)明其所屬部分(Introduction、Relatedwork、Experiment、Conclusion)，若判定不屬于這四部分中的句子，則就將其歸為MainContent部分。句子中標(biāo)注主要有“[2]”、“[3，9]”、“[3，5，6，and9]”、“[5～7，10]”或“[Name，Year]”等樣式，因此建立正則表達(dá)式模板，能有效的從文章主體中提取出帶標(biāo)注的句子。2.2.3參考文獻(xiàn)元數(shù)據(jù)抽取在參考文獻(xiàn)起始部分之后，通常是較規(guī)則的參考文獻(xiàn)信息條目，如“[1][2]”、“12”、“1.2.”和“[Name1，Year1][Name1，Year1]”，根據(jù)這些起始的標(biāo)志，分別建立正則表達(dá)式模板，通過模板匹配將兩個(gè)分隔標(biāo)記中間的文本提取出來形成每一條的參考文獻(xiàn)。對于部分無明顯分隔標(biāo)記的參考文獻(xiàn)，暫不考慮對其元數(shù)據(jù)進(jìn)行提取。因?yàn)闊o明顯分隔標(biāo)記，在正文中也沒有對所引用文獻(xiàn)進(jìn)行標(biāo)注，難以判斷作者對參考文獻(xiàn)的輿論評(píng)價(jià)。準(zhǔn)確提取出參考文獻(xiàn)中所有的元數(shù)據(jù)是具有挑戰(zhàn)的工作，但參考文獻(xiàn)格式類似，本文只是提取參考文獻(xiàn)的作者、標(biāo)題、年份，就相對容易，除了引用網(wǎng)頁的文獻(xiàn)條目外，參考文獻(xiàn)元數(shù)據(jù)順序均可看作歸為：“作者”、“標(biāo)題”、“年份”。按句點(diǎn)和逗號(hào)來分隔每條參考文獻(xiàn)。結(jié)合分隔后的各部分的數(shù)據(jù)長度和已建立的人名庫，提取出作者信息后，易得標(biāo)題信息；而年份信息用四位數(shù)字表式，由正則表達(dá)式匹配獲取。通過上面的信息抽取工作和信息的關(guān)聯(lián)存儲(chǔ)，可以得到文獻(xiàn)之間的相互引用關(guān)系，構(gòu)建出文獻(xiàn)庫中文獻(xiàn)間的引文網(wǎng)絡(luò)圖。3文獻(xiàn)重要性計(jì)算與主題發(fā)現(xiàn)3.1標(biāo)注句子情感極性分析假設(shè)科技文獻(xiàn)作者會(huì)在帶標(biāo)注的句子中對所引用文獻(xiàn)進(jìn)行不同程度的評(píng)價(jià)，因此可通過判斷此句子的情感極性來判斷作者對所引文獻(xiàn)的評(píng)價(jià)態(tài)度[4](Negative、Neutral、Positive)。采用詞匯和語義特征的方法來實(shí)現(xiàn)對句子情感極性的判斷。在WordNet中，名詞、動(dòng)詞、形容詞和副詞各自被組織成一個(gè)同義詞的網(wǎng)絡(luò)，每個(gè)同義詞集合都代表一個(gè)基本的語義概念。首先從標(biāo)注句子中抽取具有明顯情感傾向的詞匯，根據(jù)WordNet中的詞語同義、近義詞集來擴(kuò)展特征詞庫，從而得到正面評(píng)價(jià)和負(fù)面評(píng)價(jià)的詞庫。然后依據(jù)建立的特征情感詞庫進(jìn)行觀點(diǎn)分類。本文只是把作者的評(píng)價(jià)態(tài)度分為三類，使用特征匹配的方法來進(jìn)行情感分類，句中沒有與正面或負(fù)面評(píng)價(jià)的特征詞匹配的詞語，就將其歸為中立態(tài)度?？紤]作者在文章不同部分對參考文獻(xiàn)的引用，會(huì)展現(xiàn)出所引參考文獻(xiàn)的重要性差異，因此標(biāo)記句子在文中出現(xiàn)的位置，得到位置權(quán)重。作者引用、描述參考文獻(xiàn)的方式也反映參考文獻(xiàn)對引用文獻(xiàn)的重要程度，如作者將自己的算法與某參考文獻(xiàn)進(jìn)行對比(Compare)，說明此參考文獻(xiàn)的較為重要；而若只在文中提到(Mentioned)某參考文獻(xiàn)，并未有其他描述，則其重要性較小。通過5類特征詞語來進(jìn)行重要性分類，通過WordNet得到每類詞語的同義、近義詞，建立分類詞庫，規(guī)則優(yōu)先順序?yàn)椋篊ompare>Detail>Similar>Use>Mentioned。利這五類詞語與標(biāo)注句子進(jìn)行特征匹配，對句子進(jìn)行分類，得到每個(gè)句子的分類權(quán)重。3.2文獻(xiàn)重要性權(quán)值計(jì)算方法完成元數(shù)據(jù)提取、句子情感極及分析、重要性分類后，可計(jì)算出參考文獻(xiàn)的重要性權(quán)值，從而也反映出參考文獻(xiàn)對作者發(fā)表論文所提供的參考價(jià)值。在進(jìn)行權(quán)值計(jì)算前，引入如下定義[4]：定義1：4實(shí)驗(yàn)結(jié)果分析4.1元數(shù)據(jù)抽取功能分析實(shí)驗(yàn)使用5092篇多媒體領(lǐng)域的PDF格式的英文文獻(xiàn)，對文章結(jié)構(gòu)、頭部信息元數(shù)據(jù)提取性能分析數(shù)據(jù)如表1所示，由于文獻(xiàn)來自不同的期刊、會(huì)議，文檔結(jié)構(gòu)、樣式各異，大約有71.5％能夠完全正確抽取。剩下的論文中，有大約14.1％的抽取是混亂、空白或無明顯標(biāo)注，主要原因有：誤把其他資料當(dāng)成論文；文檔是圖片形式的PDF文件；罕見的嵌入字體；文獻(xiàn)沒有進(jìn)行標(biāo)注。14.4％存在誤差，比如把作者的信息抽取到了標(biāo)題里，或是根本沒有某項(xiàng)信息，如關(guān)鍵字，原因有：作者提交時(shí)不完全按照約定的格式，或者系統(tǒng)讀取PDF后存在格式偏差。在正確讀取的3639篇文獻(xiàn)中，共獲得78690句帶標(biāo)注句子，74734句是完整的有效句子。有5.0％的錯(cuò)誤句子是因?yàn)樽址R(shí)別錯(cuò)誤，或句中包含了頁腳信息。從75683條參考文獻(xiàn)中完全正確的提出作者、標(biāo)題、年份的條數(shù)為69500，正確率為91.8％。錯(cuò)誤原因?yàn)椋耗承﹨⒖嘉墨I(xiàn)條目為標(biāo)題和超鏈接地址，無法得到作者、年份；某些字符識(shí)別錯(cuò)誤，導(dǎo)致提取有誤。在本文后面的實(shí)驗(yàn)中使用這3639篇文獻(xiàn)中的元數(shù)據(jù)進(jìn)行計(jì)算，使用74734條帶標(biāo)注的句子計(jì)算輿論評(píng)價(jià)。實(shí)驗(yàn)共得到Positive的句子19500條，Negative的句子13637條。程序?qū)?biāo)注句子的分析如圖3所示，通過分析以后來計(jì)算輿論評(píng)價(jià)值。4.2網(wǎng)絡(luò)中的突現(xiàn)語義分析通過實(shí)驗(yàn)提取元數(shù)據(jù)后，利用第3部分中的文獻(xiàn)重要性計(jì)算方法，得到了各篇參考文獻(xiàn)的重要性權(quán)值，系統(tǒng)自動(dòng)生成引文關(guān)系矩陣。為了清楚的展示，采用社會(huì)網(wǎng)絡(luò)分析工具Pajek繪制了部分文獻(xiàn)間的引用關(guān)系網(wǎng)絡(luò)，如圖4所示。圖4引用關(guān)系網(wǎng)絡(luò)演化圖(黑色數(shù)字為文獻(xiàn)編號(hào)，紅色數(shù)字為權(quán)重，箭頭指向被引用文獻(xiàn))文獻(xiàn)之間通過引用建立了引用關(guān)系，這可理解為一種語義關(guān)系。通過模型的計(jì)算得到了重要結(jié)點(diǎn)和相關(guān)結(jié)點(diǎn)的語義關(guān)系。這樣的語義關(guān)系是在文獻(xiàn)之間平等、自主的條件下建立的是在對重要文獻(xiàn)理解的基礎(chǔ)上建立的。作者對文獻(xiàn)的理解基礎(chǔ)上給出學(xué)術(shù)評(píng)價(jià)，通過計(jì)算能對真實(shí)數(shù)據(jù)中作者的輿論評(píng)價(jià)進(jìn)行簡單的判斷。例如，1999年前的文獻(xiàn)，只存在簡單的引用關(guān)系，文獻(xiàn)[6]獲得文獻(xiàn)[7]較好的評(píng)價(jià)，得到了較高的引用權(quán)值；2001年，關(guān)系網(wǎng)中出現(xiàn)了新的文獻(xiàn)結(jié)點(diǎn)，建立了更多的語義關(guān)系，文獻(xiàn)[6]的重要性還不是很明顯；2008年，文獻(xiàn)[6]所在的語義網(wǎng)絡(luò)中出現(xiàn)眾多文獻(xiàn)結(jié)點(diǎn)，而其也得到了更多結(jié)點(diǎn)的引用，從而可以看出文獻(xiàn)[6]在該領(lǐng)域發(fā)展中所起的重要作用。文獻(xiàn)不斷發(fā)表，引用關(guān)系不斷增多，各分離的語義網(wǎng)絡(luò)不斷延伸，結(jié)點(diǎn)間的關(guān)系也越來越緊密。兩個(gè)原來分離的語義網(wǎng)絡(luò)，后來由于被新文獻(xiàn)引用，而連成一個(gè)語義網(wǎng)絡(luò)，可能會(huì)反映出學(xué)科知識(shí)的交叉、兩種不同觀點(diǎn)的融合等。新的研究領(lǐng)域、名詞、主題就是一種突現(xiàn)語義[5,6]，通過分析引用網(wǎng)絡(luò)可找出名詞和原有名詞的關(guān)系，而且可以找到起源、演化、得到大家認(rèn)可的情況。一個(gè)新的語義網(wǎng)絡(luò)既含有共同研究興趣的人也有研究共同領(lǐng)域的文章，隨著時(shí)間的推移，這個(gè)網(wǎng)絡(luò)中會(huì)產(chǎn)生核心結(jié)點(diǎn)，也就是該領(lǐng)域較為重要的文獻(xiàn)。無論是新的語義網(wǎng)絡(luò)的出現(xiàn)還是語義網(wǎng)絡(luò)中核心結(jié)點(diǎn)的產(chǎn)生都是一種突現(xiàn)現(xiàn)象[2]，并且這種突現(xiàn)的結(jié)果可以為我們所利用，如讀少量文獻(xiàn)可以獲得大量最新的研究前沿信息及這些研究的沿襲、起源，各種理論之間的交叉以及將來可能有的新的突破。此外，也可以大膽預(yù)測，若同一研究領(lǐng)域的文章都考慮一個(gè)問題，則此問題有可能是新的研究方向，從而為研究者節(jié)約入門時(shí)間。這是孤立隨機(jī)地看幾篇文章所無法得到的結(jié)論，而放在引用語義網(wǎng)絡(luò)中可以得到這樣的結(jié)果。4.3主題計(jì)算結(jié)果分析在本實(shí)驗(yàn)中存在引用關(guān)系的文獻(xiàn)共有1216篇，文獻(xiàn)時(shí)間是從1998-2008年。在去除常用詞和停用詞后，共得到2672個(gè)不同的詞。采用上文所述的主題劃分與計(jì)算方法，計(jì)算出每個(gè)分類中的關(guān)鍵詞的Wi概率值。選取被引用數(shù)大于10的文獻(xiàn)作為社區(qū)分類中心，若兩個(gè)分類中有超過1/3的文獻(xiàn)相同，則歸為一類，最終得到18不同的主題(TOPIC)分類。從每個(gè)主題選用概率值較大的10詞來表示此分類主題。本文從中選取8個(gè)TOPIC的表示進(jìn)行闡述，如圖5所示。從圖5中可看出，實(shí)驗(yàn)結(jié)果中的關(guān)鍵詞能有效描述一個(gè)社區(qū)分類主題。TOPIC2主要涉及多媒體數(shù)據(jù)的傳輸，TOPIC5涉及圖像分割，TOPIC6涉及基于內(nèi)容的檢索，TOPIC7涉及網(wǎng)絡(luò)協(xié)議與分包。而TOPIC8主要涉及視圖像中行為/動(dòng)作的識(shí)別與跟蹤，TOPIC12涉及圖像檢索，TOPIC13涉及網(wǎng)絡(luò)多媒體(質(zhì)量、編碼等)，TOPIC15涉及文本/圖像分類。這些主題都是屬于多媒體研究領(lǐng)域中的研究分支。每個(gè)分類中的主要關(guān)鍵詞都基本能描述其分類社區(qū)涉及的主題，但仍有相同的詞分布于不同的主題中，或者是主題表述相近，例如TOPIC6和TOPIC12，都涉及檢索研究。從實(shí)驗(yàn)結(jié)果可以看出，本文所描述的方法能有效劃分和表示引文網(wǎng)絡(luò)中的社區(qū)主題。引文網(wǎng)絡(luò)的主題可以在大量數(shù)據(jù)的