基于文本挖掘的學(xué)科交叉知識(shí)發(fā)現(xiàn)模型

基于文本挖掘的學(xué)科交叉知識(shí)發(fā)現(xiàn)模型

從信息時(shí)代開始，信息社會(huì)發(fā)展的必然趨勢。通過對國內(nèi)文獻(xiàn)數(shù)據(jù)庫的利用情況和學(xué)科研究現(xiàn)狀分析,有兩個(gè)方面的需求亟待解決:①雖然國內(nèi)中文科技文獻(xiàn)數(shù)據(jù)庫系統(tǒng)已經(jīng)日趨完善并積累了海量的文獻(xiàn)數(shù)據(jù),但各文獻(xiàn)數(shù)據(jù)庫系統(tǒng)對數(shù)據(jù)的開發(fā)和利用卻非常薄弱,主要提供基本的信息檢索和簡單的統(tǒng)計(jì)功能,不能上升到知識(shí)發(fā)現(xiàn)的層面。因此經(jīng)常用“淹沒于信息,饑渴于知識(shí)”來形容這種無奈。②隨著科學(xué)技術(shù)的進(jìn)步,學(xué)科之間的界線逐漸被打破,文、理、工、管等學(xué)科之間相互滲透、交叉、融合已經(jīng)成為一種潮流和趨勢,其深度和廣度正在進(jìn)一步深化。學(xué)科之間交叉融合為學(xué)科發(fā)展提供了動(dòng)力,跨學(xué)科研究成為學(xué)科研究的前沿和熱點(diǎn)。許多學(xué)者都存在這樣的困惑:本學(xué)科與其他學(xué)科的交叉點(diǎn)在哪,學(xué)科增長點(diǎn)在哪,如何從海量文獻(xiàn)數(shù)據(jù)中發(fā)現(xiàn)這樣的知識(shí)?文本挖掘是數(shù)據(jù)挖掘的一個(gè)重要分支,是指從大規(guī)模文本庫中抽取隱含、以前未知、潛在有用模式的知識(shí)發(fā)現(xiàn)過程。文本挖掘可以有效地發(fā)現(xiàn)超越文本本身的有用知識(shí),如學(xué)科之間研究的交叉知識(shí),它為以上需求提供了技術(shù)上的可行性。本文利用文本挖掘技術(shù),構(gòu)建用于發(fā)現(xiàn)學(xué)科之間交叉知識(shí)的挖掘模型,為揭示學(xué)科交叉提供一種新思路。1交叉學(xué)科研究歷程對于學(xué)科交叉的概念,許多學(xué)者都提出了自己的看法和見解:中國科學(xué)院院士路甬祥認(rèn)為,學(xué)科交叉是“學(xué)科際”或“跨學(xué)科”研究活動(dòng),其結(jié)果導(dǎo)致的知識(shí)體系構(gòu)成了交叉科學(xué);劉仲林在《現(xiàn)代交叉科學(xué)》一書中指出,所謂學(xué)科交叉,指跨出已有學(xué)科的邊界,實(shí)現(xiàn)學(xué)科間的合作。換句話說,凡打破已有學(xué)科壁壘,把不同學(xué)科理論、方法或思維有機(jī)地融為一體的研究活動(dòng),就是學(xué)科交叉。國外也將學(xué)科交叉稱為跨學(xué)科。國外相關(guān)研究起始于20世紀(jì)60年代后期,Koester于1968年編著了第一次國際跨學(xué)科研討會(huì)會(huì)議論文集《超越還原論:阿爾巴赫問題論叢》,標(biāo)志著跨學(xué)科研究的開始。1976年國際性的《交叉科學(xué)評論》在英國創(chuàng)刊,標(biāo)志著研究進(jìn)入了新階段。1980年,國際跨學(xué)科協(xié)會(huì)正式成立,并在美、英、德、法等國召開跨學(xué)科研究學(xué)術(shù)會(huì)議,標(biāo)志著跨學(xué)科研究在世界范圍內(nèi)興起。1990年美國跨學(xué)科學(xué)專家克萊茵(J.T.Klein)的《跨學(xué)科學(xué)——?dú)v史、理論和實(shí)踐》從多學(xué)科視角研究了跨學(xué)科基本理論和應(yīng)用實(shí)踐等。2000年,加拿大出版的《實(shí)踐中的跨學(xué)科學(xué)》更突出了跨學(xué)科的應(yīng)用實(shí)踐。我國學(xué)科交叉研究萌生于20世紀(jì)50年代,到80年代進(jìn)入全面展開階段。主要著作包括:徐紀(jì)敏編著的《科學(xué)的邊緣》,李光與任定成主編的《交叉科學(xué)導(dǎo)論》,劉仲林主編的《跨學(xué)科學(xué)導(dǎo)論》、《跨學(xué)科教育論》、《現(xiàn)代交叉科學(xué)》。中國社會(huì)研究院的王興成將我國跨學(xué)科研究分為4個(gè)階段:孕育階段(20世紀(jì)20—40年代)、起步階段(20世紀(jì)50—60年代)、發(fā)展階段(20世紀(jì)70—80年代)、提高階段(20世紀(jì)80—90年代),概括了我國交叉學(xué)科研究的發(fā)展歷程及啟示。國內(nèi)利用數(shù)據(jù)進(jìn)行學(xué)科交叉研究的文獻(xiàn)有:邱均平等通過對2001—2003年的CSSCI文獻(xiàn)計(jì)量分析研究,得出圖書館、情報(bào)與檔案管理同新聞與傳播學(xué)、經(jīng)濟(jì)學(xué)、教育學(xué)和法學(xué)等學(xué)科有比較多的交叉研究。楊建林等利用文獻(xiàn)之間的引文關(guān)系來研究情報(bào)學(xué)和其他學(xué)科的交叉信息。于江等以2000—2005年度有關(guān)部門管理科學(xué)相關(guān)領(lǐng)域項(xiàng)目申請書的分析數(shù)據(jù)為依據(jù),對我國基礎(chǔ)科研領(lǐng)域發(fā)展?fàn)顩r作了分析,重點(diǎn)對研究熱點(diǎn)的識(shí)別、學(xué)科的交叉、學(xué)科的演化趨勢作了分析研究。以上研究主要采用文獻(xiàn)計(jì)量分析方法,缺乏基于文本挖掘的方法,因此本研究具有一定的價(jià)值。2模糊c均值算法下的聚類分析要挖掘兩個(gè)學(xué)科之間的交叉關(guān)系,首要的問題是發(fā)現(xiàn)哪些文獻(xiàn)屬于跨學(xué)科研究文獻(xiàn)。在現(xiàn)有的文獻(xiàn)數(shù)據(jù)集中,從期刊的學(xué)科特性能夠比較直觀地了解每一篇文獻(xiàn)所屬的學(xué)科,從文獻(xiàn)的中圖分類號,也能大致了解哪些文獻(xiàn)屬于兩個(gè)學(xué)科的交叉文獻(xiàn)。如《情報(bào)學(xué)報(bào)》期刊中中圖分類號為“TP3”的文獻(xiàn)為計(jì)算機(jī)學(xué)科文獻(xiàn)。但由于中圖分類號是由作者或編輯人為給定的,主觀性強(qiáng),因此采用這種方式來進(jìn)行學(xué)科交叉文獻(xiàn)的識(shí)別是有缺陷的。為了克服該方法具有人為主觀意志的缺陷,需要找到一種客觀、基于數(shù)據(jù)本質(zhì)特征的交叉學(xué)科文獻(xiàn)識(shí)別方法。聚類算法可以將文獻(xiàn)進(jìn)行分類,但存在以下問題:①由于目前聚類結(jié)果都是類別無交叉,因此從聚類結(jié)果找到符合學(xué)科交叉特征的文獻(xiàn)存在困難。②由于文獻(xiàn)量大,文獻(xiàn)聚類將在一個(gè)超高維的空間中進(jìn)行,因此效率低下。問題的根本在于:一方面要將數(shù)據(jù)分類;另一方面要將不易區(qū)分類別的數(shù)據(jù)找到。對于數(shù)據(jù)分類不需要采用所有關(guān)鍵詞聚類,只需要構(gòu)造3個(gè)基本特征,即學(xué)科I特征、學(xué)科II特征和學(xué)科交叉特征,就可以將所有文獻(xiàn)區(qū)分;由于學(xué)科交叉文獻(xiàn)本質(zhì)上是屬于模糊問題,因此可以借助模糊C均值算法(FCM)中的隸屬度函數(shù)來發(fā)現(xiàn)難以區(qū)分類別的文獻(xiàn)。隸屬度函數(shù)是FCM算法中非常有用的一個(gè)度量,表示一個(gè)對象屬于某個(gè)類別的概率,可以依據(jù)該度量值構(gòu)造模糊函數(shù),通過模糊函數(shù)的閾值設(shè)置來控制一篇文獻(xiàn)是否屬于學(xué)科交叉文獻(xiàn)。學(xué)科交叉文獻(xiàn)發(fā)現(xiàn)流程見圖1。定義1:假設(shè)文獻(xiàn)集A共包含兩個(gè)學(xué)科,分別記為學(xué)科Ⅰ與學(xué)科Ⅱ。依據(jù)期刊的學(xué)科特性將A劃分成兩個(gè)子集A1與A2,如果?φ,使得A1∩A2φ(U1,U2)→CA1∩A2?→???φ(U1,U2)C,則稱C為兩個(gè)學(xué)科的交叉文獻(xiàn),其中φ是基于模糊隸屬度函數(shù)U的一個(gè)模糊劃分。定義2:假設(shè)K1為A1的所有關(guān)鍵詞集合,K2為A2的所有關(guān)鍵詞集合,K3=K1∩K2,K1_3=K1/K3,K2_3=K2/K3,則稱K1為學(xué)科I特征詞,K2為學(xué)科II特征詞,K3為學(xué)科交叉特征詞。顯然,K1_3∩K3=Φ且K2_3∩K3=Φ。定義3:評價(jià)函數(shù)G為φ劃分的評價(jià)標(biāo)準(zhǔn),G定義如下:G=F1+F2=2Ρ1R1(Ρ1+R1)+2Ρ2R2(Ρ2+R2)(1)G=F1+F2=2P1R1(P1+R1)+2P2R2(P2+R2)(1)其中Pi,Ri,Fi為i(i=1,2)類中的查全率、查準(zhǔn)率和F指標(biāo)。G為兩個(gè)類別的F值之和,φ劃分的原則是既要保證一定數(shù)量的劃分到交叉類別中,但又要確保G值較高。在上述定義的基礎(chǔ)上,設(shè)計(jì)出交叉學(xué)科文獻(xiàn)的發(fā)現(xiàn)算法:①依據(jù)期刊的學(xué)科特征標(biāo)志所有文獻(xiàn)的類別號。②提取每個(gè)類別文獻(xiàn)的關(guān)鍵詞,構(gòu)建學(xué)科特征關(guān)鍵詞集合K1_3,K2_3和K3。③分別計(jì)算每一個(gè)特征詞集合中的關(guān)鍵詞在每一篇文獻(xiàn)的標(biāo)題、中文關(guān)鍵詞和中文摘要出現(xiàn)的頻次之和并求出頻率。④構(gòu)建VSM矩陣,以文獻(xiàn)為行,3個(gè)特征為列構(gòu)建矩陣,矩陣元素為頻率(文獻(xiàn)對特征的貢獻(xiàn)度)。⑤規(guī)格化數(shù)據(jù),由于每個(gè)元素代表了它在每一列中出現(xiàn)的頻率,而3個(gè)特征空間的維度不同,對數(shù)據(jù)規(guī)格化以消除量綱的偏差。⑥將規(guī)格化后的VSM矩陣采用FCM算法進(jìn)行聚類。⑦對聚類后的結(jié)果,調(diào)整隸屬度函數(shù),當(dāng)評價(jià)函數(shù)最優(yōu)時(shí),輸出結(jié)果。3基于關(guān)鍵詞的類別特征提取在找到學(xué)科交叉文獻(xiàn)的基礎(chǔ)上,如何確定兩個(gè)學(xué)科共同的研究方向及新的研究點(diǎn),是本文要重點(diǎn)解決的問題。通過聚類分析可以使相似性更高的文獻(xiàn)聚為一類,在共詞聚類中,具有相同關(guān)鍵詞的文獻(xiàn)聚為一類,可以通過基于關(guān)鍵詞的類別特征提取來描述該類別,該類別即為學(xué)科交叉研究的共同點(diǎn)。由于新的研究方向通常由突現(xiàn)詞的文獻(xiàn)來體現(xiàn),因此對于學(xué)科交叉中可能的新方向可以利用突現(xiàn)詞文獻(xiàn)聚類分析獲得。為此,從共同的研究方向與新的研究熱點(diǎn)兩個(gè)方面來構(gòu)建學(xué)科交叉知識(shí)發(fā)現(xiàn)模型。3.1研究方向2文本挖掘的最終目標(biāo)是知識(shí)發(fā)現(xiàn)和利用。在學(xué)科交叉研究中,通過共詞聚類分析的目標(biāo)是挖掘?qū)W科交叉的研究方向,即學(xué)科交叉點(diǎn)。交叉點(diǎn)的發(fā)現(xiàn)需要對交叉文獻(xiàn)進(jìn)行深度挖掘,以深入地了解學(xué)科間共同的研究方向。圖2給出了基于共詞聚類的學(xué)科交叉點(diǎn)挖掘模型。模型說明如下:①從學(xué)科交叉文獻(xiàn)中抽取所有文獻(xiàn)的關(guān)鍵詞,并將低頻關(guān)鍵詞剔除。②由于特征詞數(shù)量極大,在特征損失較小的前提下,通過降維技術(shù)將關(guān)鍵詞降到可以接受的數(shù)量。③將經(jīng)過降維后得到的關(guān)鍵詞作為聚類操作的特征詞,采用性能較好的聚類算法(如FCM算法)進(jìn)行聚類。由于聚類的類別數(shù)目確定了交叉點(diǎn)的數(shù)量,因此對類別數(shù)目事先采用最佳類別評估方法(如基于混合F統(tǒng)計(jì)量)進(jìn)行確定。④學(xué)科交叉點(diǎn)的識(shí)別方法可以用基于互信息的特征提取算法方法對每一個(gè)類別進(jìn)行特征描述,該描述即為學(xué)科交叉共同的研究方向。3.2基于互信息的類別特征描述算法在對學(xué)科交叉文獻(xiàn)進(jìn)行聚類操作后,需要提取類別的本質(zhì)并對類別進(jìn)行有效描述。互信息是表示兩個(gè)變量之間關(guān)聯(lián)程度有用的度量,因此可以通過關(guān)鍵詞與類別的互信息來進(jìn)行類別的特征提取。在對學(xué)科交叉文獻(xiàn)聚類后,具有相同研究方向的文獻(xiàn)聚為一類,這些文獻(xiàn)在特征詞上具有共性,提取這個(gè)共性詞匯就是對研究方向的描述。例如:如果一個(gè)類別中大部分文獻(xiàn)的關(guān)鍵詞是“搜索引擎”或相關(guān)詞匯,而其他類別的文獻(xiàn)中很少包含“搜索引擎”,則可以認(rèn)定該類別的研究方向名稱為“搜索引擎”。也就是說,與其他類別相比,“搜索引擎”與該類別的互信息最大。由于與同一個(gè)類別互信息最大的關(guān)鍵詞不只一個(gè),因此類別特征有可能由一組詞匯組成?；诨バ畔⒌念悇e特征描述算法如下:1)統(tǒng)計(jì)聚類結(jié)果中總的文獻(xiàn)數(shù)n與各類別文獻(xiàn)數(shù)ni,i=1,2,…,k(k為聚類數(shù)目)。2)打開學(xué)科研究方向語料庫表(該語料庫包含了研究方向特征詞,其中一個(gè)研究方向由多個(gè)關(guān)鍵詞組成,而第一關(guān)鍵詞為主關(guān)鍵詞),掃描所有記錄。3)計(jì)數(shù)器x——統(tǒng)計(jì)主關(guān)鍵詞出現(xiàn)的總頻次,類別統(tǒng)計(jì)xi(i=1,2,…,k)——統(tǒng)計(jì)主關(guān)鍵詞在各個(gè)類別中出現(xiàn)的頻次,置所有計(jì)數(shù)器初值為0。4)置第1字段為主關(guān)鍵詞,記為tk,其他字段為次關(guān)鍵詞,記為pj(j=1,2,…,m,m為次關(guān)鍵詞個(gè)數(shù))。5)打開聚類結(jié)果表,并將tk及所有的pj與每一條文獻(xiàn)記錄的每一個(gè)關(guān)鍵詞進(jìn)行比較,如果相同,則x=x+1,并將將第i類的類別計(jì)數(shù)器xi加1。6)掃描聚類結(jié)果表中所有記錄,則語料庫中的第1條記錄的主關(guān)鍵詞與所有類別的互信息(MI)可以用以下公式計(jì)算得到:ΜΙ(tk,ci)=xi?logΡ(tk,ci)Ρ(tk)Ρ(ci)=xi?log(xi/ni)(x/n)(ni/n),i=1,2,?,k(2)MI(tk,ci)=xi?logP(tk,ci)P(tk)P(ci)=xi?log(xi/ni)(x/n)(ni/n),i=1,2,?,k(2)公式(2)表示主關(guān)鍵詞的互信息值乘以該類別中與主關(guān)鍵詞相關(guān)的文獻(xiàn)篇數(shù)。主要有兩方面的考慮:①為了突出類別中文獻(xiàn)多且互信息高的關(guān)鍵詞。②由于互信息既考慮了關(guān)鍵詞在目標(biāo)類別中出現(xiàn)的概率,又兼顧了在其他類別中出現(xiàn)的概率,當(dāng)某個(gè)關(guān)鍵詞只在一個(gè)類別中出現(xiàn)時(shí),該關(guān)鍵詞相對于這個(gè)類別的互信息會(huì)異常高,但有時(shí)包含該關(guān)鍵詞的文獻(xiàn)在該類別中并不占主導(dǎo)地位。用相關(guān)文獻(xiàn)篇數(shù)加權(quán)可以有效地避免類似情況發(fā)生。7)重復(fù)3)～6),求出所有主關(guān)鍵詞與所有類別之間的互信息值。8)分類別統(tǒng)計(jì)最大互信息值及對應(yīng)的主關(guān)鍵詞。3.3突現(xiàn)詞的檢測方法設(shè)計(jì)新概念的出現(xiàn)有可能代表了一個(gè)新的研究方向。目前,已經(jīng)有許多學(xué)者在知識(shí)發(fā)現(xiàn)中開始注意到新術(shù)語的出現(xiàn),例如,陳超美博士在CiteSpace軟件中利用突現(xiàn)詞(BurstTerms)探測,來分析學(xué)科的前沿領(lǐng)域和發(fā)展趨勢。突現(xiàn)詞對于學(xué)科交叉研究意義重大:一方面,學(xué)科交叉是多學(xué)科的交融點(diǎn),通過多個(gè)學(xué)科知識(shí)火花的碰撞,最有可能涌現(xiàn)新的突現(xiàn)詞。另外,突現(xiàn)詞也會(huì)給各個(gè)學(xué)科的發(fā)展帶來新的發(fā)展方向和機(jī)遇,從而促進(jìn)各個(gè)學(xué)科間的進(jìn)一步交融。由于突現(xiàn)詞有可能成為學(xué)科新的增長點(diǎn),在學(xué)科交叉研究中,通過學(xué)科突現(xiàn)詞的挖掘給研究者在選擇研究方向時(shí)提供幫助。突現(xiàn)詞的檢測方法設(shè)計(jì)如下:①確定一個(gè)若干年的研究周期和多個(gè)學(xué)科,并選擇一定量的有代表性的學(xué)科期刊文獻(xiàn)。②將文獻(xiàn)按年份分組,并求出各年份的關(guān)鍵詞集合。③對每個(gè)學(xué)科,從第二年開始將每一年的關(guān)鍵詞集合與前面所有年份的關(guān)鍵詞集合進(jìn)行比較,如果有關(guān)鍵詞未在前面所有年份中出現(xiàn),則該關(guān)鍵詞為該年份的新術(shù)語。④通過第2節(jié)中學(xué)科交叉文獻(xiàn)發(fā)掘模型,提取學(xué)科交叉特征詞集合,如果新術(shù)語屬于學(xué)科交叉特征詞集合,則保留;否則剔除。⑤設(shè)置一個(gè)閾值,如果保留的新術(shù)語在后續(xù)年份中出現(xiàn)的頻次達(dá)到該閾值,則確定該術(shù)語為突現(xiàn)詞。設(shè)置閾值的做法可以避免一些冷詞或虛泛詞的干擾。4確認(rèn)研究為了驗(yàn)證學(xué)科交叉知識(shí)挖掘模型的可行性,選擇了情報(bào)學(xué)與計(jì)算機(jī)科學(xué)兩個(gè)學(xué)科近10年的12944條核心期刊文獻(xiàn)題錄數(shù)據(jù)進(jìn)行實(shí)例研究。4.1情報(bào)學(xué)期刊特征詞樣本文獻(xiàn)中共包含52842個(gè)關(guān)鍵詞,平均為4.08/篇,互異關(guān)鍵詞為24621個(gè)。定義情報(bào)學(xué)相關(guān)期刊文獻(xiàn)為類別I,共7139篇,計(jì)算機(jī)相關(guān)期刊文獻(xiàn)為類別II,共5805篇,分別存入兩張表中,并求兩類學(xué)科特征詞集合K1和K2。從K1和K2中選擇共同的特征詞,構(gòu)成學(xué)科交叉特征詞。頻次排名前10的關(guān)鍵詞見表1。4.2模糊函數(shù)的選取在確定3個(gè)特征詞集合后,根據(jù)交叉學(xué)科文獻(xiàn)的發(fā)現(xiàn)算法步驟構(gòu)建文獻(xiàn)的VSM矩陣,并采用FCM算法進(jìn)行聚類(分兩類),得到每一篇文獻(xiàn)屬于兩個(gè)類的隸屬度。為了求出學(xué)科交叉文獻(xiàn),需要設(shè)計(jì)一個(gè)模糊函數(shù)。定義4:對每一篇文獻(xiàn)x,屬于類別C1和C2的隸屬度分別記為u1,u2,u1+u2=1;Δu=|u1-u2|Δu=|u1?u2|;則模糊函數(shù)φ定義如下:φ(U1,U2)={x∈CΔu≤αx∈C1Δu>1+α2x∈C2Δu<1+α2(3)α為閾值,C為交叉類別。根據(jù)上述定義,對劃分結(jié)果根據(jù)閾值α從0.06～0.3進(jìn)行變化。閾值α是代表了每篇文獻(xiàn)屬于兩個(gè)類別的隸屬度之差。選取原則是既要保證一定的交叉文獻(xiàn)數(shù)量,但又要考慮到指標(biāo)G保持一定的水平。圖3給出了G值隨α的變化情況,從圖3可以看出,當(dāng)α從0.06變化到0.16過程中,G值的變化相對平穩(wěn);當(dāng)α從0.18開始,G值出現(xiàn)下降,即兩個(gè)類別的F1,F2指標(biāo)之和出現(xiàn)大的下降。根據(jù)以上分析,α選擇0.16能較好地滿足要求。取α=0.16時(shí),“學(xué)科交叉類別”列中的文獻(xiàn)作為學(xué)科交叉文獻(xiàn),其中包含657