“地”字結(jié)構(gòu)識別

地”字結(jié)構(gòu)識別［摘要］“地”字結(jié)構(gòu)是漢語中有標(biāo)記的狀語結(jié)構(gòu)，“地”字結(jié)構(gòu)的自動(dòng)識別作為淺層句法分析的任務(wù)之一可以減少自動(dòng)句法分析的歧義。本文在分析“地”字結(jié)構(gòu)性質(zhì)的基礎(chǔ)上，利用規(guī)則與統(tǒng)計(jì)相結(jié)合的方法，基于分詞文本對“地”字結(jié)構(gòu)進(jìn)行了對比性的識別研究。實(shí)驗(yàn)利用200萬字的語料進(jìn)行訓(xùn)練，將獲取的數(shù)據(jù)用于自動(dòng)識別，獲得了較好的效果。［關(guān)鍵詞］“地”字結(jié)構(gòu)句法分析規(guī)則概率漢語是一種缺乏形態(tài)變化的語言，傳達(dá)了較少的形式化信息，增加了自然語言處理的歧義。在自動(dòng)句法分析的過程中，漢語缺少可直接利用的形式信息，增加了分析的難度。20世紀(jì)80年代末，國外開始了關(guān)于組塊(Chunk)的研究，并提出了淺層句法分析的概念，希望通過語塊的識別和語塊之間依附關(guān)系的分析來實(shí)現(xiàn)對完全句法分析任務(wù)的分解。90年代以來，國內(nèi)學(xué)者在漢語的淺層句法分析方面也做了很多工作。郭志立利用廣義互信息研究了“的”字短語的結(jié)構(gòu)和邊界。王立霞、吳云芳使用概率模型識別了介詞短語的邊界。趙軍提出了基于轉(zhuǎn)換的漢語基本名詞短語(baseNP)識別模型。周強(qiáng)利用邊界概率分布和內(nèi)部結(jié)構(gòu)組合對最長名詞短語（MNP）進(jìn)行了較為全面的識別分析。這些研究主要集中于對名詞短語和介詞短語的識別，為漢語的自動(dòng)處理做出了有益的探索。作為淺層句法分析的任務(wù)之一，“地”字結(jié)構(gòu)的自動(dòng)識別可以有效地減少句法分析的歧義。由于“地”字結(jié)構(gòu)在句中處于狀語的位置，對于一些簡單的單句而言，該結(jié)構(gòu)的自動(dòng)識別常?？梢詭椭业街^語中心，劃定句子的基本結(jié)構(gòu)，我們可以給出這樣的形式化表示：S=[SZ]+Subj+[SZ]+DS+P+[Obj]其中，S表示單句，SZ表示句首或小句狀語，DS表示“地”字結(jié)構(gòu)，P表示謂語中心，Subj表示主語，Obj表示賓語，[]表示可以出現(xiàn)也可以不出現(xiàn)， +表示語法分隔。本文分為四個(gè)部分，第一部分對“地”字結(jié)構(gòu)進(jìn)行定義和分類，第二部分介紹統(tǒng)計(jì)與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識別算法，第三部分分析實(shí)驗(yàn)結(jié)果，第四部分結(jié)語?！暗亍弊纸Y(jié)構(gòu)的定義及分類1 “地”字結(jié)構(gòu)的定義“地”字結(jié)構(gòu)是以結(jié)構(gòu)助詞“地”為右邊界標(biāo)志，在句中動(dòng)詞前作狀語，直接修飾動(dòng)詞或謂語中心語的一種句法結(jié)構(gòu)。我們把“地”字結(jié)構(gòu)定義為“修飾語+地”的形式。1.2“地”字結(jié)構(gòu)分類“地”字結(jié)構(gòu)內(nèi)部存在多種句法關(guān)系，表現(xiàn)為修飾語部分可以是單個(gè)詞語，也可以是句法組合，包括狀中組合、并列組合、述賓組合、主謂組合等。根據(jù)“地”字結(jié)構(gòu)內(nèi)部的句法層次和句法關(guān)系對它進(jìn)一步細(xì)分。簡單“地”字結(jié)構(gòu)：“單元狀語+'地’”形式的結(jié)構(gòu)。復(fù)雜“地”字結(jié)構(gòu)：“多元狀語+'地’”形式的結(jié)構(gòu)。簡單“地”字結(jié)構(gòu)的修飾語是單元的，即內(nèi)部只有一個(gè)元素，不存在句法組合關(guān)系，如：新的游客【源源不斷地】涌來。復(fù)雜“地”字結(jié)構(gòu)的修飾語有多個(gè)元素組合而成，這些元素之間滿足一定的句法組合關(guān)系。根據(jù)這些關(guān)系，可以將復(fù)雜“地”字結(jié)構(gòu)進(jìn)一步細(xì)分為多元修飾型、多元并列型、多元主謂型以及多元述賓型等：多元修飾型：修飾語為“狀語+中心語”形式的“地”字結(jié)構(gòu)，如“很努力地”O(jiān)多元并列型：修飾語為“并列成分+［連接成分］+并列成分+…”形式的“地”字結(jié)構(gòu)，如“積極主動(dòng)地”。多元主謂型：修飾語為“主語+謂語”形式的“地”字結(jié)構(gòu)，如“程度不同地”。多元述賓型：修飾語為“述語+賓語”形式的“地”字結(jié)構(gòu)，如“有計(jì)劃地”。統(tǒng)計(jì)與規(guī)則相結(jié)合的“地”字結(jié)構(gòu)識別策略

1識別目標(biāo)“地”字結(jié)構(gòu)識別的目標(biāo)是準(zhǔn)確地確定“地”字結(jié)構(gòu)的左右邊界。本研究以“【”作為“地”字結(jié)構(gòu)左界標(biāo)志，以“】”作為右界標(biāo)志，對句中“地”字結(jié)構(gòu)進(jìn)行識別，識別結(jié)果格式如下：中國認(rèn)為，伊拉克應(yīng)【全面、切實(shí)地】履行聯(lián)合國有關(guān)決議。2識別算法根據(jù)“地”字結(jié)構(gòu)的特點(diǎn)，在語料統(tǒng)計(jì)分析的基礎(chǔ)上，我們確定采用規(guī)則匹配、概率加權(quán)選擇和上下文調(diào)整相結(jié)合的策略進(jìn)行識別。2.1規(guī)則匹配我們以人民日報(bào)1998年1月份的標(biāo)記語料(記為9801.tag)作為訓(xùn)練語料，對其中的“地”字結(jié)構(gòu)進(jìn)行人工標(biāo)注，并提取出每一個(gè)具體的“地”字結(jié)構(gòu)的詞性標(biāo)記串及其出現(xiàn)概率,組成“地”字結(jié)構(gòu)的標(biāo)記串規(guī)則集，此規(guī)則集中包含了100條規(guī)則，其中任意一條規(guī)則的出現(xiàn)概率P(rule[i])的計(jì)算公式如下:我們應(yīng)用此標(biāo)記串規(guī)則集的具體規(guī)則對每一個(gè)“地”字結(jié)構(gòu)進(jìn)行可能匹配：對于每一條標(biāo)記串規(guī)則，獲取相同長度的“地”字結(jié)構(gòu)詞串，并通過查詞典的方式取得該詞串所有的可能標(biāo)記串,如果存在某條可能標(biāo)記通過查詞典的方式取得該詞串所有的可能標(biāo)記串,如果存在某條可能標(biāo)記串與標(biāo)記串規(guī)則匹配，則該標(biāo)記串規(guī)則作為一條可能匹配規(guī)則；如此記錄下所有的可能匹配規(guī)則，并統(tǒng)計(jì)其出現(xiàn)概率。2.2.2概率加權(quán)選擇由于面對的是分詞文本，規(guī)則的長度和詞串所對應(yīng)的標(biāo)記串都是不確定的，在實(shí)際標(biāo)注過程中有兩種選擇：一種選擇是長規(guī)則優(yōu)先匹配，規(guī)則長度相同時(shí)，高頻規(guī)則優(yōu)先匹配；另一種選擇是通過規(guī)則的出現(xiàn)概率進(jìn)行優(yōu)選。實(shí)驗(yàn)表明，第一種選擇不能體現(xiàn)語料中的自然比例關(guān)系，造成了短規(guī)則匹配概率低下，影響標(biāo)注正確率；第二種方法具有更大的可行性和優(yōu)越性。但是，通過統(tǒng)計(jì)得到的規(guī)則集還不能直接用于標(biāo)注：第一，用上文使用得最大似然估計(jì)法估計(jì)參數(shù)會(huì)造成嚴(yán)重的數(shù)據(jù)稀疏問題，低概率事件常常被忽略。第二，規(guī)則的出現(xiàn)概率受到其長度的制約。實(shí)驗(yàn)發(fā)現(xiàn)，短規(guī)則出現(xiàn)概率通常高于長規(guī)則，但規(guī)則的出現(xiàn)概率高不等于該規(guī)則作為“地”字結(jié)構(gòu)的概率高，甚至有相反的趨勢。我們使用一種簡單的加權(quán)方法，并將權(quán)值轉(zhuǎn)化為費(fèi)用：Feeweight[i]=P(rule[i])XFee(rule[i])X(Len(rule[i])-1)公式2其中，F(xiàn)ee(rule[i])表示rule[i]的費(fèi)用，Len(rule[i])表示規(guī)則rule[i]的長度。為解決數(shù)據(jù)稀疏的問題，采用了一階馬爾可夫過程計(jì)算規(guī)則費(fèi)用：trans[i][j]是指從“地”字結(jié)構(gòu)內(nèi)部獲取的詞性tagi到tagj的轉(zhuǎn)移概率。對于某一條具體的規(guī)則rule[i],Feeweight[i]值越大，它用于“地”字結(jié)構(gòu)標(biāo)注的概率越小。當(dāng)某一個(gè)字符串能匹配多條規(guī)則時(shí)，優(yōu)先選擇費(fèi)用最低的規(guī)則進(jìn)行標(biāo)注。2.2.3±下文信息對標(biāo)記串的概率優(yōu)選只利用了詞性信息，一些詞語上下文信息對識別也非常有幫助。我們制定了三張?jiān)~表來進(jìn)行概率標(biāo)注后的微調(diào)。左界外詞表記錄常常僅作為 DS左界外一詞的詞語，如“等”，左界內(nèi)詞表記錄常常僅作為 DS左界內(nèi)一詞的詞語，如“很”，非DS左詞詞表記錄常常只出現(xiàn)在名詞“地”左鄰，而不出現(xiàn)在助詞“地”左鄰的詞語。實(shí)驗(yàn)結(jié)果及分析3.1實(shí)驗(yàn)結(jié)果分析我們應(yīng)用9801.tag作訓(xùn)練語料，1月份和2月份的切分語料（分別記為9801.cut和9802.cut）作測試語料，進(jìn)行了多次實(shí)驗(yàn)。1.1相異詞表實(shí)驗(yàn)考慮到詞表對于“地”字結(jié)構(gòu)標(biāo)注的影響，分別應(yīng)用從9801.tag的“地”字結(jié)構(gòu)中提取的封閉的小詞表（917詞條），并使用開放的先驗(yàn)大詞表（約155000詞條）進(jìn)行測試，其中開放測試語料為人民日報(bào)2月份上半個(gè)月的切分語料（記為9802p.cut）。令某DS左右邊界都標(biāo)注正確作為1次正確識另U，否則為1次錯(cuò)誤識別，如果Fc表示正確識別的DS個(gè)數(shù)，F(xiàn)w表示錯(cuò)誤識別的個(gè)數(shù)，F(xiàn)f表示識別失敗的個(gè)數(shù)，F(xiàn)m表示多余識別的個(gè)數(shù)，F(xiàn)t表示文本中DS總數(shù)，則正確率（Precision）、召回率（Recall）和調(diào)和平均值（F）可計(jì)算如下：測試結(jié)果如表1和表2所示：詞表對于標(biāo)注的影響非常明顯。從“地”字結(jié)構(gòu)中提取出的小詞表減少了詞語的詞性選擇維度，有利于提高精確率，但詞語數(shù)量不夠的問題，降低了召回率。先驗(yàn)的大詞表基本能夠保證詞語數(shù)量的充足，有利于提高召回率，但加劇了詞性標(biāo)記的競爭，降低了正確率。另外，大詞表中可能存在的錯(cuò)誤，也會(huì)對識別產(chǎn)生影響。綜合正確率、召回率和調(diào)和平均值可以看出，使用大詞表的開放測試取得了比較好的結(jié)果。3.1.2相異規(guī)模實(shí)驗(yàn)為考察算法的有效性和健壯性，我們使用先驗(yàn)的大詞表對9802p.cut和9802.cut進(jìn)行了對比性的開放測試，測試結(jié)果如表3和表4所示：從測試結(jié)果可以看出，我們所采用的算法具有較好的健壯性，對于大詞表開放測試，9802.cut的正確率甚至略優(yōu)于9802p.cut的測試數(shù)據(jù)。3.2錯(cuò)誤分析大詞表測試數(shù)據(jù)表明：實(shí)驗(yàn)中最主要的錯(cuò)誤類型是錯(cuò)誤識別（Fw）和多余識別（Fm）的問題。錯(cuò)誤識別即因該識別的結(jié)構(gòu)定界不準(zhǔn)確而導(dǎo)致的錯(cuò)誤，這些錯(cuò)誤涉及到以上提到的各種語法結(jié)構(gòu)，主要包含以下幾種情況:2.1狀語存在語法功能歧義，如“又”，它既可以出現(xiàn)在DS中，也可以作謂語的修飾語：他【又生氣又無奈地】瞅著我。*姐妹倆【又親熱地】聊了起來?？紤]到句a存在的可能性，我們沒有將“又”列入左界外詞表，帶來了如句b的標(biāo)注錯(cuò)誤（用*號表示，下同）。事實(shí)上，在9802.cut中并沒有出現(xiàn)a所示的情況。因此標(biāo)志詞詞表如何制定還需要進(jìn)一步考慮和完善。3.2.2標(biāo)點(diǎn)分隔的并列結(jié)構(gòu)作狀語，以上算法缺乏識別能力，如：*從而全面、【完整、準(zhǔn)確地】回答了什么是社會(huì)主義。2.3語料問題，如分詞問題。*她還把學(xué)到的技術(shù)毫無【保留地】傳教給別人?！昂翢o保留”作為一個(gè)詞切分更合適，例d切分為兩個(gè)詞，造成了識別錯(cuò)誤。324固定結(jié)構(gòu)，如“…般地”，“像…般地”。*像【洪流般地】向前移動(dòng)。多余識別，即名詞“地”被作為助詞處理，是另一個(gè)重要的錯(cuò)誤來源，從識別算法可以看出，我們使用的統(tǒng)計(jì)方法對多余識別的錯(cuò)誤缺乏辨別能力，因此名詞“地”的排歧任務(wù)主要由非DS左詞詞表完成，雖然名詞“地”前一詞具有一定的特征，如量詞“畝”，完全收錄這部分詞仍然困難，女口：f?*許多“六朝【繁華地】”成為荒漠中的遺址?！暗亍弊纸Y(jié)構(gòu)的自動(dòng)識別可以減少句法分析的歧義，是淺層句法分析的任務(wù)之一。本文在分析語料的基礎(chǔ)上，對切分語料中“地”字結(jié)構(gòu)進(jìn)行了識別，提出了基于規(guī)則匹配和概率選擇的識別方法，取得了比較好的效果。在今后的研究中，我們將逐步進(jìn)行改進(jìn)和提高。參考文獻(xiàn):陳小荷：現(xiàn)代漢語自動(dòng)分析——VisualC++實(shí)現(xiàn)?北京語言文化大學(xué)出版社，