現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)

現(xiàn)代漢語詞義標(biāo)注語料庫

的研究與開發(fā)

吳云芳北京大學(xué)計算語言學(xué)研究所2005-08-15現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第1頁!報告提綱目標(biāo)總體思路輔助軟件成果展示難點分析現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第2頁!目標(biāo)建成2－3個具有國際先進水平（或規(guī)模最大）的數(shù)據(jù)資源庫并制定相應(yīng)的規(guī)范或標(biāo)準?！?73項目“數(shù)字內(nèi)容理解的理論與方法”預(yù)期目標(biāo)之一我們的目標(biāo)：建設(shè)成為規(guī)模最大、質(zhì)量上乘的具有國際先進水平的現(xiàn)代漢語詞義標(biāo)注語料庫。具體運用意義：是詞義自動消歧（WSD）的數(shù)據(jù)基礎(chǔ),進而提升信息檢索、機器翻譯等系統(tǒng)的應(yīng)用水平。是現(xiàn)代漢語詞匯語義研究的資源庫?，F(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第3頁!總體思路——

粗粒度到細粒度的兩步走策略1.粗粒度標(biāo)注——基于《現(xiàn)代漢語語法信息詞典》中的“同形”信息填補《現(xiàn)代漢語語法信息詞典》和語料庫的縫隙2.細粒度標(biāo)注——在“同形”基礎(chǔ)上進行更適應(yīng)于語言信息處理的義項區(qū)分

現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第4頁!

總體思路——

語義詞典和詞義標(biāo)注語料的互動構(gòu)建語義詞典詞義標(biāo)注語料庫詞語多義區(qū)分詞義自動消歧1.詞語義項的區(qū)分一個詞可以分割為幾個義項？2.真實文本中詞語義項的確定在一定上下文中這個詞語表示什么意義？現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第5頁!總體思路——

詞義標(biāo)注語料的滾雪球似增長

基本標(biāo)注語料（詞語切分、詞性標(biāo)注）人工詞義標(biāo)注小規(guī)模詞義標(biāo)注語料庫機器學(xué)習(xí)詞義自動消歧人工校對大規(guī)模詞義標(biāo)注語料庫現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第6頁!現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第7頁!現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第8頁!成果匯總在《人民日報》基本標(biāo)注語料的基礎(chǔ)上：1.完成了270萬語料的同形標(biāo)注；2.完成了46個動詞的義項區(qū)分，并標(biāo)注8639義項；3.完成了150個名詞的義項區(qū)分，并標(biāo)注6000多義項；4.正在進行形容詞義項區(qū)分和標(biāo)注?，F(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第9頁!難點分析——示例

【電話】①利用電流使兩地的人互相交談的裝置（《現(xiàn)漢》）②用電話裝置傳遞的話

a.24/m小時/n值班/v守/v電話/n①？②？b.公布/v3/m部/q征求/v意見/n電話/n①？②？

If電話＝①，Then守+電話不符合語用。If電話＝②，Then守+電話Fail.b.If電話＝①，Then公布+電話Fail.If電話＝②，Then3部+電話Fail.現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第10頁!難點之解決系列文章：信息處理用詞語義項區(qū)分的原則和方法信息處理用動詞義項的區(qū)分信息處理用名詞義項的區(qū)分信息處理用形容詞義項的區(qū)分信息處理用虛詞義項的區(qū)分現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第11頁!現(xiàn)代漢語語義詞典（含6萬實詞）

——《現(xiàn)代漢語語法信息詞典》的擴充，面向機器翻譯。

動詞庫部分信息樣例（增加了“義項”等字段）詞語詞類同形義項語義類釋義英譯配價主體客體與事沖vA1創(chuàng)造沖茶make(tea)2人固飲沖vA2促變沖膠卷develop(afilm)2人材料沖vA3促變沖盤子rinse(aplate)

2人器皿沖vB位移沖鋒charge1動物現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第12頁!總體思路——

語義詞典和詞義標(biāo)注語料的互動構(gòu)建

語義詞典詞義標(biāo)注語料詞義標(biāo)注義項區(qū)分面向大規(guī)模真實文本的詞語義項標(biāo)注規(guī)范一方面依據(jù)《語義詞典》中的義項信息對語料中的多義詞進行詞義標(biāo)注，一方面依據(jù)詞語在語料中的句法表現(xiàn)（syntacticbehavior）對詞典中的義項區(qū)分作出調(diào)整，詞典和語料形成一個互動良性的發(fā)展。

現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第13頁!詞義標(biāo)注校對輔助軟件體現(xiàn)了總體思路，提高了工作效率?，F(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第14頁!現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第15頁!成果展示——詞義標(biāo)注語料庫從/p科學(xué)/a的/u蒼穹/n上{shang5}/f!B$，/wd采/v來/v!4-4日輝/n、/w月華/n、/w星/n芒/Ng，/wd每天/r為{wei4}/p!B1$我/r的/u祖國/n，/wd深情/d獻/v一/m掬/q科技/n之/u光/n。/wj”/w這/r是/v!B1$大家/r的/u座右銘/n。/wj有人/r對/p《/wkz科技/n之/u光/n》/w做/v!2$過/u這樣/r的/u評價/v：/w“/w長城/n!0-2

上{shang5}/f!B$的/u每/r一/m塊/q!1$磚/n拆/v下來/v單獨/d看{kan4}/v!B2-1，/wd是/v!B1$普通/a甚至/c粗糙/a的/u，/w但/c壘/v在/p一起/s卻/d變/v!1$得/u蔚為/v壯觀/a，/w令/v人/n驚嘆/v。/w”/w今天/t《/w科技/n之/u光/n》/w已經(jīng)/d成/v了/u在/p國內(nèi)外/s有/v!1$一定/b知名度/n的/u電視/n品牌/n。/w現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第16頁!

難點分析語義詞典詞義標(biāo)注語料庫詞語多義區(qū)分詞義自動消歧1.詞語義項的區(qū)分一個詞可以分割為幾個義項？2.真實文本中詞語義項的確定在一定上下文中這個詞語表示什么意義？面向大規(guī)模真實文本的語言處理現(xiàn)代漢語詞義標(biāo)注語料庫的研究與開發(fā)共19頁，您現(xiàn)在瀏覽的是第17頁!難點分析——示例關(guān)于詞語意義的一點認識：內(nèi)容和載體是一個事物不可分割的兩方面意義，存在著句法結(jié)構(gòu)混合運用的情形，即可能存在著意義和結(jié)構(gòu)搭配錯位的情形。擴展法消歧：a.24小時值班守電話——結(jié)果電話丟了。（??）

——結(jié)果一個電話也沒人打來。②!b.公布3