中文指代消解方法研究講義

中文指代消解方法研究姓名：郎君指導(dǎo)老師：秦兵答辯時間：2004年6月29日Outline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作研究背景及意義指代消解基本概念MUC信息抽取自動文摘國內(nèi)外研究現(xiàn)狀CR基本原理：構(gòu)造候選->篩選+優(yōu)選理論模型：Hobbs算法、中心理論目前主要方法基于規(guī)則:句法知識,RAP,Mitkov,王厚峰HNC機器學(xué)習(xí):McCarthy,Cardie,MBL,boostrapping決策樹:Resolve95,Soon99,01,XiaofengYang03,04語料庫的加工與標(biāo)注指代消解的評估指標(biāo)論文研究方法及內(nèi)容在PFR上試驗方法的可行性加入底層NLP技術(shù)實現(xiàn)系統(tǒng)改進系統(tǒng)文檔分詞命名實體識別名詞短語識別指代消解詞性標(biāo)注中文指代消解文檔處理流程Outline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作名詞短語識別指代消解采用MUC定義名詞短語之間的指代消解名詞短語識別的必要性名詞短語識別(NP分組)組別詞性符號詞性詞性說明一般名詞組G(General)an名形詞具有名詞功能的形容詞Ng名語素名詞性語素n名詞nx英語等其他外語的字母或字符串nz其他專名vn名動詞具有名詞功能的動詞人名組H(HumanName)nr人名地名組P(PlaceName)ns地名機構(gòu)名組O(OrganizationName)nt機構(gòu)團體代詞組D(PronounName)r代詞時間詞組T(Time)Tg時語素時間詞性語素t時間詞基本名詞成分分組情況名詞短語識別(識別步驟)第一步：識別出基本名詞成分。各種名詞成分分為六組，如上頁所示。第二步：同組短語局部最大化，亦即如果兩個相鄰的標(biāo)出的短語的組別相同，那么就將二者合并為一個短語。第三步：并列名詞性短語合并。如果出現(xiàn)在“和”、“與”或“、”兩側(cè)的短語組別相同，則將兩側(cè)短語連帶“和”、“與”或“、”一起合并為一個短語（這里排除代詞組的情況）。名詞短語識別(識別結(jié)果){19980101-01-001-001/m}Q{邁向/v}Q{充滿/v}Q{希望/n}G{的/u}Q{新/a}Q{世紀(jì)/n}G{--/w}Q{一九九八年/t新年/t}T{講話/n}G{（/w}Q{附/v}Q{圖片/n}G{１/m}Q{張/q}Q{）/w}Q{19980101-01-001-002/m}Q{中共中央/nt}O{總書記/n、/w國家/n主席/n}G{江/nr澤民/nr}H特征向量選定參考國內(nèi)外相關(guān)研究選定16個特征I的句法搭配I的單復(fù)數(shù)I的性別I的類型I的被修飾限定類型I的被修飾數(shù)量類型J的句法搭配J的單復(fù)數(shù)J的性別J的類型J的被修飾限定類型J的被修飾數(shù)量類型I、J的距離I、J的全匹配信息I、J的子串縮略信息I、J的抽取縮略信息Outline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作基于決策樹的中文指代消解決策樹學(xué)習(xí)概況：ID3、C4.5、C5.0實驗數(shù)據(jù)準(zhǔn)備情況正反例類型指代類型數(shù)量百分比正例（有指代關(guān)系）名詞短語4429.3%代詞3523.3%反例（無指代關(guān)系）名詞短語5838.7%代詞138.7%樣例的不同類型分布情況C5.0生成的決策樹+FT

IJ全匹配+FT

J是I的抽取+FTJ是I的子串TJ的類型in{H,P,O,T,G}_++FTJ的類型

=DI的被修飾數(shù)量類型+_TI的單復(fù)數(shù)in{S,P}I的單復(fù)數(shù)=U訓(xùn)練得到的中文名詞短語指代消解決策樹實驗測試結(jié)果測試類型正反例類型指代類型數(shù)量正確個數(shù)正確率封閉測試正例（有指代關(guān)系）名詞短語313096.8%代詞2424100%反例（無指代關(guān)系）名詞短語3737100%代詞8675%開放測試正例（有指代關(guān)系）名詞短語1313100%代詞1111100%反例（無指代關(guān)系）名詞短語2121100%代詞5120%自由文本指代消解系統(tǒng)實現(xiàn)加入底層NLP技術(shù)斷句、分詞、詞性標(biāo)注、命名實體識別特征向量自動構(gòu)建性別、單復(fù)數(shù)指代消解主控模塊思想系統(tǒng)運行結(jié)果示例[媽媽]12總有一片[園子]10。[我]11剛開始懂事時，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機縫啊釘啊，把[我們]11兄弟姐妹五個打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個風(fēng)卷殘云。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實驗園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實驗地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。系統(tǒng)運行結(jié)果示例[媽媽]12總有一片[園子]10。[我]11剛開始懂事時，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機縫啊釘啊，把[我們]11兄弟姐妹五個打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個風(fēng)卷殘云。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實驗園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實驗地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。Outline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作結(jié)合規(guī)則的決策樹中文指代消解兩種方法：增大指代樣例庫、加入規(guī)則加入七條規(guī)則七條規(guī)則代詞的指代消解仍然存在全匹配的問題保留“這/這些”、“那/那個那些”、“哪/哪些/哪個”的指代消解研究->增大精確率人名NE->“他”或“她”機構(gòu)名NE、地名NE、專名NE->“它”保留“我”或“我們”->增大精確率排除第三人稱代詞間的指代情形排除時間短語與第三人稱代詞間的指代情形加入規(guī)則后的系統(tǒng)運行結(jié)果示例加入規(guī)則前的識別結(jié)果加入規(guī)則后的識別結(jié)果[媽媽]12總有一片[園子]10。[我]11剛開始懂事時，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機縫啊釘啊，把[我們]11兄弟姐妹五個打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個風(fēng)卷殘云。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實驗園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實驗地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。[媽媽]12總有一片[園子]11。[我]8剛開始懂事時，[媽媽]12的[園子]11里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]8聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]14老古董手搖縫紉機縫啊釘啊，把[我們]15兄弟姐妹五個打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]15幾個風(fēng)卷殘云。最吸引人的，是[媽媽]12任教的[那]14片[天地]16。[媽媽]12教的是生物，[她]12的[天地]16里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實驗園地]17。[每年]12不多的幾次，[媽媽]12帶[我]18去[那]14片在校園圍墻邊上的[實驗地]17。[我]18在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時節(jié)，西紅柿鮮紅，麥子金黃，[我]18則最愛在地瓜隴中，花生地里翻，體驗發(fā)現(xiàn)新大陸似的驚喜。[我]18有問不完的問題，[媽媽]19有用不盡的答案。有一天，[我]18似懂非懂地告訴[媽媽]19，[我]18也知道“粒粒皆辛苦”了。加入規(guī)則后的系統(tǒng)運行結(jié)果示例加入規(guī)則前的識別結(jié)果加入規(guī)則后的識別結(jié)果[媽媽]12總有一片[園子]10。[我]11剛開始懂事時，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機縫啊釘啊，把[我們]11兄弟姐妹五個打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個風(fēng)卷殘云。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實驗園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實驗地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。[媽媽]12總有一片[園子]11。[我]8剛開始懂事時，[媽媽]12的[園子]11里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]8聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]14老古董手搖縫紉機縫啊釘啊，把[我們]15兄弟姐妹五個打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]15幾個風(fēng)卷殘云。最吸引人的，是[媽媽]12任教的[那]14片[天地]16。[媽媽]12教的是生物，[她]12的[天地]16里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實驗園地]17。[每年]12不多的幾次，[媽媽]12帶[我]18去[那]14片在校園圍墻邊上的[實驗地]17。[我]18在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時節(jié)，西紅柿鮮紅，麥子金黃，[我]18則最愛在地瓜隴中，花生地里翻，體驗發(fā)現(xiàn)新大陸似的驚喜。[我]18有問不完的問題，[媽媽]19有用不盡的答案。有一天，[我]18似懂非懂地告訴[媽媽]19，[我]18也知道“粒粒皆辛苦”了。運行示例分析加入的代詞全匹配的規(guī)則1是有效的。文中大量的“我”與“她”的指代問題都得到了解決如“[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]8聽著[故事]13入睡?！薄皟鹤咏瞪蟮姆泵χ?，[媽媽]27忘不了、離不開[她]27的[園子]34，和[妻子]32一起把原來堆滿廢土的小院子換上生機嫣然的綠色，告訴[我]31這樣才和[梅花村]33幽雅的環(huán)境相配?！边\行示例分析(續(xù))規(guī)則2強調(diào)的“那/那些”等指代情形除了在規(guī)則1下執(zhí)行了全匹配外