C50決策樹工具的使用UndergraduateDissertation

C50決策樹工具的使用UndergraduateDissertation2024/3/12C50決策樹工具的使用UndergraduateDissertationOutline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作C50決策樹工具的使用UndergraduateDissertation研究背景及意義指代消解基本概念MUC信息抽取自動文摘C50決策樹工具的使用UndergraduateDissertation國內(nèi)外研究現(xiàn)狀CR基本原理：構(gòu)造候選->篩選+優(yōu)選理論模型：Hobbs算法、中心理論目前主要方法基于規(guī)則:句法知識,RAP,Mitkov,王厚峰HNC機(jī)器學(xué)習(xí):McCarthy,Cardie,MBL,boostrapping決策樹:Resolve95,Soon99,01,XiaofengYang03,04語料庫的加工與標(biāo)注指代消解的評估指標(biāo)C50決策樹工具的使用UndergraduateDissertation論文研究方法及內(nèi)容在PFR上試驗(yàn)方法的可行性加入底層NLP技術(shù)實(shí)現(xiàn)系統(tǒng)改進(jìn)系統(tǒng)文檔分詞命名實(shí)體識別名詞短語識別指代消解詞性標(biāo)注中文指代消解文檔處理流程C50決策樹工具的使用UndergraduateDissertationOutline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作C50決策樹工具的使用UndergraduateDissertation名詞短語識別指代消解采用MUC定義名詞短語之間的指代消解名詞短語識別的必要性C50決策樹工具的使用UndergraduateDissertation名詞短語識別(NP分組)組別詞性符號詞性詞性說明一般名詞組G(General)an名形詞具有名詞功能的形容詞Ng名語素名詞性語素n名詞nx英語等其他外語的字母或字符串nz其他專名vn名動詞具有名詞功能的動詞人名組H(HumanName)nr人名地名組P(PlaceName)ns地名機(jī)構(gòu)名組O(OrganizationName)nt機(jī)構(gòu)團(tuán)體代詞組D(PronounName)r代詞時(shí)間詞組T(Time)Tg時(shí)語素時(shí)間詞性語素t時(shí)間詞基本名詞成分分組情況C50決策樹工具的使用UndergraduateDissertation名詞短語識別(識別步驟)第一步：識別出基本名詞成分。各種名詞成分分為六組，如上頁所示。第二步：同組短語局部最大化，亦即如果兩個(gè)相鄰的標(biāo)出的短語的組別相同，那么就將二者合并為一個(gè)短語。第三步：并列名詞性短語合并。如果出現(xiàn)在“和”、“與”或“、”兩側(cè)的短語組別相同，則將兩側(cè)短語連帶“和”、“與”或“、”一起合并為一個(gè)短語（這里排除代詞組的情況）。C50決策樹工具的使用UndergraduateDissertation名詞短語識別(識別結(jié)果){19980101-01-001-001/m}Q{邁向/v}Q{充滿/v}Q{希望/n}G{的/u}Q{新/a}Q{世紀(jì)/n}G{--/w}Q{一九九八年/t新年/t}T{講話/n}G{（/w}Q{附/v}Q{圖片/n}G{１/m}Q{張/q}Q{）/w}Q{19980101-01-001-002/m}Q{中共中央/nt}O{總書記/n、/w國家/n主席/n}G{江/nr澤民/nr}HC50決策樹工具的使用UndergraduateDissertation特征向量選定參考國內(nèi)外相關(guān)研究選定16個(gè)特征I的句法搭配I的單復(fù)數(shù)I的性別I的類型I的被修飾限定類型I的被修飾數(shù)量類型J的句法搭配J的單復(fù)數(shù)J的性別J的類型J的被修飾限定類型J的被修飾數(shù)量類型I、J的距離I、J的全匹配信息I、J的子串縮略信息I、J的抽取縮略信息C50決策樹工具的使用UndergraduateDissertationOutline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作C50決策樹工具的使用UndergraduateDissertation基于決策樹的中文指代消解決策樹學(xué)習(xí)概況：ID3、C4.5、C5.0實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備情況正反例類型指代類型數(shù)量百分比正例（有指代關(guān)系）名詞短語4429.3%代詞3523.3%反例（無指代關(guān)系）名詞短語5838.7%代詞138.7%樣例的不同類型分布情況C50決策樹工具的使用UndergraduateDissertationC5.0生成的決策樹+FT

IJ全匹配+FT

J是I的抽取+FTJ是I的子串TJ的類型in{H,P,O,T,G}_++FTJ的類型=DI的被修飾數(shù)量類型+_TI的單復(fù)數(shù)in{S,P}I的單復(fù)數(shù)=U訓(xùn)練得到的中文名詞短語指代消解決策樹C50決策樹工具的使用UndergraduateDissertation實(shí)驗(yàn)測試結(jié)果測試類型正反例類型指代類型數(shù)量正確個(gè)數(shù)正確率封閉測試正例（有指代關(guān)系）名詞短語313096.8%代詞2424100%反例（無指代關(guān)系）名詞短語3737100%代詞8675%開放測試正例（有指代關(guān)系）名詞短語1313100%代詞1111100%反例（無指代關(guān)系）名詞短語2121100%代詞5120%C50決策樹工具的使用UndergraduateDissertation自由文本指代消解系統(tǒng)實(shí)現(xiàn)加入底層NLP技術(shù)斷句、分詞、詞性標(biāo)注、命名實(shí)體識別特征向量自動構(gòu)建性別、單復(fù)數(shù)指代消解主控模塊思想C50決策樹工具的使用UndergraduateDissertation系統(tǒng)運(yùn)行結(jié)果示例[媽媽]12總有一片[園子]10。[我]11剛開始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)啤Ｗ钗说?，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。C50決策樹工具的使用UndergraduateDissertation系統(tǒng)運(yùn)行結(jié)果示例[媽媽]12總有一片[園子]10。[我]11剛開始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)啤Ｗ钗说?，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。C50決策樹工具的使用UndergraduateDissertationOutline研究背景及意義國內(nèi)外研究現(xiàn)狀論文研究方法及內(nèi)容名詞短語識別及特征向量選定基于決策樹的中文指代消解結(jié)合規(guī)則的決策樹中文指代消解結(jié)論下一步工作C50決策樹工具的使用UndergraduateDissertation結(jié)合規(guī)則的決策樹中文指代消解兩種方法：增大指代樣例庫、加入規(guī)則加入七條規(guī)則C50決策樹工具的使用UndergraduateDissertation七條規(guī)則代詞的指代消解仍然存在全匹配的問題保留“這/這些”、“那/那個(gè)那些”、“哪/哪些/哪個(gè)”的指代消解研究->增大精確率人名NE->“他”或“她”機(jī)構(gòu)名NE、地名NE、專名NE->“它”保留“我”或“我們”->增大精確率排除第三人稱代詞間的指代情形排除時(shí)間短語與第三人稱代詞間的指代情形C50決策樹工具的使用UndergraduateDissertation加入規(guī)則后的系統(tǒng)運(yùn)行結(jié)果示例加入規(guī)則前的識別結(jié)果加入規(guī)則后的識別結(jié)果[媽媽]12總有一片[園子]10。[我]11剛開始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。[媽媽]12總有一片[園子]11。[我]8剛開始懂事時(shí)，[媽媽]12的[園子]11里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]8聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]14老古董手搖縫紉機(jī)縫啊釘啊，把[我們]15兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]15幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]14片[天地]16。[媽媽]12教的是生物，[她]12的[天地]16里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]17。[每年]12不多的幾次，[媽媽]12帶[我]18去[那]14片在校園圍墻邊上的[實(shí)驗(yàn)地]17。[我]18在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]18則最愛在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]18有問不完的問題，[媽媽]19有用不盡的答案。有一天，[我]18似懂非懂地告訴[媽媽]19，[我]18也知道“粒粒皆辛苦”了。C50決策樹工具的使用UndergraduateDissertation加入規(guī)則后的系統(tǒng)運(yùn)行結(jié)果示例加入規(guī)則前的識別結(jié)果加入規(guī)則后的識別結(jié)果[媽媽]12總有一片[園子]10。[我]11剛開始懂事時(shí)，[媽媽]12的[園子]10里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]12的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]12聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]11老古董手搖縫紉機(jī)縫啊釘啊，把[我們]11兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]12幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]12片[天地]14。[媽媽]12教的是生物，[她]12的[天地]14里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]15。[每年]12不多的幾次，[媽媽]12帶[我]12去[那]12片在校園圍墻邊上的[實(shí)驗(yàn)地]15。[我]12在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]12則最愛在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]12有問不完的問題，[媽媽]16有用不盡的答案。有一天，[我]12似懂非懂地告訴[媽媽]16，[我]12也知道“粒粒皆辛苦”了。[媽媽]12總有一片[園子]11。[我]8剛開始懂事時(shí)，[媽媽]12的[園子]11里有最美妙的天地。[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]8聽著[故事]13入睡。[媽媽]12會做衣服，在桌子上量呀剪呀，用家里[那]14老古董手搖縫紉機(jī)縫啊釘啊，把[我們]15兄弟姐妹五個(gè)打扮得整整齊齊。周末，節(jié)日，[媽媽]12會下廚房切呀炒啊，變戲法似地做出好吃的菜，看著[我們]15幾個(gè)風(fēng)卷殘?jiān)?。最吸引人的，是[媽媽]12任教的[那]14片[天地]16。[媽媽]12教的是生物，[她]12的[天地]16里有栩栩如生的模型，泡著藥水的標(biāo)本，還有一片[實(shí)驗(yàn)園地]17。[每年]12不多的幾次，[媽媽]12帶[我]18去[那]14片在校園圍墻邊上的[實(shí)驗(yàn)地]17。[我]18在一旁，聽[她]12跟學(xué)生講種子發(fā)芽、開花結(jié)果，好奇地看著光合作用的掛圖，帶著恐懼尋找菜葉上胖胖的蟲子。收獲時(shí)節(jié)，西紅柿鮮紅，麥子金黃，[我]18則最愛在地瓜隴中，花生地里翻，體驗(yàn)發(fā)現(xiàn)新大陸似的驚喜。[我]18有問不完的問題，[媽媽]19有用不盡的答案。有一天，[我]18似懂非懂地告訴[媽媽]19，[我]18也知道“粒粒皆辛苦”了。C50決策樹工具的使用UndergraduateDissertation運(yùn)行示例分析加入的代詞全匹配的規(guī)則1是有效的。文中大量的“我”與“她”的指代問題都得到了解決如“[媽媽]12會講[故事]13，[她]12給[她]12的學(xué)生講，給[我]8的同學(xué)講，講動人的過去和神奇的未來，講做好孩子的哲理，晚上[我]8聽著[故事]13入睡。”“兒子降生后的繁忙中，[媽媽]27忘不了、離不開[她]27的[園子]34，和[妻子]32一起把原來堆滿廢土的小院子換上生機(jī)嫣然的綠色，告訴[我]31這樣才和[梅花村]33幽雅的環(huán)境相配?！盋50決策樹工具的使用UndergraduateDissertation運(yùn)行示例分析(續(xù))規(guī)則2強(qiáng)調(diào)的“那/那些”等指代情形除了在規(guī)則1下執(zhí)行了全匹配外，沒有和其他的代詞出現(xiàn)指代關(guān)系。但是“這/這些/這個(gè)”、“那/那些/那個(gè)”等情形在具體的上下文環(huán)境中指代的情形比較復(fù)雜，簡單的采用全匹配規(guī)則不太符合實(shí)際的指代情形。C50決策樹工具的使用UndergraduateDissertation運(yùn)行示例分析(續(xù))以上七條規(guī)則以外的情形都提供給決策樹的if-then規(guī)則進(jìn)行指代消解，排除代詞的指代消解后可以很好的執(zhí)行指代消解，如文中將多次出