副詞都用法自動(dòng)識(shí)別研究.ppt

副詞“都”用法自動(dòng)識(shí)別研究,張靜杰 昝紅英 鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,目錄,引言 副詞“都”的用法描述 副詞“都”的用法自動(dòng)識(shí)別研究 基于規(guī)則的副詞“都”用法自動(dòng)識(shí)別 基于統(tǒng)計(jì)的副詞“都”用法自動(dòng)識(shí)別 規(guī)則與統(tǒng)計(jì)相結(jié)合的副詞“都”用法自動(dòng)識(shí)別 結(jié)語(yǔ),鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,引言,在現(xiàn)代漢語(yǔ)中，副詞的句法功能相對(duì)比較簡(jiǎn)單，然而，一些常用副詞不僅使用頻率很高，而且用法豐富多樣 對(duì)于副詞研究，尤其是一些義項(xiàng)紛繁、用法靈活的常用副詞，需要針對(duì)個(gè)例，作仔細(xì)的考察和對(duì)比,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,引言,“都”主要有三個(gè)義項(xiàng): 范圍的總括 無(wú)論工作大小，我們都要把它做好。 表達(dá)語(yǔ)氣 真抱歉，我都忘了你的名字了。 表時(shí)間 飯都涼了，快吃吧！,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1 副詞“都”的用法描述,根據(jù)俞士汶等提出的“三位一體”構(gòu)建現(xiàn)代漢語(yǔ)廣義虛詞知識(shí)庫(kù)的思路，昝紅英等初步構(gòu)建了虛詞用法詞典、用法規(guī)則庫(kù)以及用法標(biāo)注語(yǔ)料庫(kù)“三位一體”的現(xiàn)代漢語(yǔ)虛詞知識(shí)庫(kù) 副詞“都”共有3個(gè)義項(xiàng)11個(gè)用法,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,表1副詞“都”的用法描述,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,1 副詞“都”的用法描述,與表1相對(duì)應(yīng)的副詞“都”的用法規(guī)則描述： $都 N Nv|a M M誰(shuí)|哪里|什么|怎么|哪兒|哪| M M(不論|不管|無(wú)論|雖然|盡管|凡是|只要)*， NE N誰(shuí)|哪里|什么|怎么|哪兒|哪| E？ FR F R是 N Nv M M連|甚至 AA(不|沒(méi)|沒(méi)有|未|) Av A(不|沒(méi)|沒(méi)有|未|)*A Av MN M一q N不|沒(méi)|沒(méi)有|未| N N，*(不|沒(méi)|) E E了，,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2.1 基于規(guī)則的副詞“都”用法自動(dòng)識(shí)別,因?yàn)橐?guī)則用法自動(dòng)識(shí)別過(guò)程中，系統(tǒng)按照給出的規(guī)則逐條進(jìn)行匹配，所以需對(duì)規(guī)則的順序進(jìn)行調(diào)整 語(yǔ)料來(lái)源：2000年46月的人民日?qǐng)?bào)語(yǔ)料 北京大學(xué),鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,表2 副詞“都”的用法分布,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,表3基于規(guī)則的副詞“都”的用法自動(dòng)識(shí)別,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2.2 基于統(tǒng)計(jì)的副詞“都”用法自動(dòng)識(shí)別,統(tǒng)計(jì)模型：條件隨機(jī)場(chǎng)（CRF） 窗口：7,3 特征模版： 上下文窗口的詞語(yǔ)信息+詞性信息+詞語(yǔ)和詞性的復(fù)合信息,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,表4 基于統(tǒng)計(jì)的副詞“都”的用法自動(dòng)識(shí)別,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,2.3 規(guī)則與統(tǒng)計(jì)相結(jié)合的副詞“都”用法自動(dòng)識(shí)別,思想：對(duì)包含副詞“都”的句子分別進(jìn)行基于規(guī)則和基于統(tǒng)計(jì)的方法自動(dòng)識(shí)別，結(jié)果分以下三種情況： 兩者都沒(méi)有識(shí)別結(jié)果，識(shí)別失敗 兩者只識(shí)別出一個(gè)結(jié)果，即兩者之一沒(méi)有識(shí)別結(jié)果或者兩者識(shí)別結(jié)果相同，則標(biāo)注該用法 兩者識(shí)別結(jié)果不同，對(duì)比兩者各自在原模型中識(shí)別準(zhǔn)確率的大小，標(biāo)注準(zhǔn)確率較高的用法,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,表5 規(guī)則與統(tǒng)計(jì)相結(jié)合的副詞“都”用法自動(dòng)識(shí)別,鄭州大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室,3 結(jié)語(yǔ),對(duì)“都”的用法分別進(jìn)行了基于規(guī)則、基于統(tǒng)計(jì)以及規(guī)則和統(tǒng)計(jì)相結(jié)合的自動(dòng)識(shí)別研究 考慮提出其他的規(guī)則和統(tǒng)計(jì)相結(jié)合方法進(jìn)一步提高