中文信息處理和漢語研究現(xiàn)狀和發(fā)展.ppt

1 中文信息處理與漢語研究 現(xiàn)狀和發(fā)展 詹衛(wèi)東北京大學(xué)中文系北京大學(xué)漢語語言學(xué)研究中心北京 100871zwd 全國語言文字信息化工作會(huì)議 湖南 長沙 2003 10 5 10 6 2 提綱 中文信息處理研究的格局中文信息處理的現(xiàn)狀和發(fā)展趨勢(shì)語言知識(shí)資源的建設(shè)面向中文信息處理的漢語研究 3 一中文信息處理研究的格局 信息的兩個(gè)層次 符號(hào)層 中文 漢語 漢字內(nèi)容層 符號(hào)所承載的意義中文信息處理的兩個(gè)層次 字符處理 輸入 存儲(chǔ) 輸出等 內(nèi)容處理 詞語切分 詞性標(biāo)注 結(jié)構(gòu)分析 意義理解 推理 翻譯 等等 信號(hào)vs 信息 4 符號(hào)層的信息處理 拼音文字 小字符集 比較容易非拼音文字 大字符集 難度很大 漢字是一個(gè)大字符集 說文解字 東漢 9353字 玉篇 南朝 收錄16 917字 廣韻 宋代 收字26 194字 字匯 明朝 收錄33 197字 康熙字典 清朝 收錄47 043字 漢語大字典 1992年 5 6萬 中華字海 1994年 8 6萬 拉丁字母只有26個(gè)符號(hào)斯拉夫字母只有33個(gè)符號(hào)阿爾明尼亞字母只有38個(gè)符號(hào)泰米爾字母只有36個(gè)符號(hào)緬甸字母只有52個(gè)符號(hào)泰文字母只有44個(gè)符號(hào)老撾字母只有27個(gè)符號(hào)藏文字母只有35個(gè)符號(hào)韓文字母只有24個(gè)符號(hào)日文假名只有48個(gè)符號(hào) 5 符號(hào)層的信息處理 漢字輸入 自動(dòng)輸入 鍵盤輸入 字形識(shí)別 聲音識(shí)別 手寫體識(shí)別 印刷體識(shí)別 在線手寫 脫機(jī)手寫 整字鍵盤 通用鍵盤 主輔式 感應(yīng)式 形碼 音碼 形音結(jié)合碼 1 2 3 4 5 6 7 8 9 6 內(nèi)容層的信息處理 形態(tài)豐富的語言 inflectinglanguage 處理難形態(tài)不豐富的語言 analyticlanguage 處理更難 7 內(nèi)容層的信息處理 機(jī)器翻譯全過程 8 內(nèi)容層處理對(duì)符號(hào)層處理的反作用 9 內(nèi)容層處理對(duì)符號(hào)層處理的反作用 10 內(nèi)容層處理對(duì)符號(hào)層處理的反作用 11 內(nèi)容層處理對(duì)符號(hào)層處理的反作用 12 二中文信息處理的現(xiàn)狀和發(fā)展趨勢(shì) 現(xiàn)狀符號(hào)層的處理成果已經(jīng)得到廣泛應(yīng)用 中文輸入 字庫 字處理軟件 排版 內(nèi)容層的處理目前在詞語識(shí)別和詞性標(biāo)注方面已經(jīng)取得重要進(jìn)展 句子結(jié)構(gòu)分析和語義分析方面仍有待探索 13 系統(tǒng)演示 北京大學(xué)現(xiàn)代漢語分詞 詞性標(biāo)注 句法分析系統(tǒng) 孫斌 劉群 常寶寶 詹衛(wèi)東等 14 中文信息處理的發(fā)展趨勢(shì) 發(fā)展趨勢(shì)信息產(chǎn)品的多樣化網(wǎng)絡(luò)的迅速發(fā)展積累更多基礎(chǔ)資源 開發(fā)更多應(yīng)用系統(tǒng) 內(nèi)容層的處理將受到越來越多的重視 信息家電 內(nèi)容計(jì)算 15 三語言知識(shí)資源的建設(shè) 現(xiàn)代漢語語法信息詞典基于配價(jià)理論的現(xiàn)代漢語語義詞典現(xiàn)代漢語短語結(jié)構(gòu)信息庫2700萬字現(xiàn)代漢語分詞與詞性標(biāo)注語料庫句子對(duì)齊的漢英雙語語料庫現(xiàn)代漢語樹庫現(xiàn)代漢語短語結(jié)構(gòu)規(guī)則庫 16 資源演示 現(xiàn)代漢語語義詞典 詹衛(wèi)東 王惠等 漢英平行語料庫 常寶寶 柏曉靜等 現(xiàn)代漢語樹庫 詹衛(wèi)東 常寶寶等 17 四面向中文信息處理的語言學(xué)研究 充分重視各個(gè)層次上的語言歧義研究拓展語言現(xiàn)象的研究面強(qiáng)調(diào)研究結(jié)果的可操作性 推動(dòng)語言知識(shí)的形式化 系統(tǒng)化和規(guī)?；?加強(qiáng)語言知識(shí)庫的工程建設(shè) 為中文信息處理 內(nèi)容層的處理 積累更多基礎(chǔ)資源 18 歧義示例 張店區(qū)大學(xué)生不看重大城市戶口 19 歧義示例 續(xù) 有三百多種樹 20 歧義示例 續(xù) 請(qǐng)轉(zhuǎn)告李宇明司長下午三點(diǎn)出發(fā) vvnnttv 21 要讓計(jì)算機(jī) 理解 一個(gè)句子 實(shí)際上要解決下面兩個(gè)核心問題 1 一個(gè)句子的結(jié)構(gòu)和意義是什么 2 如何得到一個(gè)句子的結(jié)構(gòu)和意義 第一個(gè)問題是 What 的問題 這是理論語言學(xué)關(guān)心的問題 第二個(gè)問題是 How 的問題 這是計(jì)算語言學(xué)關(guān)心的問題 也就是面向中文信息處理的語言研究需要關(guān)心的問題 結(jié)語 22 參考文獻(xiàn) 慈林林魯元魁 1999 中文信息處理新技術(shù)展望 計(jì)算機(jī)世界 1999年第44期 產(chǎn)品與技術(shù) 版 專題報(bào)道 劉夢(mèng)松 1998 中文信息處理軟件概述 計(jì)算機(jī)世界 1998年第26期 技術(shù)專題 版 許嘉璐 2002 現(xiàn)狀和設(shè)想 試論中文信息處理與現(xiàn)代漢語研究 中國語文 2000年第6期 俞士汶 朱學(xué)鋒 2002 關(guān)于漢語信息處理的認(rèn)識(shí)及其研究方略 語言文字應(yīng)用 2002年第3期 俞士汶 朱學(xué)鋒 王惠 2001 的新進(jìn)展 中文信息學(xué)報(bào) 2001年第1期 詹衛(wèi)東 常寶寶 俞士汶 2002 機(jī)器翻譯與語言研究 語言科學(xué) 2002年第1期 創(chuàng)刊號(hào) 詹衛(wèi)東 2000 80年代以來漢語信息處理研究述評(píng) 當(dāng)代語言學(xué) 2000年第2期 張華平 2003 中文信息處理技術(shù)發(fā)展簡史 中文信息處理開放平臺(tái)網(wǎng)站 23 國內(nèi)外重要的語言知識(shí)資源舉例 WordNet http www cogsci princeton edu wn FrameN