自然語(yǔ)言處理概論P(yáng)PT精選文檔

1、研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室關(guān)毅第一章 自然語(yǔ)言處理概論研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿

2、里巴巴聯(lián)合實(shí)驗(yàn)室1、開(kāi)場(chǎng)白2、自然語(yǔ)言處理概論3、學(xué)習(xí)方法主要內(nèi)容研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室歡迎大家加入可能是世界上人數(shù)最多的自然語(yǔ)言處理團(tuán)隊(duì)！1、開(kāi)場(chǎng)白研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)

3、計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院的自然語(yǔ)言處理團(tuán)隊(duì)n起源80年代初n王開(kāi)鑄教授，俄漢機(jī)器翻譯n李生教授，漢英機(jī)器翻譯研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院的自然語(yǔ)言處理團(tuán)隊(duì)（續(xù)）n主要研究室語(yǔ)言技術(shù)研究中心社會(huì)計(jì)

4、算與信息檢索研究中心智能接口與人機(jī)交互研究中心研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室個(gè)人簡(jiǎn)介n關(guān)毅1992年開(kāi)始進(jìn)入自然語(yǔ)言處理領(lǐng)域主要工程項(xiàng)目n微軟拼音輸入法nBOPOMOFO漢字輸入系統(tǒng)nWeniwen搜索引擎主要科學(xué)貢獻(xiàn)n關(guān)于相似的研究-提出系統(tǒng)相似度測(cè)度理論現(xiàn)為哈工大計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心教授，博士生導(dǎo)師研究生專業(yè)必修課研究生專業(yè)

5、必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室課程概貌n研究生專業(yè)必修課：自然語(yǔ)言處理n學(xué)時(shí)：32學(xué)時(shí)+16學(xué)時(shí)n授課方式：課堂講授+課后上機(jī)練習(xí)n考察方式：閉卷考試n實(shí)驗(yàn)課研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心

6、哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室?guī)讉€(gè)時(shí)間段n二十多年崛起于80年代初的統(tǒng)計(jì)自然語(yǔ)言處理技術(shù)，已經(jīng)成為自然語(yǔ)言處理的主流技術(shù)本課程重點(diǎn)介紹統(tǒng)計(jì)語(yǔ)言處理技術(shù)，特別是基于統(tǒng)計(jì)的漢語(yǔ)詞法分析技術(shù)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室?guī)讉€(gè)時(shí)間段（續(xù)）n六十多年自然語(yǔ)言處理技術(shù)起源于人們對(duì)機(jī)器翻譯

7、技術(shù)的研究，從1946年算起至今，已有60多年的歷史了“目前一些試用過(guò)的用戶表示，改進(jìn)后的翻譯服務(wù)在質(zhì)量方面令人驚訝。對(duì)于那些從未使用機(jī)器翻譯的用戶來(lái)說(shuō)，他們完全可以通過(guò)翻譯后的文本理解原文的意思，一些細(xì)微的錯(cuò)誤并不會(huì)引起太大的麻煩?！?-Franz Josef Och 研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室?guī)讉€(gè)時(shí)間段（續(xù)）n還需要多少年才能

8、實(shí)現(xiàn)計(jì)算機(jī)與人類無(wú)障礙地溝通？1968年的美國(guó)影片2001太空奧德賽n機(jī)器人HAL和Dave進(jìn)行了如下對(duì)話：Dave Bownman: Open the pod bay doors, HAL. (Dave Bownman：HAL, 請(qǐng)你打開(kāi)太空艙的分離門(mén)。)HAL: Im sorry Dave, I am afraid I cant do that. (HAL：對(duì)不起，Dave，我恐怕不能這樣做。)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研

9、究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室?guī)讉€(gè)時(shí)間段（續(xù)）自然語(yǔ)言處理是一個(gè)“AI complete”問(wèn)題自然語(yǔ)言與（分子）生物學(xué)有著深刻的淵源生物學(xué)中有著至少500年也解決不完的有趣問(wèn)題Donald E. Knuth研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理中的歧義問(wèn)題n在自然語(yǔ)

10、言處理的各個(gè)階段廣泛大量地存在著形形色色的歧義問(wèn)題，這是自然語(yǔ)言與人工語(yǔ)言的根本差別之一，也是自然語(yǔ)言處理的難點(diǎn)所在研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理中的歧義問(wèn)題（續(xù)）n詞法分析歧義分詞n嚴(yán)守一把手機(jī)關(guān)了嚴(yán)守/ 一把手/ 機(jī)關(guān)/ 了嚴(yán)守一/ 把/ 手機(jī)/ 關(guān)/ 了詞性標(biāo)注n我/pro 計(jì)劃/v 考/v 研/nn我/pro 完成

11、/v 了/aux 計(jì)劃/n命名實(shí)體識(shí)別n秦兵坑殺趙軍40萬(wàn)于長(zhǎng)平研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理中的歧義問(wèn)題（續(xù)）n語(yǔ)法分析歧義咬死了獵人的狗n那只狼咬死了獵人的狗n咬死了獵人的狗失蹤了研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rig

12、hts Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理中的歧義問(wèn)題（續(xù)）n語(yǔ)義分析歧義At last, a computer that understands you like your mother. 1985 McDonnell-Douglas ad含義1：計(jì)算機(jī)會(huì)象你的母親那樣很好地理解你（的語(yǔ)言）含義2：計(jì)算機(jī)理解你喜歡你的母親含義3：計(jì)算機(jī)會(huì)象很好地理解你的母親那樣理解你研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights

13、2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理中的歧義問(wèn)題（續(xù)）n語(yǔ)用分析歧義“你真壞”至少有如下三種理解：n當(dāng)人們對(duì)干了壞事的成年人說(shuō)時(shí)，是一種嚴(yán)厲的斥責(zé)n當(dāng)媽媽對(duì)淘氣的兒子說(shuō)時(shí)，實(shí)際表達(dá)的是對(duì)兒子的一種疼愛(ài)n當(dāng)戀愛(ài)中的女孩對(duì)男友說(shuō)這句話時(shí)，則是女孩在男友面前撒嬌的一種表現(xiàn)n研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈

14、爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理中的歧義問(wèn)題（續(xù)）n自然語(yǔ)言處理應(yīng)用中的歧義問(wèn)題音字轉(zhuǎn)換例nji qi fan yi ji qi ying yong ji qi le ren men ji qi nong hou de xing qu研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-

15、阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室?guī)c(diǎn)感性認(rèn)識(shí)n有點(diǎn)繁瑣枯燥“從繁體詞庫(kù)到簡(jiǎn)體詞庫(kù)”要求同學(xué)們一絲不茍的認(rèn)真精神n充滿樂(lè)趣“機(jī)器翻譯及其應(yīng)用激起了人們極其濃厚的興趣”要求同學(xué)們有愚公移山，堅(jiān)持到底的精神研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室?guī)c(diǎn)感性認(rèn)識(shí)（續(xù)）n團(tuán)隊(duì)合作“128個(gè)字節(jié)的偏移量”要求同學(xué)們善于協(xié)作，有團(tuán)隊(duì)精神n獨(dú)創(chuàng)精神“一只美麗

16、的小花貓”要求同學(xué)們勇于創(chuàng)新研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室本人印象深刻的至理名言n取法其上，僅得其中；取法其中，僅得其下；取法其眾，得其上。-中國(guó)古代思想家nEvery important idea is simple-列夫.托爾斯泰研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights

17、 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室本人印象深刻的至理名言nThe grand aim of all science is to cover the greatest number of empirical facts by logical deduction from the smallest number of hypotheses or axioms-愛(ài)因斯坦研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季

18、年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室兩件寶貝nMindjet MindManagernEndnote/Mendeley/NoteExpress研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室

19、阿里巴巴聯(lián)合實(shí)驗(yàn)室教材nChristopher Manning and Hinrich Schutze: Foundations of Statistical Language Processing, MIT press, 1999（有中譯本，譯者 苑春法 等）n自然語(yǔ)言處理綜論 Daniel Jurafsky &James H. Martin著 馮志偉 孫樂(lè) 譯n王曉龍、關(guān)毅 計(jì)算機(jī)自然語(yǔ)言處理 清華大學(xué)出版社 2005年研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工

20、業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室2、自然語(yǔ)言處理概論研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室什么是自然語(yǔ)言處理n定義1：自然語(yǔ)言處理可以定義為研究在人與人交際中以及在人與計(jì)算機(jī)交際中的語(yǔ)言問(wèn)題的一門(mén)學(xué)科。自然語(yǔ)言處理要研制表示語(yǔ)言能力（linguistic

21、 competence）和語(yǔ)言應(yīng)用（linguistic performance）的模型，建立計(jì)算框架來(lái)實(shí)現(xiàn)這樣的語(yǔ)言模型，提出相應(yīng)的方法來(lái)不斷地完善這樣的語(yǔ)言模型，根據(jù)這樣的語(yǔ)言模型設(shè)計(jì)各種實(shí)用系統(tǒng)，并探討這些實(shí)用系統(tǒng)的評(píng)測(cè)技術(shù)。-Bill Manaris, 1999 研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室解題n本學(xué)科的主題與背景：“自然語(yǔ)

22、言處理可以定義為研究在人與人交際中以及在人與計(jì)算機(jī)交際中的語(yǔ)言問(wèn)題的一門(mén)學(xué)科。”人人交際中的語(yǔ)言問(wèn)題n例如語(yǔ)言不通的問(wèn)題，促進(jìn)了機(jī)器翻譯這一語(yǔ)言處理中最重要的應(yīng)用之一的發(fā)展人機(jī)交際中的語(yǔ)言問(wèn)題n例如語(yǔ)言文字的輸入輸出問(wèn)題，促進(jìn)了智能化人機(jī)接口技術(shù)的研究研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室為什么要研究自然語(yǔ)言處理n從科學(xué)研究的角度：探尋人類通

23、過(guò)語(yǔ)言來(lái)交互信息的奧秘，更好地理解語(yǔ)言本身的內(nèi)在規(guī)律n從實(shí)際應(yīng)用的角度：構(gòu)建更加有效的人機(jī)交互方式研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室解題（續(xù)）n兩類不同的語(yǔ)言處理模型（Chomsky）能力模型n通常是基于語(yǔ)言學(xué)規(guī)則的模型，建立在人腦中先天存在語(yǔ)法通則這一假設(shè)的基礎(chǔ)上，認(rèn)為語(yǔ)言是人腦的語(yǔ)言能力推導(dǎo)出來(lái)的，建立語(yǔ)言模型就是通過(guò)建立人工編輯的語(yǔ)

24、言規(guī)則集來(lái)模擬這種先天的語(yǔ)言能力。n又稱“理性主義的”語(yǔ)言模型n建模步驟語(yǔ)言學(xué)知識(shí)形式化形式化規(guī)則算法化算法實(shí)現(xiàn)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室解題（續(xù)）應(yīng)用模型n根據(jù)不同的語(yǔ)言處理應(yīng)用而建立的特定語(yǔ)言模型，通常是基于統(tǒng)計(jì)的模型。n又稱“經(jīng)驗(yàn)主義的”語(yǔ)言模型n建模步驟大規(guī)模真實(shí)語(yǔ)料庫(kù)中獲得語(yǔ)言各級(jí)語(yǔ)言單位上的統(tǒng)計(jì)信息依據(jù)較低級(jí)語(yǔ)言單位上

25、的統(tǒng)計(jì)信息運(yùn)用相關(guān)的統(tǒng)計(jì)推理技術(shù)計(jì)算較高級(jí)語(yǔ)言單位上的統(tǒng)計(jì)信息研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室解題（續(xù)）n建立計(jì)算框架來(lái)實(shí)現(xiàn)這樣的語(yǔ)言模型借助計(jì)算機(jī)，研究自動(dòng)化的方法n提出相應(yīng)的方法來(lái)不斷地完善這樣的語(yǔ)言模型人工編輯的方法統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的大量運(yùn)用研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copy

26、rights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室解題（續(xù)）n根據(jù)這樣的語(yǔ)言模型設(shè)計(jì)各種實(shí)用系統(tǒng)規(guī)則與統(tǒng)計(jì)相結(jié)合n評(píng)測(cè)技術(shù)自然語(yǔ)言處理的重要研究專題之一國(guó)際公認(rèn)的自然語(yǔ)言研究競(jìng)技場(chǎng)nSighannConllnTREC研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)

27、言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室什么是自然語(yǔ)言處理n定義2：是人工智能和語(yǔ)言學(xué)的交叉學(xué)科，研究自然語(yǔ)言的自動(dòng)生成（natural language generation）與理解（natural language understanding）。自然語(yǔ)言自動(dòng)生成研究將存放于計(jì)算機(jī)數(shù)據(jù)庫(kù)的信息轉(zhuǎn)換為自然語(yǔ)音。自然語(yǔ)言理解研究將人類語(yǔ)言轉(zhuǎn)換為計(jì)算機(jī)能夠理解操作的形式化表示方式-”Natural language processing”From Wikipedia, the free encyclopedia研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2

28、010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室圖靈實(shí)驗(yàn)讓機(jī)器模仿人來(lái)回答某些問(wèn)題，通過(guò)實(shí)驗(yàn)和觀察來(lái)判斷機(jī)器是否具備智能。為人工智能確定了奮斗的目標(biāo)，并指明了前進(jìn)的方向人工智能自誕生之日起就和自然語(yǔ)言理解結(jié)下了不解之緣 研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研

29、究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理是一門(mén)交叉性學(xué)科n它是人工智能的重要分支n它是應(yīng)用語(yǔ)言學(xué)的分支n交叉性學(xué)科語(yǔ)言學(xué)計(jì)算機(jī)科學(xué)數(shù)學(xué)心理學(xué)信息論聲學(xué)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室相關(guān)術(shù)語(yǔ)n中文信息處理n中文語(yǔ)言處理n計(jì)算語(yǔ)言學(xué)n自然語(yǔ)言理解n智能化人機(jī)接口n研究生專

30、業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容n基礎(chǔ)n應(yīng)用n資源n評(píng)測(cè)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)

31、合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：基礎(chǔ)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：基礎(chǔ)n音位學(xué)描述音位的結(jié)合規(guī)律，說(shuō)明音位怎樣形成語(yǔ)素舉例：“delete file x”-dilet#fail#eksn形態(tài)學(xué)描述語(yǔ)素的結(jié)合規(guī)律，說(shuō)明語(yǔ)素怎樣形成單詞舉例： dilet#fail#eks-”delete” “fi

32、le” “x”研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：基礎(chǔ)n詞匯學(xué)描述詞匯系統(tǒng)的規(guī)律，說(shuō)明單詞本身固有的語(yǔ)義特性和語(yǔ)法特性舉例：”delete” “file” “x”-(“delete” VERB)(“file” NOUN)(“x” ID)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季

33、Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：基礎(chǔ)n句法學(xué)描述單詞或詞組之間的結(jié)構(gòu)規(guī)則，說(shuō)明單詞或詞組怎樣構(gòu)成句子舉例：(“delete” VERB)(“file” NOUN)(“x” ID)-研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大

34、學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：基礎(chǔ)n語(yǔ)義學(xué)描述句子中各個(gè)成分之間的語(yǔ)義關(guān)系，怎樣從構(gòu)成句子的各個(gè)成分推導(dǎo)出整個(gè)句子的語(yǔ)義舉例：- delete-file(x)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：基礎(chǔ)n話語(yǔ)分析描述句子和句子之間的結(jié)構(gòu)規(guī)律，說(shuō)明怎樣

35、由句子形成話語(yǔ)或?qū)υ抧語(yǔ)用分析描述與情景有關(guān)的情景語(yǔ)義，說(shuō)明怎樣推導(dǎo)出句子具有的與周?chē)捳Z(yǔ)有關(guān)的各種涵義舉例：delete-file(x)-rm -i x研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：應(yīng)用n我們可以按照如下準(zhǔn)則將自然語(yǔ)言處理的各種應(yīng)用系統(tǒng)地組織起來(lái)一個(gè)應(yīng)用是重新生成或者恢復(fù)重新生成或者恢復(fù)還是需要轉(zhuǎn)轉(zhuǎn)換或者翻譯

36、換或者翻譯某種語(yǔ)言現(xiàn)象一個(gè)應(yīng)用是要識(shí)別或者分析要識(shí)別或者分析語(yǔ)言輸入還是需要產(chǎn)生或者合成產(chǎn)生或者合成語(yǔ)言輸出研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：應(yīng)用重新生成轉(zhuǎn)換識(shí)別產(chǎn)生文本檢索文本分類與聚類問(wèn)答信息抽取文摘機(jī)器翻譯實(shí)體識(shí)別語(yǔ)音識(shí)別主題抽取語(yǔ)音合成研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年

37、秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：資源n語(yǔ)料庫(kù)n（計(jì)算機(jī)用）詞法、句法、語(yǔ)義詞典，文法規(guī)則集等等n常用中文資源簡(jiǎn)介n北京大學(xué)人民日?qǐng)?bào)語(yǔ)料庫(kù)n現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典n黃曾陽(yáng)HNCn董振東Hownetn研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言

38、技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自然語(yǔ)言處理的知識(shí)內(nèi)容：評(píng)測(cè)n自然語(yǔ)言處理的重要組成部分，對(duì)自然語(yǔ)言處理的各種應(yīng)用進(jìn)行系統(tǒng)地評(píng)價(jià)n引導(dǎo)自然語(yǔ)言處理應(yīng)用發(fā)展的重要手段n由如下三個(gè)方面組成評(píng)測(cè)方法評(píng)測(cè)對(duì)象（速度？精度？適用范圍？）評(píng)測(cè)量度研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自

39、然語(yǔ)言處理的知識(shí)內(nèi)容：評(píng)測(cè)n常用評(píng)測(cè)量度量度英文典型應(yīng)用定義單詞錯(cuò)誤率Word error rate(WER)語(yǔ)音識(shí)別系統(tǒng)輸出與正確輸出的最小編輯距離精確度Precision (P)文本檢索系統(tǒng)輸出中的正確輸出占實(shí)際輸出總數(shù)的比率召回率Recall (R)文本檢索系統(tǒng)輸出中的正確輸出占全部正確輸出的比率研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室自

40、然語(yǔ)言處理的知識(shí)內(nèi)容：評(píng)測(cè)（續(xù)）量度英文典型應(yīng)用定義F量度F-measure文本檢索精確度與召回率的調(diào)和平均數(shù)平均準(zhǔn)確率Mean average precision(MAP)文本檢索對(duì)不同召回率點(diǎn)上的精確度取平均值平均排序倒數(shù)Mean reciprocalRank(MRR)文本檢索RR是第一個(gè)正確答案出現(xiàn)位置的倒數(shù)，MRR是多個(gè)主題的RR的平均值 研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大

41、哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室中文語(yǔ)言處理的發(fā)展概況n從漢字信息處理到漢語(yǔ)信息處理漢字信息處理已經(jīng)基本解決漢語(yǔ)信息處理遭遇瓶頸n從單機(jī)信息處理到網(wǎng)絡(luò)信息處理單機(jī)信息處理系統(tǒng)網(wǎng)絡(luò)信息處理系統(tǒng)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室從漢字信息處理到漢語(yǔ)信息處理n字處理漢字機(jī)內(nèi)碼n國(guó)標(biāo)碼GB2312-80nGB18030國(guó)家信息產(chǎn)業(yè)部和

42、質(zhì)量技術(shù)監(jiān)督局發(fā)布 信息技術(shù)和信息交換用漢字編碼字符集、基本集的擴(kuò)充nUnicode漢字輸入碼漢字字型庫(kù)漢字排版系統(tǒng)n北大方正的激光照排系統(tǒng)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室從漢字信息處理到漢語(yǔ)信息處理n詞處理詞是自然語(yǔ)言中最小的有意義的構(gòu)成單位分詞規(guī)范n信息處理用現(xiàn)代漢語(yǔ)分詞規(guī)范（中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)GB13715）研究?jī)?nèi)容n分詞n詞

43、性標(biāo)注n名實(shí)體識(shí)別n詞義消歧等等研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室從漢字信息處理到漢語(yǔ)信息處理n語(yǔ)句處理句法分析語(yǔ)句的語(yǔ)義分析應(yīng)用n音字轉(zhuǎn)換n文本校對(duì)n語(yǔ)音合成n機(jī)器翻譯n研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾

44、濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室從漢字信息處理到漢語(yǔ)信息處理n篇章處理自動(dòng)文摘n單文檔自動(dòng)文摘n多文檔自動(dòng)文摘研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室從單機(jī)信息處理到網(wǎng)絡(luò)信息處理n當(dāng)前的熱點(diǎn)問(wèn)題信息抽取問(wèn)答系統(tǒng)對(duì)話系統(tǒng)等等研究生專業(yè)必修課研究生專業(yè)必修

45、課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室本課重點(diǎn)n基于統(tǒng)計(jì)與規(guī)則相結(jié)合的漢語(yǔ)詞法分析技術(shù)規(guī)則與統(tǒng)計(jì)相結(jié)合詞法分析技術(shù)相對(duì)比較成熟（句法、語(yǔ)義分析等方面還不夠成熟）既注重語(yǔ)言無(wú)關(guān)性，又突出漢語(yǔ)的特點(diǎn)理論與實(shí)踐相結(jié)合n一個(gè)小型音字轉(zhuǎn)換系統(tǒng)研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Righ

46、ts Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室中文的幾大特點(diǎn)n漢語(yǔ)是大字符集的意音文字n漢語(yǔ)詞與詞之間沒(méi)有空格n漢語(yǔ)的同音詞較多n漢語(yǔ)沒(méi)有形態(tài)變化研究生專業(yè)必修課研究生專業(yè)必修課自然語(yǔ)言處理自然語(yǔ)言處理 , 2010年秋季年秋季Copyrights 2010. HIT. All Rights Reserved哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院語(yǔ)言技術(shù)研究中心哈工大哈工大-阿里巴巴聯(lián)合實(shí)驗(yàn)室阿里巴巴聯(lián)合實(shí)驗(yàn)室中文語(yǔ)言處理發(fā)展的主要困難n中文語(yǔ)言處理發(fā)展的主要困難n漢語(yǔ)的語(yǔ)法研究尚未規(guī)范化n漢語(yǔ)的語(yǔ)言學(xué)知識(shí)的量化與