人工智能基礎(chǔ)自然語言理解(24張)課件

1、目錄章知識(shí)表示章搜索技術(shù)章推理技術(shù)章機(jī)器學(xué)習(xí)章專家系統(tǒng)章自動(dòng)規(guī)劃系統(tǒng)章自然語言理解章智能控制章人工智能程序設(shè)計(jì)第1頁，共25頁。8.1 語言及其理解的一般問題8.1.1 語言和語言理解 1. 語言的構(gòu)成 語言是人類進(jìn)行通信的自然媒介，它包括口語、書面語以及動(dòng)作語(如啞語和旗語)等。 語言使用于傳遞信息的表示方法、約定和規(guī)則的集合。 語言由語句組成，每個(gè)語句又由單詞組成；組成語句和語言時(shí)，應(yīng)遵循一定的語法與語義規(guī)則。語言由語音、詞匯和語法構(gòu)成。 語言的基本屬性：語音和文字第2頁，共25頁。8.1 語言及其理解的一般問題8.1.1 語言和語言理解 語言是音義結(jié)合的詞匯和語法體系，是實(shí)現(xiàn)思維活動(dòng)的物

2、質(zhì)形式。語言是以詞為基本單位的，詞匯又受到語法的支配才可構(gòu)成有意義的和可理解的句子，句子按一定的形式再構(gòu)成篇章等。 語法是語言的組織規(guī)律。語法規(guī)則制約著如何把詞素構(gòu)成詞，詞構(gòu)成詞組和句子。語言正是在這種嚴(yán)密的制約關(guān)系中構(gòu)成的。用詞素構(gòu)成詞的規(guī)則叫構(gòu)詞規(guī)則。語法中的另一部分就是句法。句法也可分成兩部分：詞組構(gòu)造法和造句法。詞組構(gòu)造法是詞搭配成詞組的規(guī)則。造句法則是用詞或詞組造句的規(guī)則。第3頁，共25頁。8.1 語言及其理解的一般問題8.1.1 語言和語言理解 另一方面，語言是音義結(jié)合的，每個(gè)詞匯有其語音形式。自然語言中所涉及的音素并不多，一種語言一般只有幾十個(gè)音素。由一個(gè)發(fā)音動(dòng)作所構(gòu)成的最小的語

3、音單位就是音素。 語言詞匯語法詞熟語詞素詞法句法構(gòu)形法構(gòu)詞法造句法詞組構(gòu)造法第4頁，共25頁。8.1 語言及其理解的一般問題8.1.1 語言和語言理解 2. 語言的理解微觀：語言理解是指從自然語言到機(jī)器(計(jì)算機(jī)系統(tǒng))內(nèi)部之間的一種映射。 宏觀：語言理解是指機(jī)器能夠執(zhí)行人類所期望的某些語言功能。這些功能包括： （1）回答有關(guān)提問； （2）提取材料摘要； （3）不同詞語敘述； （4）不同語言翻譯。第5頁，共25頁。8.1 語言及其理解的一般問題8.1.1 語言和語言理解對(duì)自然語言的理解卻是一個(gè)十分艱難的任務(wù)。自然語言不僅有語義、語法和語音問題，而且還存在模糊性等問題。 自然語言理解的困難是由下列3

4、個(gè)因素引起的： （1）目標(biāo)表示的復(fù)雜性； （2）映射類型的多樣性； （3）源表達(dá)中各元素間交互程度的差異性。自然語言理解是語言學(xué)、邏輯學(xué)、生理學(xué)、心理學(xué)、計(jì)算機(jī)科學(xué)和數(shù)學(xué)等相關(guān)學(xué)科發(fā)展和結(jié)合而形成的一門交叉學(xué)科；它能夠理解口頭語言或書面語言。第6頁，共25頁。8.1 語言及其理解的一般問題8.1.1 語言和語言理解語言理解包括下列幾個(gè)方面的內(nèi)容：（1）能夠理解句子的正確詞序規(guī)則和概念，又能理解不含規(guī)則的句子。（2） 知道詞的確切含義、形式、詞類及構(gòu)詞法。（3）了解詞的語義分類以及詞的多義性和歧義性。（4）指定和不定特性及所有(隸屬)特性。（5）問題領(lǐng)域的結(jié)構(gòu)知識(shí)和時(shí)間概念。（6）語言的語氣信息

5、和韻律表現(xiàn)。（7）有關(guān)語言表達(dá)形式的文學(xué)知識(shí)。（8）論域的背景知識(shí)。第7頁，共25頁。8.1 語言及其理解的一般問題8.1.2 自然語言理解研究的進(jìn)展和發(fā)展趨勢(shì)1. 研究進(jìn)展 機(jī)器翻譯是自然語言理解最早的研究領(lǐng)域。 （1）萌芽時(shí)期（20世紀(jì)40年代60年代中期） 1949年 俄-英和英-俄文字的機(jī)器翻譯 1956年 N.Chomsky形式語言和轉(zhuǎn)換生成語法理論 1966年 美國科學(xué)院報(bào)告，否定性結(jié)論 （2）復(fù)蘇發(fā)展時(shí)期（20世紀(jì)60年代后期80年代中期） 關(guān)鍵詞匹配技術(shù)；句法-語義分析技術(shù)。 MIT的SIR系統(tǒng)、ELIZA系統(tǒng)第8頁，共25頁。8.1 語言及其理解的一般問題8.1.2 自然語言

6、理解研究的進(jìn)展和發(fā)展趨勢(shì) 句法方面理論研究成果：約束管轄理論、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)、詞匯功能語法、功能合一語法、廣義短語結(jié)構(gòu)語法、句法分析算法、 語義分析方面：格語法、語義網(wǎng)絡(luò)、優(yōu)選語義學(xué)、蒙塔格語法、 進(jìn)入80年代之后，自然語言理解的應(yīng)用研究廣泛開展，機(jī)器學(xué)習(xí)研究又十分活躍，并出現(xiàn)了許多具有較高水平的實(shí)用化系統(tǒng)。這些系統(tǒng)是自然語言理解研究的重要成果，表明自然語言理解在理論上和應(yīng)用上取得了突破性進(jìn)展。 第9頁，共25頁。8.1 語言及其理解的一般問題8.1.2 自然語言理解研究的進(jìn)展和發(fā)展趨勢(shì) （3）繁榮發(fā)展時(shí)期（20世紀(jì)80年代后期至今） 基于語料庫的統(tǒng)計(jì)方法：從真實(shí)預(yù)料中獲取語言知識(shí) 基于統(tǒng)計(jì)模型

7、的自然語言處理系統(tǒng) 理性主義與經(jīng)驗(yàn)主義的結(jié)合 口語理解和生成 我國自然語言理解研究第10頁，共25頁。8.1 語言及其理解的一般問題8.1.2 自然語言理解研究的進(jìn)展和發(fā)展趨勢(shì)2. 發(fā)展趨勢(shì) （1）基于句法-語義規(guī)則的理性主義方法和以模型和統(tǒng)計(jì)為基礎(chǔ)的經(jīng)驗(yàn)主義互相結(jié)合、共同發(fā)展。 （2）語料庫語言學(xué)使大規(guī)模真實(shí)文本的處理成為自然語言處理的主要戰(zhàn)略目標(biāo)。 （3）統(tǒng)計(jì)數(shù)學(xué)方法日益受到重視，機(jī)器學(xué)習(xí)的方法獲取語言知識(shí)。 （4）詞匯知識(shí)庫繼語料庫之后成為一個(gè)新的受到普遍關(guān)注的研究問題。 第11頁，共25頁。8.1 語言及其理解的一般問題8.1.3 自然語言理解過程的層次 語言的分析和理解過程是一個(gè)層次

8、化的過程。現(xiàn)代語言學(xué)家把這一過程分為3個(gè)層次：詞法分析、句法分析和語義分析。如果接收到的是語音流，那么在上述3個(gè)層次之前還應(yīng)當(dāng)加入一個(gè)語音分析層。雖然這種層次之間并非是完全隔離的，但是這種層次化的劃分的確有助于更好地體現(xiàn)語言本身的構(gòu)成。1. 語音分析語音分析則是根據(jù)音位規(guī)則，從語音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個(gè)個(gè)音節(jié)及其對(duì)應(yīng)的詞素或詞。第12頁，共25頁。8.1 語言及其理解的一般問題8.1.3 自然語言理解過程的層次2. 詞法分析詞法分析的主要目的是找出詞匯的各個(gè)詞素，從中獲得語言學(xué)信息。3. 句法分析句法分析是對(duì)句子和短語的結(jié)構(gòu)進(jìn)行分析。自動(dòng)句法分析的方法很多，有短

9、語結(jié)構(gòu)語法、格語法、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)、功能語法等等。句法分析的最大單位就是一個(gè)句子。分析的目的就是找出詞、短語等的相互關(guān)系以及各自在句子中的作用等，并以一種層次結(jié)構(gòu)來加以表達(dá)。第13頁，共25頁。8.1 語言及其理解的一般問題8.1.3 自然語言理解過程的層次4. 語義分析語義分析就是通過分析找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語言所表達(dá)的真正含義或概念。在語言自動(dòng)理解中，語義愈來愈成為一個(gè)重要的研究內(nèi)容。第14頁，共25頁。8.2 詞法分析英語等拼音文字：分詞簡單，詞素提取難中文：詞素提取易（每個(gè)字就是一個(gè)詞素），分詞難中文分詞兩大難題：。（1）歧義識(shí)別 歧義是指同樣的一句話，可能有兩種或者

10、更多的切分方法。（2）新詞識(shí)別 中科院詞法分析系統(tǒng)ICTCLAS，準(zhǔn)確率可達(dá)95% 第15頁，共25頁。8.3 句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò) 句法模式匹配就是采用句法模式來對(duì)語言的句子進(jìn)行匹配從而進(jìn)行句法分析。但是自然語言是非常多樣化的，因而需要有許多模式。這些模式可用狀態(tài)轉(zhuǎn)移圖來表示，這種用狀態(tài)轉(zhuǎn)移圖來表示的表達(dá)方式稱之為轉(zhuǎn)移網(wǎng)絡(luò)（TN，transition network）。 第16頁，共25頁。8.3 句法分析擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò) 擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)ATN是由伍茲(Woods)在1970年提出的。ATN是由一組網(wǎng)絡(luò)所構(gòu)成的，每個(gè)網(wǎng)絡(luò)都有一個(gè)網(wǎng)絡(luò)名，每條弧上的條件擴(kuò)展為條件加上操作。這種條件和操作采用

11、寄存器的方法來實(shí)現(xiàn)，在分析樹的各個(gè)成分結(jié)構(gòu)上都放上寄存器，用來存放句法功能和句法特征，條件和操作將對(duì)它們不斷地進(jìn)行訪問和設(shè)置。 第17頁，共25頁。8.3 句法分析詞匯功能語法的結(jié)構(gòu)詞匯功能語法（LFG）是由卡普蘭和布魯斯南(Bresnan)在1982年提出的，它是一種功能語法，但是更加強(qiáng)調(diào)詞匯的作用。LFG用一種結(jié)構(gòu)來表達(dá)特征、功能、詞匯和成分的順序。 第18頁，共25頁。8.4 語義分析語義分析：獲得語言所表達(dá)的意義。第一步是要確定每個(gè)詞在句子中所表達(dá)的詞義，這涉及到詞義和句法結(jié)構(gòu)上的歧義問題；第二步是要根據(jù)已有的背景知識(shí)來確定語義。 方法：語義的邏輯分析法、語義分析文法第19頁，共25頁

12、。8.5 句子理解簡單句理解的內(nèi)容簡單句理解兩方面的工作：(1) 理解語句中的每一個(gè)詞。(2) 以這些詞為基礎(chǔ)組成可以表達(dá)整個(gè)語句意義的結(jié)構(gòu)。復(fù)合句的理解 句子之間的相互關(guān)系：(1) 相同的事物；(2) 事物的一部分；(3) 行動(dòng)的一部分；(4) 與行動(dòng)有關(guān)的事物；(5) 因果關(guān)系；(6) 計(jì)劃次序。第20頁，共25頁。8.6 語料庫語言學(xué)語料庫的研究：自然語言文本的采集、存儲(chǔ)、檢索、統(tǒng)計(jì)、詞性和句法標(biāo)注、句法語義分析、定義： Aijmer 1991 “根據(jù)篇章材料對(duì)語言的研究稱為語料庫語言學(xué)” McEnery 1996 “基于現(xiàn)實(shí)生活中語言應(yīng)用實(shí)例進(jìn)行語言研究稱為語料庫語言學(xué)” Crysta

13、l 1991 “以語料為語言描寫的起點(diǎn)或者以語料為驗(yàn)證有關(guān)語言假說的方法稱為語料庫語言學(xué)”語料庫：第21頁，共25頁。8.7 機(jī)器翻譯機(jī)器翻譯的過程： 原文輸入 原文分析：查詞典、語法分析 譯文綜合：調(diào)整詞序、修辭、從譯文詞典中取詞 譯文輸出第22頁，共25頁。8.8 語音識(shí)別預(yù)處理特征提取模式識(shí)別訓(xùn)練模式庫語音輸入語音識(shí)別結(jié)果第23頁，共25頁。8.9 應(yīng)用舉例問題思考思考答案訊飛語音云問答服務(wù)云訊飛語音云思考聲音聲音文字答案問題文字123國家大學(xué)生創(chuàng)新實(shí)驗(yàn)項(xiàng)目第24頁，共25頁。1、不是井里沒有水，而是你挖的不夠深。不是成功來得慢，而是你努力的不夠多。2、孤單一人的時(shí)間使自己變得優(yōu)秀，給來

14、的人一個(gè)驚喜，也給自己一個(gè)好的交代。3、命運(yùn)給你一個(gè)比別人低的起點(diǎn)是想告訴你，讓你用你的一生去奮斗出一個(gè)絕地反擊的故事，所以有什么理由不努力!4、心中沒有過分的貪求，自然苦就少?？诶锊徽f多余的話，自然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒有過分欲，自然憂就少。大悲是無淚的，同樣大悟無言。緣來盡量要惜，緣盡就放。人生本來就空，對(duì)人家笑笑，對(duì)自己笑笑，笑著看天下，看日出日落，花謝花開，豈不自在，哪里來的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽光自然就會(huì)蔓延開來。陽光那么好，何必自尋煩惱，過好每一個(gè)當(dāng)下，一萬個(gè)美麗的未來抵不過一個(gè)溫暖的現(xiàn)在。6、無論你正遭遇著什么，你都要從落魄中站起

15、來重振旗鼓，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過一樣。7、生命的美麗，永遠(yuǎn)展現(xiàn)在她的進(jìn)取之中;就像大樹的美麗，是展現(xiàn)在它負(fù)勢(shì)向上高聳入云的蓬勃生機(jī)中;像雄鷹的美麗，是展現(xiàn)在它搏風(fēng)擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現(xiàn)在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強(qiáng)。人生無完美，曲折亦風(fēng)景。別把失去看得過重，放棄是另一種擁有;不要經(jīng)常艷羨他人，人做到了，心悟到了，相信屬于你的風(fēng)景就在下一個(gè)拐彎處。10、

16、有些事想開了，你就會(huì)明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎樣，最后收拾殘局的還是要靠你自己。11、人生的某些障礙，你是逃不掉的。與其費(fèi)盡周折繞過去，不如勇敢地攀登，或許這會(huì)鑄就你人生的高點(diǎn)。12、有些壓力總是得自己扛過去，說出來就成了充滿負(fù)能量的抱怨。尋求安慰也無濟(jì)于事，還徒增了別人的煩惱。13、認(rèn)識(shí)到我們的所見所聞都是假象，認(rèn)識(shí)到此生都是虛幻，我們才能真正認(rèn)識(shí)到佛法的真相。錢多了會(huì)壓死你，你承受得了嗎?帶，帶不走，放，放不下。時(shí)時(shí)刻刻發(fā)悲心，饒益眾生為他人。14、夢(mèng)想總是跑在我的前面。努力追尋它們，為了那一瞬間的同步，這就是動(dòng)人的生命奇跡。15、懶惰不會(huì)讓你一下子跌倒，但會(huì)在不知不覺中減少你的收獲;勤奮也不會(huì)讓你一夜成功，但會(huì)在不知不覺中積累你的成果。人生需要挑戰(zhàn)，更需要堅(jiān)持和勤奮!