人工智能基礎(chǔ)08自然語言理解課件

目錄第一章緒論第二章知識表示

第三章搜索技術(shù)第四章推理技術(shù)第五章機器學(xué)習(xí)

第六章專家系統(tǒng)

第七章自動規(guī)劃系統(tǒng)第八章自然語言理解第九章智能控制第十章人工智能程序設(shè)計目錄第一章緒論8.1語言及其理解的一般問題8.1.1語言和語言理解

1.語言的構(gòu)成

語言是人類進行通信的自然媒介，它包括口語、書面語以及動作語(如啞語和旗語)等。

語言使用于傳遞信息的表示方法、約定和規(guī)則的集合。語言由語句組成，每個語句又由單詞組成；組成語句和語言時，應(yīng)遵循一定的語法與語義規(guī)則。語言由語音、詞匯和語法構(gòu)成。語言的基本屬性：語音和文字8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解

語言是音義結(jié)合的詞匯和語法體系，是實現(xiàn)思維活動的物質(zhì)形式。語言是以詞為基本單位的，詞匯又受到語法的支配才可構(gòu)成有意義的和可理解的句子，句子按一定的形式再構(gòu)成篇章等。語法是語言的組織規(guī)律。語法規(guī)則制約著如何把詞素構(gòu)成詞，詞構(gòu)成詞組和句子。語言正是在這種嚴密的制約關(guān)系中構(gòu)成的。用詞素構(gòu)成詞的規(guī)則叫構(gòu)詞規(guī)則。語法中的另一部分就是句法。句法也可分成兩部分：詞組構(gòu)造法和造句法。詞組構(gòu)造法是詞搭配成詞組的規(guī)則。造句法則是用詞或詞組造句的規(guī)則。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解

另一方面，語言是音義結(jié)合的，每個詞匯有其語音形式。自然語言中所涉及的音素并不多，一種語言一般只有幾十個音素。由一個發(fā)音動作所構(gòu)成的最小的語音單位就是音素。

語言詞匯語法詞熟語詞素詞法句法構(gòu)形法構(gòu)詞法造句法詞組構(gòu)造法8.1語言及其理解的一般問題8.1.1語言和語言理解語言8.1語言及其理解的一般問題8.1.1語言和語言理解

2.語言的理解微觀：語言理解是指從自然語言到機器(計算機系統(tǒng))內(nèi)部之間的一種映射。宏觀：語言理解是指機器能夠執(zhí)行人類所期望的某些語言功能。這些功能包括：

（1）回答有關(guān)提問；（2）提取材料摘要；

（3）不同詞語敘述；

（4）不同語言翻譯。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解對自然語言的理解卻是一個十分艱難的任務(wù)。自然語言不僅有語義、語法和語音問題，而且還存在模糊性等問題。自然語言理解的困難是由下列3個因素引起的：（1）目標表示的復(fù)雜性；

（2）映射類型的多樣性；

（3）源表達中各元素間交互程度的差異性。自然語言理解是語言學(xué)、邏輯學(xué)、生理學(xué)、心理學(xué)、計算機科學(xué)和數(shù)學(xué)等相關(guān)學(xué)科發(fā)展和結(jié)合而形成的一門交叉學(xué)科；它能夠理解口頭語言或書面語言。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解語言理解包括下列幾個方面的內(nèi)容：（1）能夠理解句子的正確詞序規(guī)則和概念，又能理解不含規(guī)則的句子。（2）

知道詞的確切含義、形式、詞類及構(gòu)詞法。（3）了解詞的語義分類以及詞的多義性和歧義性。（4）指定和不定特性及所有(隸屬)特性。（5）問題領(lǐng)域的結(jié)構(gòu)知識和時間概念。（6）語言的語氣信息和韻律表現(xiàn)。（7）有關(guān)語言表達形式的文學(xué)知識。（8）論域的背景知識。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢1.研究進展機器翻譯是自然語言理解最早的研究領(lǐng)域。

（1）萌芽時期（20世紀40年代~60年代中期）1949年俄-英和英-俄文字的機器翻譯1956年N.Chomsky形式語言和轉(zhuǎn)換生成語法理論1966年美國科學(xué)院報告，否定性結(jié)論

（2）復(fù)蘇發(fā)展時期（20世紀60年代后期~80年代中期）

關(guān)鍵詞匹配技術(shù)；句法-語義分析技術(shù)。MIT的SIR系統(tǒng)、ELIZA系統(tǒng)8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢句法方面理論研究成果：約束管轄理論、擴充轉(zhuǎn)移網(wǎng)絡(luò)、詞匯功能語法、功能合一語法、廣義短語結(jié)構(gòu)語法、句法分析算法、…

語義分析方面：格語法、語義網(wǎng)絡(luò)、優(yōu)選語義學(xué)、蒙塔格語法、…進入80年代之后，自然語言理解的應(yīng)用研究廣泛開展，機器學(xué)習(xí)研究又十分活躍，并出現(xiàn)了許多具有較高水平的實用化系統(tǒng)。這些系統(tǒng)是自然語言理解研究的重要成果，表明自然語言理解在理論上和應(yīng)用上取得了突破性進展。

8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢

（3）繁榮發(fā)展時期（20世紀80年代后期至今）

基于語料庫的統(tǒng)計方法：從真實預(yù)料中獲取語言知識

基于統(tǒng)計模型的自然語言處理系統(tǒng)

理性主義與經(jīng)驗主義的結(jié)合

口語理解和生成

我國自然語言理解研究8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢2.發(fā)展趨勢（1）基于句法-語義規(guī)則的理性主義方法和以模型和統(tǒng)計為基礎(chǔ)的經(jīng)驗主義互相結(jié)合、共同發(fā)展。

（2）語料庫語言學(xué)使大規(guī)模真實文本的處理成為自然語言處理的主要戰(zhàn)略目標。

（3）統(tǒng)計數(shù)學(xué)方法日益受到重視，機器學(xué)習(xí)的方法獲取語言知識。

（4）詞匯知識庫繼語料庫之后成為一個新的受到普遍關(guān)注的研究問題。

8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.3自然語言理解過程的層次

語言的分析和理解過程是一個層次化的過程。現(xiàn)代語言學(xué)家把這一過程分為3個層次：詞法分析、句法分析和語義分析。如果接收到的是語音流，那么在上述3個層次之前還應(yīng)當(dāng)加入一個語音分析層。雖然這種層次之間并非是完全隔離的，但是這種層次化的劃分的確有助于更好地體現(xiàn)語言本身的構(gòu)成。1.語音分析語音分析則是根據(jù)音位規(guī)則，從語音流中區(qū)分出一個個獨立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個個音節(jié)及其對應(yīng)的詞素或詞。8.1語言及其理解的一般問題8.1.3自然語言理解過程的8.1語言及其理解的一般問題8.1.3自然語言理解過程的層次2.詞法分析詞法分析的主要目的是找出詞匯的各個詞素，從中獲得語言學(xué)信息。3.句法分析句法分析是對句子和短語的結(jié)構(gòu)進行分析。自動句法分析的方法很多，有短語結(jié)構(gòu)語法、格語法、擴充轉(zhuǎn)移網(wǎng)絡(luò)、功能語法等等。句法分析的最大單位就是一個句子。分析的目的就是找出詞、短語等的相互關(guān)系以及各自在句子中的作用等，并以一種層次結(jié)構(gòu)來加以表達。8.1語言及其理解的一般問題8.1.3自然語言理解過程的8.1語言及其理解的一般問題8.1.3自然語言理解過程的層次4.語義分析語義分析就是通過分析找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語言所表達的真正含義或概念。在語言自動理解中，語義愈來愈成為一個重要的研究內(nèi)容。8.1語言及其理解的一般問題8.1.3自然語言理解過程的8.2詞法分析英語等拼音文字：分詞簡單，詞素提取難中文：詞素提取易（每個字就是一個詞素），分詞難中文分詞兩大難題：。（1）歧義識別歧義是指同樣的一句話，可能有兩種或者更多的切分方法。（2）新詞識別

中科院詞法分析系統(tǒng)ICTCLAS，準確率可達95%

8.2詞法分析英語等拼音文字：分詞簡單，詞素提取難8.3句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò)

句法模式匹配就是采用句法模式來對語言的句子進行匹配從而進行句法分析。但是自然語言是非常多樣化的，因而需要有許多模式。這些模式可用狀態(tài)轉(zhuǎn)移圖來表示，這種用狀態(tài)轉(zhuǎn)移圖來表示的表達方式稱之為轉(zhuǎn)移網(wǎng)絡(luò)（TN，transitionnetwork）。8.3句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò)8.3句法分析擴充轉(zhuǎn)移網(wǎng)絡(luò)擴充轉(zhuǎn)移網(wǎng)絡(luò)ATN是由伍茲(Woods)在1970年提出的。ATN是由一組網(wǎng)絡(luò)所構(gòu)成的，每個網(wǎng)絡(luò)都有一個網(wǎng)絡(luò)名，每條弧上的條件擴展為條件加上操作。這種條件和操作采用寄存器的方法來實現(xiàn)，在分析樹的各個成分結(jié)構(gòu)上都放上寄存器，用來存放句法功能和句法特征，條件和操作將對它們不斷地進行訪問和設(shè)置。

8.3句法分析擴充轉(zhuǎn)移網(wǎng)絡(luò)8.3句法分析詞匯功能語法的結(jié)構(gòu)

詞匯功能語法（LFG）是由卡普蘭和布魯斯南(Bresnan)在1982年提出的，它是一種功能語法，但是更加強調(diào)詞匯的作用。LFG用一種結(jié)構(gòu)來表達特征、功能、詞匯和成分的順序。

8.3句法分析詞匯功能語法的結(jié)構(gòu)8.4語義分析語義分析：獲得語言所表達的意義。

第一步是要確定每個詞在句子中所表達的詞義，這涉及到詞義和句法結(jié)構(gòu)上的歧義問題；第二步是要根據(jù)已有的背景知識來確定語義。

方法：語義的邏輯分析法、語義分析文法8.4語義分析語義分析：獲得語言所表達的意義。8.5句子理解簡單句理解的內(nèi)容

簡單句理解兩方面的工作：

(1)理解語句中的每一個詞。

(2)以這些詞為基礎(chǔ)組成可以表達整個語句意義的結(jié)構(gòu)。復(fù)合句的理解

句子之間的相互關(guān)系：(1)相同的事物；(2)事物的一部分；(3)行動的一部分；(4)與行動有關(guān)的事物；(5)因果關(guān)系；(6)計劃次序。8.5句子理解簡單句理解的內(nèi)容8.6語料庫語言學(xué)語料庫的研究：自然語言文本的采集、存儲、檢索、統(tǒng)計、詞性和句法標注、句法語義分析、…定義：

Aijmer1991“根據(jù)篇章材料對語言的研究稱為語料庫語言學(xué)”

McEnery1996“基于現(xiàn)實生活中語言應(yīng)用實例進行語言研究稱為語料庫語言學(xué)”Crystal1991“以語料為語言描寫的起點或者以語料為驗證有關(guān)語言假說的方法稱為語料庫語言學(xué)”語料庫：8.6語料庫語言學(xué)語料庫的研究：自然語言文本的采集、存儲、8.7機器翻譯機器翻譯的過程：原文輸入原文分析：查詞典、語法分析譯文綜合：調(diào)整詞序、修辭、從譯文詞典中取詞

譯文輸出8.7機器翻譯機器翻譯的過程：8.8語音識別預(yù)處理特征提取模式識別訓(xùn)練模式庫語音輸入語音識別結(jié)果8.8語音識別預(yù)處理特征提取模式識別訓(xùn)練模式庫語音輸入語音8.9應(yīng)用舉例問題思考思考答案訊飛語音云問答服務(wù)云訊飛語音云思考聲音聲音文字答案問題文字123國家大學(xué)生創(chuàng)新實驗項目8.9應(yīng)用舉例問題思考思考答案思考聲音聲音文字答案問題文字目錄第一章緒論第二章知識表示

第三章搜索技術(shù)第四章推理技術(shù)第五章機器學(xué)習(xí)

第六章專家系統(tǒng)

第七章自動規(guī)劃系統(tǒng)第八章自然語言理解第九章智能控制第十章人工智能程序設(shè)計目錄第一章緒論8.1語言及其理解的一般問題8.1.1語言和語言理解

1.語言的構(gòu)成

語言是人類進行通信的自然媒介，它包括口語、書面語以及動作語(如啞語和旗語)等。

語言使用于傳遞信息的表示方法、約定和規(guī)則的集合。語言由語句組成，每個語句又由單詞組成；組成語句和語言時，應(yīng)遵循一定的語法與語義規(guī)則。語言由語音、詞匯和語法構(gòu)成。語言的基本屬性：語音和文字8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解

語言是音義結(jié)合的詞匯和語法體系，是實現(xiàn)思維活動的物質(zhì)形式。語言是以詞為基本單位的，詞匯又受到語法的支配才可構(gòu)成有意義的和可理解的句子，句子按一定的形式再構(gòu)成篇章等。語法是語言的組織規(guī)律。語法規(guī)則制約著如何把詞素構(gòu)成詞，詞構(gòu)成詞組和句子。語言正是在這種嚴密的制約關(guān)系中構(gòu)成的。用詞素構(gòu)成詞的規(guī)則叫構(gòu)詞規(guī)則。語法中的另一部分就是句法。句法也可分成兩部分：詞組構(gòu)造法和造句法。詞組構(gòu)造法是詞搭配成詞組的規(guī)則。造句法則是用詞或詞組造句的規(guī)則。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解

另一方面，語言是音義結(jié)合的，每個詞匯有其語音形式。自然語言中所涉及的音素并不多，一種語言一般只有幾十個音素。由一個發(fā)音動作所構(gòu)成的最小的語音單位就是音素。

語言詞匯語法詞熟語詞素詞法句法構(gòu)形法構(gòu)詞法造句法詞組構(gòu)造法8.1語言及其理解的一般問題8.1.1語言和語言理解語言8.1語言及其理解的一般問題8.1.1語言和語言理解

2.語言的理解微觀：語言理解是指從自然語言到機器(計算機系統(tǒng))內(nèi)部之間的一種映射。宏觀：語言理解是指機器能夠執(zhí)行人類所期望的某些語言功能。這些功能包括：

（1）回答有關(guān)提問；（2）提取材料摘要；

（3）不同詞語敘述；

（4）不同語言翻譯。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解對自然語言的理解卻是一個十分艱難的任務(wù)。自然語言不僅有語義、語法和語音問題，而且還存在模糊性等問題。自然語言理解的困難是由下列3個因素引起的：（1）目標表示的復(fù)雜性；

（2）映射類型的多樣性；

（3）源表達中各元素間交互程度的差異性。自然語言理解是語言學(xué)、邏輯學(xué)、生理學(xué)、心理學(xué)、計算機科學(xué)和數(shù)學(xué)等相關(guān)學(xué)科發(fā)展和結(jié)合而形成的一門交叉學(xué)科；它能夠理解口頭語言或書面語言。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.1語言和語言理解語言理解包括下列幾個方面的內(nèi)容：（1）能夠理解句子的正確詞序規(guī)則和概念，又能理解不含規(guī)則的句子。（2）

知道詞的確切含義、形式、詞類及構(gòu)詞法。（3）了解詞的語義分類以及詞的多義性和歧義性。（4）指定和不定特性及所有(隸屬)特性。（5）問題領(lǐng)域的結(jié)構(gòu)知識和時間概念。（6）語言的語氣信息和韻律表現(xiàn)。（7）有關(guān)語言表達形式的文學(xué)知識。（8）論域的背景知識。8.1語言及其理解的一般問題8.1.1語言和語言理解8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢1.研究進展機器翻譯是自然語言理解最早的研究領(lǐng)域。

（1）萌芽時期（20世紀40年代~60年代中期）1949年俄-英和英-俄文字的機器翻譯1956年N.Chomsky形式語言和轉(zhuǎn)換生成語法理論1966年美國科學(xué)院報告，否定性結(jié)論

（2）復(fù)蘇發(fā)展時期（20世紀60年代后期~80年代中期）

關(guān)鍵詞匹配技術(shù)；句法-語義分析技術(shù)。MIT的SIR系統(tǒng)、ELIZA系統(tǒng)8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢句法方面理論研究成果：約束管轄理論、擴充轉(zhuǎn)移網(wǎng)絡(luò)、詞匯功能語法、功能合一語法、廣義短語結(jié)構(gòu)語法、句法分析算法、…

語義分析方面：格語法、語義網(wǎng)絡(luò)、優(yōu)選語義學(xué)、蒙塔格語法、…進入80年代之后，自然語言理解的應(yīng)用研究廣泛開展，機器學(xué)習(xí)研究又十分活躍，并出現(xiàn)了許多具有較高水平的實用化系統(tǒng)。這些系統(tǒng)是自然語言理解研究的重要成果，表明自然語言理解在理論上和應(yīng)用上取得了突破性進展。

8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢

（3）繁榮發(fā)展時期（20世紀80年代后期至今）

基于語料庫的統(tǒng)計方法：從真實預(yù)料中獲取語言知識

基于統(tǒng)計模型的自然語言處理系統(tǒng)

理性主義與經(jīng)驗主義的結(jié)合

口語理解和生成

我國自然語言理解研究8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.2自然語言理解研究的進展和發(fā)展趨勢2.發(fā)展趨勢（1）基于句法-語義規(guī)則的理性主義方法和以模型和統(tǒng)計為基礎(chǔ)的經(jīng)驗主義互相結(jié)合、共同發(fā)展。

（2）語料庫語言學(xué)使大規(guī)模真實文本的處理成為自然語言處理的主要戰(zhàn)略目標。

（3）統(tǒng)計數(shù)學(xué)方法日益受到重視，機器學(xué)習(xí)的方法獲取語言知識。

（4）詞匯知識庫繼語料庫之后成為一個新的受到普遍關(guān)注的研究問題。

8.1語言及其理解的一般問題8.1.2自然語言理解研究的8.1語言及其理解的一般問題8.1.3自然語言理解過程的層次

語言的分析和理解過程是一個層次化的過程?，F(xiàn)代語言學(xué)家把這一過程分為3個層次：詞法分析、句法分析和語義分析。如果接收到的是語音流，那么在上述3個層次之前還應(yīng)當(dāng)加入一個語音分析層。雖然這種層次之間并非是完全隔離的，但是這種層次化的劃分的確有助于更好地體現(xiàn)語言本身的構(gòu)成。1.語音分析語音分析則是根據(jù)音位規(guī)則，從語音流中區(qū)分出一個個獨立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個個音節(jié)及其對應(yīng)的詞素或詞。8.1語言及其理解的一般問題8.1.3自然語言理解過程的8.1語言及其理解的一般問題8.1.3自然語言理解過程的層次2.詞法分析詞法分析的主要目的是找出詞匯的各個詞素，從中獲得語言學(xué)信息。3.句法分析句法分析是對句子和短語的結(jié)構(gòu)進行分析。自動句法分析的方法很多，有短語結(jié)構(gòu)語法、格語法、擴充轉(zhuǎn)移網(wǎng)絡(luò)、功能語法等等。句法分析的最大單位就是一個句子。分析的目的就是找出詞、短語等的相互關(guān)系以及各自在句子中的作用等，并以一種層次結(jié)構(gòu)來加以表達。8.1語言及其理解的一般問題8.1.3自然語言理解過程的8.1語言及其理解的一般問題8.1.3自然語言理解過程的層次4.語義分析語義分析就是通過分析找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語言所表達的真正含義或概念。在語言自動理解中，語義愈來愈成為一個重要的研究內(nèi)容。8.1語言及其理解的一般問題8.1.3自然語言理解過程的8.2詞法分析英語等拼音文字：分詞簡單，詞素提取難中文：詞素提取易（每個字就是一個詞素），分詞難中文分詞兩大難題：。（1）歧義識別歧義是指同樣的一句話，可能有兩種或者更多的切分方法。（2）新詞識別

中科院詞法分析系統(tǒng)ICTCLAS，準確率可達95%

8.2詞法分析英語等拼音文字：分詞簡單，詞素提取難8.3句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò)

句法模式匹配就是采用句法模式來對語言的句子進行匹配從而進行句法分析。但是自然語言是非常多樣化的，因而需要有許多模式。這些模式可用狀態(tài)轉(zhuǎn)移圖來表示，這種用狀態(tài)轉(zhuǎn)移圖來表示的表達方式稱之為轉(zhuǎn)移網(wǎng)絡(luò)（TN，transitionnetwork）。8.3句法分析句法模式匹配和轉(zhuǎn)移網(wǎng)絡(luò)8.3句法分析擴充轉(zhuǎn)移網(wǎng)絡(luò)擴充轉(zhuǎn)移網(wǎng)絡(luò)ATN是由伍茲(Woods)在1970年提出的。ATN是由一組網(wǎng)絡(luò)所構(gòu)成的，每個網(wǎng)絡(luò)都有一個網(wǎng)絡(luò)名，每條弧上的條件擴展為條件加上操作。這種條件和操作采用寄存器的方法來實現(xiàn)，在分析樹的各個成分結(jié)構(gòu)上都放上寄存器，用來存放句法功能和句法特征，條件和操作將對它們不斷地進行訪問和設(shè)置。

8.3句法分析擴充轉(zhuǎn)移網(wǎng)絡(luò)8