自然語(yǔ)言理解

自然語(yǔ)言理解第1頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月在信息化社會(huì)中，語(yǔ)言信息處理的技術(shù)水平和每年所處理的信息總量已成為衡量一個(gè)國(guó)家現(xiàn)代化水平的重要標(biāo)志之一。在這樣的社會(huì)需求下，自然語(yǔ)言理解作為語(yǔ)言傳息處理技術(shù)的一個(gè)高層次的重要方向，一直是人工智能界所關(guān)注的核心課題之一。顯然，如果計(jì)算機(jī)能夠理解自然語(yǔ)言，人機(jī)間的信息交流能夠以人們所熟悉的本族語(yǔ)言來進(jìn)行，那將是計(jì)算技術(shù)的一項(xiàng)重大突破。另一方面，由于創(chuàng)造和使用自然語(yǔ)言是人類高度智能的表現(xiàn)，因此對(duì)自然語(yǔ)言理解的研究也有助于揭開人類智能的奧秘，深化我們對(duì)語(yǔ)言能力和思維本質(zhì)的認(rèn)識(shí)。所以說，這個(gè)研究方向在應(yīng)用方面和理論方面都有重大意義。

第2頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.1自然語(yǔ)言及其理解

1.什么是自然語(yǔ)言自然語(yǔ)言是指人類語(yǔ)言集團(tuán)的本族語(yǔ)，如漢語(yǔ)、英語(yǔ)、日語(yǔ)等。自然語(yǔ)言是相對(duì)于人造語(yǔ)言而言的。人造語(yǔ)言是指世界語(yǔ)或計(jì)算機(jī)的各種程序設(shè)計(jì)語(yǔ)言。眾所周知，語(yǔ)言是思維的載體，是人際交流的重要工具。在人類歷史上以語(yǔ)言文字形式記載和流傳的知識(shí)占到知識(shí)總量的80％以上。就計(jì)算機(jī)的應(yīng)用而言，據(jù)統(tǒng)計(jì)用于數(shù)學(xué)計(jì)算的僅占10％，用于過程控制的不到5％，其余85％左右都是用于語(yǔ)言文字的信息處理。在信息化社會(huì)中，語(yǔ)言信息處理的技術(shù)水平和每年所處理的信息總量已成為衡量一個(gè)國(guó)家現(xiàn)代化水平的重要標(biāo)志之一。

7.1.1自然語(yǔ)言及其構(gòu)成

第3頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月2、自然語(yǔ)言的構(gòu)成（如下圖）7.1自然語(yǔ)言及其理解7.1.1自然語(yǔ)言及其構(gòu)成第4頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.1自然語(yǔ)言及其理解7.1.2自然語(yǔ)言理解的概念

7.1.3自然語(yǔ)言理解的進(jìn)展

7.1.4自然語(yǔ)言過程的層次

自然語(yǔ)言理解是指機(jī)器能夠執(zhí)行人類所期望的某些語(yǔ)言功能。這些功能包括：1.問答(quesVtioVn-aVnsweriVng)：機(jī)器能正確地回答輸入文本中的有關(guān)問題;

2.文摘生成(summariziVng)：機(jī)器有能力產(chǎn)生輸入文本的摘要；

3.釋義(paraphrase)：機(jī)器能用不同的詞語(yǔ)和句型來復(fù)述其輸入文本；

4.翻譯(VtrahslaVtioVn)：機(jī)器具有把一種語(yǔ)言(源語(yǔ))翻譯成為另一種語(yǔ)言(目標(biāo)語(yǔ))的能力。第5頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.2詞法分析第6頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.2詞法分析第7頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析句法分析就是要對(duì)句子或短語(yǔ)的結(jié)構(gòu)進(jìn)行分析，以確定構(gòu)成句子的各個(gè)詞、短語(yǔ)等之間的相互關(guān)系以及各自在句子中的作用等，并將這些關(guān)系用層次結(jié)構(gòu)加以表達(dá)。第8頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析1、短語(yǔ)結(jié)構(gòu)語(yǔ)法理論一部短語(yǔ)結(jié)構(gòu)語(yǔ)法G可以用如下的四元組來定義：

G＝(Vt，Vn，P，S)

其中，Vt是終結(jié)符的集合，終結(jié)符是指被定義的那個(gè)語(yǔ)言的詞(或符號(hào))；

Vn是非終結(jié)符的集合，這些符號(hào)不能出現(xiàn)在最終生成的句子中，是專門用來描述語(yǔ)法的。顯然，Vt和Vn的并構(gòu)成了符號(hào)集V，而且Vt和Vn不相交，因此有：

V＝Vt∪Vn，

Vt∩Vn＝φ(φ表示空集)；

S是起始符，它是集合Vn中的一個(gè)成員；

P是一個(gè)產(chǎn)生式規(guī)則集。每條產(chǎn)生式具有如下的形式：

a→b

其中a∈V+，b∈V*，且a≠b；V*表示由V中的符號(hào)所構(gòu)成的全部符號(hào)串(包括空符號(hào)串φ)的集合，V+表示V*中除φ之外的一切符號(hào)串的集合。

7.3.1短語(yǔ)結(jié)構(gòu)語(yǔ)法理論與喬姆斯基語(yǔ)法體系第9頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析2、結(jié)束的短語(yǔ)結(jié)構(gòu)語(yǔ)法理論---喬姆斯基語(yǔ)法體系7.3.1短語(yǔ)結(jié)構(gòu)語(yǔ)法理論與喬姆斯基語(yǔ)法體系喬姆斯基(N.Chomsky)曾定義了以下四類語(yǔ)法:

(1)無(wú)約束短語(yǔ)結(jié)構(gòu)語(yǔ)法，如前所述，又叫做O型語(yǔ)法；

(2)上下文有關(guān)語(yǔ)法(context-sensitivegrammars)，又叫做1型語(yǔ)法；

(3)上下文無(wú)關(guān)語(yǔ)法(context-freegrammars)，又叫做2型語(yǔ)法；

(4)正則語(yǔ)法(regulargrammars)，又叫做3型語(yǔ)法。

第10頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.1短語(yǔ)結(jié)構(gòu)語(yǔ)法理論與喬姆斯基語(yǔ)法體系3、句法分析樹在對(duì)一個(gè)句子進(jìn)行分析的過程中，如果把分析句子各成分間關(guān)系的推倒過程用樹形表示出來的話，那么，這種圖稱做句法分析樹。如下圖為語(yǔ)句Thegirlwritesletterwithapencil進(jìn)行句法分析時(shí)建立的句法分析樹。第11頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.2遞歸轉(zhuǎn)移網(wǎng)絡(luò)與擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)1、有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)的概念來源于有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)。我們?cè)赋?，有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)只能用來生成或識(shí)別正則(即3型)語(yǔ)言。

一個(gè)有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)由一組狀態(tài)(即結(jié)點(diǎn))和一組弧(用來把一種狀態(tài)連向另一種狀態(tài))所組成：

(1)其中的一個(gè)狀態(tài)被指定為起始狀態(tài)；

(2)在每條弧上都標(biāo)注著該語(yǔ)法的終結(jié)符(包括詞或詞類)。

它表明必須在輸入句子中找到這樣一個(gè)詞，才可以進(jìn)行這條弧所規(guī)定的轉(zhuǎn)移；

(3)狀態(tài)集中有一個(gè)名為結(jié)束狀態(tài)的子集。如果輸入句子(或短語(yǔ))的頭從起始狀態(tài)開始，經(jīng)過一系列的轉(zhuǎn)移，句尾恰好達(dá)到結(jié)束狀態(tài)，我們就說這個(gè)句子(或短語(yǔ))被這個(gè)轉(zhuǎn)移網(wǎng)絡(luò)所接受(或識(shí)別)。

第12頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.2遞歸轉(zhuǎn)移網(wǎng)絡(luò)與擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)1、有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)右上圖表示以冠詞"the"開頭的一類名詞短語(yǔ)NP的轉(zhuǎn)移網(wǎng)絡(luò)，它可以擁有零個(gè)或多個(gè)形容詞；最后以一個(gè)名詞結(jié)尾。假如輸入的短語(yǔ)是："theprettypicture"。從起始狀態(tài)NP開始，它只有一條標(biāo)注著"the"的外射弧，由于輸入串中的第十個(gè)詞能同它匹配；所以詞"the"從輸入串中被刪除，過程則相應(yīng)進(jìn)入圖中的，狀態(tài)NP1。此時(shí)輸入串是"prettypicture"，由于第一個(gè)"pretty"的詞類是ADJ，同標(biāo)注ADJ的弧匹配，于是"pretty"從輸入串中被刪除，但沿著ADJ弧轉(zhuǎn)移的結(jié)果是再次回到這個(gè)NP1狀態(tài).此時(shí)輸入串只剩下最后一個(gè)詞"picture"，由于它是一個(gè)名詞,因此發(fā)生了沿N弧前進(jìn)到結(jié)束狀態(tài)的轉(zhuǎn)移。這時(shí)，輸入串已成為空串，所以分析成功。

第13頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.2遞歸轉(zhuǎn)移網(wǎng)絡(luò)與擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)2、遞歸轉(zhuǎn)移網(wǎng)絡(luò)遞歸轉(zhuǎn)移網(wǎng)絡(luò)(recursivetransitionnetworks，簡(jiǎn)稱RTN)是對(duì)有限狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)的一種擴(kuò)展，在RTN中每條弧的標(biāo)注不僅可以是一個(gè)終結(jié)符(詞或詞類)，而且可以是一個(gè)用來指明另一個(gè)網(wǎng)絡(luò)名字的非終結(jié)符。

例如，下面是一部上下文無(wú)關(guān)語(yǔ)法：

S∷＝NPVNPPP*

NP∷＝TADJ*NPP*

PP∷＝PNP

其中X*表示符號(hào)X可以出現(xiàn)零次或多次。這三條語(yǔ)法規(guī)則可以用下頁(yè)圖所示的遞歸轉(zhuǎn)移網(wǎng)絡(luò)來表示。第14頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.2遞歸轉(zhuǎn)移網(wǎng)絡(luò)與擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)2、遞歸轉(zhuǎn)移網(wǎng)絡(luò)圖中用來表示S，NP和：PP等三條上下文無(wú)關(guān)語(yǔ)法規(guī)則的遞歸轉(zhuǎn)移網(wǎng)絡(luò)第15頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.2遞歸轉(zhuǎn)移網(wǎng)絡(luò)與擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)3、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)ATN在以下三方面對(duì)RTN作了擴(kuò)展和增強(qiáng)：

(1)添置了一組寄存器，用來存儲(chǔ)分析過程中得到的中間結(jié)果(如局部句法樹)和有關(guān)信息(如名詞短語(yǔ)的人稱和數(shù)。某些成分的語(yǔ)義特征等)；

(2)每條弧上除了用句法范疇(如詞類和短語(yǔ)標(biāo)記)來標(biāo)注以外，可以附加任意的測(cè)試，只有當(dāng)弧上的這種溯試成功之后才能通過這條?。?/p>

(3)每條弧上還可以附加某些動(dòng)作，當(dāng)通過一條弧時(shí)，相應(yīng)的動(dòng)作便被依次執(zhí)行，這些動(dòng)作主要用來設(shè)置或修改寄存器的內(nèi)容。

設(shè)置哪些寄存器完全取決于句法分析的需要，并沒有硬性的規(guī)定。例如有關(guān)句型的信息：陳述句，疑問句，祈使句，可以存放在名為TYPE的寄存器中；動(dòng)詞信息及其局部結(jié)構(gòu)可存放在名為V的寄存器中；當(dāng)然也可設(shè)置象主語(yǔ)、謂語(yǔ)、賓語(yǔ)一類的寄存器來存儲(chǔ)各種句子成分的信息以及它們的局部結(jié)構(gòu)。所有這些寄存器都可以看作是程序設(shè)計(jì)中變量，它們從屬于被設(shè)置的那個(gè)ATN子網(wǎng)絡(luò)。對(duì)于ATN的后繼弧來說，這些寄存器的內(nèi)容可以被訪問，并且根據(jù)附加在后繼弧上的動(dòng)作可以被復(fù)制、修改或組合。

第16頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.3詞匯功能語(yǔ)法詞匯功能語(yǔ)法（LFG）是由卡普蘭和布魯斯南(Bresnan)在1982年提出的，它是一種功能語(yǔ)法，但是更加強(qiáng)調(diào)詞匯的作用。LFG用一種結(jié)構(gòu)來表達(dá)特征、功能、詞匯和成分的順序。LFG對(duì)句子的描述分為兩部分：直接成分結(jié)構(gòu)(ConstituentStructure,簡(jiǎn)稱C-Structure)和功能結(jié)構(gòu)(FunctionalStructure,簡(jiǎn)稱F-structure)，C-structure是由上下文無(wú)關(guān)語(yǔ)法產(chǎn)生的表層分析結(jié)果。在此基礎(chǔ)上經(jīng)一系列代數(shù)變換產(chǎn)生F-structure。LFG采用兩種規(guī)則：加入下標(biāo)的上下文無(wú)關(guān)語(yǔ)法規(guī)則和詞匯規(guī)則。第17頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.3詞匯功能語(yǔ)法2、詞匯功能語(yǔ)法對(duì)句子的分析過程用LFG語(yǔ)法對(duì)句子進(jìn)行分析的過程如下：用上下文無(wú)關(guān)語(yǔ)法分析獲得C-structure，不考慮語(yǔ)法中的下標(biāo)；該C-structure就是一棵直接成分樹；將各個(gè)非葉節(jié)點(diǎn)定義為變量，根據(jù)詞匯規(guī)則和語(yǔ)法規(guī)則中的下標(biāo)，建立功能描述(一組方程式)；(3)對(duì)方程式作代數(shù)變換，求出各個(gè)變量，獲得功能結(jié)構(gòu)F-structure。第18頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.3句法分析7.3.4自動(dòng)句法分析算法1、自頂向下回朔算法2、自底向上并行算法（具體內(nèi)容請(qǐng)參照P257---P262）第19頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.4語(yǔ)義分析語(yǔ)義分析和句法分析是自然語(yǔ)言理解系統(tǒng)的兩個(gè)最基本的功能模塊。語(yǔ)義分析的任務(wù)是根據(jù)輸入句子的句法結(jié)構(gòu)和句中每個(gè)實(shí)詞的詞義推導(dǎo)出能反映這個(gè)句子意義(即句義)的某種形式化表示。一般來說，只有在獲得輸入語(yǔ)句可靠的語(yǔ)義表示之后，系統(tǒng)才能進(jìn)一步完成問答、釋義、翻譯和文摘生成等任務(wù)。

第20頁(yè)，課件共23頁(yè)，創(chuàng)作于2023年2月7.4語(yǔ)義分析語(yǔ)義分析和句法分析是自然語(yǔ)言理解系統(tǒng)的兩個(gè)最基本的功能模塊。語(yǔ)義分析的任務(wù)是根據(jù)輸入句子的句法結(jié)構(gòu)和句中每個(gè)實(shí)詞的詞義推導(dǎo)出能反映這個(gè)句子意義(即句義)的某種形式化表示。一般來說，只有在獲得輸入語(yǔ)句可靠的語(yǔ)義表示之后，系統(tǒng)才能進(jìn)一步完成問答、釋義、翻譯和文摘生成等任務(wù)。1、邏輯形式表達(dá)及語(yǔ)義解析2、義素分析法第