第11章自然語言理解課件

第11章自然語言理解11.1簡單句理解11.2復(fù)合句理解11.3轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)1謝謝觀賞2019-8-28第11章自然語言理解11.1簡單句理解1謝謝11.1.1理解的實(shí)現(xiàn)過程

10.1.1理解的實(shí)現(xiàn)過程要理解一個(gè)語句，需建立起一個(gè)和該簡單句相對應(yīng)的機(jī)內(nèi)表達(dá)。而要建立機(jī)內(nèi)表達(dá)，需要做以下兩方面的工作：

(1)理解語句中的每一個(gè)詞。

(2)以這些詞為基礎(chǔ)組成一個(gè)可以表達(dá)整個(gè)語句意義的結(jié)構(gòu)。2謝謝觀賞2019-8-2811.1.1理解的實(shí)現(xiàn)過程10.1.1理解的實(shí)現(xiàn)過程

第一項(xiàng)工作看起來很容易,似乎只是查一下字典就可以解決。而實(shí)際上由于許多單詞有不止一種含義,因而只由單詞本身不能確定其在句中的確切含義,需要通過語法分析,并根據(jù)上下文關(guān)系才能最終確定,例如,單詞diamond有“菱形”、“棒球場”和“鉆石”三種意思,在語句JohnsawSusan’sdiamondshimmeringfromacrosstheroom.中,由于“shimmering”的出現(xiàn),則顯然“diamond”是“鉆石”的含義,因?yàn)椤傲庑巍焙汀鞍羟驁觥倍疾粫W光。再如在語句

I’llmeetyouatthediamond.3謝謝觀賞2019-8-28第一項(xiàng)工作看起來很容易,似乎只是查一下字典就可以解中,由于“at”后面需要一個(gè)時(shí)間或地點(diǎn)名詞作為它的賓語,顯然這里的“diamond”是“棒球場”的含義,而不能是其他含義。第二項(xiàng)也是一個(gè)比較困難的工作。因?yàn)橐赃@些單詞為基礎(chǔ)來構(gòu)成表示一個(gè)句子意義的結(jié)構(gòu),需要依賴各種信息源,其中包括所用語言的知識、語句所涉及領(lǐng)域的知識以及有關(guān)該語言使用者應(yīng)共同遵守的習(xí)慣用法的知識。由于這個(gè)解釋過程涉及到許多事情,因而常常將這項(xiàng)工作分成以下三個(gè)部分來進(jìn)行：

4謝謝觀賞2019-8-28中,由于“at”后面需要一個(gè)時(shí)間或地點(diǎn)名詞作為它的賓語,(1)語法分析。將單詞之間的線性次序變換成一個(gè)顯示單詞如何與其他單詞相關(guān)聯(lián)的結(jié)構(gòu)。語法分析確定語句是否合乎語法,因?yàn)橐粋€(gè)不合語法的語句就更難理解。

(2)語義分析。各種意義被賦予由語法分析程序所建立的結(jié)構(gòu),即在語法結(jié)構(gòu)和任務(wù)領(lǐng)域內(nèi)對象之間進(jìn)行映射變換。

(3)語用分析。

為確定真正含義,對表達(dá)的結(jié)構(gòu)重新加以解釋。

5謝謝觀賞2019-8-28(1)語法分析。將單詞之間的線性次序變換成一個(gè)顯示11.1.2語法分析要進(jìn)行語法分析,必須首先給出該語言的文法規(guī)則,以便為語法分析提供一個(gè)準(zhǔn)則和依據(jù)。對于自然語言人們已提出了許多種文法,例如,喬姆斯基(Chomsky)提出的上下文無關(guān)文法就是一種常用的文法。一個(gè)語言的文法一般用一組文法規(guī)則(稱為產(chǎn)生式或重寫規(guī)則)以及非終結(jié)符與終結(jié)符來定義和描述。例如,下面就是一個(gè)英語子集的上下文無關(guān)文法：

6謝謝觀賞2019-8-2811.1.2語法分析6謝謝觀賞2019-8-2811.1.2語法分析

要進(jìn)行語法分析,必須首先給出該語言的文法規(guī)則,以便為語法分析提供一個(gè)準(zhǔn)則和依據(jù)。對于自然語言人們已提出了許多種文法,例如,喬姆斯基(Chomsky)提出的上下文無關(guān)文法就是一種常用的文法。一個(gè)語言的文法一般用一組文法規(guī)則(稱為產(chǎn)生式或重寫規(guī)則)以及非終結(jié)符與終結(jié)符來定義和描述。

例如,下面就是一個(gè)英語子集的上下文無關(guān)文法：

7謝謝觀賞2019-8-2811.1.2語法分析7謝謝觀賞2019-8-28〈sentence〉∷=〈noun

phrase〉〈verb

phrase〉〈noun

phrase〉∷=〈determiner〉〈noun〉〈verb

phrase〉∷=〈verb〉〈noun

phrase〉|〈verb〉〈determiner〉∷=the|a|an

〈noun〉∷=man|student|apple|computer

〈verb〉∷=eats|operats

這個(gè)文法有6條文法規(guī)則,它們是用BNF范式表示的。其中帶尖括號的項(xiàng)為非終結(jié)符,第一個(gè)非終結(jié)符稱為起始符,不帶尖括號的項(xiàng)為終結(jié)符,符號“∷=”的意思是“定義為”,符號“|”是“或者”的意思,而不帶“|”的項(xiàng)之間是“與”關(guān)系。符號“∷=”也可以用箭頭“→”表示。

8謝謝觀賞2019-8-28〈sentence〉∷=〈nounphrase〉〈verb

有了文法規(guī)則,對于一個(gè)給定的句子,就可以進(jìn)行語法分析,即根據(jù)文法規(guī)則來判斷其是否合乎語法。可以看出,上面的文法規(guī)則實(shí)際是非終結(jié)符的分解、變換規(guī)則。分解、變換從起始符開始,到終結(jié)符結(jié)束。所以,全體文法規(guī)則就構(gòu)成一棵如圖11－1所示的與或樹,我們稱其為文法樹。所以,對一個(gè)語句進(jìn)行語法分析的過程也就是在這個(gè)與或樹上搜索解樹的過程。可以看出,搜索解樹可以自頂向下進(jìn)行,也可以自底向上進(jìn)行。自頂向下搜索就是從起始符sentence出發(fā),推導(dǎo)所給的句子；自底向上搜索就是從所給的句子出發(fā),推導(dǎo)起始符sentence。

9謝謝觀賞2019-8-28有了文法規(guī)則,對于一個(gè)給定的句子,就可以進(jìn)行語法分圖

11-1文法樹

10謝謝觀賞2019-8-28圖11-1文法樹10謝謝觀賞2019-8-28例11.1下面是一個(gè)基于上述文法的語法分析程序。它采用自頂向下搜索。

sentence(X):append(Y,Z,X),noun_phrase(Y),verb_phrase(Z).

noun_phrase(X):append(Y,Z,X),determiner(Y),noun(Z).

verb_phrase(X):append(Y,Z,X),verb(Y),noun_phrase(Z).

verb_phrase(X):verb(X).

determiner(［the］).

noun(［H|_］):member(H,［man,student,apple,banana,computer］).

verb(［H|_］):member(H,［eats,study,programming,operats］).append(［］,L,L).

append(［H|T］,L,［H|L2］):

append(T,L,L2).

member(X,［X|_］).

member(X,［_|T］):

member(X,T).11謝謝觀賞2019-8-28例11.1下面是一個(gè)基于上述文法的語法分析程序。它采這個(gè)程序是先把所給的句子以符號表的形式約束給謂詞sentence的變量X,然后對其進(jìn)行分解和變換。如果最終分解、變換的結(jié)果與語言的文法樹相符,則證明所給的句子語法正確；

否則語法錯(cuò)誤。

例如,對于句子

thestudentoperatsthecomputer要用該程序進(jìn)行語法分析,則應(yīng)給出詢問：

?-sentence(［the,student,operats,the,computer］).這時(shí),系統(tǒng)則回答：

yes

分析這個(gè)句子所產(chǎn)生的解樹如圖11-2所示。這個(gè)解樹稱為該句子的語法分析樹。

12謝謝觀賞2019-8-28這個(gè)程序是先把所給的句子以符號表的形式約束給謂詞sent圖

11-2語法分析樹

13謝謝觀賞2019-8-28圖11-2語法分析樹13謝謝觀賞2019-8-28需指出的是,這個(gè)程序雖然易于理解,但運(yùn)行效率較低。因?yàn)樵谟胊ppend謂詞對句子進(jìn)行分解時(shí)一般要進(jìn)行多次回溯。

為此,我們把這個(gè)程序修改為如下形式：

sentence(X,Y):noun_phrase(X,Z),verb_phrase(Z,Y).

noun_phrase(X,Y):determiner(X,Z),noun(Z,Y).

verb_phrase(X,Y):verb(X,Z),noun_phrase(Z,Y).

verb_phrase(X,Y):verb(X,Y).

determiner(［the|T］,T).

noun(［H|T］,T):member(H,［man,student,apple,computer］).verb(［H|T］,T):member(H,［eats,operats］).14謝謝觀賞2019-8-28需指出的是,這個(gè)程序雖然易于理解,但運(yùn)行效率較低。這個(gè)程序的每個(gè)謂詞有兩個(gè)參量,它們都是符號表。對于一個(gè)給定的句子,后一個(gè)表是前一個(gè)表的余表。語法分析時(shí),把所給的句子以符號表的形式約束給sentence的第一個(gè)變量X,第二個(gè)變量約束為空表。如

?-sentence(［the,student,operats,the,computer］,［］).則系統(tǒng)仍然回答：

yes

這個(gè)程序雖然難讀,但它的運(yùn)行效率較高。語法分析可判斷一個(gè)句子的語法結(jié)構(gòu)是否正確,但不能判斷一個(gè)句子是否有意義。例如把上面詢問中的例句改為?-sentence(［the,computer,operats,the,student］,［］).系統(tǒng)則仍然回答：yes。對于諸如此類的問題,語義分析則可解決。

15謝謝觀賞2019-8-28這個(gè)程序的每個(gè)謂詞有兩個(gè)參量,它們都是符號表。對于一個(gè)11.1.3語義分析語義分析就是要識別一個(gè)語句所表達(dá)的意思。語義分析的方法很多,如運(yùn)用格文法、語義文法等。語義文法是進(jìn)行語義分析的一種簡單方法。所謂語義文法,就是在傳統(tǒng)的短語結(jié)構(gòu)文法的基礎(chǔ)上,將名詞短語、動詞短語等不含語義信息的純語法類別,用所討論領(lǐng)域的專門類別來代替。

例如,下面就是一個(gè)語義文法的例子：

16謝謝觀賞2019-8-2811.1.3語義分析16謝謝觀賞2019-8-28S→PRESENTtheATTRIBUTEofSHIP

PRESENT→whatis|canyoutellme

ATTRIBUTE→length|class

SHIP→theSHIPNAME|CLASSNAMEclassship

SHIPNAME→Huanghe|Changjiang

CLASSNAME→carrier|submarine這是一個(gè)艦船管理數(shù)據(jù)庫系統(tǒng)自然語言接口的語義文法片段。

17謝謝觀賞2019-8-28S→PRESENTtheATTRIBUTEofSHI

可以看出,語義文法的重寫規(guī)則與上下文無關(guān)文法的形式是類似的。但這里沒有出現(xiàn)像名詞短語和動詞短語等語法類別,而是用了PRESENT、ATTRIBUTE、SHIP等專門領(lǐng)域中的類別。對于語義文法的分析方法,可以使用與上下文無關(guān)文法相類似的方法。利用上面給出的語義文法,可以從語義上識別如下的語句：

WhatistheclassoftheChangjiang?

CanyoutellmethelengthoftheHuanghe?

語義文法可以排除無意義的句子。

當(dāng)然,它只能適應(yīng)于嚴(yán)格限制的應(yīng)用領(lǐng)域。

18謝謝觀賞2019-8-28可以看出,語義文法的重寫規(guī)則與上下文無關(guān)文法的形式是類11.2

復(fù)

合

句

理

解

簡單句的理解不涉及句與句之間的關(guān)系,它的理解過程首先是賦單詞以意義,然后再給整個(gè)語句賦予一種結(jié)構(gòu)。而一組語句的理解,無論它是一個(gè)文章選段,還是對話節(jié)錄,句子之間都有相互關(guān)系。所以,復(fù)合句的理解,就不僅要分析各個(gè)簡單句,而且要找出句子之間的關(guān)系。這些關(guān)系的發(fā)現(xiàn),對于理解起著十分重要的作用。句子之間的關(guān)系包括以下幾種：

(1)相同的事物,例如：“小華有個(gè)計(jì)算器,小劉想用它。”單詞“它”和“計(jì)算器”指的是同一物體。

19謝謝觀賞2019-8-2811.2復(fù)合句理解簡單句的理解不涉及句與句之(2)事物的一部分,例如：“小林穿上她剛買的大衣,發(fā)現(xiàn)掉了一個(gè)扣子。”“扣子”指的是“剛買的大衣”的一部分。(3)行動的一部分,例如：“王宏去北京出差,他乘早班飛機(jī)動身?！背孙w機(jī)應(yīng)看成是出差的一部分。(4)與行動有關(guān)的事物,例如：“李明準(zhǔn)備騎車去上學(xué),但他騎上車子時(shí),發(fā)現(xiàn)車胎沒氣了?！?/p>

李明的自行車應(yīng)理解為是與他騎車去上學(xué)這一行動有關(guān)的事物。

20謝謝觀賞2019-8-28(2)事物的一部分,例如：20謝謝觀賞2019-8-2

(5)因果關(guān)系,例如：“今天下雨,所以不能上早操?！毕掠陸?yīng)理解為是不能上操的原因。

(6)計(jì)劃次序,例如：“小張準(zhǔn)備結(jié)婚,他決定再找一份工作干?！毙垖ぷ鞲信d趣,應(yīng)理解為是由于他要結(jié)婚,而結(jié)婚需要錢而引起的。21謝謝觀賞2019-8-28(5)因果關(guān)系,例如：21謝謝觀賞2019-8-2要能做到理解這些復(fù)雜的關(guān)系,必須具有相當(dāng)廣泛領(lǐng)域的知識才行,也就是要依賴于大型的知識庫,而且知識庫的組織形式對能否正確理解這些關(guān)系,起著很重要的作用。特別對于較大的知識庫,應(yīng)考慮如何將問題的“焦點(diǎn)”集中在知識庫的相關(guān)部分。例如,對于下面的一段話：“接著,把虎鉗固定到工作臺上。螺栓就放在小塑料袋中?！憋@然,第二句中的螺栓就是第一句中用來固定虎鉗的螺栓。所以,如果在理解第一句時(shí),就把需用的螺栓置于“焦點(diǎn)”之中,則全句的理解就容易了。因此,需要表示出與“固定”有關(guān)的知識,以便當(dāng)見到“固定”時(shí),能方便地提取出來。22謝謝觀賞2019-8-28要能做到理解這些復(fù)雜的關(guān)系,必須具有相當(dāng)廣泛領(lǐng)域的知識對于描述與行為有關(guān)的復(fù)合語句,也可采用目標(biāo)結(jié)構(gòu)的方法幫助理解。即對于常見的一些行為目標(biāo),事先制定出其行動規(guī)劃,這樣,當(dāng)語句所描述的情節(jié)中的某些信息省略時(shí),可以調(diào)用這些規(guī)劃,通過推導(dǎo)找到問題的答案。例如對于下面的文章片段：“小王有點(diǎn)餓。他便向行人打聽餐館在哪里?！比绻羞@樣的行動規(guī)劃：打聽地址→去餐館→吃飯→不餓則就不難理解第二個(gè)句子了。

23謝謝觀賞2019-8-28對于描述與行為有關(guān)的復(fù)合語句,也可采用目標(biāo)結(jié)構(gòu)的方法幫11.3

轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)

11.3.1轉(zhuǎn)換文法人們對自然語言句子的結(jié)構(gòu)進(jìn)行研究,發(fā)現(xiàn)同一個(gè)意思往往有許多不同的表示形式(說法)。例如語句：

Maryreadmeastory.

和

Maryreadastorytome.

24謝謝觀賞2019-8-2811.3轉(zhuǎn)換文法和轉(zhuǎn)換網(wǎng)絡(luò)11.3.1轉(zhuǎn)換文法24謝說法雖然不同,但意思實(shí)際是完全一樣的。再如主動句和被動句也是常用的兩種不同的表示形式。于是,人們就提出了語句的深層結(jié)構(gòu)和表層結(jié)構(gòu)的概念。認(rèn)為一個(gè)句子可以有多個(gè)不同的表層結(jié)構(gòu),但其深層結(jié)構(gòu)都是相同的。鑒于這樣的認(rèn)識,轉(zhuǎn)換文法(transformationalgrammar)便應(yīng)運(yùn)而生。

25謝謝觀賞2019-8-28說法雖然不同,但意思實(shí)際是完全一樣的。再如主動句和被動轉(zhuǎn)換文法就是可把句子的一種結(jié)構(gòu)轉(zhuǎn)換為另一種結(jié)構(gòu)的文法。轉(zhuǎn)換文法是由基礎(chǔ)和轉(zhuǎn)換兩部分組成?；A(chǔ)部分是一個(gè)上下文無關(guān)文法,它產(chǎn)生句子的深層結(jié)構(gòu)表示；轉(zhuǎn)換部分是一個(gè)轉(zhuǎn)換規(guī)則(重寫規(guī)則)集,它負(fù)責(zé)句子結(jié)構(gòu)的轉(zhuǎn)換。轉(zhuǎn)換文法的工作過程是：先用上下文無關(guān)文法建立相應(yīng)句子的深層結(jié)構(gòu),然后再應(yīng)用轉(zhuǎn)換規(guī)則將深層結(jié)構(gòu)轉(zhuǎn)換為符合人們習(xí)慣的表層結(jié)構(gòu)。圖11-3給出了一條把主動句轉(zhuǎn)換為被動句的轉(zhuǎn)換規(guī)則。

26謝謝觀賞2019-8-28轉(zhuǎn)換文法就是可把句子的一種結(jié)構(gòu)轉(zhuǎn)換為另一種結(jié)構(gòu)的文法。轉(zhuǎn)圖

11-3轉(zhuǎn)換規(guī)則

27謝謝觀賞2019-8-28圖11-3轉(zhuǎn)換規(guī)則27謝謝觀賞2019-8-28轉(zhuǎn)換又可分為被動轉(zhuǎn)換、分割轉(zhuǎn)換、疑問轉(zhuǎn)換等等,運(yùn)用這些轉(zhuǎn)換,轉(zhuǎn)換文法可以將一個(gè)句子轉(zhuǎn)換為多種不同的表達(dá)形式。例如,對于下面這個(gè)簡單的主動句：

Johnatethebanana.

運(yùn)用被動轉(zhuǎn)換,得到：

ThebananawaseatenbyJohn.

運(yùn)用分割轉(zhuǎn)換,得到：

ItwasJohnwhoatethebanana.

先進(jìn)行被動轉(zhuǎn)換,再進(jìn)行分割轉(zhuǎn)換,得到：

ItwasthebananathatwaseatenbyJohn.28謝謝觀賞2019-8-28轉(zhuǎn)換又可分為被動轉(zhuǎn)換、分割轉(zhuǎn)換、疑問轉(zhuǎn)換等等,運(yùn)用這些運(yùn)用疑問轉(zhuǎn)換,得到：

DidJohneatthebanana?

轉(zhuǎn)換也可以將語句的表層結(jié)構(gòu)逆轉(zhuǎn)換為其深層結(jié)構(gòu)。這樣,我們可以將一組不同形式的相關(guān)語句,通過一個(gè)轉(zhuǎn)換序列而映射為一個(gè)單一的句子。例如把上述各種其他形式的語句轉(zhuǎn)換為一個(gè)主動句。這顯然對于自然語言理解和機(jī)器翻譯有重要作用。

29謝謝觀賞2019-8-28運(yùn)用疑問轉(zhuǎn)換,得到：29謝謝觀賞2019-8-2811.3.2轉(zhuǎn)換網(wǎng)絡(luò)轉(zhuǎn)換網(wǎng)絡(luò)(TransitionNetwork)全稱為狀態(tài)轉(zhuǎn)換網(wǎng)絡(luò)。它是一種由節(jié)點(diǎn)和有向邊(弧)組成的有向圖。其中節(jié)點(diǎn)代表狀態(tài),有向弧代表從一個(gè)狀態(tài)到另一個(gè)狀態(tài)的轉(zhuǎn)換。一個(gè)轉(zhuǎn)換網(wǎng)絡(luò)中一般有一個(gè)起始節(jié)點(diǎn)