中文信息處理的學(xué)科理論課件

第五章中文信息處理的學(xué)科理論授課時(shí)間：2007年1月9日授課人：徐艷華第五章中文信息處理的學(xué)科理論授課時(shí)間：2007年1月9日1信息處理的句法理論

信息處理的語義理論

中國計(jì)算語言學(xué)的理論影響

信息處理的句法理論2一、短語結(jié)構(gòu)語法語言知識(shí)的形式化表達(dá)手段主要有三種：形式語法、狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)以及特征結(jié)構(gòu)與合一運(yùn)算。以這些表達(dá)手段為基礎(chǔ)，對(duì)具體的一種自然語言（如漢語）的語言知識(shí)進(jìn)行系統(tǒng)的整理，就得到了關(guān)于這種語言的形式語法理論體系。目前基于規(guī)則的自動(dòng)句法分析的形式語法理論主要有短語結(jié)構(gòu)語法、轉(zhuǎn)換生成語法、管轄約束理論、廣義的短語結(jié)構(gòu)語法、功能合一語法、詞匯功能語法、中心詞驅(qū)動(dòng)的短語結(jié)構(gòu)語法、范疇語法、依存語法、樹連接語法、鏈語法等。這些理論都是在計(jì)算語言學(xué)中經(jīng)常使用的，它們是學(xué)習(xí)和研究時(shí)應(yīng)該具備的計(jì)算語言學(xué)的基礎(chǔ)知識(shí)。其中，短語結(jié)構(gòu)語法是各種理論和方法的基礎(chǔ)。一、短語結(jié)構(gòu)語法語言知識(shí)的形式化表達(dá)手段主要有三種：形式語法31、短語結(jié)構(gòu)語法的形式化定義短語結(jié)構(gòu)語法PSG可以定義為一個(gè)四元組： G=<T,N，S，P>其中，T是終結(jié)符號(hào)（terminalsymbols）的集合，任何一部現(xiàn)代漢語詞典中的詞都可以成為這部語法中的終結(jié)符號(hào)。N是非終結(jié)符號(hào)的集合，包括詞類標(biāo)記（如名詞N，動(dòng)詞V等等）和短語功能標(biāo)記（如名詞性短語NP，動(dòng)詞性短語VP等等）。S是N中的一個(gè)元素，稱作起始符，語言中的每個(gè)句子都是從這個(gè)起始符開始推導(dǎo)。P代表一組式子組成的集合，P中的式子具有這樣的形式：α→β。一般把具有上面這種形式的式子稱為“產(chǎn)生式規(guī)則”（productionrule）或“重寫規(guī)則”（rewritingrule），式子中的箭頭“→”表示替換的意思，即將左邊的字符串α替換為箭頭右邊的字符串β。1、短語結(jié)構(gòu)語法的形式化定義短語結(jié)構(gòu)語法PSG可以定義為一個(gè)4產(chǎn)生式需要滿足下面三個(gè)條件：α可以是T和N上的任意字符串，但不能是空字符；β可以是T和N上的任意字符串，也可以是空字符；P中至少有一個(gè)產(chǎn)生式中的α必須由S來充當(dāng)。一條“產(chǎn)生式”就是一條句法規(guī)則。不同類型的語法對(duì)規(guī)則的形式有不同的限制，句法分析前首先要確定使用什么類型的語法。產(chǎn)生式需要滿足下面三個(gè)條件：52、短語結(jié)構(gòu)語法的喬姆斯基分類喬姆斯基對(duì)短語結(jié)構(gòu)語法的重寫規(guī)則α→β給予不同的限制，得到了4種不同的語法，由于它們是一層套一層的，所以被人們成為“喬姆斯基層級(jí)”（1）無約束短語結(jié)構(gòu)語法又叫0型語法或無限制語法，對(duì)于該語法中的每一條產(chǎn)生式α→β，沒有任何限制，那么它就成為喬姆斯基層級(jí)中生成能力最強(qiáng)的一種形式體系，即0型語法。被這種無約束短語結(jié)構(gòu)語法所定義的語言叫0型語言。2、短語結(jié)構(gòu)語法的喬姆斯基分類喬姆斯基對(duì)短語結(jié)構(gòu)語法的重寫6（2）上下文有關(guān)語法如果語法中的每一條產(chǎn)生式α→β都滿足|α|≤|β|，即規(guī)則左部的符號(hào)個(gè)數(shù)少于或等于規(guī)則右部的符號(hào)個(gè)數(shù)（如ABC→AbC或者ABC→ADEC）,這種語法就稱為上下文有關(guān)語法或1型語法。由這種語法產(chǎn)生的語言成為1型語言。α→β是抽象的產(chǎn)生式，其中α和β都是變量，我們不妨以具體的產(chǎn)生式為例來理解這種語法。如產(chǎn)生式： aXc→abc這條產(chǎn)生式的意思是：如果X出現(xiàn)在上下文“a/c”中，即上文緊挨著符號(hào)串a(chǎn)，下文緊挨著符號(hào)串c，則非終結(jié)符X可以重寫為終結(jié)符b。因?yàn)橐粋€(gè)符號(hào)的重寫依賴于其上下文，這就是這種語法被稱為上下文有關(guān)語法的原因。（2）上下文有關(guān)語法7（3）上下文無關(guān)語法

如果一個(gè)短語結(jié)構(gòu)語法中的每條規(guī)則都采用A→α的形式，其中，A∈N，α∈（T∪N），即每條產(chǎn)生式的左側(cè)必須是一個(gè)單獨(dú)的非終結(jié)符，規(guī)則右部是非終結(jié)符和終結(jié)符的組合或者是終結(jié)符。在這種形式體系中，規(guī)則被應(yīng)用時(shí)不依賴于符號(hào)A所處的上下文，因此稱為上下文無關(guān)語法，又叫2型語法。由這種語法產(chǎn)生的語言叫2型語言比如規(guī)則集：S→（S）S→x所生成的語言就是一個(gè)上下文無關(guān)語言。它可以生成成對(duì)的括號(hào)表達(dá)式：x，（x），（（x））……（3）上下文無關(guān)語法

如果一個(gè)短語結(jié)構(gòu)語法中的每條規(guī)則都采用8（4）正則語法又稱3型語法，它有兩種形式：左線性語法（left-lineargrammars）和右線性文法（right-lineargrammars）。在一部左線性語法中，所有規(guī)則必須采用如下形式：A→Bα或者A→α；而在一部右線性語法中，所有規(guī)則必須如下書寫：A→αB或者A→α。其中，A，B∈N，α∈T，即A和B都是單個(gè)非終結(jié)符，α是終結(jié)符的組合。（4）正則語法9以上四種形式語法，無約束短語結(jié)構(gòu)語法由于不受任何約束限制，生成能力太強(qiáng)，因此無法設(shè)計(jì)一個(gè)程序來判別輸入的字符串是不是0型語言中的一個(gè)句子，所以0型語法一般很少被使用，也未被用來描寫自然語言；上下文有關(guān)語法的分析算法過于復(fù)雜，盡管1993年周明等用這種語法標(biāo)注了1300個(gè)漢語簡(jiǎn)單陳述句，但獲取的規(guī)則數(shù)量太大，不便于實(shí)際應(yīng)用；正則語法通常用于詞法分析；上下文無關(guān)語法的規(guī)則體系便于構(gòu)造，其生成的語言與自然語言最相近，被廣泛應(yīng)用于程序設(shè)計(jì)語言和自然語言的描寫中。所以，一般意義上的短語結(jié)構(gòu)語法專指上下文無關(guān)語法以上四種形式語法，無約束短語結(jié)構(gòu)語法由于不受任何約束限制，生103、短語結(jié)構(gòu)語法的分析能力短語結(jié)構(gòu)語法的設(shè)計(jì)思想：句子是由短語結(jié)構(gòu)組成的，從整體句子開始，到句子符號(hào)序列的產(chǎn)生，可以通過短語結(jié)構(gòu)規(guī)則一步步推導(dǎo)出來，所以用短語結(jié)構(gòu)語法來對(duì)句子進(jìn)行句法分析，就意味著是尋找一個(gè)從起始符到該句子的推導(dǎo)，這個(gè)推導(dǎo)通常表現(xiàn)為一顆句法樹。如果句子是歧義的，也就是說它存在幾種推導(dǎo)，那么它會(huì)給出所有可能的句法樹。3、短語結(jié)構(gòu)語法的分析能力短語結(jié)構(gòu)語法的設(shè)計(jì)思想：句子是由短11假如我們有這樣的一部語法：S→NPVPNP→nNP→nnVP→vtnVP→vtVPVP→vtNPn→學(xué)生n→學(xué)習(xí)n→文件vt→喜歡vt→學(xué)習(xí)那么句子“學(xué)生喜歡學(xué)習(xí)文件”的推導(dǎo)過程是：假如我們有這樣的一部語法：12Step0S初始Step1NPVP用規(guī)則1Step2nVP用規(guī)則2Step3nvtVP用規(guī)則5nvtNP用規(guī)則6Step4nvtvtn用規(guī)則4nvtnn用規(guī)則3Step5學(xué)生vtvtn用規(guī)則7學(xué)生vtnnStep6學(xué)生喜歡vtn用規(guī)則10學(xué)生喜歡nnStep7學(xué)生喜歡學(xué)習(xí)n用規(guī)則11學(xué)生喜歡學(xué)習(xí)n用規(guī)則8Step8學(xué)生喜歡學(xué)習(xí)文件用規(guī)則9Step0S初始Step1NPVP用規(guī)則1Step2n13

SS

NPVPNPVP

nvtVPnvtNP

vtnnn

學(xué)生喜歡學(xué)習(xí)文件學(xué)生喜歡學(xué)習(xí)文件S14二、格語法理論格語法（CaseGrammar）是美國語言學(xué)家菲爾墨（C.J.Fillmore）在60代中期提出來的著重探討句法結(jié)構(gòu)與語義之間關(guān)系的一種語法理論和語義學(xué)理論。它有三部分組成：基本規(guī)則，詞匯部分和轉(zhuǎn)換部分?；疽?guī)則：S=M＋P，S代表句子(sentence)，M代表情態(tài)（Medalitv），情態(tài)指句子的時(shí)態(tài)、語態(tài)等；P代表命題（Proposition），命題指體詞和謂詞之間的及物關(guān)系，即句子的核心謂詞與周圍體詞的關(guān)系，即格關(guān)系。二、格語法理論格語法（CaseGrammar）是美國語言學(xué)15詞匯部分

（1）詞庫

詞庫是語言中詞匯的集合。在詞庫中除了要標(biāo)明每一個(gè)詞條在句法、語義和語音方面的特征外，還需標(biāo)明它們的底層格的特征。

（2）詞匯插入

格語法中詞匯插入問題主要是名詞和動(dòng)詞的選擇問題。對(duì)于名詞來說，把詞庫中每一個(gè)名詞的特征與格范疇聯(lián)系起來。詞匯部分

（1）詞庫

詞庫是語言中詞匯的集合。在詞庫中除了16轉(zhuǎn)換部分

格的轉(zhuǎn)換部分操作與轉(zhuǎn)換生成語法大同小異，大致采用移動(dòng)、刪除、插入、復(fù)寫等方法。

菲爾墨主要研究了有關(guān)格的形式和主語確定的轉(zhuǎn)換規(guī)則。他認(rèn)為深層格所體現(xiàn)的語義關(guān)系是一個(gè)固定而統(tǒng)一的概念，而在表層結(jié)構(gòu)中的表現(xiàn)形式則因語言而異。有些語言主要通過介詞來表現(xiàn)，有些語言用屈折變化和詞匯變化來表現(xiàn)，有些語言則主要采用次序來表現(xiàn)，有個(gè)語言綜合采用上述各種形式。轉(zhuǎn)換部分

格的轉(zhuǎn)換部分操作與轉(zhuǎn)換生成語法大同小異，大致采用移17從上述這個(gè)簡(jiǎn)單的推導(dǎo)過程中，我們不難發(fā)現(xiàn)，短語結(jié)構(gòu)語法存在一個(gè)最嚴(yán)重的問題，那就是區(qū)分歧義結(jié)構(gòu)的能力很差，連該語法的創(chuàng)始者喬姆斯基本人都認(rèn)為短語結(jié)構(gòu)文法不適宜描述自然語言，所以他又提出了轉(zhuǎn)換語法和管轄－約束理論（GB）來克服短語結(jié)構(gòu)語法的種種局限性。然而，由于轉(zhuǎn)換生成語法通常要涉及到若干個(gè)句子之間的關(guān)系，強(qiáng)調(diào)句法有三個(gè)平面：深層、淺層和表層，在機(jī)器翻譯和自然語言處理中使用起來很不方便，所以沒有被研究者廣泛應(yīng)用。從上述這個(gè)簡(jiǎn)單的推導(dǎo)過程中，我們不難發(fā)現(xiàn)，短語結(jié)構(gòu)語法存在一18三、漢語名詞的語義分類名詞的語義角色分類.doc三、漢語名詞的語義分類名詞的語義角色分類.doc19第五章中文信息處理的學(xué)科理論授課時(shí)間：2007年1月9日授課人：徐艷華第五章中文信息處理的學(xué)科理論授課時(shí)間：2007年1月9日20信息處理的句法理論

信息處理的語義理論

中國計(jì)算語言學(xué)的理論影響

信息處理的句法理論21一、短語結(jié)構(gòu)語法語言知識(shí)的形式化表達(dá)手段主要有三種：形式語法、狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)以及特征結(jié)構(gòu)與合一運(yùn)算。以這些表達(dá)手段為基礎(chǔ)，對(duì)具體的一種自然語言（如漢語）的語言知識(shí)進(jìn)行系統(tǒng)的整理，就得到了關(guān)于這種語言的形式語法理論體系。目前基于規(guī)則的自動(dòng)句法分析的形式語法理論主要有短語結(jié)構(gòu)語法、轉(zhuǎn)換生成語法、管轄約束理論、廣義的短語結(jié)構(gòu)語法、功能合一語法、詞匯功能語法、中心詞驅(qū)動(dòng)的短語結(jié)構(gòu)語法、范疇語法、依存語法、樹連接語法、鏈語法等。這些理論都是在計(jì)算語言學(xué)中經(jīng)常使用的，它們是學(xué)習(xí)和研究時(shí)應(yīng)該具備的計(jì)算語言學(xué)的基礎(chǔ)知識(shí)。其中，短語結(jié)構(gòu)語法是各種理論和方法的基礎(chǔ)。一、短語結(jié)構(gòu)語法語言知識(shí)的形式化表達(dá)手段主要有三種：形式語法221、短語結(jié)構(gòu)語法的形式化定義短語結(jié)構(gòu)語法PSG可以定義為一個(gè)四元組： G=<T,N，S，P>其中，T是終結(jié)符號(hào)（terminalsymbols）的集合，任何一部現(xiàn)代漢語詞典中的詞都可以成為這部語法中的終結(jié)符號(hào)。N是非終結(jié)符號(hào)的集合，包括詞類標(biāo)記（如名詞N，動(dòng)詞V等等）和短語功能標(biāo)記（如名詞性短語NP，動(dòng)詞性短語VP等等）。S是N中的一個(gè)元素，稱作起始符，語言中的每個(gè)句子都是從這個(gè)起始符開始推導(dǎo)。P代表一組式子組成的集合，P中的式子具有這樣的形式：α→β。一般把具有上面這種形式的式子稱為“產(chǎn)生式規(guī)則”（productionrule）或“重寫規(guī)則”（rewritingrule），式子中的箭頭“→”表示替換的意思，即將左邊的字符串α替換為箭頭右邊的字符串β。1、短語結(jié)構(gòu)語法的形式化定義短語結(jié)構(gòu)語法PSG可以定義為一個(gè)23產(chǎn)生式需要滿足下面三個(gè)條件：α可以是T和N上的任意字符串，但不能是空字符；β可以是T和N上的任意字符串，也可以是空字符；P中至少有一個(gè)產(chǎn)生式中的α必須由S來充當(dāng)。一條“產(chǎn)生式”就是一條句法規(guī)則。不同類型的語法對(duì)規(guī)則的形式有不同的限制，句法分析前首先要確定使用什么類型的語法。產(chǎn)生式需要滿足下面三個(gè)條件：242、短語結(jié)構(gòu)語法的喬姆斯基分類喬姆斯基對(duì)短語結(jié)構(gòu)語法的重寫規(guī)則α→β給予不同的限制，得到了4種不同的語法，由于它們是一層套一層的，所以被人們成為“喬姆斯基層級(jí)”（1）無約束短語結(jié)構(gòu)語法又叫0型語法或無限制語法，對(duì)于該語法中的每一條產(chǎn)生式α→β，沒有任何限制，那么它就成為喬姆斯基層級(jí)中生成能力最強(qiáng)的一種形式體系，即0型語法。被這種無約束短語結(jié)構(gòu)語法所定義的語言叫0型語言。2、短語結(jié)構(gòu)語法的喬姆斯基分類喬姆斯基對(duì)短語結(jié)構(gòu)語法的重寫25（2）上下文有關(guān)語法如果語法中的每一條產(chǎn)生式α→β都滿足|α|≤|β|，即規(guī)則左部的符號(hào)個(gè)數(shù)少于或等于規(guī)則右部的符號(hào)個(gè)數(shù)（如ABC→AbC或者ABC→ADEC）,這種語法就稱為上下文有關(guān)語法或1型語法。由這種語法產(chǎn)生的語言成為1型語言。α→β是抽象的產(chǎn)生式，其中α和β都是變量，我們不妨以具體的產(chǎn)生式為例來理解這種語法。如產(chǎn)生式： aXc→abc這條產(chǎn)生式的意思是：如果X出現(xiàn)在上下文“a/c”中，即上文緊挨著符號(hào)串a(chǎn)，下文緊挨著符號(hào)串c，則非終結(jié)符X可以重寫為終結(jié)符b。因?yàn)橐粋€(gè)符號(hào)的重寫依賴于其上下文，這就是這種語法被稱為上下文有關(guān)語法的原因。（2）上下文有關(guān)語法26（3）上下文無關(guān)語法

如果一個(gè)短語結(jié)構(gòu)語法中的每條規(guī)則都采用A→α的形式，其中，A∈N，α∈（T∪N），即每條產(chǎn)生式的左側(cè)必須是一個(gè)單獨(dú)的非終結(jié)符，規(guī)則右部是非終結(jié)符和終結(jié)符的組合或者是終結(jié)符。在這種形式體系中，規(guī)則被應(yīng)用時(shí)不依賴于符號(hào)A所處的上下文，因此稱為上下文無關(guān)語法，又叫2型語法。由這種語法產(chǎn)生的語言叫2型語言比如規(guī)則集：S→（S）S→x所生成的語言就是一個(gè)上下文無關(guān)語言。它可以生成成對(duì)的括號(hào)表達(dá)式：x，（x），（（x））……（3）上下文無關(guān)語法

如果一個(gè)短語結(jié)構(gòu)語法中的每條規(guī)則都采用27（4）正則語法又稱3型語法，它有兩種形式：左線性語法（left-lineargrammars）和右線性文法（right-lineargrammars）。在一部左線性語法中，所有規(guī)則必須采用如下形式：A→Bα或者A→α；而在一部右線性語法中，所有規(guī)則必須如下書寫：A→αB或者A→α。其中，A，B∈N，α∈T，即A和B都是單個(gè)非終結(jié)符，α是終結(jié)符的組合。（4）正則語法28以上四種形式語法，無約束短語結(jié)構(gòu)語法由于不受任何約束限制，生成能力太強(qiáng)，因此無法設(shè)計(jì)一個(gè)程序來判別輸入的字符串是不是0型語言中的一個(gè)句子，所以0型語法一般很少被使用，也未被用來描寫自然語言；上下文有關(guān)語法的分析算法過于復(fù)雜，盡管1993年周明等用這種語法標(biāo)注了1300個(gè)漢語簡(jiǎn)單陳述句，但獲取的規(guī)則數(shù)量太大，不便于實(shí)際應(yīng)用；正則語法通常用于詞法分析；上下文無關(guān)語法的規(guī)則體系便于構(gòu)造，其生成的語言與自然語言最相近，被廣泛應(yīng)用于程序設(shè)計(jì)語言和自然語言的描寫中。所以，一般意義上的短語結(jié)構(gòu)語法專指上下文無關(guān)語法以上四種形式語法，無約束短語結(jié)構(gòu)語法由于不受任何約束限制，生293、短語結(jié)構(gòu)語法的分析能力短語結(jié)構(gòu)語法的設(shè)計(jì)思想：句子是由短語結(jié)構(gòu)組成的，從整體句子開始，到句子符號(hào)序列的產(chǎn)生，可以通過短語結(jié)構(gòu)規(guī)則一步步推導(dǎo)出來，所以用短語結(jié)構(gòu)語法來對(duì)句子進(jìn)行句法分析，就意味著是尋找一個(gè)從起始符到該句子的推導(dǎo)，這個(gè)推導(dǎo)通常表現(xiàn)為一顆句法樹。如果句子是歧義的，也就是說它存在幾種推導(dǎo)，那么它會(huì)給出所有可能的句法樹。3、短語結(jié)構(gòu)語法的分析能力短語結(jié)構(gòu)語法的設(shè)計(jì)思想：句子是由短30假如我們有這樣的一部語法：S→NPVPNP→nNP→nnVP→vtnVP→vtVPVP→vtNPn→學(xué)生n→學(xué)習(xí)n→文件vt→喜歡vt→學(xué)習(xí)那么句子“學(xué)生喜歡學(xué)習(xí)文件”的推導(dǎo)過程是：假如我們有這樣的一部語法：31Step0S初始Step1NPVP用規(guī)則1Step2nVP用規(guī)則2Step3nvtVP用規(guī)則5nvtNP用規(guī)則6Step4nvtvtn用規(guī)則4nvtnn用規(guī)則3Step5學(xué)生vtvtn用規(guī)則7學(xué)生vtnnStep6學(xué)生喜歡vtn用規(guī)則10學(xué)生喜歡nnStep7學(xué)生喜歡學(xué)習(xí)n用規(guī)則11學(xué)生喜歡學(xué)習(xí)n用規(guī)則8Step8學(xué)生喜歡學(xué)習(xí)文件用規(guī)則9Step0S初始Step1NPVP用規(guī)則1Step2n32

SS

NPVPNPVP

nvtVPnvtNP

vtnnn

學(xué)生喜歡學(xué)習(xí)文件學(xué)生喜歡學(xué)習(xí)文件S33二、格語法理論格語法（CaseGrammar）是美國語言學(xué)家菲爾墨（C.J.Fillmore）在60代中期提出來的著重探討句法結(jié)構(gòu)與語義之間關(guān)系的一種語