自然語(yǔ)言理解技術(shù)

1、自然語(yǔ)言理解技術(shù)，未來(lái)人工智能的核動(dòng)力摘要：自然語(yǔ)言理解是人工智能研究重要的領(lǐng)域之一，同時(shí)也是目前前沿的難題之一。它研究能實(shí)現(xiàn)人與 計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法，是未來(lái)人工智能的核動(dòng)力。因此理解自然語(yǔ)言理 解以及自然語(yǔ)言理解技術(shù)的含義，闡述自然語(yǔ)言理解的研究及其相關(guān)應(yīng)用，綜述自然語(yǔ)言理解技術(shù)研究方 向變化并對(duì)自然語(yǔ)言理解的發(fā)展前景進(jìn)行分析和展望，是十分有意義的。關(guān)鍵詞：自然語(yǔ)言理解技術(shù)；智能信息服務(wù)；引言：隨著計(jì)算機(jī)科學(xué)的不斷發(fā)展和成熟，計(jì)算機(jī)應(yīng)用開(kāi)始邁人知識(shí)處理、語(yǔ)言理解階段，人 們對(duì)計(jì)算機(jī)的智能提出了新的要求隨著社會(huì)的日益信息化，人們?cè)絹?lái)越強(qiáng)烈地希望能更好地 同計(jì)算機(jī)交

2、流。自然語(yǔ)言就是這樣一個(gè)媒介。1自然語(yǔ)言理解的含義：廣義的“語(yǔ)言”是任何一種有結(jié)構(gòu)的符號(hào)系統(tǒng)。其中，最重要的兩類語(yǔ)言，自然語(yǔ)言和 形式語(yǔ)言。而狹義的“語(yǔ)言”是人類在社會(huì)?；钪邪l(fā)展出來(lái)的用來(lái)互相交際的聲音符號(hào)系統(tǒng)， 是“自然語(yǔ)言”?！白匀徽Z(yǔ)言理解”即Natural Language Understanding俗稱人機(jī)對(duì)話，指的就是使計(jì) 算機(jī)來(lái)按照這種語(yǔ)言所表達(dá)的意義做出相應(yīng)反應(yīng)的機(jī)制。它主要研究用電子計(jì)算機(jī)模擬人的 語(yǔ)言交際過(guò)程，使計(jì)算機(jī)能理解和運(yùn)用人類社會(huì)的自然語(yǔ)言如漢語(yǔ)、英語(yǔ)等，實(shí)現(xiàn)人機(jī)之間 的自然語(yǔ)言通信，以代替人的部分腦力勞動(dòng)，包括查詢資料、解答問(wèn)題、摘錄文獻(xiàn)、匯編資 料以及一切有關(guān)自然

3、語(yǔ)言信息的加工處理。這在當(dāng)前新技術(shù)革命的浪潮中占有十分重要的地 位。自然語(yǔ)言理解是計(jì)算機(jī)科學(xué)中的一個(gè)引人入勝的、富有挑戰(zhàn)性的課題。從計(jì)算機(jī)科學(xué)特 別是從人工智能的觀點(diǎn)看，自然語(yǔ)言理解的任務(wù)是建立一種計(jì)算機(jī)模型，這種計(jì)算機(jī)模型能 夠給出象人那樣理解、分析并回答自然語(yǔ)言（即人們?nèi)粘Ｊ褂玫母鞣N通俗語(yǔ)言）的結(jié)果。2. 1自然語(yǔ)言理解技術(shù)的含義：首先，自然語(yǔ)言是極其復(fù)雜的符號(hào)系統(tǒng)。一個(gè)人盡管可以對(duì)自己的母語(yǔ)運(yùn)用自如，但卻 無(wú)法把自己母語(yǔ)的構(gòu)成規(guī)律、意義的表達(dá)規(guī)律和語(yǔ)言使用的規(guī)律用計(jì)算機(jī)可以接受的方式徹 底說(shuō)清楚。傳統(tǒng)的語(yǔ)言學(xué)是在沒(méi)有計(jì)算機(jī)參照的條件下發(fā)展起來(lái)的，雖然為自然語(yǔ)言理解積 累了寶貴的財(cái)富，但那

4、是講給人的，真正要讓語(yǔ)言學(xué)知識(shí)變成計(jì)算機(jī)上可操作的，絕不是 那么簡(jiǎn)單，也不能那么模糊。這個(gè)目標(biāo)的實(shí)現(xiàn)，需要大量又懂語(yǔ)言學(xué)又懂計(jì)算機(jī)的人在正確 的技術(shù)路線的指導(dǎo)下一起做非常大規(guī)模的基本建設(shè)，絕不是一拍腦袋想出個(gè)“絕招”就能 解決的。其次，自然語(yǔ)言的各個(gè)層次上都含有巨大的不確定性。在語(yǔ)音和文字層次上，有一字多 音、一音多字的問(wèn)題；在詞法和句法層次上，有詞類詞性、詞邊界、句法結(jié)構(gòu)的不確定性問(wèn) 題；在語(yǔ)義和語(yǔ)用層次上，也有大量的因種種原因造成的內(nèi)涵、外延、指代、言外之義的不 確定性。語(yǔ)言學(xué)上把這些不確定性叫做“歧義”。歧義一般不能通過(guò)發(fā)生歧義的語(yǔ)言單位自 身獲得解決，而必須借助于更大的語(yǔ)言單位乃至非語(yǔ)

5、言的環(huán)境背景因素和常識(shí)來(lái)解決。人類 有很強(qiáng)的依靠整體消除局部不確定性的能力和常識(shí)推理能力，體現(xiàn)在語(yǔ)言上就是利用語(yǔ)境 信息和常識(shí)消除歧義的能力。使計(jì)算機(jī)獲得同樣強(qiáng)大的能力，是從事自然語(yǔ)言理解的學(xué)者夢(mèng) 寐以求的目標(biāo)。另外，自然語(yǔ)言不是一成不變的死的語(yǔ)言，它在社會(huì)生活中發(fā)展，在操不同語(yǔ)言和同 一語(yǔ)言的不同變體的人們之間的相互影響中變化。一個(gè)詞、一個(gè)說(shuō)法可能在一夜之間突然流 行起來(lái)；特殊的人群結(jié)構(gòu)變化會(huì)導(dǎo)致新的語(yǔ)言或新的語(yǔ)言變體（如方言）的出現(xiàn)。這些都要 求理解自然語(yǔ)言的計(jì)算機(jī)程序要具有對(duì)外界語(yǔ)言環(huán)境的應(yīng)變能力。最后一點(diǎn)，自然語(yǔ)言是人們交流思想的工具。既然交流的是思想，那思想本身在計(jì)算機(jī) 里的組織結(jié)構(gòu)

6、就顯得格外重要。在人工智能里，這就是“知識(shí)表示”的問(wèn)題?？梢哉f(shuō)，在知 識(shí)表示問(wèn)題上的突破，對(duì)于自然語(yǔ)言理解的進(jìn)展將產(chǎn)生決定性的影響。在上述四個(gè)方面，都有許多學(xué)者在勇敢地迎接挑戰(zhàn)，使計(jì)算機(jī)程序一步步地朝著不限 領(lǐng)域的自然語(yǔ)言理解的遠(yuǎn)大目標(biāo)前進(jìn)。3.1自然語(yǔ)言處理的層次語(yǔ)音分析根據(jù)音位規(guī)則，從語(yǔ)音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個(gè) 個(gè)音節(jié)及其對(duì)應(yīng)的詞素或詞。詞法分析分析目的是找出詞匯的各個(gè)詞素，從中獲得語(yǔ)言學(xué)的信息。句法分析對(duì)句子和短語(yǔ)的結(jié)構(gòu)進(jìn)行分析，目的是找出詞、短語(yǔ)等的相互關(guān)系以及各自在句中的 作用。語(yǔ)義分析分析目的是找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語(yǔ)言所表達(dá)的真正

7、含義或概 念。語(yǔ)用分析研究語(yǔ)言所存在的外界環(huán)境對(duì)語(yǔ)言使用者所產(chǎn)生的影響。3.2自然語(yǔ)言理解的主要思想：認(rèn)知學(xué)觀點(diǎn)將人類視為一種高級(jí)信息處理系統(tǒng)，強(qiáng)調(diào)對(duì)于人類智能活動(dòng)的研究以及在計(jì)算機(jī)上的模 擬和實(shí)現(xiàn)。語(yǔ)用學(xué)觀點(diǎn)將語(yǔ)言視為人與人之間的通信媒介，任何對(duì)于話語(yǔ)的理解或生成都不能脫離該話語(yǔ)存 在的前后語(yǔ)境和該話語(yǔ)使用者的心理背景。語(yǔ)言學(xué)觀點(diǎn)對(duì)自然語(yǔ)言進(jìn)行研究的最初也是最基本的方法，強(qiáng)調(diào)對(duì)于句子結(jié)構(gòu)和語(yǔ)法的研究，重點(diǎn) 在于描述語(yǔ)言，尋找或構(gòu)造一組能包含盡可能多的語(yǔ)言現(xiàn)象的普遍適用的語(yǔ)法規(guī)則。4.1自然語(yǔ)言理解技術(shù)研究方向變化：大約90年代開(kāi)始，自然語(yǔ)言處理領(lǐng)域發(fā)生了巨大的變化。這種變化的兩個(gè)明顯的特征

8、是：（1）對(duì)系統(tǒng)輸入，要求研制的自然語(yǔ)言處理系統(tǒng)能處理大規(guī)模的真實(shí)文本，而不是如 以前的研究性系統(tǒng)那樣，只能處理很少的詞條和典型句子。只有這樣，研制的系統(tǒng)才有真正 的實(shí)用價(jià)值。（2）對(duì)系統(tǒng)的輸出，鑒于真實(shí)地理解自然語(yǔ)言是十分困難的，對(duì)系統(tǒng)并不要求能對(duì)自 然語(yǔ)言文本進(jìn)行深層的理解，但要能從中抽取有用的信息。例如，對(duì)自然語(yǔ)言文本進(jìn)行自動(dòng) 地提取索引詞，過(guò)濾，檢索，自動(dòng)提取重要信息，進(jìn)行自動(dòng)摘要等等。同時(shí)，由于強(qiáng)調(diào)了 “大規(guī)?！保瑥?qiáng)調(diào)了 “真實(shí)文本”，下面兩方面的基礎(chǔ)性工作也得到 了重視和加強(qiáng)。（1）大規(guī)模真實(shí)語(yǔ)料庫(kù)的研制。大規(guī)模的經(jīng)過(guò)不同深度加工的真實(shí)文本的語(yǔ)料庫(kù)，是 研究自然語(yǔ)言統(tǒng)計(jì)性質(zhì)的基礎(chǔ)。

9、沒(méi)有它們，統(tǒng)計(jì)方法只能是無(wú)源之水。（2）大規(guī)模、信息豐富的詞典的編制工作。規(guī)模為幾萬(wàn)，十幾萬(wàn)，甚至幾十萬(wàn)詞，含 有豐富的信息（如包含詞的搭配信息）的計(jì)算機(jī)可用詞典對(duì)自然語(yǔ)言處理的重要性是很明顯 的。雖然上述新趨勢(shì)給自然語(yǔ)言處理領(lǐng)域帶來(lái)了成果，但從理論方法的角度看，由于采集、 整理、表示和有效應(yīng)用大量知識(shí)的困難，這些系統(tǒng)更依賴于統(tǒng)計(jì)學(xué)的方法和其他“簡(jiǎn)單”的 方法或技巧。而這些統(tǒng)計(jì)學(xué)的方法和其他“簡(jiǎn)單”的方法似乎也快達(dá)到它們的極限了，因此， 目前在自然語(yǔ)言處理界廣泛爭(zhēng)論的一個(gè)問(wèn)題便是：要取得新的更大的進(jìn)展，主要有待于理論 上的突破呢，還是可由目前已有的方法的完善和優(yōu)化實(shí)現(xiàn)？答案還不清楚。大致上，更

10、多的 語(yǔ)言學(xué)家傾向于前一種意見(jiàn)，而更多的工程師則傾向于后一種意見(jiàn)?；卮鸹蛟S在“中間”， 即應(yīng)將基于知識(shí)和推理的深層方法與基于統(tǒng)計(jì)等“淺層”方法結(jié)合起來(lái)。4.2發(fā)展歷程：現(xiàn)在的計(jì)算機(jī)的智能還遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到能夠象人一樣理解自然語(yǔ)言的水平，而且在可預(yù)見(jiàn) 的將來(lái)也達(dá)不到這樣的水平。因此，關(guān)于計(jì)算機(jī)對(duì)自然語(yǔ)言的理解一般是從實(shí)用的角度進(jìn)行 評(píng)判的。如果計(jì)算機(jī)實(shí)現(xiàn)了人機(jī)會(huì)話，或機(jī)器翻譯，或自動(dòng)文摘等語(yǔ)言信息處理功能，則認(rèn) 為計(jì)算機(jī)具備了自然語(yǔ)言理解的能力。目前存在的問(wèn)題有兩個(gè)方面：一方面，迄今為止的語(yǔ)法都限于分析一個(gè)孤立的句子，上 下文關(guān)系和談話環(huán)境對(duì)本句的約束和影響還缺乏系統(tǒng)的研究，因此分析歧義、詞語(yǔ)省略、

11、代 詞所指、同一句話在不同場(chǎng)合或由不同的人說(shuō)出來(lái)所具有的不同含義等問(wèn)題，尚無(wú)明確規(guī)律 可循，需要加強(qiáng)語(yǔ)用學(xué)的研究才能逐步解決。另一方面，人理解一個(gè)句子不是單憑語(yǔ)法，還 運(yùn)用了大量的有關(guān)知識(shí)，包括生活知識(shí)和專門(mén)知識(shí)，這些知識(shí)無(wú)法全部貯存在計(jì)算機(jī)里。因 此一個(gè)書(shū)面理解系統(tǒng)只能建立在有限的詞匯、句型和特定的主題范圍內(nèi)；計(jì)算機(jī)的貯存量和 運(yùn)轉(zhuǎn)速度大大提高之后，才有可能適當(dāng)擴(kuò)大范圍.4.2.1我國(guó)的發(fā)展?fàn)顩r：我國(guó)自然語(yǔ)言理解的研究起步較晚，比國(guó)外晚了 17年。國(guó)外在1963年就建成了早期的 自然語(yǔ)言理解系統(tǒng)，而我國(guó)直到1980年才建成了兩個(gè)漢語(yǔ)自然語(yǔ)言理解模型，都以人機(jī)對(duì) 話的方式來(lái)實(shí)現(xiàn)。八十年代中期，

12、在國(guó)際新一代計(jì)算機(jī)激烈競(jìng)爭(zhēng)的影響下，自然語(yǔ)言理解的研究在國(guó)內(nèi)得 到了更多的重視，自然語(yǔ)言理解和人機(jī)接口列入了新一代計(jì)算機(jī)的研制規(guī)劃，研究單位增 多了，研究隊(duì)伍也壯大了。自然語(yǔ)言處理研究在電子計(jì)算機(jī)問(wèn)世之初就開(kāi)始了，并于50年代初開(kāi)展了機(jī)器翻譯試 驗(yàn)。當(dāng)時(shí)的研究方法還不能稱作帶有智能氣到了 60年代喬姆斯基的轉(zhuǎn)換生成語(yǔ)法得到廣 泛的認(rèn)可，生成語(yǔ)法的核心是短語(yǔ)結(jié)構(gòu)規(guī)則，分析句子結(jié)構(gòu)的過(guò)程就是利用規(guī)則自頂向下或 自底向上的句法樹(shù)生成過(guò)程。60年代至70年代初期，研究工作一直停留在單詞的語(yǔ)音識(shí)別上，進(jìn)展不大。直到70 年代中期才有所突破，建立了一些實(shí)驗(yàn)系統(tǒng)，能夠理解連續(xù)語(yǔ)音的內(nèi)容，但是還限于少數(shù)簡(jiǎn)單

13、的語(yǔ)句大約90年代開(kāi)始，自然語(yǔ)言處理領(lǐng)域發(fā)生了巨大的變化。這種變化的兩個(gè)明顯的特征是：（1）對(duì)系統(tǒng)輸入，要求研制的自然語(yǔ)言處理系統(tǒng)能處理大規(guī)模的真實(shí)文本，而不是如 以前的研究性系統(tǒng)那樣，只能處理很少的詞條和典型句子。只有這樣，研制的系統(tǒng)才有真正 的實(shí)用價(jià)值。（2）對(duì)系統(tǒng)的輸出，鑒于真實(shí)地理解自然語(yǔ)言是十分困難的，對(duì)系統(tǒng)并不要求能對(duì)自 然語(yǔ)言文本進(jìn)行深層的理解，但要能從中抽取有用的信息。例如，對(duì)自然語(yǔ)言文本進(jìn)行自動(dòng) 地提取索引詞，過(guò)濾，檢索，自動(dòng)提取重要信息，進(jìn)行自動(dòng)摘要等等。同時(shí)，由于強(qiáng)調(diào)了 “大規(guī)模”，強(qiáng)調(diào)了 “真實(shí)文本”，下面兩方面的基礎(chǔ)性工作也得到 了重視和加強(qiáng)。（1）大規(guī)模真實(shí)語(yǔ)料庫(kù)的

14、研制。大規(guī)模的經(jīng)過(guò)不同深度加工的真實(shí)文本的語(yǔ)料庫(kù)，是 研究自然語(yǔ)言統(tǒng)計(jì)性質(zhì)的基礎(chǔ)。沒(méi)有它們，統(tǒng)計(jì)方法只能是無(wú)源之水。（2）大規(guī)模、信息豐富的詞典的編制工作。規(guī)模為幾萬(wàn)，十幾萬(wàn)，甚至幾十萬(wàn)詞，含 有豐富的信息（如包含詞的搭配信息）的計(jì)算機(jī)可用詞典對(duì)自然語(yǔ)言處理的重要性是很明顯 的。5結(jié)論：自然語(yǔ)言處理意義在于：一方面，如果計(jì)算機(jī)能夠理解、處理自然語(yǔ)言，將是計(jì)算機(jī)技 術(shù)的一項(xiàng)重大突破；另一方面，自然語(yǔ)言處理有助于揭開(kāi)人類高度智能的奧秘，深化對(duì)語(yǔ)言 能力和思維本質(zhì)的認(rèn)識(shí)。和人類進(jìn)步過(guò)程中其他任何一種技術(shù)的發(fā)展歷程一樣，自然語(yǔ)言理解技術(shù)在任何一個(gè)不 同的成熟階段都有一個(gè)不同的應(yīng)用形式和不同的市場(chǎng)定位。在這種技術(shù)到市場(chǎng)再到技術(shù)的螺 旋式上升的過(guò)程中，技術(shù)越來(lái)越成熟，市場(chǎng)也越來(lái)越成熟，從而讓技術(shù)更好地為人類服務(wù)。 自然語(yǔ)言理解技術(shù)給人工智能服務(wù)提供了威力巨大的核動(dòng)力，智能信息服務(wù)給人類更自然、 自主的信息交流手段，將創(chuàng)造出全新的產(chǎn)業(yè)空間。人們渴望發(fā)展自然語(yǔ)言理解技術(shù)以加速信 息、知識(shí)與文化的交流，促進(jìn)社會(huì)、經(jīng)濟(jì)、科學(xué)的進(jìn)步，這是自然語(yǔ)言理解技術(shù)新的強(qiáng)大的 推動(dòng)力量，也是每一個(gè)國(guó)家都面臨的新的挑戰(zhàn)。參考文獻(xiàn):1黃培紅.基于自然語(yǔ)言理解的認(rèn)知系統(tǒng)算法初探