人工智能概論（第2版） 課件第6章 自然語言處理

第六章自然語言處理——讓人工智能與世界溝通常見的自然語言處理2011年，喬布斯在iPhone4S中推出Siri（蘋果智能語音助手）2018年2月8日，小度機器人亮相網(wǎng)絡(luò)春晚，和主持人高博秒對飛花令我們身邊的自然語言處理？自然語言處理機器人在實現(xiàn)人機交互功能時，主要通過語音識別、自然語言處理、機器學(xué)習(xí)來實現(xiàn)，其中最核心的技術(shù)就是自然語言處理，那么，什么是自然語言處理呢？目錄什么是自然語言處理自然語言處理的發(fā)展史自然語言處理的過程和方法自然語言處理平臺和開發(fā)庫什么是自然語言處理PART01什么是自然語言處理多種人類語言、計算機程序語言自然語言處理（NaturalLanguageProcessing，NLP）可以分為自然語言和處理兩部分來理解在整個人類歷史上以語言文字形式記載和流傳的知識占到知識總量的80%以上。針對計算機的應(yīng)用而言，據(jù)統(tǒng)計，用于數(shù)學(xué)計算的僅占10%，用于過程控制的不到5%，其余85%左右計算機都是在進行語言文字的信息處理。什么是自然語言處理處理包含理解、轉(zhuǎn)化、生成等過程。自然語言處理，是指用計算機對自然語言的形、音、義等信息進行處理，即對自然語言的字、詞、句、篇章的輸入、識別、分析、理解、生成以及輸入的加工和操作。自然語言處理的任務(wù)就是幫助計算機接受、處理、理解以及運用人類語言，從而使機器更加高效的與人類進行交流。自然語言處理的具體表現(xiàn)形式包括機器翻譯、文本摘要、文本分類、文本校對、信息抽取、語音合成、語音識別等。什么是自然語言處理自然語言處理機制涉及兩個流程，分別是自然語言理解和自然語言生成。自然語言理解是指計算機能夠理解自然語言文本的意義，自然語言生成則是指機器能夠以自然語言文本的形式把它的意圖表達出來。自然語言處理的應(yīng)用自然語言處理（NLP）可以被應(yīng)用于很多領(lǐng)域，主要包括以下幾個主要方向：1.機器翻譯：將一種語言翻譯成另一種語言；將聲音和文字之間相互轉(zhuǎn)換。2.情感分析：判斷溝通對象的情緒狀態(tài)。3.智能問答：通過提問獲取信息，并回答相應(yīng)的問題。4.觀點抽?。簹w納、總結(jié)文本摘要，形成觀點。5.文本分類：采集文本信息，進行主題分析，從而進行自動分類。自然語言處理的應(yīng)用百度大腦基于深度學(xué)習(xí)技術(shù)和百度大數(shù)據(jù)，針對帶有主觀描述的中文文本，自動判斷該文本的情感極性類別并給出相應(yīng)的置信度自然語言處理的應(yīng)用評論觀點抽取，產(chǎn)品觀點挖掘，客服智能問答自然語言處理的發(fā)展史PART02神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)單元自然語言處理（NLP）的發(fā)展大致經(jīng)歷了四個階段：萌芽期、快速發(fā)展期、低谷期以及復(fù)蘇繁榮期。萌芽期（1956年以前）1956年以前，一方面，人類積累了大量的數(shù)學(xué)、語言學(xué)和物理學(xué)知識。這些知識不僅是計算機誕生的必要條件，同時也是自然語言處理的理論基礎(chǔ)。另一方面，艾倫·圖靈在1936年首次提出了“圖靈機”的概念?！皥D靈機”作為計算機的理論基礎(chǔ)，促進了1946年電子計算機的誕生。而電子計算機的誕生又為機器翻譯和隨后的自然語言處理提供了物質(zhì)基礎(chǔ)。萌芽期（1956年以前）

早期的自然語言處理具有鮮明的經(jīng)驗主義色彩。1913年馬爾可夫提出了馬爾可夫隨機過程?！笆止げ轭l”，通過統(tǒng)計《歐根、奧涅金》長詩中元音與輔音出現(xiàn)頻度，來判斷字母的出現(xiàn)概率；1948年香農(nóng)把離散馬爾可夫概率模型應(yīng)用于語言的自動機，同時采用手工方法統(tǒng)計英語字母的頻率。1956年喬姆斯基借鑒香農(nóng)的工作，建立了自然語言的有限狀態(tài)模型，用“代數(shù)”和“集合”將語言轉(zhuǎn)化為符號序列，建立了語法的數(shù)學(xué)模型，為自然語言和形式語言找到了一種統(tǒng)一的數(shù)學(xué)描述理論。快速發(fā)展期(1957年-1970年)自然語言處理在這一時期很快融入了人工智能的研究領(lǐng)域中。由于有基于規(guī)則和基于概率這兩種不同方法的存在，自然語言處理的研究在這一時期分為了兩大陣營。一個是基于規(guī)則方法的符號派(symbolic)，另一個是采用概率方法的隨機派(stochastic)。低谷期(1971年-1993年)隨著研究的深入，自然語言處理的應(yīng)用難度讓許多人對自然語言處理的研究喪失了信心。從70年代開始，自然語言處理的研究進入了低谷時期。復(fù)蘇繁榮期(1994年至今)90年代中期以后，計算機的速度和存儲量大幅增加以及網(wǎng)絡(luò)技術(shù)的發(fā)展使得自然語言處理的社會需求更加迫切，自然語言處理的應(yīng)用面也更加寬廣，自然語言處理不再局限于機器翻譯、語音控制等早期研究領(lǐng)域了?；诮y(tǒng)計、基于實例和基于規(guī)則的語料庫技術(shù)在這一時期蓬勃發(fā)展，各種處理技術(shù)開始融合，自然語言處理的研究再次繁榮。深度學(xué)習(xí)在機器翻譯、問答系統(tǒng)等多個自然語言處理任務(wù)中均取得了不錯的成果。自然語言處理的過程和方法PART03自然語言處理的過程自然語言理解層次關(guān)系圖衡量計算機對人類自然語言的理解程度第一，問答：機器人能正確回答輸入文本中的有關(guān)問題；第二，文摘生成：機器有能力生成輸入文本的摘要；第三，釋義：機器能用不同的詞語和句型來復(fù)述其輸入的文本，對文本進行解釋；第四，翻譯：機器具有把一種語言翻譯成另一種語言的能力。語音識別“RadioRex”玩具狗500赫茲的彈簧彈起語言識別的過程語言識別的過程——案例要把一句語音“我是機器人”轉(zhuǎn)換成對應(yīng)的文字，其對應(yīng)的轉(zhuǎn)換流程如下：1.語音信號采集：通過話筒等語音設(shè)備把語音“我是機器人”輸入計算機。2.特征提?。禾崛〕稣Z音中相應(yīng)的特征向量[123...n]。3.聲學(xué)模型：把特征向量[123...n]輸入訓(xùn)練好的聲學(xué)模型，得到音素->woshijiqiren。4.字典：通過字典查詢音素對應(yīng)的可能文字。窩：wo；我：wo；

是：shi；

機：ji；級：ji；

器：qi；

人：ren；忍：ren。5.語言模型：根據(jù)訓(xùn)練好的語言模型，確定最大詞組合概率。我：0.0786，

是：0.0546，我是：0.0898，機器：0.0967，機器人：0.6785。6.輸出文字：我是機器人。詞法分析語言是以詞為基本意義的單位，而詞又是由詞素構(gòu)成的，即詞素是構(gòu)成詞的最小的有意義的單位。。在英語中，單詞本身就是“詞”的表達。漢語中，詞是以字為基本單位的，但是一篇文章的語義表達卻仍然是是以詞來劃分的。詞法分析通過算法自動識別出句子的詞，在詞間加入邊界標(biāo)識符，分隔出各個詞匯。中文分詞與詞性標(biāo)注、命名實體識別共同構(gòu)成了詞法分析的主要內(nèi)容，以此來定位基本語言元素，消除歧義，支撐自然語言的準確理解。可以說詞法分析是理解自然語言中最小的語法單位——單詞的基礎(chǔ)。詞法分析包括兩方面的任務(wù)，第一個是要能正確地把一串連續(xù)的字符切分成一個一個的詞；第二個是要能正確的判斷每一個詞的詞性，以便于后續(xù)的句法分析的實現(xiàn)。詞法分析平臺騰訊文智開放平臺來體驗詞法分析的效果。登錄網(wǎng)址是：/index.cgi網(wǎng)頁版進行體驗句法分析句法分析是自然語言處理的核心技術(shù)，是對語言進行深層次理解的基石。它分析句子的句法結(jié)構(gòu)（主謂賓結(jié)構(gòu)）和詞匯間的依存關(guān)系（并列，從屬等），從而提取句子主干，獲取核心詞。通過句法分析，可以為語義分析、情感傾向、知識抽取、機器翻譯等自然語言處理應(yīng)用場景打下堅實的基礎(chǔ)。語義分析語義分析(SemanticAnalysis)是指運用各種機器學(xué)習(xí)方法，讓機器學(xué)習(xí)與理解一段文本所表示的語義內(nèi)容。一段文本通常由詞、句子和段落來構(gòu)成，根據(jù)分析對象的語言單位不同，語義分析又可進一步分解為詞匯級語義分析、句子級語義分析以及篇章級語義分析語用分析把話語放在語言使用者和語言使用環(huán)境（語境）對它的制約中進行分析，為的是了解語言在不同環(huán)境下的不同含義以及語言的結(jié)構(gòu)在這些環(huán)境制約下的變化，從而發(fā)現(xiàn)其中的規(guī)律。語用分析例子例子1：比如小明約小紅去看電影，小紅說：“天氣預(yù)報說今晚會有大暴雨?！崩?：有人到商場看見一件衣服很喜歡，就問售貨員：“這件衣服多少錢?”如果售貨員回答說：“打折后200元?！边@是從語義的角度一般正常的回答。如果售貨員又加了一句：“只剩下這一件了?！?/p>