自然語言處理理論與實踐 課件 第7、8章 問答系統(tǒng)、閱讀理解

問答系統(tǒng)人工智能導論智能問答系統(tǒng)---例子（1）智能問答系統(tǒng)---例子（2）如何判斷系統(tǒng)是否具有智能？圖靈測試本質是問答形式因此，人工智能研究水平集中體現(xiàn)在智能問答能力上！匯報提綱：智能問答系統(tǒng)發(fā)展歷程輕量級知識圖譜的構建對話系統(tǒng)問答系統(tǒng)輸入:問題，來源于用戶；數(shù)據(jù)集合，包含在系統(tǒng)中，如已有的語料等輸出:答案或者可能答案的集合例子描述Q&A系統(tǒng)的三個維度可以接受的問題

?

限定領域（指定主題）vs.開放領域（任意主題）系統(tǒng)包含的數(shù)據(jù)形式

?

結構（e.g.,關系數(shù)據(jù)）vs.無結構（e.g.,文本）形成答案的機制

?

抽?。╡.g.,文本片段）vs.產生式（e.g.,對話）Q&A研究的基本問題Q&A的發(fā)展歷程早期,基于結構數(shù)據(jù)的問答系統(tǒng)問題答案語法分析語義分析數(shù)據(jù)查詢語句數(shù)據(jù)庫基本原理

–

將問題轉化為數(shù)據(jù)庫的查詢語言；?語法分析

(語言規(guī)則，啟發(fā)式規(guī)則等)?語義分析

(映射解析的請求為正式的查詢語言)

–

提交查詢到數(shù)據(jù)庫上得到結果AI時期去“映”例子-1LUNAR是回答關于Apollo11采集回來的巖石問題的系統(tǒng)；問題:

–

有樣本中鋁含量大于13%嗎??

查詢:

–(TEST(FORSOMEX1/(SEQSAMPLES):T;(CONTAINX1(NPR*X2/‘AL203)(GREATERTHAN13PCT))))?

答案:

–Yes例子-2問題：

“Listtheauthorswhohavewrittenbooksaboutbusiness”查詢：SELECTfirstname,lastnameFROMauthors,titleauthor,titlesWHEREauthors.id=titleauthor.authors_idANDtitleauthor.title_id=titles.id強調句法解析強調領域知識構建花費巨大很脆弱?特別是在領域知識邊界的地方

?

所以在80年代慢慢轉為NLP風格特點這類系統(tǒng)強調利用計算語言學的技術去減輕構建Q&A系統(tǒng)的代價，同時利用Q&A系統(tǒng)作為框架去測試計算語言學理論代表系統(tǒng)是BerkeleyUnixConsultantproject(UC)早期：基于結構化數(shù)據(jù)的問答系統(tǒng)計算語言學時期%UCWelcometoUC(UnixConsultant)version3.23ToaUC'#'prompt,pleasetypeinyourquestionsabouttheUnixfilesysteminEnglish.Toleave,justtypea'AD'or'(exit)'.Hi.HowcanIhelpyou?#HowcanIdeleteafile?Userm.Forexample,todeletethefilenamedfoo,type'rmfoo'.#Whatdoesrwhodo?

Rwhoisusedtolistallusersonthenetwork,theusers'tty,theusers'logintime,andtheusers'idletime.BerkeleyUnixConsultantproject(UC)90年代末以前的Q&A屬于限定域；---強調領域知識---構建花費巨大---很脆弱?特別是在領域知識邊界的地方轉折點：QAtrackintheTREC-8（1999）Q&A研究從AI角度出發(fā)進入到從IR角度出發(fā)的時代同時，也進入了開放域研究的時代評論中期,基于自由文本的問答系統(tǒng)基本原理

1.問題分析

2.信息檢索

3.答案抽取去“抽”TRECQATrackhttp://日語問答評測平臺NTCIRhttp://research.nii.ac.jp/ntcir/workshop/多語言問答評測平臺CLEFhttp://r.it/評測QuestionExtract

KeywordsQuerySearch

EngineCorpusDocsPassage

ExtractorAnswersAnswer

SelectorAnswer“A50-bytepassagelikely

tocontainthedesiredanswer”(TRECQAtrack)“Asimplefactoid

question”TypicalTRECQAPipelineMeanReciprocalRank(MRR):Findtheordinal

positionofthecorrectanswerinyouroutput(1st

answer,2ndanswer,etc.)anddividebyone;average

overentiretestsuite.Sample

results自由文本可以是來自較好的封閉集合（如TREC），也可以是網絡數(shù)據(jù)；網絡文檔的缺點：---錯誤信息很多---日期信息不能很準確地得到網絡文檔的優(yōu)點：---數(shù)量大---更新快評論FAQ在網絡上開始大量出現(xiàn)；CQA橫空出世；現(xiàn)代：基于問題答案對的問答系統(tǒng)基于FAQ的Q&A研究基于CQA的Q&A研究

質量用語規(guī)范總量特定領域的數(shù)量社會網絡FAQ高規(guī)范大小無CQA良莠不齊口語化，不規(guī)范巨大大有FAQ與CQA的區(qū)別分類目錄問題title問題body答案1答案2投票投票用戶網絡頭銜CQA的特點用戶—問題，用戶—回答的網絡鼓勵用戶參與和互動的投票/頭銜等機制社會網絡專家網絡和社會評價系統(tǒng)CQA獨有的特點現(xiàn)代：基于問題答案對的問答系統(tǒng)問題分類關鍵詞提取關鍵詞擴展問題檢索查找候選問題返回最佳答案選擇候選答案QA對相關問題答案問題網絡用戶網絡交互模塊去“找”問題答案語法分析語義分析數(shù)據(jù)查詢語句數(shù)據(jù)庫去“映”去“抽”問題分類關鍵詞提取關鍵詞擴展問題檢索查找候選問題返回最佳答案選擇候選答案QA對相關問題答案問題網絡用戶網絡交互模塊去“找”①②③不同（時代）類型的QA系統(tǒng)早期,基于結構數(shù)據(jù)中期,基于自由文本現(xiàn)代,基于QA對最近發(fā)展趨勢（1）問題答案語法分析語義分析數(shù)據(jù)查詢語句數(shù)據(jù)庫去“映”①問題答案語法分析語義分析大規(guī)模圖查詢知識圖譜去“映”④最近發(fā)展趨勢（2）DeepLearning最近發(fā)展趨勢（3）DeepLearningFor

each

(head,

relation,

tail),

make

h

+

r=tMaybe

brain

works

like:EverythingbeEmbedded.最近發(fā)展趨勢（4）DeepLearning最近發(fā)展趨勢（5）DeepLearning最近發(fā)展趨勢（6）DeepLearningQ&A的發(fā)展歷程最近發(fā)展趨勢（7）機器閱讀理解DEMO:/問題是否這幾類系統(tǒng)完全沒有關系？一個實際系統(tǒng)示例（電子基金）本體知識庫半結構化知識庫搜索引擎大數(shù)據(jù)管理平臺智能交互系統(tǒng)主控流程用戶問題語音識別引擎識別文本問題解析引擎解析結果FAQ數(shù)據(jù)庫網頁與行業(yè)數(shù)據(jù)庫FAQ引擎知識庫引擎數(shù)據(jù)獲取答案生成搜索結果匹配結果候選答案答案語音合成引擎問答對抽取信息抽取知識表示識別模型合成模型匯報提綱：智能問答系統(tǒng)發(fā)展歷程輕量級知識圖譜的構建對話系統(tǒng)輕量級知識圖譜的構建(/)OpenInformationExtraction中文輕量級知識圖譜的構建How？Infobox匯報提綱：智能問答系統(tǒng)發(fā)展歷程輕量級知識圖譜的構建對話系統(tǒng)對話系統(tǒng)-典型結構對話系統(tǒng)-手工方法對話系統(tǒng)-手工方法：AIML人工智能標記語言人機對話、自動應答常用標簽AIML示例對話系統(tǒng)-檢索式對話對話系統(tǒng)-生成式對話對話系統(tǒng)-小冰對話系統(tǒng)-詩歌對聯(lián)生成隨機生成：孤城無處迎人道，已憶青山臥葛洪。貴貌馳開汗相寄，踏來欲折共愁吟。誰知昔劫云根里，猶有驅車肯寄伸。無限名山誰與爾，至今榮盛事田心。成名蝶散窮春魄，遙映峨峨百丈街。天力**驚百丈，生門須及百人師。藏頭詩：（明月別枝驚鵲）明月壯非師子都，月敲秋署亦先停。

別人自愛淮陽惡，枝倚東齋雪漸千。驚吹江亭閑宴望，鵲臨龍虎泣黃月。對話系統(tǒng)-手寫體數(shù)字生成對話系統(tǒng)-風格化圖片生成對話系統(tǒng)-綜合謝謝！Q

&

A

?

第八章機器閱讀理解自然語言處理理論與實踐任務分類評測指標基于深度學習的閱讀理解模型閱讀理解概述項目實踐目錄總結與思考何為閱讀理解機器閱讀理解(MachineReadingComprehension，MRC)是一項測試機器對自然語言理解程度的任務，它要求機器根據(jù)給定的上下文回答問題，使機器具有和人類一樣的對文本進行閱讀、理解和推理能力。閱讀理解發(fā)展歷史030201階段1：人工智能初期受限領域的知識庫問答B(yǎng)aseballLunar階段3：語言模型階段GPT3.0BERTERNIE…階段2：深度學習階段序列模型注意力機制詞向量…諸多數(shù)據(jù)集、知識庫出現(xiàn)任務分類評測指標基于深度學習的閱讀理解模型閱讀理解概述項目實踐目錄總結與思考任務分類機器閱讀理解完形填空多項選擇文本抽取自由問答任務分類完型填空1首先刪除文章中的一些單詞或實體，接著需要在刪去后留下的空白處填上所缺的部分。部分數(shù)據(jù)集會對空白處提供一組候選答案，正確答案藏于其中機器閱讀理解完形填空多項選擇文本抽取自由問答任務分類機器閱讀理解完形填空多項選擇文本抽取自由問答完型填空1CNN/DailyMail/~kcho/DMQA/

美國有線電視新聞和每日郵報掩蓋新聞總結句中的實體僅輸入文檔讓模型預測空白Hermann,K.M.,Kocisky,T.,Grefenstette,E.,Espeholt,L.,Kay,W.,Suleyman,M.,&Blunsom,P.(2015).

Teachingmachinestoreadandcomprehend.任務分類機器閱讀理解完形填空多項選擇文本抽取自由問答完型填空1Children'sBookTest兒童讀物連續(xù)20個句子構建正文9個候選答案單詞/downloads/babi/

TheGoldilocksPrinciple:ReadingChildren'sBookswithExplicitMemoryRepresentations任務分類多項選擇2給定一段上下文，及相關的問題，需要機器從多個候選答案選擇正確的一項。機器閱讀理解完形填空多項選擇文本抽取自由問答任務分類多項選擇2機器閱讀理解完形填空多項選擇文本抽取自由問答MCTesthttps://mattr1.github.io/mctest/

難易度較低~7歲兒童內容虛構MC160

&MC500MCTest:AChallengeDatasetfortheOpen-DomainMachineComprehensionofText任務分類多項選擇2機器閱讀理解完形填空多項選擇文本抽取自由問答RACEMCTest:AChallengeDatasetfortheOpen-DomainMachineComprehensionofText/data/RACE_leaderboard.html

難易度適中~

中考、高考英語測試人為制造問題和答案RACE-H&RACE-M任務分類多項選擇2機器閱讀理解完形填空多項選擇文本抽取自由問答 CommonsenseQA/commonsenseqa

難易度較高~

復雜的語義環(huán)境需要利用常識進行推理選項多為單字詞實體CommonsenseQA:AQuestionAnsweringChallengeTargetingCommonsenseKnowledge任務分類多項選擇2機器閱讀理解完形填空多項選擇文本抽取自由問答ARCThinkyouhaveSolvedQuestionAnswering?TryARC,theAI2ReasoningChallenge/data/arc

難易度適中~ARC-Challenge&ARC-Easy小學水平的科學問題提供額外的語料庫任務分類文本抽取3給定一段上下文，及相關的問題，需要機器從相應的上下文提取一段文本作為答案。機器閱讀理解完形填空多項選擇文本抽取自由問答任務分類文本抽取3 SQuAD機器閱讀理解完形填空多項選擇文本抽取自由問答https://rajpurkar.github.io/SQuAD-explorer/

SQuAD:100,000+QuestionsforMachineComprehensionofText閱讀理解里程碑10W+人工構建的高質量問題答案文本不局限于單詞或實體任務分類文本抽取3 HOTPOTQA機器閱讀理解完形填空多項選擇文本抽取自由問答HotpotQA:ADatasetforDiverse,ExplainableMulti-hopQuestionAnswering難易度高問題種類多樣需要在多文檔上進行跳躍推理https://hotpotqa.github.io/explorer.html

任務分類文本抽取3NewsQA機器閱讀理解完形填空多項選擇文本抽取自由問答NewsQA:AMachineComprehensionDataset文章來自CNN新聞報道存在一些無法被回答的問題段落長度較長/en-us/research/project/newsqa-dataset/

任務分類自由問答4給定多段上下文，及相關的問題，需要機器從提供的多個上下文片段中進行總結，生成或者抽取出答案機器閱讀理解完形填空多項選擇文本抽取自由問答任務分類自由回答4MSMACROMSMARCO:AHumanGeneratedMAchineReading文章來自Bing檢索結果每個問題附有10篇文檔每個問題可以有多個答案機器閱讀理解完形填空多項選擇文本抽取自由問答https://microsoft.github.io/msmarco/

任務分類自由回答4DuReaderDureaderachinesemachinereadingcomprehensiondatasetfromreal-worldapplications文章來自百度檢索引擎和貼吧答案由人為生成問題類型多樣化機器閱讀理解完形填空多項選擇文本抽取自由問答https://microsoft.github.io/msmarco/

任務分類評測指標基于深度學習的閱讀理解模型閱讀理解概述項目實踐目錄總結與思考評測指標評測指標AccuracyExactMatchF1ROUGE-LBLEU評測指標評測指標AccuracyExactMatchF1ROUGE-LBLEU

評測指標評測指標AccuracyExactMatchF1ROUGE-LBLEU

評測指標評測指標AccuracyExactMatchF1ROUGE-LBLEU

單詞在標準答案中單詞不在標準答案中單詞在候選答案中TPFP單詞不在候選答案中FNTNF1用于衡量預測的候選答案和標準答案之間單詞的平均重疊率。常用于抽取式類型閱讀理解。評測指標評測指標AccuracyExactMatchF1ROUGE-LBLEUL代表著公共最長子序列X和Y

分別為自動生成的答案和參考答案M和N分別為參考答案和候選答案的長度，即所包含詞語的個數(shù)ROUGE用于計算模型生成的答案和標準答案之間的重疊字詞數(shù)量來評估答案的質量。常用于自由文本類型閱讀理解評測指標評測指標AccuracyExactMatchF1ROUGE-LBLEULEU用于計算生成的候選答案和標準答案之間的相似度，測試候選答案的可靠性、可讀性。常用于自由文本類型閱讀理解

任務分類評測指標基于深度學習的閱讀理解模型閱讀理解概述項目實踐目錄總結與思考基于深度學習的閱讀理解模型1傳統(tǒng)深度學習基本框架表示層：將字詞轉換為數(shù)字表示。隨機或者導入預訓練的詞向量(如glove,word2vec)或者字符級別向量。編碼層:利用編碼器（如LSTM,CNN）將向量進行編碼，獲取包含上下文語義的表示。交互層:尋找文本與問題的有用的信息，盡可能使這兩產生聯(lián)系、交互。答案預測層:利用前幾層積累的信息進行預測并輸出答案，該層結構取決于閱讀理解任務類型?；谏疃葘W習的閱讀理解模型2斯坦福注意力閱讀器基于深度學習的閱讀理解模型3雙重注意力閱讀器Onehot編碼雙向GRU相似度計算C2Q&Q2C注意力點乘預測詞典V中每個單詞的概率基于深度學習的閱讀理解模型4R-Net基于深度學習的閱讀理解模型1傳統(tǒng)深度學習基本框架表示層：將字詞轉換為數(shù)字表示。隨機或者導入預訓練的詞向量(如glove,word2vec)或者字符級別向量。編碼層:利用編碼器（如LSTM,CNN）將向量進行編碼，獲取包含上下文語義的表示。交互層:尋找文本與問題的有用的信息，盡可能使這兩產生聯(lián)系、交互。答案預測層:利用前幾層積累的信息進行預測并輸出答案，該層結構取決于閱讀理解任務類型?；谏疃葘W習的閱讀理解模型5基于預訓練語言模型的基本框架基于深度學習的閱讀理解模型6KT-NET基于深度學習的閱讀理解模型7SG-NET任務分類評測指標基于深度學習的閱讀理解模型閱讀理解概述項目實踐目錄總結與思考項目實踐項目實踐項目介紹項目準備模型構建模型訓練及測試項目實踐項目實踐項目介紹項目準備模型構建模型訓練及測試本實驗結合當前流行的深度學習成果--預訓練語言模型BERT和目前主流的深度學習框架Pytorch來處理傳統(tǒng)的閱讀理解數(shù)據(jù)集之一—SQuADV1.1。項目實踐項目實踐項目介紹項目準備模型構建模型訓練及測試本實驗旨在鍛煉讀者以下三方面能力：1）掌握數(shù)據(jù)預處理的相關操作；2）了解預訓練語言模型的工作原理；3）掌握基本的閱讀理解系統(tǒng)運作流程。其中，項目的主要思路如下：1.安裝相關框架，2.獲取數(shù)據(jù)集數(shù)據(jù)并進行處理，3.下載并導入預訓練語言模型，4.基于預訓練語言模型的閱讀理解模型構建，5.模型訓練，6.模型推理，7.模型測試。項目實踐項目實踐項目介紹項目準備模型構建模型訓練及測試1數(shù)據(jù)集介紹https://rajpurkar.github.io/SQuAD-explorer