自然語(yǔ)言處理理論與實(shí)踐 課件 第7、8章 問(wèn)答系統(tǒng)、閱讀理解

問(wèn)答系統(tǒng)人工智能導(dǎo)論智能問(wèn)答系統(tǒng)---例子（1）智能問(wèn)答系統(tǒng)---例子（2）如何判斷系統(tǒng)是否具有智能？圖靈測(cè)試本質(zhì)是問(wèn)答形式因此，人工智能研究水平集中體現(xiàn)在智能問(wèn)答能力上！匯報(bào)提綱：智能問(wèn)答系統(tǒng)發(fā)展歷程輕量級(jí)知識(shí)圖譜的構(gòu)建對(duì)話系統(tǒng)問(wèn)答系統(tǒng)輸入:問(wèn)題，來(lái)源于用戶；數(shù)據(jù)集合，包含在系統(tǒng)中，如已有的語(yǔ)料等輸出:答案或者可能答案的集合例子描述Q&A系統(tǒng)的三個(gè)維度可以接受的問(wèn)題

?

限定領(lǐng)域（指定主題）vs.開(kāi)放領(lǐng)域（任意主題）系統(tǒng)包含的數(shù)據(jù)形式

?

結(jié)構(gòu)（e.g.,關(guān)系數(shù)據(jù)）vs.無(wú)結(jié)構(gòu)（e.g.,文本）形成答案的機(jī)制

?

抽?。╡.g.,文本片段）vs.產(chǎn)生式（e.g.,對(duì)話）Q&A研究的基本問(wèn)題Q&A的發(fā)展歷程早期,基于結(jié)構(gòu)數(shù)據(jù)的問(wèn)答系統(tǒng)問(wèn)題答案語(yǔ)法分析語(yǔ)義分析數(shù)據(jù)查詢語(yǔ)句數(shù)據(jù)庫(kù)基本原理

–

將問(wèn)題轉(zhuǎn)化為數(shù)據(jù)庫(kù)的查詢語(yǔ)言；?語(yǔ)法分析

(語(yǔ)言規(guī)則，啟發(fā)式規(guī)則等)?語(yǔ)義分析

(映射解析的請(qǐng)求為正式的查詢語(yǔ)言)

–

提交查詢到數(shù)據(jù)庫(kù)上得到結(jié)果AI時(shí)期去“映”例子-1LUNAR是回答關(guān)于Apollo11采集回來(lái)的巖石問(wèn)題的系統(tǒng)；問(wèn)題:

–

有樣本中鋁含量大于13%嗎??

查詢:

–(TEST(FORSOMEX1/(SEQSAMPLES):T;(CONTAINX1(NPR*X2/‘AL203)(GREATERTHAN13PCT))))?

答案:

–Yes例子-2問(wèn)題：

“Listtheauthorswhohavewrittenbooksaboutbusiness”查詢：SELECTfirstname,lastnameFROMauthors,titleauthor,titlesWHEREauthors.id=titleauthor.authors_idANDtitleauthor.title_id=titles.id強(qiáng)調(diào)句法解析強(qiáng)調(diào)領(lǐng)域知識(shí)構(gòu)建花費(fèi)巨大很脆弱?特別是在領(lǐng)域知識(shí)邊界的地方

?

所以在80年代慢慢轉(zhuǎn)為NLP風(fēng)格特點(diǎn)這類系統(tǒng)強(qiáng)調(diào)利用計(jì)算語(yǔ)言學(xué)的技術(shù)去減輕構(gòu)建Q&A系統(tǒng)的代價(jià)，同時(shí)利用Q&A系統(tǒng)作為框架去測(cè)試計(jì)算語(yǔ)言學(xué)理論代表系統(tǒng)是BerkeleyUnixConsultantproject(UC)早期：基于結(jié)構(gòu)化數(shù)據(jù)的問(wèn)答系統(tǒng)計(jì)算語(yǔ)言學(xué)時(shí)期%UCWelcometoUC(UnixConsultant)version3.23ToaUC'#'prompt,pleasetypeinyourquestionsabouttheUnixfilesysteminEnglish.Toleave,justtypea'AD'or'(exit)'.Hi.HowcanIhelpyou?#HowcanIdeleteafile?Userm.Forexample,todeletethefilenamedfoo,type'rmfoo'.#Whatdoesrwhodo?

Rwhoisusedtolistallusersonthenetwork,theusers'tty,theusers'logintime,andtheusers'idletime.BerkeleyUnixConsultantproject(UC)90年代末以前的Q&A屬于限定域；---強(qiáng)調(diào)領(lǐng)域知識(shí)---構(gòu)建花費(fèi)巨大---很脆弱?特別是在領(lǐng)域知識(shí)邊界的地方轉(zhuǎn)折點(diǎn)：QAtrackintheTREC-8（1999）Q&A研究從AI角度出發(fā)進(jìn)入到從IR角度出發(fā)的時(shí)代同時(shí)，也進(jìn)入了開(kāi)放域研究的時(shí)代評(píng)論中期,基于自由文本的問(wèn)答系統(tǒng)基本原理

1.問(wèn)題分析

2.信息檢索

3.答案抽取去“抽”TRECQATrackhttp://日語(yǔ)問(wèn)答評(píng)測(cè)平臺(tái)NTCIRhttp://research.nii.ac.jp/ntcir/workshop/多語(yǔ)言問(wèn)答評(píng)測(cè)平臺(tái)CLEFhttp://r.it/評(píng)測(cè)QuestionExtract

KeywordsQuerySearch

EngineCorpusDocsPassage

ExtractorAnswersAnswer

SelectorAnswer“A50-bytepassagelikely

tocontainthedesiredanswer”(TRECQAtrack)“Asimplefactoid

question”TypicalTRECQAPipelineMeanReciprocalRank(MRR):Findtheordinal

positionofthecorrectanswerinyouroutput(1st

answer,2ndanswer,etc.)anddividebyone;average

overentiretestsuite.Sample

results自由文本可以是來(lái)自較好的封閉集合（如TREC），也可以是網(wǎng)絡(luò)數(shù)據(jù)；網(wǎng)絡(luò)文檔的缺點(diǎn)：---錯(cuò)誤信息很多---日期信息不能很準(zhǔn)確地得到網(wǎng)絡(luò)文檔的優(yōu)點(diǎn)：---數(shù)量大---更新快評(píng)論FAQ在網(wǎng)絡(luò)上開(kāi)始大量出現(xiàn)；CQA橫空出世；現(xiàn)代：基于問(wèn)題答案對(duì)的問(wèn)答系統(tǒng)基于FAQ的Q&A研究基于CQA的Q&A研究

質(zhì)量用語(yǔ)規(guī)范總量特定領(lǐng)域的數(shù)量社會(huì)網(wǎng)絡(luò)FAQ高規(guī)范大小無(wú)CQA良莠不齊口語(yǔ)化，不規(guī)范巨大大有FAQ與CQA的區(qū)別分類目錄問(wèn)題title問(wèn)題body答案1答案2投票投票用戶網(wǎng)絡(luò)頭銜CQA的特點(diǎn)用戶—問(wèn)題，用戶—回答的網(wǎng)絡(luò)鼓勵(lì)用戶參與和互動(dòng)的投票/頭銜等機(jī)制社會(huì)網(wǎng)絡(luò)專家網(wǎng)絡(luò)和社會(huì)評(píng)價(jià)系統(tǒng)CQA獨(dú)有的特點(diǎn)現(xiàn)代：基于問(wèn)題答案對(duì)的問(wèn)答系統(tǒng)問(wèn)題分類關(guān)鍵詞提取關(guān)鍵詞擴(kuò)展問(wèn)題檢索查找候選問(wèn)題返回最佳答案選擇候選答案QA對(duì)相關(guān)問(wèn)題答案問(wèn)題網(wǎng)絡(luò)用戶網(wǎng)絡(luò)交互模塊去“找”問(wèn)題答案語(yǔ)法分析語(yǔ)義分析數(shù)據(jù)查詢語(yǔ)句數(shù)據(jù)庫(kù)去“映”去“抽”問(wèn)題分類關(guān)鍵詞提取關(guān)鍵詞擴(kuò)展問(wèn)題檢索查找候選問(wèn)題返回最佳答案選擇候選答案QA對(duì)相關(guān)問(wèn)題答案問(wèn)題網(wǎng)絡(luò)用戶網(wǎng)絡(luò)交互模塊去“找”①②③不同（時(shí)代）類型的QA系統(tǒng)早期,基于結(jié)構(gòu)數(shù)據(jù)中期,基于自由文本現(xiàn)代,基于QA對(duì)最近發(fā)展趨勢(shì)（1）問(wèn)題答案語(yǔ)法分析語(yǔ)義分析數(shù)據(jù)查詢語(yǔ)句數(shù)據(jù)庫(kù)去“映”①問(wèn)題答案語(yǔ)法分析語(yǔ)義分析大規(guī)模圖查詢知識(shí)圖譜去“映”④最近發(fā)展趨勢(shì)（2）DeepLearning最近發(fā)展趨勢(shì)（3）DeepLearningFor

each

(head,

relation,

tail),

make

h

+

r=tMaybe

brain

works

like:EverythingbeEmbedded.最近發(fā)展趨勢(shì)（4）DeepLearning最近發(fā)展趨勢(shì)（5）DeepLearning最近發(fā)展趨勢(shì)（6）DeepLearningQ&A的發(fā)展歷程最近發(fā)展趨勢(shì)（7）機(jī)器閱讀理解DEMO:/問(wèn)題是否這幾類系統(tǒng)完全沒(méi)有關(guān)系？一個(gè)實(shí)際系統(tǒng)示例（電子基金）本體知識(shí)庫(kù)半結(jié)構(gòu)化知識(shí)庫(kù)搜索引擎大數(shù)據(jù)管理平臺(tái)智能交互系統(tǒng)主控流程用戶問(wèn)題語(yǔ)音識(shí)別引擎識(shí)別文本問(wèn)題解析引擎解析結(jié)果FAQ數(shù)據(jù)庫(kù)網(wǎng)頁(yè)與行業(yè)數(shù)據(jù)庫(kù)FAQ引擎知識(shí)庫(kù)引擎數(shù)據(jù)獲取答案生成搜索結(jié)果匹配結(jié)果候選答案答案語(yǔ)音合成引擎問(wèn)答對(duì)抽取信息抽取知識(shí)表示識(shí)別模型合成模型匯報(bào)提綱：智能問(wèn)答系統(tǒng)發(fā)展歷程輕量級(jí)知識(shí)圖譜的構(gòu)建對(duì)話系統(tǒng)輕量級(jí)知識(shí)圖譜的構(gòu)建(/)OpenInformationExtraction中文輕量級(jí)知識(shí)圖譜的構(gòu)建How？Infobox匯報(bào)提綱：智能問(wèn)答系統(tǒng)發(fā)展歷程輕量級(jí)知識(shí)圖譜的構(gòu)建對(duì)話系統(tǒng)對(duì)話系統(tǒng)-典型結(jié)構(gòu)對(duì)話系統(tǒng)-手工方法對(duì)話系統(tǒng)-手工方法：AIML人工智能標(biāo)記語(yǔ)言人機(jī)對(duì)話、自動(dòng)應(yīng)答常用標(biāo)簽AIML示例對(duì)話系統(tǒng)-檢索式對(duì)話對(duì)話系統(tǒng)-生成式對(duì)話對(duì)話系統(tǒng)-小冰對(duì)話系統(tǒng)-詩(shī)歌對(duì)聯(lián)生成隨機(jī)生成：孤城無(wú)處迎人道，已憶青山臥葛洪。貴貌馳開(kāi)汗相寄，踏來(lái)欲折共愁吟。誰(shuí)知昔劫云根里，猶有驅(qū)車肯寄伸。無(wú)限名山誰(shuí)與爾，至今榮盛事田心。成名蝶散窮春魄，遙映峨峨百丈街。天力**驚百丈，生門(mén)須及百人師。藏頭詩(shī)：（明月別枝驚鵲）明月壯非師子都，月敲秋署亦先停。

別人自愛(ài)淮陽(yáng)惡，枝倚東齋雪漸千。驚吹江亭閑宴望，鵲臨龍虎泣黃月。對(duì)話系統(tǒng)-手寫(xiě)體數(shù)字生成對(duì)話系統(tǒng)-風(fēng)格化圖片生成對(duì)話系統(tǒng)-綜合謝謝！Q

&

A

?

第八章機(jī)器閱讀理解自然語(yǔ)言處理理論與實(shí)踐任務(wù)分類評(píng)測(cè)指標(biāo)基于深度學(xué)習(xí)的閱讀理解模型閱讀理解概述項(xiàng)目實(shí)踐目錄總結(jié)與思考何為閱讀理解機(jī)器閱讀理解(MachineReadingComprehension，MRC)是一項(xiàng)測(cè)試機(jī)器對(duì)自然語(yǔ)言理解程度的任務(wù)，它要求機(jī)器根據(jù)給定的上下文回答問(wèn)題，使機(jī)器具有和人類一樣的對(duì)文本進(jìn)行閱讀、理解和推理能力。閱讀理解發(fā)展歷史030201階段1：人工智能初期受限領(lǐng)域的知識(shí)庫(kù)問(wèn)答B(yǎng)aseballLunar階段3：語(yǔ)言模型階段GPT3.0BERTERNIE…階段2：深度學(xué)習(xí)階段序列模型注意力機(jī)制詞向量…諸多數(shù)據(jù)集、知識(shí)庫(kù)出現(xiàn)任務(wù)分類評(píng)測(cè)指標(biāo)基于深度學(xué)習(xí)的閱讀理解模型閱讀理解概述項(xiàng)目實(shí)踐目錄總結(jié)與思考任務(wù)分類機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答任務(wù)分類完型填空1首先刪除文章中的一些單詞或?qū)嶓w，接著需要在刪去后留下的空白處填上所缺的部分。部分?jǐn)?shù)據(jù)集會(huì)對(duì)空白處提供一組候選答案，正確答案藏于其中機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答任務(wù)分類機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答完型填空1CNN/DailyMail/~kcho/DMQA/

美國(guó)有線電視新聞和每日郵報(bào)掩蓋新聞總結(jié)句中的實(shí)體僅輸入文檔讓模型預(yù)測(cè)空白Hermann,K.M.,Kocisky,T.,Grefenstette,E.,Espeholt,L.,Kay,W.,Suleyman,M.,&Blunsom,P.(2015).

Teachingmachinestoreadandcomprehend.任務(wù)分類機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答完型填空1Children'sBookTest兒童讀物連續(xù)20個(gè)句子構(gòu)建正文9個(gè)候選答案單詞/downloads/babi/

TheGoldilocksPrinciple:ReadingChildren'sBookswithExplicitMemoryRepresentations任務(wù)分類多項(xiàng)選擇2給定一段上下文，及相關(guān)的問(wèn)題，需要機(jī)器從多個(gè)候選答案選擇正確的一項(xiàng)。機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答任務(wù)分類多項(xiàng)選擇2機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答MCTesthttps://mattr1.github.io/mctest/

難易度較低~7歲兒童內(nèi)容虛構(gòu)MC160

&MC500MCTest:AChallengeDatasetfortheOpen-DomainMachineComprehensionofText任務(wù)分類多項(xiàng)選擇2機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答RACEMCTest:AChallengeDatasetfortheOpen-DomainMachineComprehensionofText/data/RACE_leaderboard.html

難易度適中~

中考、高考英語(yǔ)測(cè)試人為制造問(wèn)題和答案RACE-H&RACE-M任務(wù)分類多項(xiàng)選擇2機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答 CommonsenseQA/commonsenseqa

難易度較高~

復(fù)雜的語(yǔ)義環(huán)境需要利用常識(shí)進(jìn)行推理選項(xiàng)多為單字詞實(shí)體CommonsenseQA:AQuestionAnsweringChallengeTargetingCommonsenseKnowledge任務(wù)分類多項(xiàng)選擇2機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答ARCThinkyouhaveSolvedQuestionAnswering?TryARC,theAI2ReasoningChallenge/data/arc

難易度適中~ARC-Challenge&ARC-Easy小學(xué)水平的科學(xué)問(wèn)題提供額外的語(yǔ)料庫(kù)任務(wù)分類文本抽取3給定一段上下文，及相關(guān)的問(wèn)題，需要機(jī)器從相應(yīng)的上下文提取一段文本作為答案。機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答任務(wù)分類文本抽取3 SQuAD機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答https://rajpurkar.github.io/SQuAD-explorer/

SQuAD:100,000+QuestionsforMachineComprehensionofText閱讀理解里程碑10W+人工構(gòu)建的高質(zhì)量問(wèn)題答案文本不局限于單詞或?qū)嶓w任務(wù)分類文本抽取3 HOTPOTQA機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答HotpotQA:ADatasetforDiverse,ExplainableMulti-hopQuestionAnswering難易度高問(wèn)題種類多樣需要在多文檔上進(jìn)行跳躍推理https://hotpotqa.github.io/explorer.html

任務(wù)分類文本抽取3NewsQA機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答NewsQA:AMachineComprehensionDataset文章來(lái)自CNN新聞報(bào)道存在一些無(wú)法被回答的問(wèn)題段落長(zhǎng)度較長(zhǎng)/en-us/research/project/newsqa-dataset/

任務(wù)分類自由問(wèn)答4給定多段上下文，及相關(guān)的問(wèn)題，需要機(jī)器從提供的多個(gè)上下文片段中進(jìn)行總結(jié)，生成或者抽取出答案機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答任務(wù)分類自由回答4MSMACROMSMARCO:AHumanGeneratedMAchineReading文章來(lái)自Bing檢索結(jié)果每個(gè)問(wèn)題附有10篇文檔每個(gè)問(wèn)題可以有多個(gè)答案機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答https://microsoft.github.io/msmarco/

任務(wù)分類自由回答4DuReaderDureaderachinesemachinereadingcomprehensiondatasetfromreal-worldapplications文章來(lái)自百度檢索引擎和貼吧答案由人為生成問(wèn)題類型多樣化機(jī)器閱讀理解完形填空多項(xiàng)選擇文本抽取自由問(wèn)答https://microsoft.github.io/msmarco/

任務(wù)分類評(píng)測(cè)指標(biāo)基于深度學(xué)習(xí)的閱讀理解模型閱讀理解概述項(xiàng)目實(shí)踐目錄總結(jié)與思考評(píng)測(cè)指標(biāo)評(píng)測(cè)指標(biāo)AccuracyExactMatchF1ROUGE-LBLEU評(píng)測(cè)指標(biāo)評(píng)測(cè)指標(biāo)AccuracyExactMatchF1ROUGE-LBLEU

評(píng)測(cè)指標(biāo)評(píng)測(cè)指標(biāo)AccuracyExactMatchF1ROUGE-LBLEU

評(píng)測(cè)指標(biāo)評(píng)測(cè)指標(biāo)AccuracyExactMatchF1ROUGE-LBLEU

單詞在標(biāo)準(zhǔn)答案中單詞不在標(biāo)準(zhǔn)答案中單詞在候選答案中TPFP單詞不在候選答案中FNTNF1用于衡量預(yù)測(cè)的候選答案和標(biāo)準(zhǔn)答案之間單詞的平均重疊率。常用于抽取式類型閱讀理解。評(píng)測(cè)指標(biāo)評(píng)測(cè)指標(biāo)AccuracyExactMatchF1ROUGE-LBLEUL代表著公共最長(zhǎng)子序列X和Y

分別為自動(dòng)生成的答案和參考答案M和N分別為參考答案和候選答案的長(zhǎng)度，即所包含詞語(yǔ)的個(gè)數(shù)ROUGE用于計(jì)算模型生成的答案和標(biāo)準(zhǔn)答案之間的重疊字詞數(shù)量來(lái)評(píng)估答案的質(zhì)量。常用于自由文本類型閱讀理解評(píng)測(cè)指標(biāo)評(píng)測(cè)指標(biāo)AccuracyExactMatchF1ROUGE-LBLEULEU用于計(jì)算生成的候選答案和標(biāo)準(zhǔn)答案之間的相似度，測(cè)試候選答案的可靠性、可讀性。常用于自由文本類型閱讀理解

任務(wù)分類評(píng)測(cè)指標(biāo)基于深度學(xué)習(xí)的閱讀理解模型閱讀理解概述項(xiàng)目實(shí)踐目錄總結(jié)與思考基于深度學(xué)習(xí)的閱讀理解模型1傳統(tǒng)深度學(xué)習(xí)基本框架表示層：將字詞轉(zhuǎn)換為數(shù)字表示。隨機(jī)或者導(dǎo)入預(yù)訓(xùn)練的詞向量(如glove,word2vec)或者字符級(jí)別向量。編碼層:利用編碼器（如LSTM,CNN）將向量進(jìn)行編碼，獲取包含上下文語(yǔ)義的表示。交互層:尋找文本與問(wèn)題的有用的信息，盡可能使這兩產(chǎn)生聯(lián)系、交互。答案預(yù)測(cè)層:利用前幾層積累的信息進(jìn)行預(yù)測(cè)并輸出答案，該層結(jié)構(gòu)取決于閱讀理解任務(wù)類型。基于深度學(xué)習(xí)的閱讀理解模型2斯坦福注意力閱讀器基于深度學(xué)習(xí)的閱讀理解模型3雙重注意力閱讀器Onehot編碼雙向GRU相似度計(jì)算C2Q&Q2C注意力點(diǎn)乘預(yù)測(cè)詞典V中每個(gè)單詞的概率基于深度學(xué)習(xí)的閱讀理解模型4R-Net基于深度學(xué)習(xí)的閱讀理解模型1傳統(tǒng)深度學(xué)習(xí)基本框架表示層：將字詞轉(zhuǎn)換為數(shù)字表示。隨機(jī)或者導(dǎo)入預(yù)訓(xùn)練的詞向量(如glove,word2vec)或者字符級(jí)別向量。編碼層:利用編碼器（如LSTM,CNN）將向量進(jìn)行編碼，獲取包含上下文語(yǔ)義的表示。交互層:尋找文本與問(wèn)題的有用的信息，盡可能使這兩產(chǎn)生聯(lián)系、交互。答案預(yù)測(cè)層:利用前幾層積累的信息進(jìn)行預(yù)測(cè)并輸出答案，該層結(jié)構(gòu)取決于閱讀理解任務(wù)類型。基于深度學(xué)習(xí)的閱讀理解模型5基于預(yù)訓(xùn)練語(yǔ)言模型的基本框架基于深度學(xué)習(xí)的閱讀理解模型6KT-NET基于深度學(xué)習(xí)的閱讀理解模型7SG-NET任務(wù)分類評(píng)測(cè)指標(biāo)基于深度學(xué)習(xí)的閱讀理解模型閱讀理解概述項(xiàng)目實(shí)踐目錄總結(jié)與思考項(xiàng)目實(shí)踐項(xiàng)目實(shí)踐項(xiàng)目介紹項(xiàng)目準(zhǔn)備模型構(gòu)建模型訓(xùn)練及測(cè)試項(xiàng)目實(shí)踐項(xiàng)目實(shí)踐項(xiàng)目介紹項(xiàng)目準(zhǔn)備模型構(gòu)建模型訓(xùn)練及測(cè)試本實(shí)驗(yàn)結(jié)合當(dāng)前流行的深度學(xué)習(xí)成果--預(yù)訓(xùn)練語(yǔ)言模型BERT和目前主流的深度學(xué)習(xí)框架Pytorch來(lái)處理傳統(tǒng)的閱讀理解數(shù)據(jù)集之一—SQuADV1.1。項(xiàng)目實(shí)踐項(xiàng)目實(shí)踐項(xiàng)目介紹項(xiàng)目準(zhǔn)備模型構(gòu)建模型訓(xùn)練及測(cè)試本實(shí)驗(yàn)旨在鍛煉讀者以下三方面能力：1）掌握數(shù)據(jù)預(yù)處理的相關(guān)操作；2）了解預(yù)訓(xùn)練語(yǔ)言模型的工作原理；3）掌握基本的閱讀理解系統(tǒng)運(yùn)作流程。其中，項(xiàng)目的主要思路如下：1.安裝相關(guān)框架，2.獲取數(shù)據(jù)集數(shù)據(jù)并進(jìn)行處理，3.下載并導(dǎo)入預(yù)訓(xùn)練語(yǔ)言模型，4.基于預(yù)訓(xùn)練語(yǔ)言模型的閱讀理解模型構(gòu)建，5.模型訓(xùn)練，6.模型推理，7.模型測(cè)試。項(xiàng)目實(shí)踐項(xiàng)目實(shí)踐項(xiàng)目介紹項(xiàng)目準(zhǔn)備模型構(gòu)建模型訓(xùn)練及測(cè)試1數(shù)據(jù)集介紹https://rajpurkar.github.io/SQuAD-explorer