自然語言處理-原理、方法與應(yīng)用

讀書筆記模板自然語言處理——原理、方法與應(yīng)用01思維導(dǎo)圖目錄分析精彩摘錄內(nèi)容摘要讀書筆記作者介紹目錄0305020406思維導(dǎo)圖自然語言處理原理書自然語言處理方法知識模型內(nèi)容模型第章小結(jié)任務(wù)自然語言處理機(jī)器數(shù)據(jù)文本技術(shù)環(huán)境生成本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要本書系統(tǒng)闡述自然語言處理基礎(chǔ)知識，以及自然語言處理高級模型應(yīng)用等高級知識。全書共11章：第1~5章為自然語言處理的基礎(chǔ)知識，第6~11章則將自然語言處理知識應(yīng)用于實戰(zhàn)。書中主要內(nèi)容包括預(yù)訓(xùn)練模型、文本分類、機(jī)器閱讀理解、命名實體識別、文本生成、模型蒸餾與剪枝及損失函數(shù)等知識。書中包含大量應(yīng)用示例，不僅可以學(xué)會理論知識還可以靈活應(yīng)用。書中示例基于Linux與PyTorch環(huán)境開發(fā)，讀者在學(xué)習(xí)自然語言處理知識的同時還可學(xué)會PyTorch框架技術(shù)，內(nèi)容完整、步驟清晰，提供了工程化的解決方案。本書可作為有一定深度學(xué)習(xí)基礎(chǔ)的讀者的入門書，也可作為從事自然語言處理算法工作的技術(shù)人員及培訓(xùn)機(jī)構(gòu)的參考書。目錄分析1.1基于深度學(xué)習(xí)的自然語言處理1.2本書章節(jié)脈絡(luò)1.3自然語言處理算法流程1.4小結(jié)第1章導(dǎo)論2.1Linux服務(wù)器2.2Python虛擬環(huán)境2.3PyCharm遠(yuǎn)程連接服務(wù)器2.4screen任務(wù)管理第2章Python開發(fā)環(huán)境配置2.6小結(jié)2.5Docker技術(shù)第2章Python開發(fā)環(huán)境配置2.1Linux服務(wù)器2.1.1MobaXterm2.1.2使用MobaXterm連接遠(yuǎn)程服務(wù)器2.1.3在服務(wù)器上安裝Python開發(fā)環(huán)境2.1.4使用Anaconda國內(nèi)源2.1.5pip設(shè)定永久阿里云源3.1人工規(guī)則與自然語言處理3.2機(jī)器學(xué)習(xí)與自熱語言處理3.3深度學(xué)習(xí)與自然語言處理3.4小結(jié)第3章自然語言處理的發(fā)展進(jìn)程3.2機(jī)器學(xué)習(xí)與自熱語言處理3.2.1詞袋模型3.2.2n-gram3.2.3頻率與逆文檔頻率4.1淺層無監(jiān)督預(yù)訓(xùn)練模型4.3其他預(yù)訓(xùn)練模型4.2深層無監(jiān)督預(yù)訓(xùn)練模型第4章無監(jiān)督學(xué)習(xí)的原理與應(yīng)用4.5小結(jié)4.4自然語言處理四大下游任務(wù)第4章無監(jiān)督學(xué)習(xí)的原理與應(yīng)用4.2深層無監(jiān)督預(yù)訓(xùn)練模型4.2.1BERT4.2.2Self-AttentionLayer原理4.2.3Self-AttentionLayer的內(nèi)部運算邏輯4.2.4Multi-HeadSelf-Attention4.2.5LayerNormalization4.2.6BERT預(yù)訓(xùn)練4.2.7BERT的微調(diào)過程4.3其他預(yù)訓(xùn)練模型4.3.1RoBERTa4.3.2ERNIE4.3.3BERT_WWM4.3.4ALBERT4.3.5Electra4.3.6NEZHA4.3.7NLP預(yù)訓(xùn)練模型對比4.4自然語言處理四大下游任務(wù)4.4.1句子對分類任務(wù)4.4.2單句子分類任務(wù)4.4.3問答任務(wù)4.4.4單句子標(biāo)注任務(wù)5.1生成式對抗絡(luò)5.3小結(jié)5.2元學(xué)習(xí)第5章無監(jiān)督學(xué)習(xí)進(jìn)階5.2元學(xué)習(xí)5.2.1Metric-BasedMethod5.2.2Model-BasedMethod5.2.3Pretrain-BasedMethod6.1賽題任務(wù)6.3代碼框架6.2環(huán)境搭建第6章預(yù)訓(xùn)練6.5小結(jié)6.4數(shù)據(jù)分析實踐第6章預(yù)訓(xùn)練6.4數(shù)據(jù)分析實踐6.4.1數(shù)據(jù)預(yù)處理6.4.2預(yù)訓(xùn)練任務(wù)模型構(gòu)建與數(shù)據(jù)生成6.4.3模型訓(xùn)練7.1數(shù)據(jù)分析7.2環(huán)境搭建7.3代碼框架7.4文本分類實踐7.5小結(jié)12345第7章文本分類7.4文本分類實踐7.4.1數(shù)據(jù)預(yù)處理7.4.2模型構(gòu)建7.4.3數(shù)據(jù)迭代器7.4.4模型訓(xùn)練7.4.5模型預(yù)測8.1機(jī)器閱讀理解的定義8.2評測方法8.3研究方法8.4經(jīng)典結(jié)構(gòu)第8章機(jī)器閱讀理解8.6小結(jié)8.5多文檔機(jī)器閱讀理解實踐第8章機(jī)器閱讀理解8.1機(jī)器閱讀理解的定義8.1.1完形填空8.1.2多項選擇8.1.3片段抽取8.1.4自由回答8.1.5其他任務(wù)8.3研究方法8.3.1基于規(guī)則的方法8.3.2基于神經(jīng)絡(luò)的方法8.3.3基于深層語義的圖匹配方法8.4經(jīng)典結(jié)構(gòu)8.4.1BiDAF模型8.4.2QANet模型8.4.3基于BERT模型的機(jī)器閱讀理解8.5多文檔機(jī)器閱讀理解實踐8.5.1疫情政務(wù)問答助手8.5.2信息檢索8.5.3多任務(wù)學(xué)習(xí)8.5.4實踐9.1NER技術(shù)的發(fā)展現(xiàn)狀9.3命名實體識別模型9.2命名實體識別的定義第9章命名實體識別9.5小結(jié)9.4命名實體識別實驗第9章命名實體識別9.3命名實體識別模型9.3.1預(yù)訓(xùn)練模型9.3.2下接結(jié)構(gòu)9.3.3條件隨機(jī)場9.4命名實體識別實驗9.4.1數(shù)據(jù)介紹9.4.2評估指標(biāo)9.4.3數(shù)據(jù)預(yù)處理9.4.4模型構(gòu)建9.4.5數(shù)據(jù)迭代器9.4.6模型訓(xùn)練9.4.7模型預(yù)測10.1文本生成的發(fā)展現(xiàn)狀10.2基于預(yù)訓(xùn)練模型的文本生成模型10.3文本生成任務(wù)實踐10.4小結(jié)第10章文本生成10.1文本生成的發(fā)展現(xiàn)狀10.1.1文本生成模板10.1.2變分自編碼器10.1.3序列到序列技術(shù)10.3文本生成任務(wù)實踐10.3.1數(shù)據(jù)介紹10.3.2評估指標(biāo)10.3.3模型構(gòu)建10.3.4數(shù)據(jù)迭代器10.3.5模型訓(xùn)練10.3.6模型預(yù)測11.1損失函數(shù)11.3損失函數(shù)的進(jìn)階11.2常用的損失函數(shù)第11章?lián)p失函數(shù)與模型瘦身11.5小結(jié)11.4模型瘦身第11章?lián)p失函數(shù)與模型瘦身11.2常用的損失函數(shù)11.2.1回歸11.2.2分類11.3損失函數(shù)的進(jìn)階11.3.1樣本不均衡11.3.2FocalLoss11.3.3DiceLoss11.3.4拒識11.3.5帶噪學(xué)習(xí)11.4模型瘦身11.4.1知識蒸餾11.4.2模型剪枝讀書筆記讀書筆記這是《自然語言處理——原理