自然語言處理-基于深度學(xué)習(xí)的理論與案例 教學(xué)大綱

自然語言處理教與學(xué)教學(xué)大綱課程代碼：課程名稱：自然語言處理英文名稱：NaturalLanguageProcessing課程性質(zhì)：選修學(xué)分課時：3學(xué)分，48課時教學(xué)對象：大數(shù)據(jù)、人工智能等計算機(jī)類專業(yè)，及其交叉學(xué)科專業(yè)的大三本科學(xué)生或碩士研究生考核方式：出勤及平時專題討論并做展示匯報占總評成績的50%、期末開卷或論文考試占總評成績的50%教學(xué)方式：課堂講授占比50%，實(shí)踐討論占比50%。教學(xué)中要求理論聯(lián)系實(shí)際，采用導(dǎo)入式教學(xué)、案例教學(xué)和討論教學(xué)法。教師將會使用電腦放映教學(xué)PPT。出勤要求：要求學(xué)生關(guān)閉自有一切電子設(shè)備；不能無故缺席上課；上課專心聽講，積極參與課堂討論；課后認(rèn)真復(fù)習(xí)課堂上講授內(nèi)容，獨(dú)立完成教師布置的任務(wù)；并預(yù)習(xí)新課。學(xué)生缺勤不得多于總課時的四分之一。教師可以根據(jù)考勤情況決定學(xué)生是否可以參加考試、是否扣分。01課程簡介本課程主要介紹了利用深度學(xué)習(xí)進(jìn)行自然語言處理的模型、原理、任務(wù)和應(yīng)用等方面的具體細(xì)節(jié)和基本要點(diǎn)。同時，它包括利用深度自然語言處理技術(shù)進(jìn)行實(shí)際任務(wù)處理。這是針對具有計算機(jī)編程語言基礎(chǔ)的研究生的專業(yè)選修課程，內(nèi)容包括：自然語言處理基礎(chǔ)知識、依存句法分析、表征學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)語言模型、前饋神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、轉(zhuǎn)換器、大語言模型等。1.教學(xué)目標(biāo)因此，本課程的教學(xué)目標(biāo)是，通過教學(xué)使學(xué)生對深度學(xué)習(xí)自然語言處理的基本概念和基本方法有正確的理解和較深刻的認(rèn)識，對編程使用深度學(xué)習(xí)模型來完成自然語言處理任務(wù)有較系統(tǒng)的掌握。2.先修課程Python或其他一門編程語言。3.課程學(xué)習(xí)資料（1）教材指定教材：雷擎，《自然語言處理——基于深度學(xué)習(xí)的理論與案例》，清華大學(xué)出版社，2024年3月。（2）參考教材[1]屠可偉等，動手學(xué)自然語言處理，人民郵電出版社，2024年05月（3）在線慕課網(wǎng)站：/detail/2375759814.課程答疑答疑郵箱：qleii@126.com在線課程論壇02教學(xué)內(nèi)容第1章自然語言處理基礎(chǔ)知識【教學(xué)目標(biāo)和要求】：復(fù)習(xí)python語言及常用第三方庫，了解自然語言處理的發(fā)展歷史和任務(wù)，了解自然語言處理的數(shù)學(xué)和計算機(jī)基礎(chǔ)知識，掌握數(shù)學(xué)基礎(chǔ)的向量、維度、矩陣、期望、方差、梯度等理論和計算方法。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

1.0python復(fù)習(xí)

1.1自然語言處理概述

1.2數(shù)學(xué)基礎(chǔ)之線性代數(shù)

1.3數(shù)學(xué)基礎(chǔ)之概率分布

1.4數(shù)學(xué)基礎(chǔ)之梯度下降

1.5梯度下降算法示例

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第2章依存句法分析【教學(xué)目標(biāo)和要求】：了解句法分析、依存句法分析的概念，學(xué)會依存關(guān)系形式化表達(dá)、依存樹方法，理解基于轉(zhuǎn)移的依存句法分析、神經(jīng)依存句法分析的原理與架構(gòu)。教學(xué)方式：講授準(zhǔn)備知識：無【主要內(nèi)容】：

2.1什么是句法分析

2.2依存語法

2.3基于轉(zhuǎn)移的依存句法分析

2.4神經(jīng)依存句法分析

【教學(xué)時數(shù)】：2作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第3章表征學(xué)習(xí)【教學(xué)目標(biāo)和要求】：掌握表征學(xué)習(xí)概念，了解表征學(xué)習(xí)的作用和種類、自監(jiān)督表征學(xué)習(xí)的方法，掌握主成分分析PCA的原理，及PCA在表征學(xué)習(xí)中的作用和實(shí)現(xiàn)。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：3.1表征學(xué)習(xí)概念

3.2NLP自監(jiān)督表征學(xué)習(xí)

3.3主成分分析PCA

3.4PCA應(yīng)用實(shí)例

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第4章神經(jīng)網(wǎng)絡(luò)語言模型【教學(xué)目標(biāo)和要求】：學(xué)習(xí)詞袋模型和TF-IDF的原理和方法，理解詞嵌入，掌握Word2Vec原理，及使用Word2Vec進(jìn)行自然語言向量化的應(yīng)用方法。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

4.1詞袋模型和TF-IDF

4.2詞嵌入

4.3Word2Vec

4.4Word2Vec應(yīng)用實(shí)例

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第5章前饋神經(jīng)網(wǎng)絡(luò)【教學(xué)目標(biāo)和要求】：掌握感知器的概念、組成和作用原理，了解常用激活函數(shù)，掌握前饋神經(jīng)網(wǎng)絡(luò)的概念，前向傳播與反向傳播的原理和過程。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

5.1感知器

5.2反向傳播過程

5.3學(xué)習(xí)原理

5.4模型構(gòu)建實(shí)例

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第6章循環(huán)神經(jīng)網(wǎng)絡(luò)RNN

【教學(xué)目標(biāo)和要求】：了解序列學(xué)習(xí)和序列學(xué)習(xí)的任務(wù)，了解RNN神經(jīng)元架構(gòu)，理解RNN原理pandas庫，掌握困惑度的評價原理和方法，實(shí)現(xiàn)RNN語言模型構(gòu)建。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

6.1序列學(xué)習(xí)

6.2RNN原理

6.3RNN語言模型

6.4RNN語言模型構(gòu)建

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第7章RNN進(jìn)階【教學(xué)目標(biāo)和要求】：掌握LSTM、Seq2Seq、注意力機(jī)制的概念，理解這些模型的工作原理和過程，了解Seq2Seq模型任務(wù)。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

7.1LSTM

7.2Seq2Seq模型

7.3注意力機(jī)制

7.4Seq2Seq模型任務(wù)

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第8章轉(zhuǎn)換器【教學(xué)目標(biāo)和要求】：掌握轉(zhuǎn)換器的概念，掌握轉(zhuǎn)換器的組成和架構(gòu)，理解轉(zhuǎn)換器工作的原理，理解自注意力機(jī)制的原理，掌握BLUE評價指標(biāo)的計算方法。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

8.1轉(zhuǎn)換器概述

8.2轉(zhuǎn)換器工作原理

8.3自注意力機(jī)制

8.4BLEU分?jǐn)?shù)

【教學(xué)時數(shù)】：4作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整第9章大語言模型【教學(xué)目標(biāo)和要求】：了解大語言模型的概念和目前流行的大語言模型，了解Bert大語言模型的架構(gòu)和應(yīng)用。教學(xué)方式：講授，編程實(shí)驗(yàn)準(zhǔn)備知識：無【主要內(nèi)容】：

9.1什么是大語言模型

9.2Bert大語言模型

【教學(xué)時數(shù)】：2作業(yè)與思考題：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整參考資料：見課件，教師根據(jù)學(xué)生接受情況有調(diào)整?參考書籍本書主要介紹神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和自然語言處理的基本原理、方法和應(yīng)用，全書分為3部分，每部分涵蓋了不同的主題:

第1部分(第1～3章)介紹神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的基礎(chǔ)知識，包括人工神經(jīng)網(wǎng)絡(luò)的起源和發(fā)展，神經(jīng)網(wǎng)絡(luò)的表示方法、數(shù)學(xué)基礎(chǔ)理論和機(jī)器學(xué)習(xí)基礎(chǔ)，以及表征學(xué)習(xí)的概念；第2部分(第4章和第5章)介紹自然語言處理和轉(zhuǎn)換器網(wǎng)絡(luò)；第3部分(第6～10章)介紹自然語言處理的案例分析，包括文本分類任務(wù)、實(shí)體識別、文本生成和文本摘要的方法和技術(shù)、基于評審的問答系統(tǒng)等。本書是學(xué)習(xí)并實(shí)踐神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和自然語言處理的實(shí)用指南，每章都給出了代碼示例和實(shí)際案例，幫助讀者理解和實(shí)踐所學(xué)的知識。本書采用漸進(jìn)式講解，理論與實(shí)踐結(jié)合，強(qiáng)調(diào)自然語言處理，并且關(guān)注前沿技術(shù)和趨勢，適合作為高等學(xué)校神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和自然語言處理相關(guān)課程的教材，也是相關(guān)專業(yè)人員很好的參考用書。第1部分神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)第1章人工神經(jīng)網(wǎng)絡(luò)/31.1起源和發(fā)展31.2什么是深度學(xué)習(xí)51.3神經(jīng)網(wǎng)絡(luò)的表示81.4數(shù)學(xué)基礎(chǔ)理論121.4.1數(shù)據(jù)類型121.4.2函數(shù)基礎(chǔ)151.4.3線性代數(shù)201.4.4梯度計算281.4.5概率分布301.4.6代碼示例361.5機(jī)器學(xué)習(xí)基礎(chǔ)381.5.1什么是分類401.5.2一個簡單的分類器:

樸素貝葉斯451.5.3一個簡單的神經(jīng)網(wǎng)絡(luò):

邏輯回歸471.5.4評估分類結(jié)果541.6表征學(xué)習(xí)571.6.1主成分分析581.6.2詞袋的表征66第2章前饋神經(jīng)網(wǎng)絡(luò)/692.1單層感知器692.2三層神經(jīng)網(wǎng)絡(luò)752.3激活函數(shù)802.3.1線性函數(shù)802.3.2邏輯函數(shù)812.4更新權(quán)重872.4.1學(xué)習(xí)規(guī)則872.4.2反向傳播952.4.3梯度下降1022.5代碼示例1052.6修改和擴(kuò)展1072.6.1預(yù)期泛化誤差1082.6.2正則化的思想1132.6.3調(diào)整超參數(shù)1192.6.4其他的問題123第3章深度學(xué)習(xí)網(wǎng)絡(luò)/1263.1深度的定義1273.2卷積神經(jīng)網(wǎng)絡(luò)1283.2.1什么是卷積計算1293.2.2感受野與卷積層1313.2.3特征圖和池化層1363.2.4一個卷積網(wǎng)絡(luò)1383.2.5用于文本分類1413.3循環(huán)神經(jīng)網(wǎng)絡(luò)1433.3.1不等長序列1433.3.2循環(huán)連接的構(gòu)成1453.3.3長短期記憶網(wǎng)絡(luò)1483.3.4三種訓(xùn)練方法1523.3.5一個簡單的實(shí)現(xiàn)1553.4深度分布式表征1603.4.1自編碼器1603.4.2神經(jīng)語言模型167第2部分自然語言處理與轉(zhuǎn)換器網(wǎng)絡(luò)第4章自然語言處理/1794.1歷史發(fā)展1794.2常見任務(wù)1834.2.1字符和語音識別1834.2.2形態(tài)分析1834.2.3句法分析1854.2.4詞匯語義1864.2.5關(guān)系語義1874.2.6話語1884.2.7高級任務(wù)1904.3未來趨勢1924.4認(rèn)識轉(zhuǎn)換器1954.4.1編碼器到解碼器框架1964.4.2注意力機(jī)制1984.4.3遷移學(xué)習(xí)2014.4.4Hugging

Face生態(tài)2054.4.5面對挑戰(zhàn)211第5章轉(zhuǎn)換器網(wǎng)絡(luò)/2125.1轉(zhuǎn)換器介紹2125.2理解編碼器2155.2.1輸入嵌入層2175.2.2位置編碼2185.2.3多頭自注意力層2215.2.4殘值連接與層歸一化2305.2.5前饋網(wǎng)絡(luò)層2325.3理解解碼器2335.3.1掩碼多頭注意力層2355.3.2多頭注意力層2395.3.3線性層和Softmax層2425.3.4運(yùn)行流程2435.4訓(xùn)練轉(zhuǎn)換器2445.5轉(zhuǎn)換器家族2465.5.1編碼器分支2465.5.2解碼器分支2535.5.3編碼器到解碼器分支2555.6概括258第3部分自然語言處理案例分析第6章文本分類案例分析/2616.1數(shù)據(jù)集2616.1.1查看數(shù)據(jù)2626.1.2轉(zhuǎn)換到數(shù)據(jù)框2656.1.3查看類別分布2666.1.4查看推文長度2666.2從文本到標(biāo)記2676.2.1字符標(biāo)記化2676.2.2詞標(biāo)記化2696.2.3子詞標(biāo)記化2706.2.4整個數(shù)據(jù)集2726.3訓(xùn)練分類器2746.3.1特征提取器2756.3.2微調(diào)轉(zhuǎn)換器283第7章實(shí)體識別案例分析/2887.1數(shù)據(jù)集2887.2多語言轉(zhuǎn)換器2927.3標(biāo)記化管道2947.4模型類剖析2977.4.1模型體和頭2977.4.2創(chuàng)建自定義模型2977.4.3加載自定義模型2997.5標(biāo)記文本3017.6績效衡量3037.7微調(diào)XLMR3047.8錯誤分析305第8章文本生成