人工智能深度學(xué)習(xí)綜合實踐 課件 8.自然語言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用-自然語言處理基本任務(wù)

自然語言處理預(yù)訓(xùn)練模型訓(xùn)練與應(yīng)用自然語言處理模型應(yīng)用課堂導(dǎo)入你知道自然語言處理技術(shù)的目標(biāo)是什么嗎？課堂導(dǎo)入

自然語言處理涉及計算機(jī)與人類語言之間的交互，主要研究如何通過編程使計算機(jī)大量分析和處理自然語言數(shù)據(jù)。該技術(shù)的目標(biāo)是使計算機(jī)能夠理解自然語言，包括發(fā)現(xiàn)語言的上下文細(xì)微差別，準(zhǔn)確地提取語言中包含的信息和觀點(diǎn)等。目前自然語言處理主要應(yīng)用于文本分類、機(jī)器翻譯、觀點(diǎn)提取、智能回答等方面。項目目標(biāo)（1）了解自然語言處理的基本任務(wù)。（2）掌握文本分類任務(wù)的基本原理。（3）能夠針對應(yīng)用場景訓(xùn)練文本分類預(yù)訓(xùn)練模型。（4）能夠應(yīng)用文本分類模型進(jìn)行預(yù)測。輿情監(jiān)測自動摘要項目描述自然語言處理是計算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向，研究能實現(xiàn)人與計算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法，是一門融語言學(xué)、計算機(jī)科學(xué)和數(shù)學(xué)于一體的科學(xué)。因此，這一領(lǐng)域既涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它在語言學(xué)的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現(xiàn)自然語言通信的計算機(jī)系統(tǒng)。觀點(diǎn)提取文本分類語音識別機(jī)器翻譯自然語言處理自然語言處理基本任務(wù)自然語言生成（NaturalLanguageGeneration，NLG）自然語言理解（NaturalLanguageUnderstanding，NLU）自然語言處理領(lǐng)域的基本任務(wù)自然語言處理基本任務(wù)詞法分析自然語言處理的基本任務(wù)包括詞法分析、句法分析、語義分析、信息抽取以及頂層任務(wù)，以下是各個任務(wù)的基本步驟。分詞新詞發(fā)現(xiàn)形態(tài)分析詞性標(biāo)注拼寫糾正對文本進(jìn)行切詞處理，將一個文本拆分成多個詞語；發(fā)現(xiàn)新的網(wǎng)絡(luò)流行詞匯；分析單詞的形態(tài)組成，包括詞干、詞根、詞綴等；確定文本中的每個詞的詞性，包括動詞、名詞、代詞、形容詞等；找到錯誤的詞，并對其進(jìn)行修改。標(biāo)出句子中的短語塊，如名詞短語、動詞短語等；給每個句子中的詞語標(biāo)注上超級標(biāo)簽，超級標(biāo)簽為句法樹中與該詞相關(guān)的樹形結(jié)構(gòu)；分析句子的成分，給出一棵有終結(jié)符和非終結(jié)符構(gòu)成的句法樹；分析句子中詞與詞之間的依存關(guān)系，給一棵由詞語依存關(guān)系構(gòu)成的依存句法樹；確定一段文本屬于哪一種語言；給沒有明顯句子邊界的文本添加邊界。自然語言處理基本任務(wù)句法分析組塊分析超級標(biāo)簽標(biāo)注成分句法分析依存句法分析語種識別句子邊界檢測對有歧義的詞確定準(zhǔn)確的詞義；標(biāo)注句子中的語義角色類標(biāo)和語義角色；一種抽象語義的表現(xiàn)形式。自然語言處理基本任務(wù)語義分析語義消歧語義角色標(biāo)注抽象語義表分析從文本中表示出命名實體，實體一般包括人名、地名、機(jī)構(gòu)名、時間、日期、貨幣等；確定文本中兩個實體之間的關(guān)系類型；從文本中抽取出符合要求的術(shù)語；從無結(jié)構(gòu)的文本中抽取結(jié)構(gòu)化事件；專門用于解決同名實體產(chǎn)生歧義問題的技術(shù)；對文本里面所蘊(yùn)含的主觀性情緒進(jìn)行評價。自然語言處理基本任務(wù)信息抽取命名實體標(biāo)識關(guān)系抽取術(shù)語抽取事件抽取實體消歧情感分析將兩種不同的語言進(jìn)行轉(zhuǎn)換；對較長的文本進(jìn)行內(nèi)容梗概的提??；針對用戶提出的問題給出相應(yīng)的回答；與用戶進(jìn)行聊天，從對話中捕獲意圖，并分析執(zhí)行；機(jī)器閱讀完文章后，提出一些文章相關(guān)問題，機(jī)器能夠做出回答；給定一篇文章，對文章的質(zhì)量進(jìn)行打分或分級。自然語言處理基本任務(wù)頂層任務(wù)機(jī)器翻譯文本摘要問答系統(tǒng)對話系統(tǒng)閱讀理解自動文章分級文本分類任務(wù)文本預(yù)處理文本表示分類模型構(gòu)建文本分類任務(wù)文本預(yù)處理

文本預(yù)處理的目標(biāo)是將人類使用的自然語言轉(zhuǎn)換為機(jī)器能夠識別的符號語言。文本預(yù)處理過程文本分類任務(wù)分詞：指將文本分成單個的詞語。一般來講，所有的自然語言處理任務(wù)基本上都要對文本進(jìn)行分詞處理，因為詞是最小的語義單元。去停用詞：指去掉對于分類任務(wù)沒有作用的詞。目前一些通用的停用詞詞典中大約有

2000個詞，主要包括一些助詞和連接詞，如“啊”“并且”“因此”等。歸一化：指將某一類數(shù)據(jù)歸一化為某一標(biāo)簽。如將數(shù)字歸一化為DIGIT標(biāo)簽、將時間歸一化為TIME標(biāo)簽，以及將“今天”“明天”等表示時間的詞歸一化到TIME標(biāo)簽等。詞性標(biāo)注：指將文本中的詞匯按詞性進(jìn)行分類并標(biāo)注。在文本長度比較短的情況下，單純的文本信息太少，一般會把詞性也作為文本特征輸入分類器。文本分類任務(wù)文本表示

文本表示主要是將文本表示為向量。由于計算機(jī)只能進(jìn)行數(shù)值計算，因此需要將文本表示為數(shù)值型向量，以方便計算機(jī)進(jìn)行下一步的計算。

文本表示常用獨(dú)熱方法。獨(dú)熱方法就是把文本中所有的字都變成一個字典的形式，接著用“0”或“1”表示文本中的每個字。以文本“性相近，習(xí)相遠(yuǎn)”為例，如表8-1所示，共有6個需要表示的字和1個需要表示的標(biāo)點(diǎn)符號。要對文本進(jìn)行數(shù)值表示，就需要找出每個字和標(biāo)點(diǎn)符號在字典中出現(xiàn)的位置，把該位置填為“1”，否則填為“0”。文本分類任務(wù)分類模型構(gòu)建常用于文本分類模型構(gòu)建的算法文本分類任務(wù)

PaddleHub集成了很多用于自然語言處理文本分類任務(wù)的神經(jīng)網(wǎng)絡(luò)模型，如用于自然語言處理文本類的ernie、ernie_tiny、simnet_bow等，同時這些模型也可用于情感分類任務(wù)。本項目主要使用PaddleHub中的ernie_tiny模型進(jìn)行情感分類模型的訓(xùn)練和應(yīng)用，相比于其他模型，ernie_tiny模型體積較小，同時模型的預(yù)測速度較快。配置、訓(xùn)練和評估情感分類模型實施思路準(zhǔn)備數(shù)據(jù)預(yù)測結(jié)果配置模型評估模型訓(xùn)練模型知識