人工智能應用基礎 課件 項目五：文本分析你的評論表達你的喜好

《人工智能應用基礎》

項目五：你的評論表達你的喜好任務描述

☆

文本情感分析輸入一段客戶評價文字，對文字進行分析，了解客戶滿意度知識目標素質目標（1）培養(yǎng)學生吃苦耐勞的品質（2）培養(yǎng)學生團隊協(xié)作、互相幫助的精神（3）提高學生全面、系統(tǒng)考慮問題的意識。1.了解文本分析的基本流程了解分詞、詞向量的概念和作用理解文本分類的應用能力目標認識中文分詞的過程掌握詞向量的表示方法掌握使用深度學習進行文本分類的方法5.1了解中文分詞

5.2理解文本表示5.3了解文本分類模型5.4應用5.1了解中文分詞為什么需要中文分詞？自然語言人工語言人類社會約定俗成程序設計語言/機器語言漢語，英語等C++，Java，Python等簡潔長度和規(guī)則上都會有一定的冗余含糊、歧義無二義性如果李春來到了無錫，我請他吃飯。5.1了解中文分詞分詞：WordSegmentation在自然語言處理中，英文文本具有天然的空格作為區(qū)分，但是中文沒有明顯的分隔符，因此需要對中文進行分詞。單詞是語義的基本單位，句子和文檔都由大量單詞構成。中文分詞指將中文語句切分成一個個單獨的詞語。即將連續(xù)的自然語言文本，切分成具有語義合理性和完整性的詞匯序列。5.1了解中文分詞分詞：WordSegmentation5.1了解中文分詞常用的分詞工具現(xiàn)有的分詞方法可分為三大類：基于字符串匹配的分詞方法；基于理解的分詞方法；基于統(tǒng)計的分詞方法。5.1了解中文分詞常用的分詞工具jieba分詞：支持三種模式：（1）精確模式：試圖將句子最精確地切開，適合文本分析；（2）全模式：把句子中所有的可以成詞的詞語都掃描出來,速度非?？欤遣荒芙鉀Q歧義；（3）搜索引擎模式：在精確模式的基礎上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。5.1了解中文分詞案例5.1了解中文分詞常用的分詞工具SnowNLPTHULACNLPIR分詞系統(tǒng)5.1了解中文分詞5.2理解文本表示5.3了解文本分類模型5.4應用5.2理解文本表示機器無法直接識別人類語言，更不能對輸入的非結構化文本數(shù)據(jù)直接進行處理。所以重要的一步就是將非結構化文本數(shù)據(jù)轉化為計算機可以識別和處理的結構化數(shù)據(jù)，然后才能進行下一步任務，這一步稱為文本表示。為什么需要文本表示？5.2理解文本表示文本表示的兩種方法1.獨熱表示獨熱表示：將文本中的詞以高維向量的形式表示，從而將對文本的處理轉化為向量空間中的向量運算。其中，詞表中包含我們需要的所有詞，以詞表的長度大小作為詞向量的維度，向量中該詞所在的位置取1，其余位置都用0表示。5.2理解文本表示文本表示的兩種方法1.獨熱表示存在三個問題有序性問題語義鴻溝維度災難5.2理解文本表示文本表示的兩種方法2.分布式表示分布式表示：也被稱為詞嵌入，該方法通常將文本中的單詞輸入到某個預訓練模型中進行訓練，然后將其轉換為連續(xù)的稠密向量。其依據(jù)是分布式假設，即擁有相同或相似上下文語境的詞具有相同或相似的含義。

5.2理解文本表示西瓜呆瓜草莓“西瓜”在語義上更像“呆瓜”還是“草莓”呢？案例5.2理解文本表示西瓜呆瓜草莓向量化表示：相似度計算：向量化表示：0.01805,0.46956,0.50758,-0.59865,0.1858,0.0353,0.1479,0.2210,0.2251,0.28621,0.0347,0.04131,0.1150.325詞向量與語義相似度（WordEmbedding&SemanticSimilarity）對詞匯進行向量化表示，并據(jù)此實現(xiàn)詞匯的語義相似度計算向量化表示詞匯，并計算詞匯語義相似度車頭如何放置車牌前牌照怎么裝如何辦理北京牌照5.2理解文本表示向量化表示：相似度計算：向量化表示：0.844,-0.0.039,-0.789,-0.4990.355,0.238,-0.671,-0.743,0.197,0.619,0.-0.849,-0.652,0.7620.486文本語義相似度（TextSemanticSimilarity）依托全網海量數(shù)據(jù)和深度神經網絡技術，實現(xiàn)文本間的的語義相似度計算的能力車頭如何放置車牌前牌照怎么裝如何辦理北京牌照向量化表示文本并計算語義相似度5.2理解文本表示5.1了解中文分詞5.2理解文本表示5.3了解文本分類模型5.4項目開發(fā)文字內容的情感傾向分析5.3了解文本分類模型5.3了解文本分類模型5.3了解文本分類模型5.1了解中文分詞5.2理解文本表示5.3了解文本分類模型5.4應用5.4應用詞向量利用大數(shù)據(jù)和深度學習模型，將語言詞表中的詞映射成一個長度固定的向量。所有的詞向量構成一個向量空間，每一個詞都是這個詞向量空間中的一個點，據(jù)此實現(xiàn)詞匯之間的相似度計算和詞匯本身的向量化表示二向量表示的應用熱搜新聞詞個性推薦5.4應用評論觀點抽取功能自動分析評論關注點和評論觀點，并輸出評論觀點標簽及評論觀點。輸入單條用戶評論產品評論觀點挖掘5.4應用新聞摘要80字摘要：最后，朱愛勝書記提出，輔導員隊伍是我校思想政治教育的