預處理的流程_第1頁
預處理的流程_第2頁
預處理的流程_第3頁
預處理的流程_第4頁
預處理的流程_第5頁
已閱讀5頁，還剩9頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

預處理的流程教師：亢華愛北京信息職業(yè)技術學院目錄Contents文本分詞概述詞形歸一化刪除停用詞1PART概述概述導入文本數據后，并不能直接被用來分析，而是要進行一系列的預處理操作，主要包括分詞、詞形統(tǒng)一化、刪除停用詞等，這些都是文本預處理要完成的步驟。文本預處理一般包括分詞、詞形歸一化、刪除停用詞，具體流程如圖8-3所示。圖8-3文本預處理的流程概述圖8-3文本預處理的流程圖8-3中列出了文本預處理的每個步驟，其中左側為示例，右側為預處理流程最開始的時候文本為”lamlookingatthescenery”，它經過第一步分詞處理之后，按空格將整個句子劃分成多個單詞，這里面有個別單詞用的是將來進行時的形式，比如”looking”這時可以執(zhí)行下一步驟到詞形歸一化，把不影響詞性的后綴（如ing）去掉，提取詞干”look”然后繼續(xù)下一步驟到刪除停用詞，比如am、the等都屬于停用詞去除完以后將剩余的單詞組合成一個列表進行返回2PART文本分詞文本分詞詞典的構造比較流行的是雙數組的trie樹01構造詞典分詞算法常見的主要有正向最大匹配、反向最大匹配、雙向最大匹配、語言模型方法、最短路徑算法等02分詞算法的操作預處理過程中必不可少的一個操作，它可以分為兩步目前文本分詞已經有很多比較成熟的算法和工具，在網上可以搜索到很多，本書使用的是NLTK庫和jieba庫，分別用作英文和中文的分詞操作文本分詞3PART詞形歸一化詞形歸一化基于英文語法的要求live、lives（第三人稱單數）living（現(xiàn)在分詞）文檔中經常會使用單詞的不同形態(tài)存在大量意義相近的同源詞able、unable、disability如果希望只輸入一個詞，就能夠返回它所有的同源詞文檔，那么這樣的搜索是非常有用的詞形歸一化am，are，is——becars，car's，cars'——car詞形歸一化包括詞干提取和詞形還原，它們的目的都是為了減少曲折變化的形式，將派生詞轉化為基本形式。詞干提取和詞形還原所代表的意義不同前者通常是一個很粗略的去除單詞兩端詞綴的過程，后者是指利用詞匯表和詞形分析去除曲折的詞綴，以返回詞典中包含的詞的過程4PART刪除停用詞刪除停用詞刪除停用詞也是比較重要的，主要是因為并不是文本中的每個單詞或字符都能夠表明文本的特征，比如說“the”“的”“你”“I”“他”等，這些詞應該從文本中清除掉?？梢栽诰W上下載一份中文或英文的停用詞表來作為去停用詞的參考參考文獻[1]黑馬程序員.Pyth

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論