2023學年完整公開課版TFIDF算法_第1頁
2023學年完整公開課版TFIDF算法_第2頁
2023學年完整公開課版TFIDF算法_第3頁
2023學年完整公開課版TFIDF算法_第4頁
2023學年完整公開課版TFIDF算法_第5頁
已閱讀5頁，還剩6頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

TF-IDF算法目錄ContentsTF-IDF算法概述1PART概述概述如果某個詞或短語在一篇文章中出現的頻率很高，并且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區(qū)分能力，適合用來分類通過計算詞語的權重，可以找出文檔中的關鍵詞，從而確定分類的依據。常用的詞語權重計算方法為TF-IDF算法。概述TF-IDF算法的公式詞頻TF的計算公式TF－IDF=TF(詞頻)×IDF(逆文檔頻率)逆文檔頻率IDF的計算公式2PARTTF-IDF算法TF-IDF算法TF-IDF值越大，則說明這個詞對這篇文章的區(qū)分度就越高，取TF-IDF值較大的幾個詞，就可以當做這篇文章的關鍵詞。例如，一個文檔中一共有100個單詞，其中單詞flower出現的次數為5，則TF=5/100，結果為0.05。樣本中一共有10000000個文檔，其中出現單詞flower的文檔有1000個，則IDF=log(10000000/1000)，結果為4。因此，flower的TF-IDF值為：TF－IDF=TF×IDF=0.05×4=0.2。nltk.text模塊中提供了TextCollection類來表示一組文本，它可以加載文本列表，或者包含一個或多個文本語料庫，并且支持計數、協調、配置等，例如創(chuàng)建一個TextCollection實例，代碼如下。TF-IDF算法如果想知道某個單詞在文本中的權重，則需要調用方法實現，該方法會返回一個tf_idf值，示例代碼如下。TF-IDF算法參考文獻[1]黑馬程序員.Python數據分析與應用

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論