2023學(xué)年完整公開課版NLTK與jieba概述

NLTK與jieba概述目錄ContentsJieba概述NLTK概述1PARTNLTK概述NLTK概述NLTK全稱為NaturalLanguageToolkit，它是一套基于Python的自然語言處理工具包可以方便地完成自然語言處理的任務(wù)，包括分詞、詞性標(biāo)注、命名實(shí)體識(shí)別（NER）及句法分析等NLTK概述NLTK是一個(gè)免費(fèi)的、開源的、社區(qū)驅(qū)動(dòng)的項(xiàng)目，它為超過50個(gè)語料庫和詞匯資源（如WordNet）提供了易于使用的接口，以及一套用于分類、標(biāo)記化、詞干化、解析和語義推理的文本處理庫。NLTK通過一張表來列舉NLTK中用于語言處理任務(wù)的一些常用模塊，具體如表所示NLTK概述語言處理任務(wù)nltk模塊功能描述獲取和處理語料庫nltk.corpus語料庫和詞典的標(biāo)準(zhǔn)化接口字符串處理nltk.tokenize，nltk.stem分詞，句子分解提取主干搭配發(fā)現(xiàn)nltk.collocations用于識(shí)別搭配工具，查找單詞之間的關(guān)聯(lián)關(guān)系詞性標(biāo)識(shí)符nltk.tag包含用于詞性標(biāo)注的類和接口分類nltk.classify，nltk.clusternltk.classify用類別標(biāo)簽標(biāo)記的接口；nltk.cluster包含了許多聚類算法如貝葉斯、EM、k-means分塊nltk.chunk在不受限制的文本識(shí)別非重疊語言組的類和接口解析nltk.parse對(duì)圖表、概率等解析的接口語義解釋nltk.sem，nltk.inference一階邏輯，模型檢驗(yàn)指標(biāo)評(píng)測nltk.metrics精度，召回率，協(xié)議系數(shù)概率與估計(jì)bability計(jì)算頻率分布、平滑概率分布的接口應(yīng)用nltk.app，nltk.chat圖形化的關(guān)鍵詞排序，分析器，WordNet查看器，聊天機(jī)器人語言學(xué)領(lǐng)域的工作nltk.toolbox處理SIL工具箱格式的數(shù)據(jù)表8-1NLTK中的常用模塊2PARTJieba概述Jieba概述GitHub上有一段描述Jieba的句子"Jieba"(Chinesefor"tostutter")Chinesetextsegmentation:builttobethebestPythonChinesewordsegmentationmodule.“Jieba”中文分詞：最好的Python中文分詞組件。翻譯Jieba概述jieba最適合做中文分詞，它擁有的特點(diǎn)(1)支持三種分詞模式：?精確模式：試圖將句子最精確地切開，適合文本分析。?全模式：把句子中所有的可以成詞的詞語都掃描岀來，速度非?？?，但是不能解決歧義。?搜索引擎模式：在精確模式的基礎(chǔ)上，對(duì)長詞再次切分，提高召回率，適合用于搜索引擎分詞。(2)支持繁體分詞。(3)支持自定義詞典。(4)MIT授權(quán)協(xié)議。Jieba概述jieba庫主要功能分詞、添加自定義詞典、關(guān)鍵詞提取、詞性標(biāo)注、并行分詞大家可以參考/fxsjy/jieba網(wǎng)址進(jìn)行全面學(xué)習(xí)。