《自然語言處理技術(shù)》進階案例基于TF-IDF實現(xiàn)關(guān)鍵詞提取V1.0

《自然語言處理技術(shù)》代碼42所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s12加載文本數(shù)據(jù)#以只讀模式打開名為“西游記.txt”的文件，使用utf-8編碼withopen("西游記.txt","r",encoding="utf-8")asfile:#將文件內(nèi)容讀取到字符串變量raw_text中raw_text=file.read()print('文本內(nèi)容為：\n',raw_text)運行REF_Ref97535682\h代碼42，得到西游記的文本內(nèi)容如下。文本內(nèi)容為：西游記之正文第001回靈根育孕源流出心性修持大道生?詩曰：混沌未分天地亂，茫茫渺渺無人見。自從盤古破鴻蒙，開辟從茲清濁辨。覆載群生仰至仁，發(fā)明萬物皆成善。欲知造化會元功，須看西游釋厄傳?！仆鯗首?，即命升陳萼為學士之職，隨朝理政。玄奘立意安禪，送在洪福寺內(nèi)修行。后來殷小姐畢竟從容自盡，玄奘自到金山寺中報答法明長老。不知后來事體若何，且聽下回分解。文本預(yù)處理這一步驟，實現(xiàn)文本清洗和分詞的功能，并將分詞結(jié)果轉(zhuǎn)化為列表，如REF_Ref98942649\h代碼43所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s13文本預(yù)處理#使用正則表達式去除特殊符號、數(shù)字和英文字符clean_text=re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）：；《）《》“”’‘[\]]","",raw_text)#對清洗后的文本進行分詞seg_list=jieba.cut(clean_text)#將分詞結(jié)果轉(zhuǎn)換為列表seg_words=list(seg_list)print('正則化后的內(nèi)容為：\n',raw_text)運行REF_Ref98942649\h代碼43，得到正則化后的內(nèi)容如下。正則化后的內(nèi)容為：西游記之正文第001回靈根育孕源流出心性修持大道生?詩曰：混沌未分天地亂，茫茫渺渺無人見。自從盤古破鴻蒙，開辟從茲清濁辨。覆載群生仰至仁，發(fā)明萬物皆成善。欲知造化會元功，須看西游釋厄傳?！褂肨F-IDF算法提取關(guān)鍵詞這一步驟，使用jieba庫的analyse模塊中的extract_tags()方法對清洗后的文本clean_text進行關(guān)鍵詞提取。extract_tags()方法基于TF-IDF算法對文本進行關(guān)鍵詞提取，topK=10表示提取權(quán)重最高的前10個關(guān)鍵詞，最終將得到的關(guān)鍵詞列表存儲在變量keywords中，如REF_Ref98521257\h代碼44所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s14使用TF-IDF算法提取關(guān)鍵詞#使用jieba.analyse.extract_tags方法提取關(guān)鍵詞#設(shè)置提取前10個關(guān)鍵詞keywords=jieba.analyse.extract_tags(clean_text,topK=10)#打印關(guān)鍵詞提取結(jié)果（基于TF-IDF算法）print("關(guān)鍵詞提取結(jié)果（TF-IDF）：\n")forwordinkeywords:print(word)運