項目10 信息偵探-文本挖掘-自然語言處理

認識自然語言處理“Allmodelsarewrong,butsomeareuseful.”所有模型都是錯的，但其中有些是有用的——Georgebox項目10信息偵探——文本挖掘通過下面一段話了解自然語言的特點研表究明，漢字的序順并不定一能影閱響讀，比如當你看完這句話后，才發(fā)這現(xiàn)里的字全是亂的。他差點被嚇死/他差點沒被嚇死ThepenintheboxTheboxinthepen文本數(shù)據(jù)為什么難以利用難以定量（歧義等）總信息量大主次難以區(qū)分難以納入數(shù)學(xué)框架機器為什么懂人的語言？真的懂么？基于語法規(guī)則VS基于統(tǒng)計方法基于語法規(guī)則（“鳥飛派”）我愛學(xué)習(xí)。句子主語名詞我謂語動詞愛名詞短語學(xué)習(xí)句號?；诮y(tǒng)計規(guī)則隱含馬爾可夫馬爾可夫鏈：p(st|s1,s2,s3…st-1)=p(st|st-1)狀態(tài)概率只與前狀態(tài)有關(guān)。維特比算法：解碼（自然語言處理：找概率最大）維特比（維特比算法）海蒂·拉瑪（CMDA發(fā)明者）語料獲取爬蟲文本文件讀入ORC識別數(shù)據(jù)化分詞清理合并TF-IDF字典編制信息轉(zhuǎn)換挖掘與展示詞云關(guān)鍵詞提取自動摘要文檔聚類情感分析文章推薦……自然語言處理流程自然語言處理——分詞四川文化產(chǎn)業(yè)職業(yè)學(xué)院南京市長江大橋分詞操作Python端解決方案python分詞方法：pynlpir（中科院提供）Jieba——課堂選用……jieba官方文檔：/fxsjy/jieba#encoding=utf-8

importjieba

jieba.enable_paddle()#啟動paddle模式。0.40版之后開始支持，早期版本不支持

strs=["我來到北京清華大學(xué)","乒乓球拍賣完了","中國科學(xué)技術(shù)大學(xué)"]

forstrinstrs:

seg_list=jieba.cut(str,use_paddle=True)#使用paddle模式

print("PaddleMode:"+'/'.join(list(seg_list)))

seg_list=jieba.cut("我來到北京清華大學(xué)",cut_all=True)

print("FullMode:"+"/".join(seg_list))#全模式

seg_list=jieba.cut("我來到北京清華大學(xué)",cut_all=False)

print("DefaultMode:"+"/".join(seg_list))#精確模式

seg_list=jieba.cut("他來到了網(wǎng)易杭研大廈")#默認是精確模式

print(",".join(seg_list))

seg_list=jieba.cut_for_search("小明碩士畢業(yè)于中國科學(xué)院計算所，后在日本京都大學(xué)深造")#搜索引擎模式

print(",".join(seg_list))自然語言處理——關(guān)鍵詞提取詞頻是否適合作為關(guān)鍵詞提取的方法？2.提關(guān)鍵詞原理TF-IDF算法

Textrank通過詞之間的相鄰關(guān)系構(gòu)建網(wǎng)絡(luò)，然后用PageRank迭代計算每個節(jié)點的rank值，排序rank值即可得到關(guān)鍵詞。RadaMihalceaandPaulTarau3.關(guān)鍵詞提取操作jieba官方文檔：/fxsjy/jieba#coding:utf-8

importjieba.analyse

#提關(guān)鍵詞方法1：TF-IDF算法，修改“topK”改變提取關(guān)鍵詞數(shù)量

seg_list=jieba.analyse.extract_tags(text,topK=10,withWeight=True,allowPOS=())

#提關(guān)鍵詞方法2：textrank算法，后面注意寫上詞性，修改“topK”改變提取關(guān)鍵詞數(shù)量

seg