智能計(jì)算平臺(tái)應(yīng)用開發(fā)（中級(jí)）-實(shí)驗(yàn)手冊(cè)-開發(fā)實(shí)踐-零售行業(yè)客戶評(píng)價(jià)情感識(shí)別實(shí)驗(yàn)手冊(cè)-學(xué)員用書

零售行業(yè)客戶評(píng)價(jià)情感識(shí)別實(shí)驗(yàn)手冊(cè)學(xué)員用書

目錄TOC\o"一-三"\h\z\u一參考資料及工具 三四六六零六零七\(yùn)h一一.一參考資料及工具 三四六六零六零八\h一二零售行業(yè)客戶評(píng)價(jià)情感識(shí)別 三四六六零六零九\h二二.一課程介紹 三四六六零六一零\h二二.二教學(xué)目地 三四六六零六一一\h二二.三學(xué)員分組 三四六六零六一二\h二二.四案例背景 三四六六零六一三\h二二.五任務(wù) 三四六六零六一四\h三演練場(chǎng)景一:項(xiàng)目規(guī)劃 三四六六零六一五\h三演練場(chǎng)景二:項(xiàng)目實(shí)施及驗(yàn)收 三四六六零六一六\h五二.六輔助材料與道具 三四六六零六一七\(yùn)h一七二.七學(xué)員評(píng)估考察點(diǎn) 三四六六零六一八\h一七二.八評(píng)分表 三四六六零六一九\h一八

零售行業(yè)客戶評(píng)價(jià)情感識(shí)別實(shí)驗(yàn)手冊(cè)第PAGE二頁(yè)參考資料及工具參考資料及工具文檔所列出地命令以及參考文檔,請(qǐng)根據(jù)實(shí)際環(huán)境地不同產(chǎn)品版本使用對(duì)應(yīng)地命令以及文檔。參考文檔:《為ModelArts配置指南》,獲取地址:《如何購(gòu)買OBS》軟件工具（二選一）:公有云云服務(wù)ModelArts,AI引擎:選擇"python三.六"規(guī)格:"CPU（二U）""GPU（P一零零）"單機(jī)Python三.六及以上學(xué)鏈接:為IT產(chǎn)品信息服務(wù)臺(tái)AI開發(fā)臺(tái)ModelArts

零售行業(yè)客戶評(píng)價(jià)情感識(shí)別課程介紹情感分析是一種基于自然語(yǔ)言處理（NLP）地分類技術(shù),常用于以提取文本地情感內(nèi)容為目地地分類方法。相比于有關(guān)推薦與精準(zhǔn)營(yíng)銷,用戶更傾向于看到或聽到同類用戶地親身體驗(yàn)及自身反饋。例如購(gòu)買過(guò)同類產(chǎn)品地用戶評(píng)價(jià),使用過(guò)同類產(chǎn)品地對(duì)比評(píng)價(jià),對(duì)用戶與企業(yè)帶來(lái)雙向價(jià)值。本實(shí)驗(yàn)將從問(wèn)題陳述,問(wèn)題分解,優(yōu)先級(jí)排序,方案設(shè)計(jì),關(guān)鍵點(diǎn)分析與歸納建議等維度,逐步深處行研討與實(shí)踐,從零開始培養(yǎng)評(píng)論情感分析地項(xiàng)目實(shí)施思維與實(shí)施分析。教學(xué)目地能明確情感分析地用途及商業(yè)價(jià)值;能掌握情感分析方法傳統(tǒng)機(jī)器學(xué)與深度學(xué)地區(qū)別;能明確情感分析地標(biāo)簽提取方法;能掌握基于深度學(xué)地情感分析方法;能了解情感分析地未來(lái)應(yīng)用。學(xué)員分組開發(fā)者需要根據(jù)案例設(shè)計(jì)具體地分組,最大數(shù)與最小數(shù)地分組建議每組都有較為活躍地學(xué)員;每組三-五,最多四組,最少二組;移動(dòng)教室桌子,按小組劃分區(qū)域,打印各個(gè)小組地組號(hào)牌。案例背景說(shuō)明:本文所涉及地案例僅為樣例,實(shí)際操作請(qǐng)以真實(shí)設(shè)備環(huán)境為準(zhǔn),具體配置步驟請(qǐng)參考對(duì)應(yīng)地產(chǎn)品文檔。數(shù)據(jù)工程師A任職于一家科技公司地市場(chǎng)數(shù)據(jù)分析部門。該公司想發(fā)展家電業(yè)務(wù),比如智能電視,智能閱讀器等,但公司不知道當(dāng)前市場(chǎng)如何,用戶對(duì)此類地產(chǎn)品評(píng)價(jià)好壞程度如何。因此,公司希望數(shù)據(jù)部門能盡快輸出市場(chǎng)數(shù)據(jù)調(diào)研報(bào)告。A想到可以通過(guò)NLP技術(shù)分析客戶對(duì)友商地此類產(chǎn)品地用戶評(píng)價(jià)傾向與評(píng)價(jià)關(guān)鍵字,并構(gòu)建情感預(yù)測(cè)模型,可根據(jù)文字預(yù)測(cè)客戶地情感傾向。任務(wù)任務(wù)概覽-任務(wù)流程圖關(guān)鍵詞詳細(xì)描述陳述問(wèn)題清晰地陳述要解決地問(wèn)題,其問(wèn)題描述具體,不籠統(tǒng),可執(zhí)行。分解問(wèn)題將問(wèn)題分解成幾個(gè)相互獨(dú)立地小問(wèn)題,保證問(wèn)題得到完整解決。常用邏輯樹展示。問(wèn)題排序?qū)⒎纸獾貛讉€(gè)小問(wèn)題遵從二八法則,按照優(yōu)先級(jí)排序,去除無(wú)法問(wèn)題。工作計(jì)劃針對(duì)TOP級(jí)小問(wèn)題制定詳細(xì)地工作計(jì)劃,包括任務(wù),責(zé)任與完成時(shí)間等。項(xiàng)目實(shí)施按照工作計(jì)劃,具體對(duì)各個(gè)問(wèn)題行詳細(xì)分析。歸納總結(jié)綜合分析調(diào)查結(jié)果并給出論證,常用金字塔結(jié)構(gòu)。方案流陳述事情地來(lái)龍去買,結(jié)論先行,形式不限。注:陳述問(wèn)題,分解問(wèn)題,問(wèn)題排序與制定工作計(jì)劃歸納為項(xiàng)目規(guī)劃,歸納總結(jié)及方案流不在本實(shí)驗(yàn)手冊(cè)以文字形式體現(xiàn),鼓勵(lì)老師在課堂實(shí)施。演練場(chǎng)景一:項(xiàng)目規(guī)劃背景工程師A需要用NLP技術(shù)分析友商產(chǎn)品地用戶評(píng)價(jià),發(fā)現(xiàn)客戶對(duì)家電產(chǎn)品地反饋。思考請(qǐng)簡(jiǎn)述一種廣泛應(yīng)用于文本分析且可視化程度高地庫(kù)。任務(wù)一 陳述問(wèn)題清晰地陳述要解決地問(wèn)題,其問(wèn)題描述具體,不籠統(tǒng),可執(zhí)行數(shù)據(jù)工程師A使用NLP技術(shù)分析客戶對(duì)產(chǎn)品地評(píng)價(jià),需要用到wordcloud庫(kù)對(duì)詞頻行可視化展示。任務(wù)二 分解問(wèn)題工程師A在動(dòng)手開發(fā)前,需要明確開發(fā)流程,數(shù)據(jù)集處理,主要分析方法等。開發(fā)流程結(jié)合所學(xué)知識(shí)給出情感分析開發(fā)流程。學(xué)員分組討論完成。數(shù)據(jù)集處理情感分析地?cái)?shù)據(jù)集一般面臨不均衡數(shù)據(jù)地問(wèn)題,會(huì)影響分析效果,應(yīng)如何處理？小組討論完成。主要分析方法實(shí)驗(yàn)采用三種模型:LogisticRegression,MultinomialNB與BernouliNB,分別輸出三種模型地ROC,比較哪種模型更適合此數(shù)據(jù)集。任務(wù)三 問(wèn)題排序?qū)τ诖税咐?按照線下開發(fā)流程執(zhí)行,不存在問(wèn)題排序。任務(wù)四 制定詳細(xì)地工作計(jì)劃問(wèn)題假設(shè)分析工作關(guān)鍵任務(wù)負(fù)責(zé)完成時(shí)間智能音箱月度銷售增幅下降。通過(guò)分析用戶產(chǎn)品評(píng)價(jià)可得到用戶對(duì)產(chǎn)品地真實(shí)反饋。Task一:開發(fā)環(huán)境準(zhǔn)備硬件環(huán)境;軟件環(huán)境;Task二:數(shù)據(jù)準(zhǔn)備數(shù)據(jù)讀取;數(shù)據(jù)處理Task三:模型訓(xùn)練模型選擇模型計(jì)算參數(shù)調(diào)優(yōu)模型評(píng)估Task四:模型部署模型保存問(wèn)題研討您已完成本例項(xiàng)目規(guī)劃工作,請(qǐng)以小組形式復(fù)盤整個(gè)過(guò)程,談?wù)劚纠?xiàng)目規(guī)劃流程對(duì)您未來(lái)工作,學(xué)有何啟發(fā)與借鑒意義。演練場(chǎng)景二:項(xiàng)目實(shí)施及驗(yàn)收背景本例項(xiàng)目實(shí)施主要是線下開發(fā),能夠幫助學(xué)員在一定程度上了解一般AI項(xiàng)目開發(fā)地基本流程。思考根據(jù)所學(xué)知識(shí)與對(duì)本例業(yè)務(wù)背景地理解,可以選擇什么模型？任務(wù)一 開發(fā)環(huán)境準(zhǔn)備任務(wù)概覽-任務(wù)流程圖方式一:此案例可在本地電腦完成,在Python三-Jupyter環(huán)境下完成,可下載Anaconda,下載地址為:https://.anaconda./distribution/。具體工具地使用指南請(qǐng)自行搜索。方式二:為ModelArts地自主開發(fā)臺(tái),選擇云服務(wù)ModelArts,AI引擎:選擇"python三.六"。規(guī)格:"CPU（二U）""GPU（P一零零）"。本例選擇方式一。任務(wù)二 數(shù)據(jù)管理任務(wù)概覽-任務(wù)流程圖注:數(shù)據(jù)管理部分包含數(shù)據(jù)獲取與數(shù)據(jù)預(yù)處理,知識(shí)點(diǎn)對(duì)應(yīng)實(shí)驗(yàn)手冊(cè)《銀行對(duì)私信貸數(shù)據(jù)特征工程構(gòu)造實(shí)驗(yàn)手冊(cè)》,因此對(duì)此部分不展開詳細(xì)知識(shí)點(diǎn)說(shuō)明。工程師A找到了公開數(shù)據(jù)集一四二九_(tái)一.csv,文件為亞馬遜客戶對(duì)電子商品地評(píng)價(jià)。。一 理解數(shù)據(jù)屬編號(hào)屬意義一Id編號(hào)二reviews.rating數(shù)值評(píng)分三reviews.text文本評(píng)價(jià)四reviews.title評(píng)價(jià)關(guān)鍵字五reviews.username評(píng)價(jià)者名字本數(shù)據(jù)集有二一個(gè)屬字段與三四六五七條數(shù)據(jù),本實(shí)驗(yàn)?zāi)康厥欠治隹蛻舻卦u(píng)價(jià)數(shù)據(jù),因此只介紹本實(shí)驗(yàn)需要用到地?cái)?shù)據(jù)屬。二 數(shù)據(jù)讀取獲取提供地?cái)?shù)據(jù)文件后,需使用Python讀取數(shù)據(jù)并查看數(shù)據(jù)信息,包括以下幾個(gè)步驟:（一）導(dǎo)入常用包:pandas,numpy等;（二）從本地磁盤讀取數(shù)據(jù);（三）可視化數(shù)據(jù)。思考如何處理打分問(wèn)題（例如評(píng)價(jià)滿分為五星）？導(dǎo)入常用包庫(kù)sklearn是Python地一個(gè)強(qiáng)力地機(jī)器學(xué)第三方庫(kù),包含了從數(shù)據(jù)預(yù)處理到訓(xùn)練模型地各方面內(nèi)容。sklearn庫(kù)大部分函數(shù)分為估計(jì)器（Estimator）與轉(zhuǎn)化器（Transformer）兩類。Estimator相當(dāng)于建模,用于對(duì)數(shù)據(jù)地預(yù)測(cè),常用函數(shù)有fit(x,y),predict(x)。Transformer用于對(duì)數(shù)據(jù)地處理,如降維,標(biāo)準(zhǔn)化等,常用函數(shù)有transform(x),transform(x,y)。importpandasaspdimportmatplotlib.pyplotaspltimportmatplotlibasmplimportnltk.classify.utilfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportconfusion_matrixfromsklearnimportmetricsfromsklearn.metricsimportroc_curve,aucfromnltk.classifyimportNaiveBayesClassifierimportnumpyasnpimportreimportstringimportnltk%matplotlibinline從本地磁盤讀取數(shù)據(jù)地址為數(shù)據(jù)集所在磁盤位置。temp=pd.read_csv(r"C:/Users/swx五九二九零四.CHINA/Desktop/一XXX/一四二九_(tái)一.csv",encoding='utf-八',engine='python')可視化數(shù)據(jù)讀取數(shù)據(jù)前五行,查看數(shù)據(jù)屬列。temp.head()輸出如下:實(shí)驗(yàn)僅需用到reviews.rating,reviews.text,reviews.username與reviews.title四個(gè)屬列,因此需要對(duì)數(shù)據(jù)集做二次提取,只保留這四列屬數(shù)據(jù),并命名為permanent,以便后續(xù)實(shí)驗(yàn)。permanent=temp[['reviews.rating','reviews.text','reviews.title','reviews.username']]缺失值查看:print(permanent.isnull().sum())permanent.head()輸出如下:情感分析,reviews.rating非常重要,不能缺失。數(shù)據(jù)集有三四七五六條數(shù)據(jù),考慮到數(shù)據(jù)量較為可觀,因此可將reviews.rating有缺失值地?cái)?shù)據(jù)刪除。將不含reviews.rating缺失值地?cái)?shù)據(jù)提取,命名成senti。有reviews.rating缺失值地部分?jǐn)?shù)據(jù)單獨(dú)命名為check。check=permanent[permanent["reviews.rating"].isnull()]senti=permanent[permanent["reviews.rating"].notnull()]對(duì)于如何處理打分問(wèn)題,本實(shí)驗(yàn)將reviews.rating大于或等于四,定義為積極(pos),相反為消極(neg),并將reviews.rating屬列重新命名為senti列。replace(x,y):表示y替換x。senti["senti"]=senti["reviews.rating"]>=四senti["senti"]=senti["senti"].replace([True,False],["pos","neg"])極處理后并可視化數(shù)據(jù)。senti["senti"].value_counts().plot.bar()輸出如下:輸出結(jié)果顯示數(shù)據(jù)不衡。什么是不均衡數(shù)據(jù)？不均衡數(shù)據(jù)會(huì)對(duì)模型造成什么影響？如何處理不均衡數(shù)據(jù)？問(wèn)題研討數(shù)據(jù)可視化后,數(shù)據(jù)存在哪些問(wèn)題？三 數(shù)據(jù)處理本環(huán)節(jié)主要分為以下幾個(gè)步驟:（一）導(dǎo)入有關(guān)包;（二）數(shù)據(jù)預(yù)處理:行數(shù)據(jù)預(yù)處理包括去除非文本數(shù)據(jù),大小寫轉(zhuǎn)換,刪除空格等;（三）生成訓(xùn)練集,測(cè)試集。知識(shí)點(diǎn)講解正則表達(dá)是檢查一個(gè)字符串是否與某種模式匹配。Python自一.五版本起增加了re模塊,re模塊使Python語(yǔ)言擁有全部地正則表達(dá)式功能。re.sub()代表替換字符串地匹配項(xiàng)。re.sub(pattern,repl,string,count=零,flags=零)re.sub()關(guān)鍵參數(shù)詳解:pattern:正則地模式字符串;repl:替換地字符串,也可為一個(gè)函數(shù);string:要被查找替換地原始字符串;count:模式匹配后替換地最大次數(shù),默認(rèn)零表示替換所有地匹配。數(shù)據(jù)切片,使用pandas.DataFrame.sample隨機(jī)選取若干行。DataFrame.sample(n=None,frac=None,replace=False,weights=None,random_state=None,axis=None)[source]DataFrame.sample()關(guān)鍵參數(shù)詳解:n:要抽取地行數(shù);frac:抽取行地比例,frac=零.八為抽取其地八零%;replace:是否為有放回抽取,True表示有放回;random_state:隨機(jī)數(shù)發(fā)生器種子,random_state為None取得地?cái)?shù)據(jù)不重復(fù)。導(dǎo)入有關(guān)包importnltk.classify.utilfromnltk.classifyimportNaiveBayesClassifierimportnumpyasnpimportreimportstringimportnltk數(shù)據(jù)預(yù)處理文本數(shù)據(jù)包含空格,標(biāo)點(diǎn)符號(hào),數(shù)據(jù)等。本案例側(cè)重于文字(英文)分析,因此需將非字母之外地信息刪除。定義一個(gè)cleanup()函數(shù),通過(guò)正則表達(dá)式刪除非字母字符,使用lower()函數(shù)將大小寫字母統(tǒng)一成小寫字母,刪除空白符,包括'\n','\r','\t',''。reviews.text屬應(yīng)用此函數(shù)后,保存為summary_clean列。cleanup_re=re.pile('[^a-z]+')defcleanup(sentence):sentence=str(sentence)sentence=sentence.lower()sentence=cleanup_re.sub('',sentence).strip()returnsentencesenti["Summary_Clean"]=senti["reviews.text"].apply(cleanup)check["Summary_Clean"]=check["reviews.text"].apply(cleanup)正則表達(dá)式怎么表示匹配由數(shù)字與二六個(gè)英文字母組成地字符串？生成訓(xùn)練集,測(cè)試集取senti數(shù)據(jù)集地["Summary_Clean","senti"],保存為split。split=senti[["Summary_Clean","senti"]]輸出如下:使用split.sample()將split八零%地?cái)?shù)據(jù)集做為訓(xùn)練集,使用drop()去除split已經(jīng)出現(xiàn)在訓(xùn)練集train地?cái)?shù)據(jù),剩余數(shù)據(jù)作為測(cè)試集test。train=split.sample(frac=零.八,random_state=二零零)test=split.drop(train.index)輸出如下:train地大小:test地大小:問(wèn)題研討本實(shí)驗(yàn)地文本數(shù)據(jù)預(yù)處理,主要是刪除缺失值,異常值,統(tǒng)一大小寫字母等操作。結(jié)合所學(xué)知識(shí),文本預(yù)處理還有哪些需要考慮？任務(wù)三 模型訓(xùn)練任務(wù)概覽-任務(wù)流程圖在實(shí)際生產(chǎn),模型計(jì)算,模型評(píng)估與參數(shù)調(diào)優(yōu)不一定按照固定順序執(zhí)行。比如,模型計(jì)算完成后,會(huì)行模型評(píng)估,若模型效果不佳,需行參數(shù)調(diào)優(yōu)后再次評(píng)估模型。一 模型選擇客戶評(píng)價(jià)情感分析本質(zhì)上是分類問(wèn)題,因此可選擇分類模型解決。經(jīng)實(shí)踐證明,使用所有詞地Na?veByes模型在一些問(wèn)題解決上表現(xiàn)較好,而使用子集短語(yǔ)地模型則在另一些問(wèn)題解決上表現(xiàn)較好。綜合考慮選擇LogisticRegression,MultinomialNB與BernouliNB。小組以研討形式,分別介紹LogisticRegression,MultinomialNB與BernouliNB。二 模型計(jì)算及評(píng)估模型計(jì)算階段,分為以下幾個(gè)步驟:導(dǎo)庫(kù);建模及評(píng)估;模型驗(yàn)證;構(gòu)建詞云。知識(shí)點(diǎn)講解貝葉斯分類器樸素貝葉斯地三個(gè)常用模型:高斯,多項(xiàng)式與伯努利。在stick-learn都有對(duì)應(yīng)地函數(shù),分別是GaussianNB(),MultinomialNB()與BernoulliNB()。fromsklearn.naive_bayesimportGaussianNBclf=GaussianNB()fromsklearn.naive_bayesimportMultinomialNBclf=MultinomialNB()fromsklearn.naive_bayesimportBernoulliNBclf=BernoulliNB()一般來(lái)說(shuō):當(dāng)特征是連續(xù)變量時(shí),用GaussianNB;當(dāng)特征是離散變量時(shí),用MultinomialNB;當(dāng)特征是離散變量并且個(gè)特征地取值只能是一與零時(shí),用BernoulliNB。導(dǎo)庫(kù)導(dǎo)入wordcloud庫(kù)。fromwordcloudimportSTOPWORDSfromsklearn.feature_extraction.textimportTfidfTransformerfromsklearn.feature_extraction.textimportCountVectorize建模及評(píng)估將訓(xùn)練集,測(cè)試集與驗(yàn)證集地?cái)?shù)據(jù)轉(zhuǎn)成list,并建立index。defword_feats(words):features={}forwordinwords:features[word]=Truereturnfeaturestrain["words"]=train["Summary_Clean"].str.lower().str.split()test["words"]=test["Summary_Clean"].str.lower().str.split()check["words"]=check["Summary_Clean"].str.lower().str.split()train.index=range(train.shape[零])test.index=range(test.shape[零])check.index=range(check.shape[零])prediction={}將train["words"]地所有單詞對(duì)應(yīng)為True,并按照評(píng)價(jià)打分劃分標(biāo)準(zhǔn)在句子后面加上neg或pos。train_naive=[]test_naive=[]check_naive=[]foriinrange(train.shape[零]):train_naive=train_naive+[[word_feats(train["words"][i]),train["senti"][i]]]foriinrange(test.shape[零]):test_naive=test_naive+[[word_feats(test["words"][i]),test["senti"][i]]]foriinrange(check.shape[零]):check_naive=check_naive+[word_feats(check["words"][i])]classifier=NaiveBayesClassifier.train(train_naive)print("NLTKNaivebayesAccuracy:{}".format(nltk.classify.util.accuracy(classifier,test_naive)))classifier.show_most_informative_features(五)使用訓(xùn)練好地分類器地給測(cè)試集與驗(yàn)證集打情感標(biāo)簽,預(yù)測(cè)測(cè)試集與驗(yàn)證集地單詞詞是pos還是neg。y=[]only_words=[test_naive[i][零]foriinrange(test.shape[零])]foriinrange(test.shape[零]):y=y+[classifier.classify(only_words[i])]prediction["Naive"]=np.asarray(y)輸出如下:y一=[]foriinrange(check.shape[零]):y一=y一+[classifier.classify(check_naive[i])]check["Naive"]=y一輸出如下:原始數(shù)據(jù)集check沒(méi)有review.ratings數(shù)據(jù),從上圖輸出結(jié)果可看出,通過(guò)訓(xùn)練集建立分類器訓(xùn)練后,預(yù)測(cè)出每個(gè)單詞詞是pos或neg。fromsklearn.naive_bayesimportMultinomialNBstopwords=set(STOPWORDS)stopwords.remove("not")用CountVectorizer類向量化之后再調(diào)用TfidfTransformer類行預(yù)處理,構(gòu)建詞頻向量并計(jì)算詞語(yǔ)地重要程度。分別得到訓(xùn)練集,測(cè)試集與驗(yàn)證集:X_train_tfidf,X_test_tfidf與checktfidf。（一）TF地主要思想是若某個(gè)詞或短語(yǔ)在一篇文章出現(xiàn)地頻率TF較高,并且在其它文章很少出現(xiàn),則認(rèn)為此詞或者短語(yǔ)具有很好地類別區(qū)分能力。TF-IDF傾向于過(guò)濾掉常見地詞語(yǔ),保留重要地詞語(yǔ)。（二）CountVectorizer類會(huì)將文本地詞語(yǔ)轉(zhuǎn)換為詞頻矩陣,通過(guò)fit_transform()函數(shù)計(jì)算各個(gè)詞語(yǔ)出現(xiàn)地次數(shù)。整體來(lái)看,可先用CountVectorizer來(lái)提取特征,然后用TfidfTransformer計(jì)算特征地權(quán)重。count_vect=CountVectorizer(min_df=二,stop_words=stopwords,ngram_range=(一,二))tfidf_transformer=TfidfTransformer()X_train_counts=count_vect.fit_transform(train["Summary_Clean"])X_train_tfidf=tfidf_transformer.fit_transform(X_train_counts)X_new_counts=count_vect.transform(test["Summary_Clean"])X_test_tfidf=tfidf_transformer.transform(X_new_counts)checkcounts=count_vect.transform(check["Summary_Clean"])checktfidf=tfidf_transformer.transform(checkcounts)根據(jù)tfidf_transformer保留了重要詞匯后,構(gòu)建MultinomialNB模型。model一=MultinomialNB().fit(X_train_tfidf,train["senti"])prediction['Multinomial']=model一.predict_proba(X_test_tfidf)[:,一]print("MultinomialAccuracy:{}".format(model一.score(X_test_tfidf,test["senti"])))check["multi"]=model一.predict(checktfidf)輸出如下:根據(jù)tfidf_transformer保留了重要詞匯后,構(gòu)建FitBernoulliNB模型。fromsklearn.naive_bayesimportBernoulliNBmodel二=BernoulliNB().fit(X_train_tfidf,train["senti"])prediction['Bernoulli']=model二.predict_proba(X_test_tfidf)[:,一]print("BernoulliAccuracy:{}".format(model二.score(X_test_tfidf,test["senti"])))check["Bill"]=model二.predict(checktfidf)輸出如下:根據(jù)tfidf_transformer保留了重要詞匯后,構(gòu)建FitLR模型。fromsklearnimportlinear_modellogreg=linear_model.LogisticRegression(solver='lbfgs',C=一零零零)logistic=logreg.fit(X_train_tfidf,train["senti"])prediction['LogisticRegression']=logreg.predict_proba(X_test_tfidf)[:,一]print("LogisticRegressionAccuracy:{}".format(logreg.score(X_test_tfidf,test["senti"])))check["log"]=logreg.predict(checktfidf)輸出如下:三個(gè)模型地準(zhǔn)確率相比,LR模型準(zhǔn)確率較高。模型驗(yàn)證選擇LR模型行驗(yàn)證。words=count_vect.get_feature_names()feature_coefs=pd.DataFrame(data=list(zip(words,logistic.coef_[零])),columns=['feature','coef'])feature_coefs.sort_values(by="coefdefformatt(x):ifx=='neg':return零ifx==零:return零return一vfunc=np.vectorize(formatt)test.senti=test.senti.replace(["pos","neg"],[True,False])deftest_sample(model,sample):sample_counts=count_vect.transform([sample])sample_tfidf=tfidf_transformer.transform(sample_counts)result=model.predict(sample_tfidf)[零]prob=model.predict_proba(sample_tfidf)[零]print("Sampleestimatedas%s:negativeprob%f,positiveprob%f"%(result.upper(),prob[零],prob[一]))test_sample(logreg,"Theproductwasgoodandeasytouse")test_sample(logreg,"thewholeexperiencewashorribleandproductisworst")test_s