網(wǎng)易云爬蟲爬取熱評(píng)詞云及評(píng)論者信息分析

網(wǎng)易云爬蟲爬取熱評(píng)詞云及評(píng)論者信息分析InformationContentSecuritycoursework匯報(bào)者：吳韌輝2021/6/29目錄CONTENTS代碼實(shí)現(xiàn)問(wèn)題難點(diǎn)爬取數(shù)據(jù)數(shù)據(jù)分析數(shù)據(jù)可視化圖形化界面環(huán)境準(zhǔn)備所用的庫(kù)現(xiàn)實(shí)意義存在的問(wèn)題窗口交互可視化圖形代碼實(shí)現(xiàn)與問(wèn)題難點(diǎn)代碼編寫思路基礎(chǔ)準(zhǔn)備總結(jié)運(yùn)行效果環(huán)境準(zhǔn)備所用的庫(kù)基礎(chǔ)準(zhǔn)備01基礎(chǔ)準(zhǔn)備環(huán)境準(zhǔn)備： IDE：VSCode Python3.8.2所用的庫(kù)： requests beautifulsoup json worldcloud jieba matplotlib os time datetime tkinter爬取網(wǎng)頁(yè)并進(jìn)行數(shù)據(jù)轉(zhuǎn)換展示熱評(píng)詞云繪圖時(shí)間戳轉(zhuǎn)換圖形化GUI爬取數(shù)據(jù)數(shù)據(jù)分析數(shù)據(jù)可視化圖形化界面代碼編寫思路02代碼編寫思路代碼編寫思路爬取數(shù)據(jù)根據(jù)網(wǎng)頁(yè)流量包找到評(píng)論對(duì)應(yīng)的請(qǐng)求鏈接，構(gòu)造參數(shù)，獲取評(píng)論信息和評(píng)論者id，將熱評(píng)信息存入txt文件；評(píng)論者id存入列表，遍歷列表以爬取各個(gè)用戶的信息數(shù)據(jù)分析讀取熱評(píng)txt文件，使用jieba分詞自帶的jieba.analyse.extract_tags()（原理是TF-IDF算法）提取出10個(gè)關(guān)鍵詞；評(píng)論者的信息提取出性別，年齡以及地區(qū)這三類信息并進(jìn)行統(tǒng)計(jì)數(shù)據(jù)可視化使用詞云展示熱評(píng)關(guān)鍵詞；使用餅狀圖展示評(píng)論者信息圖形化界面方便用戶交互，使用tkinter實(shí)現(xiàn)代碼實(shí)現(xiàn)問(wèn)題難點(diǎn)代碼實(shí)現(xiàn)與問(wèn)題難點(diǎn)03代碼實(shí)現(xiàn)獲取歌曲標(biāo)題獲取評(píng)論者ID評(píng)論者信息獲取和分析熱評(píng)獲取獲取全部評(píng)論信息熱評(píng)分析，制作詞云初始圖形化界面問(wèn)題難點(diǎn)——網(wǎng)易云的反爬蟲開始用的是網(wǎng)易云歌曲頁(yè)面返回的數(shù)據(jù)包的網(wǎng)址進(jìn)行爬取，需要傳入兩個(gè)加密的參數(shù)問(wèn)題難點(diǎn)經(jīng)過(guò)觀察，可知這兩個(gè)參數(shù)應(yīng)該與評(píng)論的翻頁(yè)有關(guān)通過(guò)查閱資料，得知網(wǎng)易云會(huì)在網(wǎng)頁(yè)前端動(dòng)態(tài)生成一個(gè)encSecKey，使用這個(gè)密鑰對(duì)頁(yè)面的偏移量offset進(jìn)行兩次AES加密得到params將params和encSecKey傳到服務(wù)器，進(jìn)行加密驗(yàn)證，如果正確就會(huì)顯示對(duì)應(yīng)的評(píng)論頁(yè)面按照資料中的加密算法進(jìn)行代碼編寫，運(yùn)行時(shí)仍然無(wú)效解決方法是使用網(wǎng)易云的評(píng)論的api進(jìn)行爬取窗口交互可視化圖形運(yùn)行效果04運(yùn)行效果運(yùn)行效果運(yùn)行效果運(yùn)行演示現(xiàn)實(shí)意義存在的問(wèn)題總結(jié)05總結(jié)現(xiàn)實(shí)意義通過(guò)對(duì)網(wǎng)易云熱評(píng)和對(duì)評(píng)論者的信息的分析，能夠進(jìn)一步地進(jìn)行對(duì)用戶的個(gè)性化的音樂推薦，做出符合用戶聽歌習(xí)慣的音樂推薦系統(tǒng)；同時(shí)能夠通過(guò)熱評(píng)的關(guān)鍵詞對(duì)不同的音樂進(jìn)行分類，能夠通過(guò)用戶群的信息對(duì)當(dāng)前音樂市場(chǎng)進(jìn)行分析，對(duì)于促進(jìn)音樂產(chǎn)業(yè)的發(fā)展具有較大的現(xiàn)實(shí)意義。存在的問(wèn)題jieba分詞的不準(zhǔn)確性，導(dǎo)致熱評(píng)的關(guān)鍵詞不準(zhǔn)確在評(píng)論數(shù)量較多時(shí)，爬取速度較慢沒有通過(guò)對(duì)評(píng)論做過(guò)濾，從而一些無(wú)效的