版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
豆瓣電影排行榜爬蟲預(yù)期結(jié)果爬取豆瓣電影的熱門榜，獲取熱門榜信息并生成excel文件實(shí)現(xiàn)數(shù)據(jù)可視化成果演示1.py-VisualStudioCode2022-06-2214-21-12.mp4設(shè)計(jì)思路以及代碼展示豆瓣網(wǎng)未登陸的情況下無(wú)法采集數(shù)據(jù)，requests.get會(huì)返回418，418的意思是被網(wǎng)站的反爬程序識(shí)別返回的結(jié)果，所以采集之前要先登錄網(wǎng)站，并且復(fù)制網(wǎng)站的User-Agent和Cookie信息，并且把User-Agent和Cookie轉(zhuǎn)化為字典格式，網(wǎng)頁(yè)鼠標(biāo)右鍵——檢查——Network——Doc——F5刷新網(wǎng)址（這步很重要）——選擇Name下面的‘top250?start=0&filter=’——Headers——Cookie，User-Agent（位于cookie下面）User-Agent和Cookie在網(wǎng)站的位置如下：
可以看到，頁(yè)面上每個(gè)電影的名稱都是一個(gè)鏈接，鏈接會(huì)跳到電影的詳情頁(yè)。由于每一個(gè)頁(yè)面上能看到的電影信息有限，所以需要進(jìn)入電影的詳情頁(yè)，才可以采集電影的詳細(xì)信息。首先采集頁(yè)面上25部電影的鏈接采集每部電影的詳細(xì)信息在每一部電影的詳情頁(yè)面，我們采集的信息包括：電影名稱、豆瓣評(píng)分、評(píng)分人數(shù)、導(dǎo)演、編劇、主演、類型、制片國(guó)家/地區(qū)、語(yǔ)言、上映日期、片長(zhǎng)、又名、IMDb鏈接。代碼如下總代碼展示（基礎(chǔ)版）代碼優(yōu)化通過(guò)觀察可以看出，豆瓣電影top250榜單總共有10個(gè)頁(yè)面，每個(gè)頁(yè)面有25部電影，總共250部電影。并且，這10個(gè)頁(yè)面的網(wǎng)址有一定的規(guī)律性，那就是網(wǎng)址中的
start
位置，第1個(gè)頁(yè)面start=0，第2個(gè)頁(yè)面start=25，第10個(gè)頁(yè)面start=225，可以推測(cè)出這10個(gè)頁(yè)面的網(wǎng)址中的start呈現(xiàn)出[0,25,50,75,100,125,150,175,200,225]的序列分布規(guī)律。于是可以通過(guò)python循環(huán)自動(dòng)生成10個(gè)網(wǎng)址，并且
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 合作分配傭金協(xié)議書
- 醫(yī)院招聘護(hù)士協(xié)議書
- 醫(yī)療分期賠償協(xié)議書
- 品類戰(zhàn)略咨詢協(xié)議書
- 員工合同購(gòu)買協(xié)議書
- 品牌市場(chǎng)轉(zhuǎn)讓協(xié)議書
- 雙方解除分紅協(xié)議書
- 千萬(wàn)債權(quán)轉(zhuǎn)讓協(xié)議書
- 醫(yī)生簽訂保密協(xié)議書
- 項(xiàng)目成本核算與控制試題及答案
- 采訪技巧與效率提升
- 生命科學(xué)簡(jiǎn)史知到智慧樹章節(jié)測(cè)試課后答案2024年秋中國(guó)科學(xué)技術(shù)大學(xué)
- 農(nóng)村電網(wǎng)改造項(xiàng)目實(shí)施方案
- 醫(yī)療糾紛防范及法律責(zé)任課件
- 公司招標(biāo)書范本大全(三篇)
- 正念減壓療法詳解課件
- 知識(shí)產(chǎn)權(quán)管理體系講解課件
- 彩鋼板除銹噴漆施工方案
- 國(guó)家開放大學(xué)（山東）《地域文化（本）》形考任務(wù)1-3+終結(jié)性考核參考答案
- 2022年高考數(shù)學(xué)試卷（上海）（秋考）（解析卷）
- 國(guó)家開放大學(xué)《數(shù)據(jù)庫(kù)應(yīng)用技術(shù)》形考任務(wù)1-4參考答案
評(píng)論
0/150
提交評(píng)論