版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領
文檔簡介
綜合案例——爬取業(yè)務網(wǎng)站B
本章學習目標分析豆瓣電影Top250的網(wǎng)頁結(jié)構(gòu)和內(nèi)容使用requests庫編寫爬蟲代碼獲取指定的靜態(tài)數(shù)據(jù)使用BeautifulSoup實現(xiàn)從網(wǎng)頁中提取數(shù)據(jù)使用pymysql庫實現(xiàn)數(shù)據(jù)的持久化4.4.1頁面分析
使用谷歌瀏覽器進入業(yè)務網(wǎng)站網(wǎng)頁界面可以獲得相關信息,如電影名(moviename)、導演名(directorname)、年份(movieyear)、國籍(movienation)、電影類型(movietype)等的靜態(tài)數(shù)據(jù),如圖4-1所示。圖4-14.4.2獲取靜態(tài)數(shù)據(jù)
在開發(fā)者工具中Elements選項卡中可以獲取得到電影的相關信息,如電影名,導演名,點評人數(shù)等,該類信息均為靜態(tài)數(shù)據(jù),如圖4-2所示。因此這里可以使用requests庫和lxml庫編寫自定義的爬蟲代碼對這些靜態(tài)數(shù)據(jù)直接進行獲取提供了依據(jù)。圖4-2Elements選項卡中的靜態(tài)數(shù)據(jù)
在“開發(fā)者工具”的network選項卡中可以觀察到該網(wǎng)頁的狀態(tài)碼(statuscode)、請求方式(requestmethod)、瀏覽器信息(User-Agent)等信息,如圖4-3所示。這些信息能夠為接下來的爬蟲代碼更直接的提取出需要的信息。圖4-3瀏覽器詳細的Headers信息通過前面對該頁面進行了詳細的結(jié)構(gòu)和內(nèi)容分析之后,現(xiàn)在可以開始使用requests和BeautifulSoup編寫自定義的爬蟲代碼對該部分的靜態(tài)數(shù)據(jù)直接進行獲取了,這里主要包含三個步驟。1.準備階段1)導入requests和BeautifulSoup,pandas,pymysql等,requests庫用于獲取URL的頁面響應數(shù)據(jù),BeautifulSoup用于從網(wǎng)頁中提取數(shù)據(jù)。importrequestsfrombs4importBeautifulSoupimportpandasaspdimportnumpyasnpimportre靜態(tài)數(shù)據(jù)獲取的總體步驟 2)構(gòu)建列表用于臨時存儲從網(wǎng)頁中爬取出來的相關信息 movie_names_lst=[] director_names=[] actor_names=[] movie_years=[] movie_nations=[] movie_types=[] lst_data_table=[] 3)構(gòu)造爬蟲代碼請求該URL的Headers頭部信息。在開發(fā)者工具的“Network”選項卡下的“Headers”選項卡中得到該默認URL的Headers頭部信息。其目的是豆瓣的后臺服務器隱藏爬蟲代碼的真實身份,讓爬蟲代碼帶著這些請求信息偽裝成瀏覽器正常訪問該網(wǎng)站服務器的狀態(tài),而不被服務器的反爬措施發(fā)現(xiàn)。 headers={ 'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64;rv:68.0) Gecko/20100101Firefox/68.0’ }2.發(fā)送請求并獲取響應 1)向服務端發(fā)起請求,如果成功,服務端會返回當前頁面的所有內(nèi)容(通常是一個html文件)然后手動指定編碼集最后將請求之后的響應傳入解析器。req=requests.get(url='movie.douban/top250?start=0',headers=headers)req.encoding='utf-8'soup=BeautifulSoup(req.text,features="lxml")3.解析需要的數(shù)據(jù) 1)使用BeautifulSoup中的find_all()方法定位到<divclass=”hd”>,從而縮小查找范圍,并將所有符合條件的標簽返回的列表數(shù)據(jù)臨時保存在變量movie_item_hds中。movie_item_hds=soup.find_all('div',class_='hd’) 2)提取電影名稱,利用for循環(huán)遍歷movie_item_hds里面的數(shù)據(jù),再次使用find_all()方法來查找電影名,并將查找到的數(shù)據(jù)臨時保存在變量movie_names中。formovie_item_hdinmovie_item_hds:movie_names_sub=[]movie_names=movie_item_hd.find_all('span',class_='title')formovie_nameinmovie_names:print(movie_name.text.strip())movie_names_sub.append(movie_name.text.strip())movie_names_lst.append(movie_names_sub[0]) 3)提取評價人數(shù)、分數(shù)、電影導演等信息,在提取電影導演主演等信息的過程中是會發(fā)現(xiàn)有些數(shù)據(jù)由于導演名過長導致主演的信息被覆蓋,需要進行一些特殊處理movie_item_bds=soup.find_all('div',class_='bd')formovie_item_bdinmovie_item_bds:director_name_sub=[]actor_names_sub=[]movie_years_sub=[]movie_nations_sub=[]movie_types_sub=[]movie_stars=movie_item_bd.find_all('div',class_='star')formovie_starinmovie_stars:movie_star_spans_comments=movie_star.find_all('span')[3]movie_star_spans_score=movie_star.find_all('span')[1]movie_item_p=movie_item_bd.find_all('p')[0]movie_item_p_string=movie_item_p.text.strip()if'豆瓣'inmovie_item_p_string: continueelse: result=re.split('主演:|主...',movie_item_p_string.strip())director_name_sub.append(result[0].strip().split("導演:")[1]) director_names.append(director_name_sub[0]) result2=re.split('主演:|主...',movie_item_p_string.strip()) movie_year=result2[1].split("\n")[1].strip()[0:4] movie_years_sub.append(movie_year) movie_years.append(movie_ye
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 《車用驅(qū)動電機原理與控制基礎 第2版》 課件英文 Chapter 5 Three-phase AC Winding and Its Magnetic Field
- 《有趣的水》教學課件
- 河北省保定市(2024年-2025年小學四年級語文)人教版開學考試(上學期)試卷及答案
- 貴州省安順市(2024年-2025年小學四年級語文)人教版小升初模擬((上下)學期)試卷及答案
- 2024年家用美容、保健電器具項目合作計劃書
- 2024年新型高性能低合金鋼、合金鋼材料項目發(fā)展計劃
- 2023年福建福州閩江學院海上絲路文化教育與傳播研究中心招聘考試真題
- 2023年郴州永興縣招聘鄉(xiāng)鎮(zhèn)(街道)所屬事業(yè)單位工作人員考試真題
- 2024年高鎳锍項目合作計劃書
- 2024年板栗機械化剝殼去衣機合作協(xié)議書
- 《一年級日有所誦》(一年級)精編版課件
- 正大杯第十三屆全國大學生市場調(diào)查與分析大賽(試題97道含答案)
- 小學語文人教五年級上冊第四單元少年中國說(節(jié)選)第二課時ppt
- 中藥飲片批生產(chǎn)記錄
- 工筆畫古典中國風通用PPT模板
- 作文立意專題講座
- Unit 1 單元測讀后續(xù)寫 Mum and Her Bank Account課件-高中英語人教版(2019)必修第一冊
- 《新媒體營銷》期末考試題庫(含答案)
- 2022年教育部德育工作指南
- 異地就醫(yī)在外居住證明
- de Winter綜合征與Wellens綜合征
評論
0/150
提交評論