Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集答案2

1.Python爬蟲的作用是什么？（B）A.爬取網(wǎng)頁(yè)上的圖片B.爬取網(wǎng)頁(yè)上的文本C.爬取網(wǎng)頁(yè)上的視頻D.爬取網(wǎng)頁(yè)上的音頻2.以下哪個(gè)不是Python爬蟲常用的庫(kù)？（D）A.requestsB.BeautifulSoupC.ScrapyD.Pygame3.以下哪個(gè)不是HTTP協(xié)議中的請(qǐng)求方法？（D）A.GETB.POSTC.DELETED.UPDATE4.以下哪個(gè)正則表達(dá)式可以匹配所有以數(shù)字開頭的字符串？（A）A.^\d+$B.^\d*$C.^\d+$D.^\d{1,}$5.以下哪個(gè)不是BeautifulSoup庫(kù)中常用的解析器？（D）A.lxmlB.html.parserC.xmlD.json6.以下哪個(gè)XPath表達(dá)式可以選取所有class屬性為"example"的元素？（A）A.//*[@class="example"]B.//*[class="example"]C.//*[@class=="example"]D.//*[@*]7.以下哪個(gè)不是Python網(wǎng)絡(luò)爬蟲的常用爬取策略？（C）A.深度優(yōu)先策略B.廣度優(yōu)先策略C.貪心策略D.隨機(jī)策略8.以下哪個(gè)不是Python網(wǎng)絡(luò)爬蟲的常用反爬機(jī)制？（D）A.IP代理池B.User-Agent偽裝C.驗(yàn)證碼識(shí)別D.數(shù)據(jù)加密9.以下哪個(gè)不是Python網(wǎng)絡(luò)爬蟲的常用反反爬機(jī)制？（C）A.動(dòng)態(tài)IP代理池B.隨機(jī)User-Agent偽裝C.模擬登錄驗(yàn)證機(jī)制D.數(shù)據(jù)解密10.Python爬蟲中常用的數(shù)據(jù)處理工具有哪些？（D）A.pandas庫(kù)B.numpy庫(kù)C.matplotlib庫(kù)D.以上所有在字符串前添加r可使字符串不經(jīng)過(guò)轉(zhuǎn)義（√）可以直接通過(guò)BeautifulSoup或tag對(duì)象實(shí)現(xiàn)BeautifulSoup中find_all()方法的功能（√）HTTP所有狀態(tài)碼的第一個(gè)數(shù)字代表了響應(yīng)的五種狀態(tài)之一（√）HTTP狀態(tài)碼中，200表示請(qǐng)求已成功，數(shù)據(jù)隨此響應(yīng)返回（√）在XPath中，希望選取此節(jié)點(diǎn)的所有子節(jié)點(diǎn)，應(yīng)該使用”//”（√）在XPath中，希望選取所有名稱為”title”的子節(jié)點(diǎn)，應(yīng)該使用”//title”（√）在XPath中，希望選取所有名稱為title且屬于bookstore元素的元素，應(yīng)該使用”//bookstore/title”（√）在XPath中，希望選取所有價(jià)格大于或等于30且小于40的書應(yīng)該使用”//book[price>=30andprice<40]”（√）正則表達(dá)式中，使用”a.*”來(lái)匹配任意以字母a開頭的字符串（√）BeautifulSoup庫(kù)可以通過(guò)屬性名和屬性值來(lái)查找HTML或XML文件中的元素，比如使用soup.find_all(attrs={"class":"book"})來(lái)查找所有屬性名為book的元素，返回值是一個(gè)列表（√）在瀏覽器中打開網(wǎng)站后，在網(wǎng)站首頁(yè)的地址后面添加/robots.txt，如果網(wǎng)站設(shè)置了訪問(wèn)許可，按回車就可以看到網(wǎng)站的robots

協(xié)議，即

robots.txt

文件內(nèi)容。Web頁(yè)面它具有一定的結(jié)構(gòu)，即由HTML標(biāo)簽構(gòu)成的樹型結(jié)構(gòu)。HTTP狀態(tài)碼是用來(lái)表示網(wǎng)頁(yè)服務(wù)器HTTP響應(yīng)狀態(tài)的3位數(shù)字代碼。狀態(tài)碼包含了五種類別，即消息、成功、重定向、請(qǐng)求錯(cuò)誤和服務(wù)器錯(cuò)誤.404代表“NOTFOUND”，認(rèn)為網(wǎng)頁(yè)已經(jīng)失效；503代表“ServiceUnavailable”，認(rèn)為網(wǎng)頁(yè)臨時(shí)不可訪問(wèn)；403代表“Forbidden”，認(rèn)為網(wǎng)頁(yè)目前禁止訪問(wèn)；301代表是“MovedPermanently”，認(rèn)為網(wǎng)頁(yè)重定向至新url。Requests模塊中，headers參數(shù)的作用是模擬瀏覽器若想要讀寫模式打開文件，應(yīng)該使用a+Cooike是客戶端的，數(shù)據(jù)保存在客戶端；Session是服務(wù)器端的，數(shù)據(jù)保存在服務(wù)器。使用matplotlib繪制散點(diǎn)圖，使用的函數(shù)是scatter()html標(biāo)簽從閉合的角度可以分為閉合標(biāo)簽與空標(biāo)簽。按照鏈接的存在方式不同，分為動(dòng)態(tài)超鏈接和靜態(tài)超鏈接。什么是爬蟲？爬蟲是一種按照一定的規(guī)則，自動(dòng)地抓取互聯(lián)網(wǎng)上網(wǎng)頁(yè)中相應(yīng)信息，然后把抓取的信息存儲(chǔ)到自己的計(jì)算機(jī)上的程序或腳本。爬蟲的流程是什么？爬蟲的流程一般包括發(fā)送請(qǐng)求、解析響應(yīng)、存儲(chǔ)數(shù)據(jù)三個(gè)步驟。Python中常用的爬蟲庫(kù)有哪些？常用的爬蟲庫(kù)有urllib、Requests、BeautifulSoup、Scrapy等。寫爬蟲是用單線程好還是多線程好？為什么？多線程。IO密集型任務(wù)，多線程能夠有效提升效率(單線程下有IO操作會(huì)進(jìn)行IO等待，造成不必要的時(shí)間浪費(fèi)，而開啟多線程能在線程A等待時(shí)，自動(dòng)切換到線程B，可以不浪費(fèi)CPU的資源，從而能提升程序執(zhí)行效率)。爬蟲中如何處理動(dòng)態(tài)頁(yè)面？爬蟲程序可以通過(guò)模擬瀏覽器行為，獲取動(dòng)態(tài)頁(yè)面的數(shù)據(jù)。一些常見(jiàn)的處理動(dòng)態(tài)頁(yè)面的方法包括：直接分析網(wǎng)頁(yè)源代碼，找到數(shù)據(jù)所在節(jié)點(diǎn)，然后用BeautifulSoup/XPath/Re等工具獲取數(shù)據(jù)。使用Selenium等工具模擬瀏覽器行為，獲取動(dòng)態(tài)頁(yè)面的數(shù)據(jù)。爬取百度（“”）首頁(yè)的HTML代碼importrequestsurl=''response=requests.get(url)print(response.text)爬取豆瓣電影Top250（“/top250”）的電影名稱（按CSS搜索，屬性名為“hd”）和評(píng)分（屬性名為“rating_num”）importrequestsimportBeautifulSoupurl='/top250'response=requests.get(url)soup=BeautifulSoup(response.text,'html.parser')movies=soup.find_all('div',class_='hd')formovieinmovies: