Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集第二套答案

Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集答案選擇題（每題2分）Python中，可以用來(lái)存儲(chǔ)數(shù)據(jù)的文件類型包括（D）txtcsvjson以上所有可以用來(lái)解析XML文檔的庫(kù)有哪些（B）BeautifulSouplxmlhtml.parser以上所有JupyterNotebook對(duì)python開發(fā)有什么幫助（D）插入數(shù)學(xué)公式制作演示文稿輸入特殊關(guān)鍵字以上所有Python中用于進(jìn)行自然語(yǔ)言處理的第三方庫(kù)是（A）。A.nltkB.spacyC.gensimD.jieba通用網(wǎng)絡(luò)爬蟲主要由哪些機(jī)構(gòu)或者服務(wù)商使用（B）電商平臺(tái)搜索引擎金融機(jī)構(gòu)媒體平臺(tái)使用urllib.request.urlopen()方法請(qǐng)求網(wǎng)頁(yè)時(shí)，如果需要添加請(qǐng)求頭信息，應(yīng)該使用哪個(gè)對(duì)象（C）ResquestResponseOpenerHandler使用selenium庫(kù)進(jìn)行動(dòng)態(tài)頁(yè)面抓取時(shí)，需要安裝哪個(gè)組件（C）A.Chrome瀏覽器B.Chrome插件C.Chrome驅(qū)動(dòng)D.Chrome擴(kuò)展使用selenium庫(kù)進(jìn)行動(dòng)態(tài)頁(yè)面抓取時(shí)，可以使用哪個(gè)方法模擬鼠標(biāo)點(diǎn)擊（A）click()press()tap()touch()python的爬蟲框架包括（D）scrapyPySpiderPortia以上所有python與處理圖片相關(guān)的工具或庫(kù)不包括（A）lxmlPILPillowOpenCV判斷題（每題2分）解析HTML只能使用BeautifulSoup庫(kù)（x）只能使用Matplotlib庫(kù)來(lái)繪制圖表（x）使用urllib.request.urlopen()方法請(qǐng)求網(wǎng)頁(yè)時(shí)，可以直接添加請(qǐng)求頭信息（x）使用用戶代理池可以有效地防止被目標(biāo)網(wǎng)站識(shí)別為爬蟲（√）使用Api前，需要在提供Api服務(wù)的網(wǎng)站上申請(qǐng)一個(gè)接口服務(wù)（√）網(wǎng)絡(luò)爬蟲可以用任何編程語(yǔ)言實(shí)現(xiàn)，如PHP、Java、Python等（√）用urllib.request庫(kù)進(jìn)行瀏覽器偽裝時(shí)，需要修改Referer字段（x）Ajax是一種異步的JavaScript和XML技術(shù)，它可以在不刷新整個(gè)頁(yè)面的情況下，與服務(wù)器進(jìn)行數(shù)據(jù)交換（√）lxml庫(kù)可以解析HTML代碼，并提取出所有標(biāo)簽、屬性和文本內(nèi)容（x）正則表達(dá)式中，$表示匹配輸入的開始，^表示匹配輸入的結(jié)束，如果設(shè)置了多行標(biāo)志，則它們也可以匹配換行符前后的位置（x）填空題（每題2分）發(fā)送HTTP請(qǐng)求可以使用request模塊。pandas是Python中用于處理表格數(shù)據(jù)的標(biāo)準(zhǔn)庫(kù)，它支持多種格式的數(shù)據(jù)導(dǎo)入導(dǎo)出，如CSV、Excel、JSON等。使用Fiddler庫(kù)進(jìn)行抓包分析，可以查看瀏覽器與服務(wù)器之間的通信過(guò)程和數(shù)據(jù)。使用selenium庫(kù)進(jìn)行抓包分析，可以查看瀏覽器與服務(wù)器之間的通信過(guò)程和數(shù)據(jù)。cookies是指服務(wù)器為了一定目的而儲(chǔ)存在用戶本地的數(shù)據(jù)。避開網(wǎng)站反爬蟲機(jī)制可以用偽裝headers/使用代理IP地址/修改訪問(wèn)頻率/動(dòng)態(tài)撥號(hào)等。實(shí)現(xiàn)瀏覽器偽裝、代理設(shè)置、Cookie處理等可以使用urllib.request庫(kù)。在XPath語(yǔ)法中，用來(lái)表示當(dāng)前節(jié)點(diǎn)的軸名稱是self。網(wǎng)絡(luò)爬蟲需要遵守目標(biāo)網(wǎng)站的robots協(xié)議，以免造成不必要的麻煩。協(xié)議，以免造成不必要的麻煩。單元測(cè)試除了可以用unittest模塊，還可以使用pytest模塊。簡(jiǎn)答題（每題4分）請(qǐng)簡(jiǎn)要說(shuō)明什么是序列化和反序列化？序列化是將對(duì)象轉(zhuǎn)換為可存儲(chǔ)或傳輸?shù)母袷降倪^(guò)程。反序列化是將序列化后的數(shù)據(jù)恢復(fù)為原始對(duì)象的過(guò)程。如何在Python中使用requests庫(kù)發(fā)送HTTP請(qǐng)求？可以使用requests庫(kù)的get()或post()方法來(lái)發(fā)送HTTPGET或POST請(qǐng)求。例如：importrequestsresponse=requests.get('')簡(jiǎn)述Scrapy框架的優(yōu)勢(shì)（至少兩條）支持多種數(shù)據(jù)輸出格式，如JSON、CSV、XML等提供了一套完整的爬蟲功能模塊，包括請(qǐng)求管理、數(shù)據(jù)解析、數(shù)據(jù)存儲(chǔ)、日志記錄、異常處理等支持多種中間件和擴(kuò)展組件，如代理池、Cookie池、反反爬機(jī)制等支持分布式爬取和增量式爬取，提高了爬蟲的效率和穩(wěn)定性請(qǐng)簡(jiǎn)要說(shuō)明python相比MATLAB在科學(xué)計(jì)算和數(shù)據(jù)分析方面的優(yōu)勢(shì)（至少兩條）。應(yīng)用廣泛有更多程序庫(kù)簡(jiǎn)潔，易于編碼有可移植性和可擴(kuò)展性簡(jiǎn)述Xpath表達(dá)式的基本規(guī)則（至少兩條）。Node1選取Node1下的所有節(jié)點(diǎn)/node1分隔號(hào)代表到某元素的絕對(duì)路徑,此處即選擇根上的Nodel//node1選取所有node1元素,不考慮XML中的位置node1/node2選取node1子節(jié)點(diǎn)中的所有node2node1//node2選取node1所有后輩節(jié)點(diǎn)中的所有node2.選取當(dāng)前節(jié)點(diǎn)..選取當(dāng)前的父節(jié)點(diǎn)//@href選取XML中的所有href屬性應(yīng)用題（每題10分）請(qǐng)寫一個(gè)Python程序，用于從給定的多個(gè)csv文件中讀取數(shù)據(jù)，并將數(shù)據(jù)合并成一個(gè)新的csv文件。importpandasaspd

csv_files=['file1.csv','file2.csv','file3.csv']

data=[]

forcsv_fileincsv_files:

df=pd.read_csv(csv_file)

data.append(df)

merged_data=pd.concat(data,axis=0)

merged_data.to_csv('merged_data.csv',index=False)使用selenium模擬頁(yè)面下拉滾動(dòng)。fromseleniumimportwebdriverfromselenium.webdriverimportActionChainsfromselenium.webdriver.common.keysimportKeysimporttime#滾動(dòng)頁(yè)面browser=webdriver.Chrome('yourchromediverpath')browser.get('

/')print(browser.title)#輸出:"百度一下,你就知道"foriinrange(20):#browser.execute_script("window.scrollTo(0,document