Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集第一套答案

Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集答案選擇題（每題2分）查看網(wǎng)站所用的技術(shù)可以使用以下的哪個模塊（A）WadPython-whoisRequestUrllib以下的XPath中用于選取所用N節(jié)點(diǎn)的表達(dá)式是（C）N/N//NN/N正則表達(dá)式R[0-9]{3}，能匹配出以下哪個字符串（D）R3R03R09R093以下數(shù)據(jù)庫中不屬于關(guān)系數(shù)據(jù)庫的是（B）MysqlRedisMongpDBPostgreSQL以下關(guān)于cookie與session說法正確的是（D）Cookie數(shù)據(jù)保存在服務(wù)器中Session數(shù)據(jù)保存在本地瀏覽器一般將cookie數(shù)據(jù)保存在http的body中Session是指抽象的客戶端-服務(wù)器交互模式以下re方法中用于替換字符串的是（B）MatchSubFind_allSplit以下哪一個python庫用于語言處理（B）NumpyNLTKSympyScipy前端頁面向后端發(fā)送表單數(shù)據(jù)通常使用（B）GetPostPutDeletepython的open方法中代表追加寫內(nèi)容的模式字符是（C）rwaw+在scrapy目錄下，哪個文件負(fù)責(zé)存放爬蟲文件（A）spiders文件夾Item.pyPipeline.pySetting.py判斷題（每題2分）axios通過同步加載的方式完成對內(nèi)容的獲取與呈現(xiàn)（x）Requests比于urllib庫更加簡潔實(shí)用（√）Selenium相比于Splash更加的節(jié)約資源（x）DictReader可以將CSV的每一行作為一個字典來返回（√）numpy一般是被認(rèn)為基于pandas設(shè)計(jì)的（x）Api與網(wǎng)頁抓取共用許多概念與技術(shù)（√）破解滑動驗(yàn)證碼需要實(shí)現(xiàn)圖像拼接與勻速滑動（x）一般情況下ajax返回的數(shù)據(jù)是以xml形式封裝的（√）Tag標(biāo)簽為a、img、audio時屬性為src（x）Selenium的webdriver的版本必須和瀏覽器的版本相對應(yīng)（√）填空題（每題2分）爬蟲前我們應(yīng)該了解網(wǎng)站的robots.txt文件信息以被反爬蟲封禁的風(fēng)險(xiǎn)。CSV文件的分隔值是逗號。Python中內(nèi)置的數(shù)據(jù)庫模塊是sqlit。python中主要使用pickle模塊來實(shí)現(xiàn)序列化與反序列化。常用的中文文本分析工具有jieba、SnowNLP。BeautifulSoup中，通過tag的content屬性可以將tag子節(jié)點(diǎn)以列表方式輸出。字符串str可以通過strip方法來去除左右空格。用于re.findall函數(shù)中的http://[a-zA-Z0-9/\.-]*

表達(dá)式用于提取http://開始的超鏈接。解釋Robots協(xié)議：網(wǎng)絡(luò)爬蟲排除協(xié)議。表示匹配空行的正則表達(dá)式是^$。簡答題（每題4分）請簡要說明使用Selenium的大致流程。創(chuàng)建瀏覽器對象訪問頁面定位網(wǎng)頁元素網(wǎng)頁交互是否可以將自己的爬蟲的User-agent設(shè)置為知名爬蟲呢。從代碼的角度看，沒有人會限制你使用什么樣的User-agent，就是上面的例子。實(shí)際上，不斷變換User-agent的值也是很多不友好爬蟲為了躲避服務(wù)器的檢測的常用做法。但是這種做法是非常不可取的，它擾亂了Web服務(wù)器的正常判斷，就可能使得某種知名爬蟲被檢測出來不遵守Robots協(xié)議而產(chǎn)生糾紛。請簡要說明點(diǎn)擊一個網(wǎng)頁鏈接，會發(fā)生的一系列時間。瀏覽器響應(yīng)點(diǎn)擊事件，解析url，

發(fā)起web請求，建立與服務(wù)端的連接，

服務(wù)端響應(yīng)請求，服務(wù)端返回請示結(jié)果，瀏覽器處理返回的結(jié)果。請簡要說明爬蟲時應(yīng)對圖片驗(yàn)證碼的主要思路有哪些。通過程序識別圖片再轉(zhuǎn)化為文字并輸入。手動打碼，避開程序破解驗(yàn)證碼環(huán)節(jié)。使用人工打碼平臺服務(wù)。請簡要說明cookie與session的區(qū)別。Cookie數(shù)據(jù)保存在本地，而session數(shù)據(jù)保存在服務(wù)器。Session是指象的客戶端-服務(wù)器交互模式，而cookie是session的一個具體實(shí)現(xiàn)手段。應(yīng)用題（每題10分）1、使用requests模塊，將'/physicalstore/index/ajaxSearchStore/'?storeCity=蘇州&storeProvince=江蘇'中的參數(shù)提取出來單獨(dú)作為參數(shù)并訪問這個url.importrequestsurl='/physicalstore/index/ajaxSearchStore/'params={"storeCity":"蘇州","storeProvince":"江蘇"}res=requests.get(url,params=params)print(res.status_code)使用requests模塊訪問并通過正則表達(dá)式獲取標(biāo)題。importrequests,rer=requ