惠州學(xué)院《數(shù)據(jù)采集與清理》2022-2023學(xué)年期末試卷

學(xué)校________________班級(jí)____________姓名____________考場(chǎng)____________準(zhǔn)考證號(hào)學(xué)校________________班級(jí)____________姓名____________考場(chǎng)____________準(zhǔn)考證號(hào)…………密…………封…………線…………內(nèi)…………不…………要…………答…………題…………第1頁，共3頁惠州學(xué)院《數(shù)據(jù)采集與清理》

2022-2023學(xué)年期末試卷題號(hào)一二三總分得分一、單選題（本大題共20個(gè)小題，每小題2分，共40分．在每小題給出的四個(gè)選項(xiàng)中，只有一項(xiàng)是符合題目要求的．）1、以下哪個(gè)不是爬蟲中處理數(shù)據(jù)合并的方法？（）A.基于鍵值合并B.按照時(shí)間順序合并C.隨機(jī)合并D.按照數(shù)據(jù)類型合并2、在爬蟲中，以下哪個(gè)庫常用于處理HTTP認(rèn)證？（）A.requests.authB.httpx.authC.aiohttp.authD.以上都是3、網(wǎng)絡(luò)爬蟲在抓取網(wǎng)頁時(shí)，通過什么來識(shí)別頁面中的鏈接？（）A.HTML標(biāo)簽B.JavaScript腳本C.CSS樣式D.以上都不是4、以下哪個(gè)不是常見的反爬蟲手段？（）A.IP封禁B.驗(yàn)證碼C.數(shù)據(jù)加密D.頁面美化5、以下哪種情況可能導(dǎo)致爬蟲被網(wǎng)站封禁？A.頻繁訪問同一頁面B.訪問隱藏頁面C.未設(shè)置請(qǐng)求頭D.以上都有可能6、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的robots.txt文件？（）A.遵守規(guī)則B.忽略C.部分遵守D.視情況而定7、在爬蟲中，設(shè)置請(qǐng)求頭的主要目的是：A.偽裝成瀏覽器B.提高抓取效率C.繞過反爬蟲機(jī)制D.以上都是8、以下哪種情況可能導(dǎo)致爬蟲被網(wǎng)站封禁？（）A.訪問頻率過高B.不遵守robots.txt協(xié)議C.發(fā)送異常請(qǐng)求D.以上都是9、以下哪個(gè)不是爬蟲中處理頁面解析錯(cuò)誤的方式？（）A.跳過B.重試C.記錄錯(cuò)誤D.停止爬蟲10、以下哪個(gè)不是爬蟲中數(shù)據(jù)提取的方法？（）A.正則表達(dá)式B.XPathC.CSS選擇器D.隨機(jī)生成11、以下哪個(gè)不是爬蟲中處理分布式任務(wù)的框架？（）A.CeleryB.KafkaC.RabbitMQD.以上都是12、網(wǎng)絡(luò)爬蟲獲取的數(shù)據(jù)通常需要進(jìn)行以下哪種處理？（）A.去重B.篩選C.轉(zhuǎn)換格式D.以上都是13、在處理爬蟲獲取的網(wǎng)頁內(nèi)容時(shí)，以下哪個(gè)方法常用于解析HTML？（）A.正則表達(dá)式B.XPathC.CSS選擇器D.以上都是14、以下哪種存儲(chǔ)方式適合存儲(chǔ)大規(guī)模的爬蟲數(shù)據(jù)？A.關(guān)系型數(shù)據(jù)庫B.非關(guān)系型數(shù)據(jù)庫C.文件系統(tǒng)D.內(nèi)存數(shù)據(jù)庫15、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的反爬蟲IP封鎖？（）A.使用代理B.更換IPC.等待解封D.以上都是16、當(dāng)遇到反爬蟲機(jī)制時(shí)，以下哪種方法不太可能有效？A.使用代理IPB.降低抓取頻率C.模擬人類行為D.發(fā)送大量請(qǐng)求突破限制17、網(wǎng)絡(luò)爬蟲在抓取數(shù)據(jù)時(shí)，如何處理網(wǎng)站的反爬蟲驗(yàn)證碼升級(jí)？（）A.尋找新的破解方法B.降低抓取頻率C.暫時(shí)停止抓取D.以上都是18、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的驗(yàn)證碼變化？（）A.及時(shí)更新識(shí)別策略B.放棄抓取C.人工處理D.以上都是19、以下哪個(gè)不是爬蟲框架？（）A.ScrapyB.PySpiderC.DjangoD.Crawley20、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的訪問限制策略變化？（）A.調(diào)整爬蟲策略B.停止抓取C.等待策略恢復(fù)D.以上都是二、簡答題（本大題共4個(gè)小題，共40分)1、（本題10分）說明網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的智能旅游相關(guān)元素。2、（本題10分）說明網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的用戶權(quán)限管理數(shù)據(jù)。3、（本題10分）說明網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的用戶行為的信息市場(chǎng)調(diào)研和競(jìng)爭分析數(shù)據(jù)。4、（本題10分）簡述網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的社交網(wǎng)絡(luò)元素（如分享按鈕、評(píng)論）。三、編程題