《數(shù)據(jù)采集技術(shù)》課件-超時和網(wǎng)絡(luò)異常

超時和網(wǎng)絡(luò)異常Contents素養(yǎng)目標(biāo)能夠初步建立起大數(shù)據(jù)領(lǐng)域的知識體系，完成一些初級技術(shù)實踐。技能目標(biāo)能夠處理超時和網(wǎng)絡(luò)異常的處理方法。知識目標(biāo)掌握常見的超時和網(wǎng)絡(luò)異常以及處理方法。超時在互聯(lián)網(wǎng)上抓取數(shù)據(jù)并將其存儲在本地數(shù)據(jù)庫中。網(wǎng)絡(luò)爬蟲是一種自動化程序有時候會遇到超時錯誤導(dǎo)致無法成功抓取數(shù)據(jù)超時的原因1網(wǎng)絡(luò)連接問題網(wǎng)絡(luò)爬蟲需要通過網(wǎng)絡(luò)連接到目標(biāo)網(wǎng)站，并從中抓取數(shù)據(jù)。不穩(wěn)定網(wǎng)絡(luò)連接響應(yīng)速度慢網(wǎng)站服務(wù)器超時錯誤會導(dǎo)致可以嘗試更改網(wǎng)絡(luò)連接或者等待網(wǎng)站服務(wù)器響應(yīng)。超時的原因2網(wǎng)站限制有些網(wǎng)站會設(shè)置訪問限制。限制每個IP地址的訪問次數(shù)或者訪問頻率WWW.網(wǎng)絡(luò)爬蟲頻繁訪問同一網(wǎng)站超時錯誤會導(dǎo)致惡意行為可以嘗試更改網(wǎng)絡(luò)爬蟲的訪問頻率或者使用代理服務(wù)器。超時的原因3數(shù)據(jù)量過大網(wǎng)絡(luò)爬蟲一次性抓取大量數(shù)據(jù)WWW.容易導(dǎo)致超時錯誤可以嘗試分批次抓取數(shù)據(jù)，或者增加網(wǎng)絡(luò)爬蟲的抓取速度。有些網(wǎng)站的數(shù)據(jù)量非常龐大。網(wǎng)站超時的原因4網(wǎng)站結(jié)構(gòu)變化有些網(wǎng)站的結(jié)構(gòu)會經(jīng)常發(fā)生變化，例如網(wǎng)頁布局、URL地址等。沒有及時更新適應(yīng)變化容易導(dǎo)致超時錯誤可以嘗試更新網(wǎng)絡(luò)爬蟲的代碼或者使用更加靈活的抓取方式。超時的解決辦法給網(wǎng)站服務(wù)器更多的時間來響應(yīng)網(wǎng)絡(luò)爬蟲的請求，從而減少超時錯誤的發(fā)生。增加等待時間1調(diào)整網(wǎng)絡(luò)爬蟲代碼中等待時間參數(shù)來實現(xiàn)超時的解決辦法給網(wǎng)絡(luò)爬蟲更多的機會來重新連接網(wǎng)站服務(wù)器并重新嘗試抓取數(shù)據(jù)。增加重試次數(shù)2調(diào)整網(wǎng)絡(luò)爬蟲代碼中重試次數(shù)參數(shù)來實現(xiàn)超時的解決辦法有些網(wǎng)站會設(shè)置訪問限制。限制每個IP地址的訪問次數(shù)或者訪問頻率WWW.網(wǎng)絡(luò)爬蟲頻繁訪問同一網(wǎng)站超時錯誤會導(dǎo)致惡意行為可以嘗試使用代理服務(wù)器來隱藏網(wǎng)絡(luò)爬蟲的真實IP地址。3使用代理服務(wù)器4優(yōu)化網(wǎng)絡(luò)連接網(wǎng)絡(luò)爬蟲需要通過網(wǎng)絡(luò)連接到目標(biāo)網(wǎng)站，并從中抓取數(shù)據(jù)。不穩(wěn)定網(wǎng)絡(luò)連接響應(yīng)速度慢網(wǎng)站服務(wù)器超時錯誤會導(dǎo)致可以嘗試優(yōu)化網(wǎng)絡(luò)連接，例如更改網(wǎng)絡(luò)連接或者使用更快速的網(wǎng)絡(luò)連接方式。超時的解決辦法5更新網(wǎng)絡(luò)爬蟲代碼超時的解決辦法有些網(wǎng)站的結(jié)構(gòu)會經(jīng)常發(fā)生變化，例如網(wǎng)頁布局、URL地址等。沒有及時更新適應(yīng)變化容易導(dǎo)致超時錯誤可以嘗試更新網(wǎng)絡(luò)爬蟲的代碼，使其能夠適應(yīng)網(wǎng)站結(jié)構(gòu)的變化。超時的解決辦法網(wǎng)絡(luò)爬蟲中超時是常見的問題適當(dāng)調(diào)整和優(yōu)化提高抓取效率和成功率需要針對具體情況進(jìn)行分析和解決常見網(wǎng)絡(luò)異常如果urlopen不能處理返回的響應(yīng)內(nèi)容，就會產(chǎn)生錯誤。兩個常見異常：URLErrorHTTPError使用urlopen()方法發(fā)送http請求URLError異常和捕獲沒有連接網(wǎng)絡(luò)服務(wù)器連接失敗找不到指定服務(wù)器URLError產(chǎn)生的原因主要有：request=urllib.request.Request('')try:urllib.request.urlopen(request,timeout=5)excepturllib.error.URLErroraserr:print(err)URLError異常和捕獲可以使用try…except語句捕獲響應(yīng)的異常：上述輸出了11004的錯誤碼，其含義是沒有找到指定的服務(wù)器。<urlopenerror[Error11004]getaddrinfofailed>常見網(wǎng)絡(luò)異常每個服務(wù)器的HTTP響應(yīng)都有一個數(shù)字響應(yīng)碼有些表示無法處理請求內(nèi)容。urlopen()會拋出HTTPError。HTTPError異常和捕獲HTTPError是URLError的子類，它的對象擁有一個整型的code屬性，表示服務(wù)器返回的錯誤代碼。request=urllib.request.Request('/net')try:urllib.request.urlopen(request)excepturllib.error.HTTPErrorase:print(e.code)上述輸出了404的錯誤碼，其含義是沒有找到這個頁面。404HTTPError異常和捕獲名稱類別說明1xxInformational（信息性狀態(tài)碼）接收的請求正在處理2xxSuccess（成功狀態(tài)碼）請求正常處理完畢3xxRedirection（重定向狀態(tài)碼）需要進(jìn)行附加操作以完成請求4xxClientError（客戶端錯誤狀態(tài)碼）服務(wù)器無法處理請求5xxServerError（服務(wù)器錯誤狀態(tài)碼）