《數(shù)據(jù)采集技術(shù)》課件-網(wǎng)頁請求原理

網(wǎng)頁請求原理Contents知識目標掌握網(wǎng)頁請求原理技能目標能夠復述出瀏覽器加載網(wǎng)頁的過程素養(yǎng)目標培養(yǎng)良好的信息素養(yǎng)和道德意識思考WWW.這段網(wǎng)絡訪問過程中發(fā)生了什么在瀏覽器的地址欄輸入網(wǎng)址，按下回車后會顯示該網(wǎng)址對應的網(wǎng)頁?；剀嚍g覽網(wǎng)頁過程瀏覽網(wǎng)頁過程的示意圖如下所示客戶機web服務器通過IP地址請求頁面返回頁面返回IP地址域名DNS服務器對HTML頁面進行渲染域名傳輸協(xié)議信息及主機類型信息+網(wǎng)址統(tǒng)一資源定位符URLURL是互聯(lián)網(wǎng)上標準資源的地址，包含了文件的位置以及瀏覽器處理方式等信息。/nmrjydsjxy/index.htm統(tǒng)一資源定位符URL協(xié)議頭除了https外，常見的協(xié)議頭還有http、ftp、file等。URL地址由協(xié)議頭、服務器地址、文件路徑三部分組成。服務器地址文件路徑統(tǒng)一資源定位符URLHTTP是一套計算機通過網(wǎng)絡進行通信的規(guī)則，它由兩部分組成：客戶端（Client）請求消息和服務端（Server）響應消息。請求響應存儲著一些資源ClientServer統(tǒng)一資源定位符URL2.發(fā)送請求4.響應1.輸入URL分析瀏覽器顯示完整網(wǎng)頁的過程用戶瀏覽器web服務器3.封裝成HTTP響應報文5.解析HTML文件并加載其中的JavaScript文件分析瀏覽器顯示完整網(wǎng)頁的過程所有的文件都下載成功后，瀏覽器會根據(jù)HTML語法結(jié)構(gòu)，將網(wǎng)頁完整的顯示出來?？蛻舳薍TTP請求格式請求方法空格URL空格協(xié)議版本回車符換行符請求行頭部字段名：值回車符換行符頭部字段名值回車符換行符：回車符換行符請求頭部請求數(shù)據(jù)請求行請求頭部空行請求數(shù)據(jù)客戶端發(fā)送一個HTTP請求到服務器的請求消息，組成部分：客戶端HTTP請求消息示例GET/HTTP/1.1Host:Connection:keep-aliveUpgrade-Insecure-Requests:1User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/54.0.2840.99Safari/537.36Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8Referer:/Accept-Encoding:gzip,deflate,sdch,brAccept-Language:zh-CN,zh;q=0.8,en;q=0.6Cookie:BAIDUID=04E4001F34EA74AD4601512DD3C41A7B:FG=1;BIDUPSID=04E4001F34EA74AD4601512DD3C41A7B;PSTM=1470329258;MCITY=-343%3A340%3A;H_PS_PSSID=1447_18240_21105_21386_21454_21409_21554;BD_UPN=12314753;sug=3;sugstore=0;ORIGIN=0;bdime=0;H_PS_645EC=7e2ad3QHl181NSPbFbd7PRUCE1LlufzxrcFmwYin0E6b%2BW8bbTMKHZbDP0g;BDSVRTM=0請求行客戶端HTTP請求HTTP版本描述HTTP0.9只有基本的文本GET功能。HTTP1.0定義了三種請求方法：GET，POST和HEAD方法。HTTP1.1在1.0基礎(chǔ)上進行更新，新增了五種請求方法：OPTIONS，PUT，DELETE，TRACE和CONNECT方法。HTTP2.0所有首部鍵必須全部小寫，而且請求行要獨立為：:method、:scheme、:host、:path這些鍵值對。不同的HTTP版本下使用的請求方法不同用于從Web服務器請求數(shù)據(jù)客戶端HTTP請求最常用的請求方法是GET和POST，兩者的區(qū)別：1.GET方法(1)發(fā)送一個請求瀏覽器web服務器(2)返回響應數(shù)據(jù)在使用GET方法時：客戶端HTTP請求最常用的請求方法是GET和POST，兩者的區(qū)別：用于向Web服務器提交數(shù)據(jù)2.POST方法(1)數(shù)據(jù)打包發(fā)送瀏覽器web服務器(3)返回響應在使用POST方法時：(2)根據(jù)數(shù)據(jù)執(zhí)行相應的操作客戶端HTTP請求兩者的區(qū)別：參數(shù)都顯示在URL上1.GET請求服務器根據(jù)該請求所包含URL中的參數(shù)來產(chǎn)生響應內(nèi)容。請求參數(shù)都暴露在外，安全性不高。參數(shù)在請求體當中2.POST請求消息長度沒有限制而且采取隱式發(fā)送，通常用來向HTTP服務器提交量比較大的數(shù)據(jù)。高安全性比GET多使用場合客戶端HTTP請求參數(shù)參數(shù)名稱Host主機和端口號Connection連接類型Upgrade-Insecure-Requests升級為HTTPS請求User-Agent瀏覽器名稱Accept傳輸文件類型Referer頁面跳轉(zhuǎn)來源Accept-Encoding文件編解碼格式Accept-Charset字符編碼CookieCookieContent-TypePOST數(shù)據(jù)類型服務端HTTP響應格式狀態(tài)行響應報頭空行響應正文HTTP響應由四個部分組成：服務端HTTP響應消息示例HTTP/1.1200OKServer:TengineConnection:keep-aliveDate:Wed,30Nov201607:58:21GMTCache-Control:no-cacheContent-Type:text/html;charset=UTF-8Keep-Alive:timeout=20Vary:Accept-EncodingPragma:no-cacheX-NWS-LOG-UUID:bd27210a-24e5-4740-8f6c-25dbafa9c395Content-Length:180945<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN"....服務端HTTP響應消息示例HTTP/1.1200OKServer:TengineConnection:keep-aliveDate:Wed,30Nov201607:58:21GMTCache-Control:no-cacheContent-Type:text/html;charset=UTF-8Keep-Alive:timeout=20Vary:Accept-EncodingPragma:no-cacheX-NWS-LOG-UUID:bd27210a-24e5-4740-8f6c-25dbafa9c395Content-Length:180945<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN"....狀態(tài)行服務端HTTP響應格式響應碼描述100~199表示服務器成功接收部分請求，要求客戶端繼續(xù)提交其余請求才能完成整個處理過程。200~299表示服務器成功接收請求并已完成整個處理過程。常用狀態(tài)碼為200。300~399為完成請求，客戶需進一步細化請求。400~499客戶端的請求有錯誤，常用狀態(tài)碼包括404和403。500~599服務器端出現(xiàn)錯誤，常用狀態(tài)碼為500。響應狀態(tài)代碼由三位數(shù)字組成，其中第1位數(shù)字定義了響應的類別，有五種可能取值。服務端HTTP響應格式常用的響應報頭和取值Cache-Control：must-revalidate,no-cache,private在下次請求資源時，必須要重新請求服務器，不能從緩存副本中獲取資源。同樣含義的報頭還有Pragma:no-cache。告訴客戶端服務端不希望客戶端緩存資源服務端HTTP響應格式常用的響應報頭和取值Connection：keep-alive告訴客戶端服務器的TCP連接也是一個長連接，客戶端可以繼續(xù)使用這個TCP連接發(fā)送HTTP請求?？蛻舳朔斩嘶貞蛻舳说腃onnection：keep-alive服務端HTTP響應格式常用的響應報頭和取值Content-Encoding:gzip服務端發(fā)送的資源是采用gzip編碼的，客戶端看到這個信息后，應該采用gzip對資源進行解碼?？蛻舳朔斩烁嬖V報頭的取值服務端HTTP響應格式常用的響應報頭和取值Content-Type：text/html;charset=UTF-8客戶端需要使用UTF-8格式對資源進行解碼，然后對資源進行HTML解析?？蛻舳朔斩烁嬖V資源文件的類型和字符編碼服務端HTTP響應格式常用的響應報頭和取值HTTP協(xié)議中發(fā)送的時間都是GMT的，解決在互聯(lián)網(wǎng)上不同時區(qū)在相互請求資源時的時間混亂問題。Date：Sun,21Sep201606:18:21GMT客戶端服務端告訴服務端發(fā)送資源時的服務器時間格林尼治所在地的標準時間服務端HTTP響應格式常用的響應報頭和取值Expires:Sun,1Jan200001:00:00GMT告訴客戶端在這個時間前，可以直接訪問緩存副本。