爬蟲基礎(chǔ)-句號-11cookies使用抓包工具

抓包工具講師：句號授課時(shí)間：2018年9月免責(zé)聲明：如果本課程內(nèi)有任何內(nèi)容侵害了您的權(quán)益，請您及時(shí)聯(lián)系我們潭州教育全球教學(xué)服務(wù)中心熱線：01020304爬蟲的概念自動化數(shù)據(jù)采集HTTP協(xié)議HTTP協(xié)議是目前最通用的協(xié)議，定義了傳輸數(shù)據(jù)的標(biāo)準(zhǔn)爬蟲的流程爬蟲其實(shí)就是模擬網(wǎng)絡(luò)請求HTTPS通過加密使得傳輸過程安全的協(xié)議知識點(diǎn)回顧抓包工具01思考問題一：既然爬蟲就是模擬網(wǎng)絡(luò)請求，那么在模擬網(wǎng)絡(luò)請求前我們需要做什么？HTTP由于HTTP請求是沒有加密的，也沒有做任何驗(yàn)證，所以抓包工具直接將請求轉(zhuǎn)發(fā)即可。HTTPS由于HTTPS請求，客戶端會使用服務(wù)端的證書來加密數(shù)據(jù)，而且會驗(yàn)證服務(wù)端是否是真正的目標(biāo)服務(wù)端。所以抓包工具在抓包HTTPS請求時(shí)，會進(jìn)行偽裝。首先用抓包工具自己的證書向客戶端偽裝成服務(wù)端，然后向服務(wù)端發(fā)送請求時(shí)偽裝成客戶端。以此來實(shí)現(xiàn)數(shù)據(jù)的抓取和轉(zhuǎn)發(fā)。抓包工具原理抓包工具安裝Fiddler官方網(wǎng)站下載安裝即可：

基本可以說目前最為全面和強(qiáng)大的抓包工具就是fiddler了，使用也不算麻煩。Fiddler也在官網(wǎng)上有提供非常詳細(xì)的文檔和教程，如果使用的時(shí)候遇到問題，可以直接查閱官網(wǎng)文檔。標(biāo)題文字Fiddler標(biāo)題文字CharlesFiddler配置抓取HTTPS有做任何驗(yàn)證剛剛也說到了，抓包工具抓取HTTPS的包的時(shí)候跟HTTP的直接轉(zhuǎn)發(fā)是不同的。所以我們需要配置HTTPS的證書。標(biāo)題文字Fiddler標(biāo)題文字打開后選擇HTTPS，勾選上這個選項(xiàng)，然后勾選上下方出現(xiàn)的兩個選項(xiàng)。最后再將彈出的窗口都選擇yes。抓包工具使用02工具欄給session添加一個注釋Replay：將目標(biāo)session再發(fā)送一次刪除session將斷點(diǎn)的session恢復(fù)執(zhí)行Decode：將傳輸?shù)臄?shù)據(jù)解碼成容易閱讀的格式Find：查找sessionSave：將session保存成本地文件ClearCache：清除緩存Session窗口#：Session的序號Result：請求的響應(yīng)狀態(tài)碼Protocol：請求的協(xié)議類型Host：域名URL：請求的urlBody：響應(yīng)體的大小Caching：緩存方式Content-Type：響應(yīng)的數(shù)據(jù)類型Process：發(fā)起請求的進(jìn)程Comments：注釋同時(shí)，每一個session都有不同的顏色，不同的顏色代表不一樣的session類型。Inspectors標(biāo)簽頁請求數(shù)據(jù)窗口Headers：報(bào)頭TextView：查看文本數(shù)據(jù)Syntax：根據(jù)語法格式查看WebForms：Web表單HexView：查看十六進(jìn)制數(shù)據(jù)Cookies：查看請求的CookiesJson：查看json格式數(shù)據(jù)響應(yīng)數(shù)據(jù)窗口Transformer：解壓方式Headers：報(bào)頭TextView：查看文本數(shù)據(jù)Syntax：根據(jù)語法格式查看ImageView：查看圖片WebForms：Web表單HexView：查看十六進(jìn)制數(shù)據(jù)Cookies：查看請求的CookiesJson：查看json格式數(shù)據(jù)查找過濾Session03Filters選項(xiàng)卡我們在抓包的時(shí)候常常會遇到非常雜亂的請求，而我們需要去分析的往往只是其中很小的一部分，那么我們就需要從許多請求中過濾出我們需要的那些請求。是否使用Filters。Filters的規(guī)則是可以保存和加載的，也就是我們可以把規(guī)則保存下來以后再用。根據(jù)Host域名來進(jìn)行篩選。根據(jù)客戶端的進(jìn)程來進(jìn)行篩選。根據(jù)請求的Headers來進(jìn)行篩選。斷點(diǎn)：Fiddler的斷點(diǎn)功能能夠讓請求在發(fā)送后，或者是在返回時(shí)暫停，這時(shí)候就能夠?qū)φ埱蠛晚憫?yīng)進(jìn)行相應(yīng)的修改。根據(jù)響應(yīng)的狀態(tài)碼篩選。根據(jù)響應(yīng)的類型和大小來進(jìn)行篩選。根據(jù)響應(yīng)的Headers來進(jìn)行篩選。Find查找使用快捷鍵ctrl+f或者在工具欄中選擇find來打開查找窗口，查找窗口可以從所有session中搜索到我們想要的session文本輸入框。可以選擇搜索的范圍，限定在僅Requests或者response中，也可以選擇限定在headers或bodies中。是否區(qū)分大小寫。是否用正則表達(dá)式來搜索。僅僅搜索被選中的session。將搜索到的結(jié)果高亮，可以選擇顏色。命令行查找在Fiddler中同樣也是可以使用命令行來進(jìn)行搜索的，在圖中的黑框中輸入命令即可。select命令：搜索相應(yīng)類型的session，也就是content-type。？命令：根據(jù)URL來進(jìn)行搜索。=命令：根據(jù)狀態(tài)碼來進(jìn)行搜索。@命令：僅根據(jù)域名進(jìn)行搜索。斷點(diǎn)04斷點(diǎn)介紹作用設(shè)置斷點(diǎn)是Fiddler最強(qiáng)大的功能之一，在設(shè)置好斷點(diǎn)后，F(xiàn)iddler會捕捉所有經(jīng)過的消息，我們可以任意修改HTTP請求信息，包括Host、Cookies或表單的數(shù)據(jù)。可以設(shè)置斷點(diǎn)修改request，也可以設(shè)置斷點(diǎn)修改response。全局?jǐn)帱c(diǎn)在菜單欄中選擇Rules>AutomaticBreakpoints，即可選擇斷點(diǎn)方式。有兩個選擇，分別是在請求往服務(wù)器發(fā)送的時(shí)候暫停，和在響應(yīng)返回到客戶端的時(shí)候暫停。指定斷點(diǎn)指定斷點(diǎn)需要輸入指定的命令來進(jìn)行斷點(diǎn)：bpu：在指定網(wǎng)頁發(fā)起請求后暫停。如：bpubpafter：在指定網(wǎng)頁返回響應(yīng)時(shí)暫停。bpm：中斷指定請求方式的請求。如：bpmgetbps：中斷指定狀態(tài)碼的session。如：bps200斷點(diǎn)方式斷點(diǎn)方式有兩種，一種是通過菜單欄設(shè)置全局的斷點(diǎn)，一種是通過命令行設(shè)置指定的斷點(diǎn)界面安裝斷點(diǎn)查找和篩選安