一、數(shù)據(jù)采集常用工具安裝配置使用

1、數(shù)據(jù)采集常用工具安裝配置使用一、Encode-Decode Tools （URL編碼轉(zhuǎn)碼）二、Fiddler2 （提交數(shù)據(jù)抓包）三、LocoySpiderV2010SP3_Ultimate_Dog_Build2011-05-20 （火車頭數(shù)據(jù)采集器）四、Notepad+ V5.9.3 （多功能代碼編輯器）先給大家介紹第一款工具：Encode-Decode TbolsURL編碼轉(zhuǎn)換工具，用以將16進制格式還原為ASCII碼，并可以處理類似%u3235這樣的Unicode格式。這里我們用于數(shù)據(jù)抓包回來的數(shù)據(jù)是URL編碼后的，所以我們要使用這個工具來進行反編碼。例如我們通過百度 來搜索內(nèi)容，搜索后的

2、數(shù)據(jù)，會自動進行編碼，在地址欄中顯示出來。例如：我在百度中搜索小螞蟻地方門戶網(wǎng)站系統(tǒng)，點擊搜索后，地址欄如下： HYPERLINK /s?wd=%D0%A1%C2%EC%D2%CF%B5%D8%B7%BD%C3%C5%BB%A7%CD%F8%D5%BE /s?wd=%D0%A1%C2%EC%D2%CF%B5%D8%B7%BD%C3%C5%BB%A7%CD%F8%D5%BE%CF%B5%CD%B3前面的網(wǎng)站我們看得懂，s?wd=后面的數(shù)據(jù)，我們無法知道他顯示的是什么內(nèi)容，數(shù)據(jù)被URL編碼，這里我們就 要使用到第三方工具來完成解碼操作。這個工具使用起來很簡單的，只是把URL編碼的數(shù)據(jù)復(fù)制到這個軟件

3、的文本框中即可解順利完成密操作。軟件不光可以使用完成解操作，也可以使用中文字符、URL、網(wǎng)頁代碼等進行數(shù)據(jù)字符進行加密操作等等。這里介紹給大家，主要是想讓大家了解到我們后面使用抓包工具，抓到的數(shù)據(jù)是被編碼后的，我們根據(jù)無法看懂 數(shù)據(jù)被加碼后的內(nèi)容，所以我們在制作發(fā)布模塊中，這個工具算是必用到的一個工具，之前的教程中也有很多朋 友問我，這個工具是做什么用的，這里大家看了上面的介紹，希望對這個工具已經(jīng)很熟悉不過了吧。呵呵介紹第二款工具：Fiddler2數(shù)據(jù)抓包（軟件永久免費）Fiddler2是一個網(wǎng)絡(luò)調(diào)試代理，用來監(jiān)測本地計算機和Internet之間所有的HTTP通訊。可以監(jiān)測所有的HTTP通訊，

4、設(shè)置斷點，并且可以修改到進入到本地計算機的數(shù)據(jù)和從本地計算機出去的數(shù)據(jù)（就 是可以偽造數(shù)據(jù)）。如果玩黑客的朋友應(yīng)該知道的，上傳文件，可以利用NC偽造數(shù)據(jù)包，上傳wehshell馬等等。 Fiddler包含一個JScript .NET事件腳本子系統(tǒng)（event-based scripting subsystem），可以使用任何一種.Net語言擴展。 Fiddler2軟件安裝圖解，F(xiàn)iddler2安裝包打開后，點擊按鈕I Agree進行下步安裝Fi ddler2 Setup: License AgreeaentYou must agree to this license before instal

5、ling.By using this software and any updates to ityou accept these terms. If you 上 do not accept these termSj do not install or use the software.The software (Fiddler Web Debugger) and any updates to it are provided as is and you bear the risk of using it. In no event shall Ij Eric Lawrencej be liabl

6、e for any consequentialj special incidental or indirect damages of any kjnd 一 arising out of the deliverj performance or use of this software. This software was written with 匚mre, but no one warrants that the software is error-free. Your sole remedy for any failure or any form of damage caused by th

7、is software is a Full refund of the license fee I have received from yoUj which in all cases is $0.On qFnrti in. bhA qriFFwarR Anririvmrii ilw rhftrk Fnr haiaj: vni i msv ICancel J 5ep-14-ll vS.3.6.2 beta| I Agree |點擊按鈕Browse選擇Fiddler2軟件安裝目錄，點擊按鈕Install進行安裝下一步。這里最后一步，提示安裝完成，點擊按鈕Close，完成Fiddler2安裝!Fi

8、ddler2安裝完成后，會在開始菜單中創(chuàng)建一個軟件啟動快捷方式，我們來打開軟件，簡單熟悉一下我們常用的幾 個功能。操作步驟：開始菜單 開始-程序-Fiddler2如圖：文檔設(shè)置搜索口幫助和支持QI）運行俱）. .恿附件M ：acr um edi a 迅雷軟件fFiddler2關(guān)機QJ). Adobe Photoshop CS2 .-J WPS Office 個大版函管理工具Adobe Dreiweaver CS5lj!| Microioft Visual Soiii-i：eSafeMicrosoft SQL Server函泡泡魚虛擬網(wǎng)卡Notepad+*口曰胃.V打開Fiddler2軟件時，啟

9、動時間會根據(jù)不同操作系統(tǒng)判斷啟動時間，過程中會出現(xiàn)Fiddler2啟動界面，如圖:FiddlerWeb DebuggerLoading AutoResponder.V beta主界面，F(xiàn)iddler2是我們數(shù)據(jù)采集過程一款輔助工具，所以每個功能不做詳細(xì)講解，主要講解我們使用的幾項功能。五個常用功能使用：1、File-Capture Traffic （快捷鍵F12）注：開始監(jiān)聽數(shù)據(jù)或者停止監(jiān)聽數(shù)據(jù)2、Edit-Remove-All Sessions （快捷鍵Ctrl+x）注：刪除全部監(jiān)聽到的數(shù)據(jù)信息3、Process Filter注：利用鼠標(biāo)拖拽到數(shù)據(jù)鋪捉窗口上進行數(shù)據(jù)監(jiān)聽4、Inspector

10、s-TextView注：鋪捉頁面請求內(nèi)容部分?jǐn)?shù)據(jù)信息5、Inspectors-Raw注：監(jiān)聽到頁面原始信息，就是沒有經(jīng)過分析處理過由于這幾個功能無法用字面的方式描述清楚，下面直接給大家錄制個視頻使用教程。視頻文件位置：視頻文件夾下面Fiddler2視頻教程，語音教程，觀看前，請帶好耳機！介紹第三款工具：LocoySpiderV2010SP3_Ultimate_Dog_Build2011-05-20 （火車頭數(shù)據(jù)采集器）火車采集器（軟著登字0144474號，2009SR017475） （LocoySpider）是一款專業(yè)的功能強大的網(wǎng)絡(luò)數(shù)據(jù)/信息挖掘軟件， 通過靈活的配置，您可以很輕松的從網(wǎng)頁上

11、抓取文字、圖片、文件等任何資源。程序支持遠(yuǎn)程下載圖片文件，支 持網(wǎng)站登陸后的信息采集，支持探測文件真實地址，支持代理，支持防盜鏈的采集，支持采集數(shù)據(jù)直接入庫和模 仿人手工發(fā)布等許多功能特點。火車采集器支持從任何類型的網(wǎng)站采集獲取您所需要的信息，如各種新聞類網(wǎng)站、 論壇、電子商務(wù)網(wǎng)站、求職招聘網(wǎng)站等。同時具有強大的網(wǎng)站登錄采集、多頁和分頁的采集、網(wǎng)站跨層采集、POST 采集、腳本頁面采集、動態(tài)頁面采集等高級采集功能。強大的php和c#插件支持，讓您可以通過二次開發(fā)實現(xiàn)您 所想要的任何更強大的功能?；疖囶^官方網(wǎng)站： HYPERLINK / /火車頭官方論壇： HYPERLINK / /商業(yè)用戶下載： HYPERLINK /spider-59853-1-1.html /spider-59853-1-1.html火車頭環(huán)境支持：Microsoft .NET Framework 2.0 版（x86）微軟官方下載： HYPERLIN