網(wǎng)絡(luò)礦工采集器V2012SP1圖文使用教程

網(wǎng)絡(luò)礦工采集器V2012SP1使用教程（圖文版）使用IE或Firefox瀏覽器，打開，進(jìn)入下載頻道，下載網(wǎng)絡(luò)礦工V2012SP1軟件注意：網(wǎng)絡(luò)礦工的運(yùn)行需要.NetFramework2.0環(huán)境，如果您的計(jì)算機(jī)中不具備此環(huán)境，請到下載->工具軟件中下載。網(wǎng)絡(luò)礦工下載后是一個ZIP壓縮文件雙擊打開壓縮文件，可以看到一個SoMinerV2012Sp1專業(yè)版目錄，全部解壓出來即可，解壓完成后，在此目錄中我們可以看到有三個exe文件，同時還可看到一個“第一次使用請先讀我”的文本文件，如果第一次使用，可以查看這個文件。Soukeynetget.Exe是網(wǎng)絡(luò)礦工的主程序文件，雙擊啟動即可打開網(wǎng)絡(luò)礦工。如果您是試用用戶，啟動后，系統(tǒng)會顯示試用版，及剩余試用的期限，通常情況下試用期限為30天，試用版沒有任何功能限制，所以不必?fù)?dān)心。我們以一個簡單的配置例子，來介紹網(wǎng)絡(luò)礦工的使用，采集某網(wǎng)站的新聞數(shù)據(jù)。啟動網(wǎng)絡(luò)礦工，我們首先先建立一個“新聞”的分類用來存儲將要配置的采集任務(wù)，建立分類的目的是便于管理。建立分類：在屬性菜單中，點(diǎn)擊鼠標(biāo)右鍵，選擇“添加采集分類”，系統(tǒng)彈出添加分類窗體，如下：輸入“新聞”點(diǎn)擊確定退出，系統(tǒng)會自動建立新聞的分類選中“新聞”分類，點(diǎn)擊鼠標(biāo)右鍵，選擇“新建采集任務(wù)”開始添加采集任務(wù)首先我們可以給此采集任務(wù)填寫一個易記的采集名稱“新聞采集”，下一步我們開始添加要采集的網(wǎng)址信息，采集網(wǎng)址為：/newssh/shwx/shehuiwanxiang.htm采集的數(shù)據(jù)是從這個新聞列表頁中，找到每一篇新聞，點(diǎn)擊進(jìn)入新聞的詳細(xì)頁，采集新聞的置導(dǎo)航規(guī)則頁中，選擇“自定義配置”，在網(wǎng)頁源碼中，找到需要導(dǎo)航的網(wǎng)址，熒光筆標(biāo)出的就是前后標(biāo)志，輸入規(guī)則，確定退出。然后，我們再進(jìn)行導(dǎo)航規(guī)則測試，可以看到測試沒有問題。下面我們開始配置采集數(shù)據(jù)的規(guī)則，因?yàn)槲覀円杉侣劦恼?、?biāo)題、發(fā)布時間，所以，可以用三種方式來完成：1、智能采集；2、可視化采集；3、規(guī)則配置。我們逐個講解智能采集我們在采集任務(wù)配置窗體中，選擇“采集數(shù)據(jù)”，并點(diǎn)擊“配置助手”，打開配置助手頁，在地址欄輸入一個采集的地址，系統(tǒng)也會自動輸入此網(wǎng)址，同時點(diǎn)擊“生成文章采集規(guī)則”，可以看到系統(tǒng)已經(jīng)將文章的智能規(guī)則輸入到系統(tǒng)中，點(diǎn)擊“測試”可以檢查采集結(jié)果是否正確確定退出，這樣就完成了配置。點(diǎn)擊“應(yīng)用”保存，測試采集，可以看到采集沒有問題，正文首先是張圖片。如果需要去掉網(wǎng)頁符號，可以編輯正文的數(shù)據(jù)加工規(guī)則，選擇“輸出時去掉網(wǎng)頁符號”再次測試網(wǎng)頁符號已經(jīng)去掉，因?yàn)閳D片是一個網(wǎng)頁代碼，所以也被去掉了，一般情況下，采集正文我們期望保留格式，所以，不用去掉網(wǎng)頁代碼，這樣可以保留文章原始格式進(jìn)行輸出。下面我們來看可視化配置我們在采集任務(wù)配置窗體中，選擇“采集數(shù)據(jù)”，并點(diǎn)擊“增加”，采集數(shù)據(jù)規(guī)則配置頁，選擇“可視化配置”，并點(diǎn)擊“可視化提取”按鈕，打開可視化配置頁面輸入我們需要采集數(shù)據(jù)的網(wǎng)址，并點(diǎn)擊匹配，開始進(jìn)行采集數(shù)據(jù)的可視化配置，同樣，點(diǎn)擊“開始捕獲”時，鼠標(biāo)在網(wǎng)頁滑動時會出現(xiàn)一個藍(lán)色邊框，用藍(lán)色邊框選中需要采集的數(shù)據(jù)，點(diǎn)擊即可。點(diǎn)擊“測試”可以看到測試結(jié)果，測試結(jié)果正確后，確定退出，在采集數(shù)據(jù)規(guī)則配置頁，輸入一個名稱，保存退出，即可重復(fù)以上過程，將正文、時間、標(biāo)題配置好即可?？梢钥吹揭?guī)則類別為XPath保存采集任務(wù)，測試即可。下面我們來看第三種配置方法：規(guī)則配置規(guī)則配置是最復(fù)雜的，但也是最靈活的，需要在網(wǎng)頁源碼中找到前后標(biāo)志，進(jìn)行配置首先先打開需要采集數(shù)據(jù)的網(wǎng)頁源碼，采集任務(wù)配置窗體中，選擇“采集數(shù)據(jù)”，并點(diǎn)擊“增加”，采集數(shù)據(jù)規(guī)則配置頁在“起始位置”和“終止位置”輸入在網(wǎng)頁源碼中找到的定位符即可逐一配置規(guī)則類別為：Normal測試采集至此，我們這個采集任務(wù)就講解完成。這個采集配置是比較簡單的，但針對這個采集任務(wù)配置，我們講解了自動化分析、可視化配置和規(guī)則配置三種配置方法，在大部分情況下，可視化配置可以完成規(guī)則的配置，而不需要規(guī)則配置，但規(guī)則配置最為靈活，采集效率最高，但難度也最