火車頭采集器介紹及使用流程說明

1、 目錄 n 一、軟件介紹 n 二、創(chuàng)建任務(wù) n 三、采集網(wǎng)址 n 四、采集內(nèi)容 n 五、字段處理 一、軟件介紹 火車采集器能為您做些什么呢？ 1、網(wǎng)站內(nèi)容維護：可以定時采集新聞、文章等任何您想采集的內(nèi)容， 并自動發(fā)布到您的網(wǎng)站。 2、Internet數(shù)據(jù)挖掘：可以從指定網(wǎng)站抓取所需數(shù)據(jù)，通過分析和處 理后保存到您的數(shù)據(jù)庫。 3、網(wǎng)絡(luò)信息監(jiān)控：通過自動采集，可以監(jiān)控論壇等社區(qū)類網(wǎng)站，讓 您第一時間發(fā)現(xiàn)您所關(guān)注的內(nèi)容。 4、文件批量下載：可以批量下載PDF、RAR、圖片等各種文件，并同 時采集其相關(guān)信息。 火車采集器是目前信息采集與信息挖掘處理類軟件中最流行、性價比 最高、使用人數(shù)最多、市場占有率

2、最大、使用周期最長的智能采集程 序。 一、軟件介紹 火車采集器數(shù)據(jù)發(fā)布原理：火車采集器數(shù)據(jù)發(fā)布原理： 在我們將數(shù)據(jù)采集下來后數(shù)據(jù)默認是保存在本地的，我們可以使用以 下幾種方式對種據(jù)進行處理。 .不做任何處理。因為數(shù)據(jù)本身是保存在數(shù)據(jù)庫的（access或是 db3）,您如果只是想看一下，直接用相關(guān)軟件查看就可以了。 .web發(fā)布到網(wǎng)站。程序會模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù)，可以實 現(xiàn)您手工發(fā)布的效果。 .直接入數(shù)據(jù)庫。您只需寫幾個SQL語句，程序會將數(shù)據(jù)按您的SQL 語句導入到數(shù)據(jù)庫中。 .保存為本地文件。程序會讀取數(shù)據(jù)庫里的數(shù)據(jù)，按一定格式保存為 本地sql或是文本文件。 二、創(chuàng)建任務(wù) 打開火車

3、頭軟件，界面如下： 二、創(chuàng)建任務(wù) 1.新建分組 填寫分組名稱 二、創(chuàng)建任務(wù) 2.新建任務(wù) 填寫任務(wù)名稱 添加采集網(wǎng)址 三、采集網(wǎng)址 點擊“添加”按鈕出現(xiàn)如下界面 三、采集網(wǎng)址 切換至“批量/多頁”選項卡，可以批量添加網(wǎng)址 網(wǎng)址通用序號用通 配符(*)替換 這添加方式主要用來處理分頁網(wǎng)址 三、采集網(wǎng)址 切換至“其他網(wǎng)址格式”選項卡，也可以批量添加網(wǎng)址 網(wǎng)址通用序號用通 配符(*)替換 這添加方式主要用來處理含有日期的網(wǎng)址 日期格式 三、采集網(wǎng)址 多級網(wǎng)址采集 點擊添加按鈕 網(wǎng)址過濾條件 三、采集網(wǎng)址 手動采集配置鏈接地址規(guī)則： 手動連接格式是將需要的網(wǎng)址用參數(shù)來獲得并組合成我們需要的網(wǎng)址。 這個

4、好處是處理網(wǎng)址那塊有規(guī)律的網(wǎng)址很好處理。而且可以用這方法 采集需要的字段，如：公告新聞類的標題、日期等。 點擊單選按鈕來切換 配置網(wǎng)址采集規(guī)則 三、采集網(wǎng)址 點擊完成之后，則出現(xiàn)如下情況： 完成采集網(wǎng)址步驟之后，點擊“測試網(wǎng)址采集”按鈕。會出現(xiàn)如下界 面： 采集網(wǎng)址規(guī)則展示 配置網(wǎng)址采集規(guī)則 網(wǎng)址全部采集完成后，可以雙擊網(wǎng)址進行 內(nèi)容采集；如需修改則點擊“返回修改設(shè)置” 四、采集內(nèi)容 雙擊網(wǎng)址或者點擊測試該頁就能跳轉(zhuǎn)到采集內(nèi)容界面在典型頁面 中會出現(xiàn)剛才選中的網(wǎng)址，這里就是測試采集內(nèi)容。左邊的標簽名下 面有：出處、時間、作者、內(nèi)容、標題五個初始標簽，可以對標簽進 行添加、刪除和編輯等操作。 四

5、、采集內(nèi)容 編輯字段規(guī)則 以深交所的http:/ 提取標題，日期和信息內(nèi)容。 四、采集內(nèi)容 打開http:/ HTML源代碼。在源代碼中可以找到頁面中的標題部分，如圖： 復制這段代碼以及前后的相關(guān)html代碼，將標題內(nèi)容設(shè)為”參數(shù)”之后，通過 正則匹配的方式獲?。喝鐖D： 匹配規(guī)則 測試效果情況 四、采集內(nèi)容 同樣可以用這類似的方式來采集信息內(nèi)容： 還是先通過內(nèi)容附近的關(guān)鍵字段： 采集效果： 前后匹配字符串 四、采集內(nèi)容 通過之前的方式采集可以看到內(nèi)容包含了很多的html標簽，這些并不 是所需要的，因此需對其進行處理。 在數(shù)據(jù)處理項點擊添加，選中html標簽過濾： 點擊全選再按確定即可。 處理之

6、后的效果 四、采集內(nèi)容 備注： 前后字符串截取與正則提取是火車頭最基本、最常用的兩種采集方式，其原 理就是通過網(wǎng)頁源代碼中的前后關(guān)鍵字來獲取所要采集的內(nèi)容，通常這類前 后的關(guān)鍵字在網(wǎng)頁源代碼中具有一定的唯一性。 五、字段處理 火車頭采集器除了有最基本的采集截取之外，還有大量的對數(shù)據(jù)自動 作特殊處理的功能。 內(nèi)容替換：內(nèi)容替換功能是將采集后的字段中的一些內(nèi)容替換成需要 的格式，如有時采到的日期為xxxx年xx月xx日，而我們需要xxxx-xx-xx 的格式，就可以采取這個功能。 五、字段處理 網(wǎng)頁編碼設(shè)定： 每個網(wǎng)站都有一個相對應(yīng)的編碼：如UTF-8。如果選錯編碼，則采集 出來的數(shù)據(jù)就會呈現(xiàn)一種

7、亂碼格式。 大多數(shù)的網(wǎng)頁編碼火車頭都可以自動識別，如不能則需要手動指定一 個編碼格式。（網(wǎng)頁對應(yīng)的編碼格式通常會在源代碼的里） 五、字段處理 循環(huán)采集處理 循環(huán)采集就是在一個頁面中用相同的采集方式獲取字段： 以http:/ 標題字段。配置采集規(guī)則后，只需勾選在“該標簽循環(huán)匹配”即可。 選中即可 五、字段處理 采集記錄篩選 有時有些記錄不需要怎么辦？火車采集器的記錄篩選功能可以完成這 個工作?；疖嚥杉饔涗浐Y選有以下幾個處理方法： 選中“內(nèi)容過濾”就可對數(shù)據(jù)進行相關(guān)的過濾，如不得為空、不得重 復等。 標簽組合 有時我們會需要取幾個字段來做數(shù)據(jù)的唯一性判斷時就會用到標簽組 合采集。 注：標簽組合時需注意標簽的前后順序，組合后的標簽必須在最下面 不然就會報錯。 五、字段處理 文件下載功能 火車頭采集還提供了一個下載附件的功能， 同樣以http:/ 將網(wǎng)址補全，因為大多網(wǎng)頁源代碼中都是相對路徑。操作如下： 點擊添加，選中“補全單網(wǎng)址”，之后點擊文件下載，勾選“探測文 件并下載”即可。 五、字段處理 附件下載情況附件下載情況 五、字段處理 附件下載配置好之后，還需給個文件存放路徑及文件保存格式。 通常保存格式為原文件名或自增長的ID,也可以用之前一個采集字段作 為文件名：