WEB數(shù)據(jù)采集系統(tǒng)

1、WEEB 據(jù)采集系統(tǒng),概述面對互聯(lián)網(wǎng)海量的信息，政府機關(guān)、企事業(yè)單位和研究機構(gòu)都迫切希望獲取與自身工作相關(guān)的有價值信息，如何方便快捷地獲取這些信息就變得至關(guān)重要了。如果采用原始的手工收集方式，費時費力且毫無效率，面對越來越多的信息資源，勞動強度和難度可想而知。因此，現(xiàn)代的政府和企業(yè)都迫切需要一種能夠提供高質(zhì)量和高效運作的信息采集解決方案。本系統(tǒng)針對不同行業(yè)用戶的應(yīng)用需求，以抓取互聯(lián)網(wǎng)為目的，實現(xiàn)在用戶自定義規(guī)則下，從互聯(lián)網(wǎng)中抓取指定信息。抓取的信息可存入數(shù)據(jù)庫或直接入庫發(fā)送至指定欄目，實現(xiàn)網(wǎng)站信息及時更新和數(shù)據(jù)量提升，從而使得搜索引擎收錄量提升，擴大企業(yè)信息宣傳推廣力度。工典型應(yīng)用1.政府機關(guān)

2、實時跟蹤、采集與業(yè)務(wù)工作相關(guān)的信息來源。全面滿足內(nèi)部工作人員對互聯(lián)網(wǎng)信息的全局觀測需求。及時解決政務(wù)外網(wǎng)、政務(wù)內(nèi)網(wǎng)的信息源問題，實現(xiàn)動態(tài)發(fā)布。快速解決政府主網(wǎng)站對各地級子網(wǎng)站的信息獲取需求。全面整合信息，實現(xiàn)政府內(nèi)部跨地區(qū)、跨部門的信息資源共享與有效溝通。節(jié)約信息采集的人力、物力、時間，提高辦公效率。2 .企業(yè)實時準確地監(jiān)控、追蹤競爭對手動態(tài)，是企業(yè)獲取競爭情報的利器。及時獲取競爭對手的公開信息以便研究同行業(yè)的發(fā)展與市場需求。為企業(yè)決策部門和管理層提供便捷、多途徑的企業(yè)戰(zhàn)略決策工具。大幅度地提高企業(yè)獲取、利用情報的效率，節(jié)省情報信息收集、存儲、挖掘的相關(guān)費用，是提高企業(yè)核心競爭力的關(guān)鍵。提高企

3、業(yè)整體分析研究能力、市場快速反應(yīng)能力，建立起以知識管理為核心的“競爭情報數(shù)據(jù)倉庫”，是提高企業(yè)核心競爭力的神經(jīng)中樞。3 .新聞媒體快速準確地自動采集數(shù)信息。支持每天對數(shù)萬條新聞進行有效抓取。支持對所需內(nèi)容的智能提取、審核。實現(xiàn)互聯(lián)網(wǎng)信息內(nèi)容采集、瀏覽、編輯、管理、發(fā)布的一體化系統(tǒng)構(gòu)架工作過程描述采集的目的就是把對方網(wǎng)站上網(wǎng)頁中的某塊文字或者圖片等資源下載到自己的站網(wǎng)上，這個過程需要做如下配置工作：下載網(wǎng)頁配置，解析網(wǎng)頁配置，修正結(jié)果配置，數(shù)據(jù)輸出配置。如果數(shù)據(jù)符合自己要求，修正結(jié)果這步可省略。配置完畢后，把配置形成任務(wù)（任務(wù)以 XMLXML 格式描述），采集系統(tǒng)按照任務(wù)的描述開始工作，最終把采

4、集到的結(jié)果存儲到網(wǎng)站服務(wù)器上O工作流程圖如下:采里任務(wù)發(fā)價采里任務(wù)發(fā)價數(shù)據(jù)處理邏輯圖:四.系統(tǒng)功能根據(jù)用戶事先配置好的規(guī)則（網(wǎng)頁下載規(guī)則，網(wǎng)頁解析規(guī)則等），進行數(shù)據(jù)采集。當對方網(wǎng)站數(shù)據(jù)進行了更新，或者添加新數(shù)據(jù)時，系統(tǒng)自動會進行檢測，并進行采集，然后更新到自己的數(shù)據(jù)庫（或者別的存儲方式），這個過程不再需要人工干涉。五.技術(shù)特點1 1 . .支持多種網(wǎng)頁編碼格式，也可以人工設(shè)置編碼格式。支持各國語言的網(wǎng)站。2 2 . .支持圖片，軟件，音樂，視頻，flashflash 等多種格式資源的下載。3 3 . .支持采集結(jié)果輸出的多樣性，可以使用不同輸出插件進行輸出，也可以自己開發(fā)輸出插件。4 4 .

5、.采集配置分為三個部分：網(wǎng)頁爬蟲配置，網(wǎng)頁解析配置，采集任務(wù)配置。以上三者可以自由搭配，便于重復利用已設(shè)置完畢的配置。5 5 . .可定制的數(shù)據(jù)解析和抽取?？梢宰杂膳渲靡杉木W(wǎng)絡(luò)元數(shù)據(jù)，并可以對每個網(wǎng)絡(luò)元數(shù)據(jù)自定義字段名。便于后續(xù)信息處理。6 6 . .采集爬蟲采用多任務(wù)、多數(shù)據(jù)源管理。7 7 . .每個任務(wù)下可以指定多個采集入口網(wǎng)站。8 8 . .采集條件設(shè)置，可以針對不同任務(wù)下的入口網(wǎng)站設(shè)置采集路徑、重點頁面、采集網(wǎng)址過濾等控制條件。控制條件采用正則表達式。9 9 . .運行配置，采集運行過程中使用的爬蟲名稱、個數(shù)、數(shù)據(jù)更新頻度等均可以由用戶進行配置。1010 . .自動識別文本中的圖片

6、信息，并且自動下載到本地，并替換文本中的圖片 URUR 西本地URLURL1111 . .管理控制臺可以監(jiān)控采集過程的運行情況。六.系統(tǒng)優(yōu)勢1.精確度高用戶可以按照自身需要自行選擇、設(shè)定監(jiān)測的目標網(wǎng)站和特定信息源，實施2424 小時不間斷監(jiān)測和采集，信息動態(tài)始終處于掌握之中。系統(tǒng)支持將網(wǎng)頁中的信息內(nèi)容按日期、標題、作者、欄目進行提取，過濾網(wǎng)頁中的無用信息。擴展抓取采集范圍可以精確到特定網(wǎng)站、特定欄目、特定頁面、特定區(qū)域。2 .易用性好系統(tǒng)參數(shù)設(shè)置簡單，一次設(shè)置多次使用。設(shè)置過程直觀、便捷。3 .靈活性強系統(tǒng)具有很強的靈活性，可按需選擇目標站點，并根據(jù)形勢的變化，隨時更換目標站點。用戶可直接到某

7、一網(wǎng)站抓取用戶想要的特定欄目下的信息，它僅僅要求用戶設(shè)定特定的抓取條件，用戶需要的內(nèi)容就會自動被抓取和保存下來，從而實現(xiàn)由用戶上網(wǎng)找信息轉(zhuǎn)變?yōu)樾畔⒆詣恿飨蛴脩舻姆绞健? .實施部署容易系統(tǒng)用戶界面友好，抓取服務(wù)器在任意瀏覽器下運行，實施部署過程簡單，即裝即用。5 .采集內(nèi)容全面適應(yīng)網(wǎng)站內(nèi)容格式的多變性，能完整地獲取需要采集的頁面，遺漏少，網(wǎng)頁采集內(nèi)容的完整性在 99%99%以上。6 .抓取速度快系統(tǒng)支持多線程處理技術(shù)，支持運行多條線程的同時抓取?？煽焖俑咝У貙δ繕苏军c或欄目進行信息采集，大大加快了信息的抓取速度，保證在同等單位時間內(nèi)信息的抓取量成倍數(shù)增長。七.系統(tǒng)界面展示管理房登附用戶:y醛證

8、碼：醛證碼：匚二匚二: :“70口口新詞條集管理新詞條集管理G、第一次使用本功能，請修改采篋基本設(shè)置；學、來藕前清墉輯采集項目，測試項目確定無誤后再進行來雋*操作導航：操作導航：管理首頁I添加添加新項目I采集魅設(shè)式I分樊設(shè)置分競顯示；|選擇分類三I管理導航:添加新主欄目分羹管哩編號欄目分類硼窗鶻項操作150新聞速加下級欄目修改刪除173卜信用卡添加下錨超目修敵刪除172卜民間貸款添加不皴欄目修政m171卜車輛質(zhì)押貸款添加下級欄目修改刪除170卜房產(chǎn)抵押貸款漆加下爨欄目修改刪除16。悻艮行貨需逮加下級粗目修改刪除153卜信用貸款卜信用貸款添加下鍛欄目修改刪盼北同采除言哽我晚印、奈一次能用右動施，

9、肉蟋矽票母呈五值五？國、柔藏芾謂淚穌免口，則lit領(lǐng)口黨定無誤后再班行三原*操作孑公二苜伸首頁1季加湎頂口1事幕屏本簧置1微/工分類顯示“潮會m項目管嶷就項目右稱國耳分堂斫腐專題狀密上次采生城作r和詛網(wǎng)-里行卡費訊信用卡無指定若拒V2013/5/1517：36:51豆制串箱采集到試用除匚后差網(wǎng)一一票相岫現(xiàn)茍一更民間卷款無定有鹿V尚無記錄史制洞朝梟其引同陽碌口然同一一質(zhì)拜貨我前一百民,日將范無指定當拗V周五記錄復制消情采集劉同HI除r忌越網(wǎng)一一但將耍蛇的一無民同受教前自定有招V百無記錄后制煙憫采里患試用除C后繞網(wǎng)一一企北貸防一貢民間押款無指定主題V尚無記錄復制帽箍碼式|訶陽碌夠網(wǎng)-三車抵扣尾一瓦

10、至格百律發(fā)款無指定專拍V周天記錄復制瑞信鐳制說，|除r易以網(wǎng)一一二手車費 M 我-3車格方峻款和自定專柩V尚無詔最匿制沂鼻親隼患試用除r遇貨網(wǎng)一一汽車貸款第一貢主吊再峻教無指塞當題V尚無記錄0 制洞海茶 M 測恒陽蟀r夠用一網(wǎng)貸款第一頁用聲林松及歌無指定妄歸d百天記錄型制端情礴制說，|除r舄原網(wǎng)住房低押第一菽后戶抵雌款無指定有電V尚無記錄稟制汩鼻采里翻付陽造后后囹一印、第一代使用本功能，請信政先奠基本設(shè)置：不隼前謂編輯采金項目5Mti頁日瀛天課遂石系第。操作分航：操作分航：管理首向I型加新地目I天集基點役者I分類置采集系統(tǒng)歷史記錄管理管理導航：管理首頁1成功記錄1失敗記錄1失效記錄歷史記錄-所有記錄送攆項目名稱_和訊網(wǎng)一銀行卡資1ft標題頻道程目來源菇果入庫操作日月持卡人消費僖心道期戒幼無指定頻道信用卡點擊仍問成功者刪除r劉訊網(wǎng)一酒行卡資鬻黑黑色分廣發(fā)