大數(shù)據(jù)產(chǎn)業(yè)鏈及數(shù)據(jù)收集課件

1、大數(shù)據(jù)產(chǎn)業(yè)鏈及數(shù)據(jù)收集劉寶強(qiáng) 不管你現(xiàn)在做什麼行業(yè)，未來都是數(shù)據(jù)生意 凱文凱利大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)平臺(tái)八爪魚大數(shù)據(jù)收集系統(tǒng) 目錄1.產(chǎn)業(yè)鏈背景數(shù)據(jù)不是一個(gè)新的概念，但沒有雲(yún)計(jì)算的成熟，就沒有真正的大數(shù)據(jù)。雲(yún)計(jì)算為大數(shù)據(jù)提供了硬體和框架。傳統(tǒng)的數(shù)據(jù)處理是利用因果關(guān)係，當(dāng)無法依靠因果關(guān)係處理數(shù)據(jù)時(shí)，就需要用關(guān)聯(lián)關(guān)係，分析關(guān)聯(lián)關(guān)係而不是因果關(guān)係為大數(shù)據(jù)提供了理論方向。大數(shù)據(jù)怎麼產(chǎn)生的？ 用大數(shù)據(jù)認(rèn)識(shí)世界無數(shù)據(jù)，難以看清世界的真相和細(xì)節(jié)！ 用大數(shù)據(jù)預(yù)測(cè)未來無數(shù)據(jù)，難以看清數(shù)據(jù)之間的關(guān)聯(lián)及背後的價(jià)值！ 用大數(shù)據(jù)引領(lǐng)創(chuàng)新管理無數(shù)據(jù)，難以做到跨界融合，易紙上談兵！大數(shù)據(jù)有什麼用？美國(guó)大數(shù)據(jù)產(chǎn)業(yè)鏈中國(guó)大數(shù)據(jù)產(chǎn)業(yè)

2、鏈共用、交易、眾包、訂閱行業(yè)及具體場(chǎng)景應(yīng)用大數(shù)據(jù)產(chǎn)業(yè)環(huán)節(jié)及分層2.大數(shù)據(jù)平臺(tái)內(nèi)部數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)其他數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)搜集數(shù)據(jù)清洗數(shù)據(jù)建模數(shù)據(jù)分析數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)分析平臺(tái)分析決策監(jiān)測(cè)預(yù)測(cè)3.大數(shù)據(jù)收集系統(tǒng)垂直，行業(yè)門戶企業(yè)情報(bào)系統(tǒng)資訊研究諮詢應(yīng)用場(chǎng)景輿情監(jiān)控預(yù)警資訊採(cǎi)集發(fā)佈電子商務(wù)數(shù)據(jù)服務(wù)知識(shí)，數(shù)據(jù)倉(cāng)庫(kù)科研電子商務(wù)網(wǎng)路行銷公司企業(yè)政府機(jī)關(guān)各類網(wǎng)站數(shù)據(jù)自動(dòng)化系統(tǒng)集成數(shù)據(jù)獲取的用途應(yīng)用行業(yè)數(shù)據(jù)庫(kù)ExcelBI平臺(tái)八爪魚數(shù)據(jù)獲取系統(tǒng) 八爪魚大數(shù)據(jù)，通過自主創(chuàng)新研發(fā)，以分散式雲(yún)平臺(tái)架構(gòu)為產(chǎn)品核心，説明客戶通過在極短的時(shí)間內(nèi)，通過簡(jiǎn)單操作即可獲取想要的數(shù)據(jù)，並以結(jié)構(gòu)化數(shù)據(jù)展示，為企業(yè)數(shù)據(jù)採(cǎi)擷與數(shù)據(jù)分析提供基礎(chǔ)數(shù)

3、據(jù)來源。四大特色 1、通用性數(shù)據(jù)獲取系統(tǒng) 視覺化操作 任何網(wǎng)站都可以採(cǎi)集 輕鬆?wèi)?yīng)對(duì)各種反爬蟲措施2、 集群化分散式雲(yún)採(cǎi)集模式 雲(yún)服務(wù)穩(wěn)定運(yùn)行模式 分散式高效採(cǎi)集 定時(shí)控制計(jì)畫3、通用的數(shù)據(jù)API介面 實(shí)現(xiàn)數(shù)據(jù)自動(dòng)入庫(kù)，安全高效 支援二次開發(fā)，實(shí)現(xiàn)企業(yè)內(nèi)部系統(tǒng)無縫對(duì)接4、企業(yè)級(jí)多用戶協(xié)作管理平臺(tái) 支援多用戶操作 雲(yún)端調(diào)度和雲(yún)進(jìn)程實(shí)施監(jiān)控?cái)?shù)據(jù)獲取架構(gòu)方案八爪魚內(nèi)置數(shù)據(jù)獲取系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)整合介面為一體化的解決方案，可進(jìn)行內(nèi)外網(wǎng)抓取。同時(shí)八爪魚採(cǎi)集系統(tǒng)還支援二次開發(fā)，可以實(shí)現(xiàn)與企業(yè)內(nèi)部系統(tǒng)的無縫對(duì)接。數(shù)據(jù)採(cǎi)集系統(tǒng)網(wǎng)頁數(shù)據(jù)倉(cāng)庫(kù)企業(yè)內(nèi)部系統(tǒng)數(shù)據(jù)整合介面數(shù)據(jù)採(cǎi)集系統(tǒng)網(wǎng)頁分散式雲(yún)集群部署，海量數(shù)據(jù)處理能

4、力八爪魚通過一套中央控制處理機(jī)制連接了使用者端和雲(yún)集群服務(wù)端。中央控制器接收使用者指令，把任務(wù)分派到雲(yún)端的各個(gè)節(jié)點(diǎn)進(jìn)行工作，實(shí)現(xiàn)自動(dòng)負(fù)載均衡，動(dòng)態(tài)伸縮，日均數(shù)據(jù)千萬數(shù)據(jù)輕鬆搞定。雲(yún)採(cǎi)集集群(自動(dòng)負(fù)載均衡，可動(dòng)態(tài)伸縮，熱插拔)中央控制終端用戶典型案例需求：某商業(yè)銀行風(fēng)控平臺(tái)需要對(duì)盡可能多的企業(yè)公示資訊，包括企業(yè)工商資訊，稅務(wù)資訊，執(zhí)行資訊與社交網(wǎng)路的公司資訊進(jìn)行採(cǎi)集，匯總，並對(duì)其進(jìn)行挖掘，從而對(duì)放貸等環(huán)節(jié)提供數(shù)據(jù)依據(jù)與風(fēng)險(xiǎn)評(píng)估。解決方案：八爪魚負(fù)責(zé)外部數(shù)據(jù)的採(cǎi)集工作，採(cǎi)集的數(shù)據(jù)來源包括，企業(yè)工商資訊，企業(yè)稅務(wù)資訊，法院執(zhí)行資訊，社交新聞?shì)浨橘Y訊等，通過按照客戶要求的數(shù)據(jù)格式進(jìn)行採(cǎi)集和更新，按照指

5、定的頻率自動(dòng)更新和推送到風(fēng)控平臺(tái)，匹配風(fēng)控模型，進(jìn)行風(fēng)險(xiǎn)預(yù)警，一旦新數(shù)據(jù)達(dá)到指標(biāo)值，會(huì)立馬形成風(fēng)險(xiǎn)資訊，進(jìn)行處理。效益：八爪魚採(cǎi)集器的高相容性與分散式特性，快速幫助企業(yè)獲取盡可能多的數(shù)據(jù)來源，為金融企業(yè)風(fēng)險(xiǎn)控制提供數(shù)據(jù)依據(jù)，降低風(fēng)險(xiǎn)，助力金融產(chǎn)品市場(chǎng)化運(yùn)作。商業(yè)銀行風(fēng)控平臺(tái)行業(yè)案例需求：國(guó)內(nèi)外某些高校開設(shè)大數(shù)據(jù)應(yīng)用課程，希望有簡(jiǎn)單，快速上手，無需程式設(shè)計(jì)的視覺化大數(shù)據(jù)獲取工具，方便演示，從而讓老師與學(xué)生快速獲取相關(guān)應(yīng)用案例數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行建模，配合課程進(jìn)行講解。數(shù)據(jù)採(cǎi)擷（聚類，神經(jīng)網(wǎng)路等），人工智慧（中文分詞，語義分析），行銷推廣（競(jìng)品分析，輿論分析）解決方案：八爪魚採(cǎi)集系統(tǒng)，只需簡(jiǎn)單的規(guī)則搭

6、配，即可採(cǎi)集98%以上的網(wǎng)頁數(shù)據(jù)，方便老師進(jìn)行演示及獲取數(shù)據(jù)。學(xué)生接受程度高，課程效果佳，簡(jiǎn)單操作即可獲取無限數(shù)據(jù)來源，為數(shù)據(jù)採(cǎi)擷，數(shù)據(jù)分析提供基礎(chǔ)數(shù)據(jù)來源與應(yīng)用場(chǎng)景。效益：讓課堂與大數(shù)據(jù)案例深度結(jié)合，為相關(guān)數(shù)據(jù)課程提供業(yè)務(wù)場(chǎng)景及基礎(chǔ)數(shù)據(jù)來源，學(xué)生動(dòng)手能力強(qiáng)，理論與行動(dòng)兼?zhèn)?，課程效果佳。助力高校大數(shù)據(jù)相關(guān)課程需求：某國(guó)內(nèi)高流量招聘網(wǎng)站：該企業(yè)新開通某地級(jí)市網(wǎng)站，期望快速獲取本地企業(yè)招聘資訊與本地人才簡(jiǎn)歷，需要對(duì)另外同行對(duì)手的相關(guān)資訊進(jìn)行採(cǎi)集入庫(kù)，以達(dá)到一個(gè)基礎(chǔ)數(shù)據(jù)量，從而讓業(yè)務(wù)快速地推進(jìn)市場(chǎng)。解決方案：八爪魚通過分散式雲(yún)採(cǎi)集並控制採(cǎi)集速度，有效地防止網(wǎng)站封IP採(cǎi)集，以類比人工點(diǎn)擊，讀取，快速收集數(shù)據(jù)。效益：由於落地網(wǎng)站封IP策略並且識(shí)別機(jī)器爬蟲採(cǎi)集，對(duì)一般性