【數(shù)字化轉(zhuǎn)型】大數(shù)據(jù)平臺(tái)總體規(guī)劃規(guī)劃：功能設(shè)計(jì)、技術(shù)架構(gòu)設(shè)計(jì)及應(yīng)用場(chǎng)景案例

DMBOK數(shù)據(jù)管理大數(shù)據(jù)平臺(tái)規(guī)劃功能及技術(shù)架構(gòu)設(shè)計(jì)目錄010203大數(shù)據(jù)平臺(tái)總體規(guī)劃大數(shù)據(jù)平臺(tái)功能設(shè)計(jì)大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)04大數(shù)據(jù)平臺(tái)場(chǎng)景案例大數(shù)據(jù)時(shí)代的挑戰(zhàn)隨著國(guó)家十三五規(guī)劃出臺(tái)，大數(shù)據(jù)產(chǎn)業(yè)已納入國(guó)家戰(zhàn)略規(guī)劃。大數(shù)據(jù)時(shí)代的到來(lái)對(duì)傳統(tǒng)政府、企業(yè)帶來(lái)了巨大的挑戰(zhàn)。01高昂的大數(shù)據(jù)成本傳統(tǒng)企業(yè)數(shù)據(jù)伴隨互聯(lián)網(wǎng)發(fā)展爆炸增長(zhǎng)需要對(duì)整個(gè)IT架構(gòu)進(jìn)行重構(gòu)，開(kāi)發(fā)先進(jìn)的軟件平臺(tái)和算法企業(yè)需要投入大量人力、物力和時(shí)間02大數(shù)據(jù)人才短缺大數(shù)據(jù)屬于新興行業(yè)，各類(lèi)人才匱乏傳統(tǒng)企業(yè)很難建立專業(yè)化的大數(shù)據(jù)團(tuán)隊(duì)大數(shù)據(jù)人才匱乏又推高了大數(shù)據(jù)項(xiàng)目成本03數(shù)據(jù)利用孤島普遍存在每個(gè)部門(mén)都有自己的數(shù)據(jù)規(guī)范，站在各自角度對(duì)數(shù)據(jù)的理解和定義在數(shù)據(jù)利用上主要局限在部門(mén)內(nèi)部進(jìn)行數(shù)據(jù)分析04大數(shù)據(jù)資源難以分享缺乏合適的渠道和方式進(jìn)行資源分享。迫切需要其他企業(yè)、部門(mén)的數(shù)據(jù)來(lái)支撐其精準(zhǔn)營(yíng)銷(xiāo)、需求預(yù)測(cè)等大數(shù)據(jù)行業(yè)蓬勃發(fā)展目前市場(chǎng)上的大數(shù)據(jù)公司側(cè)重方面不同，包括大數(shù)據(jù)基礎(chǔ)設(shè)施、大數(shù)據(jù)模型算法、大數(shù)據(jù)BI分析、大數(shù)據(jù)可視化、大數(shù)據(jù)云計(jì)算等各個(gè)方面。大數(shù)據(jù)可視化大數(shù)據(jù)應(yīng)用大數(shù)據(jù)BI分析大數(shù)據(jù)基礎(chǔ)設(shè)施大數(shù)據(jù)模型算法0104050203連接大數(shù)據(jù)用戶和大數(shù)據(jù)企業(yè)大數(shù)據(jù)平臺(tái)將承接gongs戰(zhàn)略，鋪設(shè)大數(shù)據(jù)管道，連接大數(shù)據(jù)用戶和大數(shù)據(jù)企業(yè)，為大數(shù)據(jù)產(chǎn)業(yè)鏈各端帶來(lái)價(jià)值。構(gòu)建全球首個(gè)大數(shù)據(jù)生態(tài)圈大數(shù)據(jù)生態(tài)圈將圍繞用戶需求，平臺(tái)主要針對(duì)的目標(biāo)是政府、部委、行業(yè)用戶，他們是數(shù)據(jù)的提供者，也是需求的提出者；平臺(tái)同時(shí)也為研發(fā)團(tuán)隊(duì)提供應(yīng)用開(kāi)發(fā)的支撐。應(yīng)用資源平臺(tái)交互政府部委行業(yè)數(shù)據(jù)源開(kāi)發(fā)工具應(yīng)用場(chǎng)景模型算法融合平臺(tái)服務(wù)平臺(tái)生態(tài)平臺(tái)運(yùn)營(yíng)平臺(tái)精準(zhǔn)營(yíng)銷(xiāo)用戶畫(huà)像精準(zhǔn)扶貧供銷(xiāo)匹配交易所合作伙伴政務(wù)系統(tǒng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)企業(yè)系統(tǒng)用戶應(yīng)用用戶直接體驗(yàn)各類(lèi)大數(shù)據(jù)應(yīng)用，也可將自己的應(yīng)用在平臺(tái)上共享，并可以通過(guò)平臺(tái)進(jìn)行各項(xiàng)應(yīng)用的結(jié)算平臺(tái)通過(guò)四層平臺(tái)的搭建，逐步的實(shí)現(xiàn)的整個(gè)生態(tài)圈的支撐，滿足生態(tài)圈各方需求，促進(jìn)生態(tài)系統(tǒng)良好運(yùn)行資源為支撐豐富的應(yīng)用需要從模型、代碼、案例等各個(gè)方面提供豐富的內(nèi)容，借鑒平臺(tái)標(biāo)準(zhǔn)模型、標(biāo)準(zhǔn)流程等進(jìn)行應(yīng)用的開(kāi)發(fā)，并根據(jù)應(yīng)用的使用情況進(jìn)行結(jié)算交互平臺(tái)對(duì)外可以接入不同的數(shù)據(jù)來(lái)源，也可以接入數(shù)據(jù)交易所和其他合資公司，真正意義上實(shí)現(xiàn)了數(shù)據(jù)互聯(lián)互通大數(shù)據(jù)平臺(tái)在生態(tài)系統(tǒng)中的定位平臺(tái)用戶運(yùn)營(yíng)數(shù)據(jù)清洗，數(shù)據(jù)挖掘，數(shù)據(jù)存儲(chǔ)，交易服務(wù)，研發(fā)工作室應(yīng)用開(kāi)發(fā)者模型構(gòu)建者消費(fèi)者數(shù)據(jù)提供者用戶角色之間互相切換，買(mǎi)家可以同時(shí)成為賣(mài)家角色互換角色互換角色互換角色互換數(shù)據(jù)服務(wù)數(shù)據(jù)挖掘分析模型數(shù)據(jù)驗(yàn)證模型共享提供大數(shù)據(jù)環(huán)境生長(zhǎng)所需土壤，推動(dòng)生態(tài)系統(tǒng)良好運(yùn)行交易服務(wù)平臺(tái)運(yùn)維數(shù)據(jù)存儲(chǔ)數(shù)據(jù)挖掘報(bào)表展示價(jià)格中心服務(wù)中心聊天系統(tǒng)…大數(shù)據(jù)平臺(tái)通過(guò)最新的大數(shù)據(jù)技術(shù)將大數(shù)據(jù)用戶、大數(shù)據(jù)平臺(tái)和運(yùn)營(yíng)商有機(jī)結(jié)合起來(lái)，大數(shù)據(jù)用戶基于平臺(tái)獲得自己所需價(jià)值，大數(shù)據(jù)平臺(tái)作為土壤支撐生態(tài)系統(tǒng)，運(yùn)營(yíng)商則作為園丁負(fù)責(zé)推動(dòng)生態(tài)系統(tǒng)良好運(yùn)行。目錄0102大數(shù)據(jù)平臺(tái)總體規(guī)劃大數(shù)據(jù)平臺(tái)功能設(shè)計(jì)03大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)04大數(shù)據(jù)平臺(tái)場(chǎng)景案例大數(shù)據(jù)平臺(tái)的用戶主體大數(shù)據(jù)平臺(tái)F.政府用戶C.數(shù)據(jù)源廠商B.工具廠商A.模型算法廠商D.應(yīng)用廠商/創(chuàng)客團(tuán)體大數(shù)據(jù)商城L.互聯(lián)網(wǎng)機(jī)構(gòu)用戶G.部委用戶H.行業(yè)用戶K.金融用戶N.個(gè)人用戶M.教育機(jī)構(gòu)用戶E.云資源廠商I.產(chǎn)業(yè)園用戶J.企業(yè)用戶大數(shù)據(jù)平臺(tái)九種業(yè)務(wù)場(chǎng)景教學(xué)培訓(xùn)平臺(tái)集研發(fā)、培訓(xùn)與一身，提供專業(yè)的解決方案，便于大數(shù)據(jù)人才培養(yǎng)數(shù)據(jù)采集可接入企業(yè)MySQL\Oracle\FTP\物聯(lián)網(wǎng)等多種類(lèi)型的數(shù)據(jù)源，以及API等外部數(shù)據(jù)源，可以支撐PB級(jí)數(shù)據(jù)抽取支持創(chuàng)業(yè)創(chuàng)新為創(chuàng)業(yè)團(tuán)隊(duì)提供廣闊的大數(shù)據(jù)市場(chǎng)，實(shí)現(xiàn)快速的產(chǎn)品研發(fā)變現(xiàn)，支持大眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新企業(yè)小推車(chē)根據(jù)企業(yè)需求集成不同的企業(yè)信息化產(chǎn)品融合共享通過(guò)平臺(tái)進(jìn)行大數(shù)據(jù)挖掘分析，并可以通過(guò)BI工具和可視化工具展示企業(yè)數(shù)據(jù)交換可實(shí)現(xiàn)企業(yè)內(nèi)部不同業(yè)務(wù)部門(mén)不同信息系統(tǒng)之間的信息交換共享招商引資平臺(tái)可以為園區(qū)的不同企業(yè)提供基礎(chǔ)的信息化辦公環(huán)境，便于招商引資行業(yè)大數(shù)據(jù)匯集行業(yè)用戶和行業(yè)數(shù)據(jù)，支撐行業(yè)大數(shù)據(jù)挖掘分析，為行業(yè)用戶各項(xiàng)決策提供依據(jù)大數(shù)據(jù)運(yùn)營(yíng)實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)和商城的運(yùn)營(yíng)推廣，精準(zhǔn)定位用戶需求，提供多種運(yùn)營(yíng)監(jiān)控手段大數(shù)據(jù)平臺(tái)“大平臺(tái)”支撐不同用戶需求“九種”業(yè)務(wù)場(chǎng)景“十四類(lèi)”用戶主體歸納不同用戶主體的核心業(yè)務(wù)需求不同場(chǎng)景通過(guò)核心組件支撐“十二大”核心組件數(shù)據(jù)源安全組件數(shù)據(jù)倉(cāng)庫(kù)工具箱數(shù)據(jù)清洗數(shù)據(jù)封裝大數(shù)據(jù)商城行業(yè)大數(shù)據(jù)大數(shù)據(jù)運(yùn)營(yíng)融合共享數(shù)據(jù)采集支持創(chuàng)業(yè)創(chuàng)新教學(xué)培訓(xùn)招商引資企業(yè)數(shù)據(jù)交換企業(yè)小推車(chē)F.政府用戶C.數(shù)據(jù)源廠商B.工具廠商A.模型算法廠商D.應(yīng)用廠商/創(chuàng)客團(tuán)體K.金融用戶H.行業(yè)用戶G.部委用戶M.教育機(jī)構(gòu)用戶L.互聯(lián)網(wǎng)機(jī)構(gòu)用戶N.個(gè)人業(yè)務(wù)用戶E.云資源廠商I.產(chǎn)業(yè)園用戶J.企業(yè)用戶大數(shù)據(jù)平臺(tái)功能API數(shù)據(jù)接入、數(shù)據(jù)庫(kù)數(shù)據(jù)接入、數(shù)據(jù)標(biāo)準(zhǔn)、API發(fā)布、API計(jì)費(fèi)BI報(bào)表展示、可視化展示、工具接入、工具接入標(biāo)準(zhǔn)數(shù)據(jù)源模型編輯、模型訓(xùn)練器、模型訓(xùn)練數(shù)據(jù)庫(kù)數(shù)據(jù)模型可視化工具網(wǎng)絡(luò)安全、主機(jī)安全、應(yīng)用安全、數(shù)據(jù)安全、安全服務(wù)數(shù)據(jù)倉(cāng)庫(kù)集成性平臺(tái)云資源數(shù)據(jù)封裝數(shù)據(jù)融聚合、數(shù)據(jù)清洗、代碼編譯、大數(shù)據(jù)計(jì)算、數(shù)據(jù)挖掘、數(shù)據(jù)分析大數(shù)據(jù)存儲(chǔ)、全文索引應(yīng)用封裝、工具更新、工具接入標(biāo)準(zhǔn)、應(yīng)用發(fā)布、應(yīng)用商城、移動(dòng)APP端、應(yīng)用監(jiān)控安全組件工具箱數(shù)據(jù)清洗我的個(gè)人數(shù)據(jù)銀行云帶寬、云存儲(chǔ)、云計(jì)算大數(shù)據(jù)工具、企業(yè)信息化工具數(shù)據(jù)融聚合、數(shù)據(jù)清洗、工具接入、工具接入標(biāo)準(zhǔn)系統(tǒng)更新、用戶管理、權(quán)限控制、數(shù)據(jù)安全、系統(tǒng)監(jiān)控、服務(wù)管理個(gè)人數(shù)據(jù)管理、數(shù)據(jù)共享大數(shù)據(jù)商城大數(shù)據(jù)平臺(tái)業(yè)務(wù)架構(gòu)應(yīng)用層門(mén)戶應(yīng)用支撐層標(biāo)準(zhǔn)層元數(shù)據(jù)標(biāo)準(zhǔn)、工具接入標(biāo)準(zhǔn)、價(jià)格標(biāo)準(zhǔn)、代碼標(biāo)準(zhǔn)、模型語(yǔ)言標(biāo)準(zhǔn)數(shù)據(jù)源數(shù)據(jù)模型可視化工具安全組件數(shù)據(jù)封裝集成性平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)云資源工具箱數(shù)據(jù)清洗我的個(gè)人數(shù)據(jù)銀行政府版部委廳局版行業(yè)版金融版互聯(lián)網(wǎng)機(jī)構(gòu)版智慧城市版教育機(jī)構(gòu)版商城主頁(yè)移動(dòng)客戶端數(shù)據(jù)開(kāi)發(fā)版OpenAPIPAASIAAS接入OracleMySQLFTPAPI傳感器數(shù)據(jù)…封裝數(shù)據(jù)融聚合數(shù)據(jù)清洗工作流畫(huà)布工作流調(diào)度大數(shù)據(jù)挖掘存儲(chǔ)HiveHbaseHDFSMySQLMPP工具可視化工具BI工具代碼工具清洗工具商城訂單管理賣(mài)家中心賬號(hào)管理定制平臺(tái)結(jié)算中心活動(dòng)專區(qū)客服中心消息系統(tǒng)APP端

個(gè)人數(shù)據(jù)維護(hù)數(shù)據(jù)導(dǎo)入數(shù)據(jù)變現(xiàn)數(shù)據(jù)安全系統(tǒng)用戶管理權(quán)限管理監(jiān)控中心管控中心更新中心運(yùn)營(yíng)運(yùn)營(yíng)報(bào)表賬號(hào)管理促銷(xiāo)系統(tǒng)客服中心消息系統(tǒng)系統(tǒng)監(jiān)控商品管理部委用戶政府用戶行業(yè)用戶用戶個(gè)人用戶應(yīng)用應(yīng)用封裝應(yīng)用上傳模型模型編輯模型上傳模型訓(xùn)練

金融用戶模型廠商產(chǎn)業(yè)園用戶工具廠商企業(yè)用戶教育機(jī)構(gòu)用戶數(shù)據(jù)源廠商互聯(lián)網(wǎng)機(jī)構(gòu)用戶應(yīng)用廠商云資源廠商數(shù)據(jù)源功能描述實(shí)現(xiàn)購(gòu)買(mǎi)外部數(shù)據(jù)源和配置內(nèi)部數(shù)據(jù)管道1、可通過(guò)商城購(gòu)買(mǎi)外部數(shù)據(jù)源，并查詢?cè)敿?xì)信息；2、通過(guò)配置數(shù)據(jù)管道，實(shí)現(xiàn)內(nèi)部數(shù)據(jù)庫(kù)接入（Oracle、DB2等）。1、適配絕大多數(shù)數(shù)據(jù)庫(kù)類(lèi)型，實(shí)現(xiàn)版本間零差異；2、通過(guò)商城直接購(gòu)買(mǎi)外部數(shù)據(jù)源；功能特點(diǎn)數(shù)據(jù)模型功能描述模型編輯1、可將本地的數(shù)據(jù)模型上傳到平臺(tái)進(jìn)行計(jì)算2、通過(guò)商城實(shí)現(xiàn)模型的變現(xiàn)1、模型研發(fā)人員可以使用平臺(tái)強(qiáng)大的計(jì)算能力進(jìn)行模型的計(jì)算2、可通過(guò)平臺(tái)獲取模型訓(xùn)練所需要的數(shù)據(jù)3、模型信息編輯方便，可自定義標(biāo)簽方便搜索、可支持圖標(biāo)上傳、自定義描述等，方便模型變現(xiàn)功能特點(diǎn)可視化工具功能描述集成多種BI圖表和可視化工具1、提供海量的可視化模板和自定義選項(xiàng)2、基于平臺(tái)上的數(shù)據(jù)分析結(jié)果進(jìn)行BI和可視化制作1、可視化工具豐富2、操作便捷，通過(guò)簡(jiǎn)單的拖拽即可實(shí)現(xiàn)數(shù)據(jù)的可視化展現(xiàn)3、不同視角解讀數(shù)據(jù)，及時(shí)準(zhǔn)確的做出決策功能特點(diǎn)安全組件功能描述展示購(gòu)買(mǎi)的外部安全組件：1、展示通過(guò)商城購(gòu)買(mǎi)的安全組件；2、查詢安全組件詳細(xì)信息。1、豐富的安全服務(wù)內(nèi)容，為用戶提供多元化安全服務(wù)功能特點(diǎn)數(shù)據(jù)封裝功能描述集數(shù)據(jù)接入、數(shù)據(jù)清洗、數(shù)據(jù)融合和數(shù)據(jù)建模于一體的數(shù)據(jù)封裝平臺(tái)1、并通過(guò)工作流的方式將復(fù)雜的大數(shù)據(jù)底層操作步驟變得扁平化、可視化；2、支持全過(guò)程監(jiān)控，用于實(shí)時(shí)掌握整個(gè)數(shù)據(jù)工廠服務(wù)的運(yùn)行狀態(tài)；1、操作可視化、傻瓜化2、可以計(jì)劃定時(shí)運(yùn)行工作流3、實(shí)時(shí)對(duì)工作流運(yùn)行情況進(jìn)行監(jiān)控，查看運(yùn)行結(jié)果功能特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)功能描述大數(shù)據(jù)存儲(chǔ)1、可支持Mysql、Hbase、Hive、HDFS數(shù)據(jù)庫(kù)的增刪改查，部分?jǐn)?shù)據(jù)可預(yù)覽1、方便數(shù)據(jù)能夠高效調(diào)用、處理、存儲(chǔ)，支持?jǐn)?shù)據(jù)傳輸、回寫(xiě)、高速檢索等功能，為大數(shù)據(jù)的處理提供更好的存儲(chǔ)力量。功能特點(diǎn)云資源功能描述應(yīng)用商城1、可支持查看搜索購(gòu)買(mǎi)云資源產(chǎn)品1、豐富平臺(tái)服務(wù)內(nèi)容，為用戶提供可供選擇的多元化服務(wù)功能特點(diǎn)集成性平臺(tái)功能描述集成性平臺(tái)是集應(yīng)用打包、更新、接入、發(fā)布于一體的綜合性平臺(tái)，可以實(shí)現(xiàn)對(duì)不同BI報(bào)表或可視化展示打包成一個(gè)應(yīng)用、新應(yīng)用的接入、以及將應(yīng)用發(fā)布到商城變現(xiàn)。1、相較于傳統(tǒng)的可視化工具和BI報(bào)表工具做出的“死物”，集成性平臺(tái)具有可視化的操作和交互性。2、可以隨意布局，還可以添加文字背景圖片等其他元素3、我們的應(yīng)用相較于傳統(tǒng)報(bào)表具有更強(qiáng)的展示性，有更炫的效果和更美的模板功能特點(diǎn)工具箱功能描述其他各類(lèi)工具的集合，研發(fā)提供的綜合型系統(tǒng)工具集。它提供最全面的云計(jì)算優(yōu)化功能，數(shù)據(jù)安全、數(shù)據(jù)遷移和軟硬件監(jiān)控等工具。1、工具種類(lèi)繁多，為大數(shù)據(jù)開(kāi)發(fā)提供有效地保障2、適用性強(qiáng)，既可以適用于C/S端，也可以適用于B/S端3、使用便捷，下載，安裝既可完成部署功能特點(diǎn)數(shù)據(jù)清洗功能描述平臺(tái)集成海量清洗工具及ETL工具：1、支持在各種主流數(shù)據(jù)庫(kù)（同構(gòu)或異構(gòu)）間進(jìn)行對(duì)稱或非對(duì)稱數(shù)據(jù)同步2、支持對(duì)各類(lèi)關(guān)系數(shù)據(jù)庫(kù)或平面文件的數(shù)據(jù)進(jìn)行抽取，過(guò)濾、轉(zhuǎn)換，并將處理結(jié)果快速存入Hadoop文件或HBase數(shù)據(jù)庫(kù)1、集成海量專業(yè)ETL軟件廠商2、產(chǎn)品覆蓋面廣，涵蓋數(shù)據(jù)集成、同步、容災(zāi)備份等應(yīng)用領(lǐng)域.3、支持ETL任務(wù)各個(gè)環(huán)節(jié)的數(shù)據(jù)預(yù)覽功能特點(diǎn)權(quán)限控制權(quán)限控制通過(guò)角色、角色組進(jìn)行用戶功能權(quán)限管控，簡(jiǎn)化權(quán)限分配操作1、角色、角色管理和權(quán)限分配2、機(jī)構(gòu)管理和用戶分配3、功能權(quán)限分配1、管理用戶擁有的角色和角色組，基于角色進(jìn)行權(quán)限分配，簡(jiǎn)化權(quán)限分配操作。2、快捷建立企業(yè)組織機(jī)構(gòu)，并完成用戶分配3、多層級(jí)功能和菜單權(quán)限，按角色快速分配功能特點(diǎn)監(jiān)控中心監(jiān)控中心監(jiān)控中心針對(duì)整個(gè)平臺(tái)的硬件、服務(wù)、消息平臺(tái)等進(jìn)行監(jiān)控和報(bào)警1、硬件監(jiān)控2、hadoop集群監(jiān)控3、告警設(shè)置1、自動(dòng)監(jiān)控主機(jī)、服務(wù)等相關(guān)性能指標(biāo)，進(jìn)行智能分析，快速定位錯(cuò)誤產(chǎn)生、性能下降的原因。及時(shí)報(bào)警，最大限度降低用戶損失。2、以最終用戶視角監(jiān)控各項(xiàng)性能指標(biāo)，幫助用戶獲得更好的使用體驗(yàn)功能特點(diǎn)管控中心管控中心管控中心是查看系統(tǒng)屬性的地方，可以查看服務(wù)信息與主機(jī)信息。1、查看服務(wù)信息2、查看主機(jī)信息1、結(jié)構(gòu)精簡(jiǎn)，簡(jiǎn)單易看，降低用戶的使用難度功能特點(diǎn)目錄0102大數(shù)據(jù)平臺(tái)總體規(guī)劃大數(shù)據(jù)平臺(tái)功能設(shè)計(jì)03大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)04大數(shù)據(jù)平臺(tái)場(chǎng)景案例大數(shù)據(jù)技術(shù)架構(gòu)支持Open

SDKOpenAPI模型工作室BI報(bào)表廠商接入腳本工作室2828存儲(chǔ)、計(jì)算模塊服務(wù)組件與計(jì)算層數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)數(shù)據(jù)服務(wù)數(shù)據(jù)接入服務(wù)工作流及流程編排任務(wù)調(diào)度中心數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)平臺(tái)計(jì)算層MRSparkStormHive消息平臺(tái)日志收集主數(shù)據(jù)服務(wù)中心數(shù)據(jù)融合數(shù)據(jù)安全HDFS／HIVEHBASEMysqlRedisElasticSearch其它。。。數(shù)據(jù)源接入實(shí)時(shí)數(shù)據(jù)源接入離線數(shù)據(jù)源接入實(shí)時(shí)推送數(shù)據(jù)API數(shù)據(jù)互聯(lián)網(wǎng)爬蟲(chóng)數(shù)據(jù)數(shù)據(jù)庫(kù)數(shù)據(jù)文件數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)接入實(shí)時(shí)數(shù)據(jù)接入文件接入數(shù)據(jù)庫(kù)數(shù)據(jù)接入非結(jié)構(gòu)化數(shù)據(jù)API數(shù)據(jù)接入ETL數(shù)據(jù)接入數(shù)據(jù)集成數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范管理數(shù)據(jù)定價(jià)管理數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行系統(tǒng)管理大數(shù)據(jù)應(yīng)用可視化交互界面監(jiān)控平臺(tái)管控中心大數(shù)據(jù)處理架構(gòu)數(shù)據(jù)接入方面，通過(guò)數(shù)據(jù)接入模塊，可支持各種異構(gòu)數(shù)據(jù)源接入，包括但不限定于數(shù)據(jù)庫(kù)、文件、實(shí)時(shí)數(shù)據(jù)、API數(shù)據(jù)。大數(shù)據(jù)處理能力方面，提供功能強(qiáng)大的實(shí)時(shí)計(jì)算能力，并提供數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)融合，從而可以撮合各方數(shù)據(jù)源進(jìn)行數(shù)據(jù)融合操作，從而挖掘出更深層的數(shù)據(jù)價(jià)值。運(yùn)行監(jiān)控方面，覆蓋大數(shù)據(jù)全生態(tài)監(jiān)控指標(biāo)，如大數(shù)據(jù)metrics監(jiān)控、消息平臺(tái)監(jiān)控、redis監(jiān)控、zookeeper監(jiān)控、系統(tǒng)監(jiān)控、服務(wù)中心監(jiān)控等等大數(shù)據(jù)安全架構(gòu)支持DataAccessDataManagementDistributedFileSystem(HDFS)EncryptedFile(EDEK)EncryptionZone(EZKey)KeyProviderAPINameNodeYARN(CryptoStream/DEK)HDFSClientKeyProviderAPISecurityServiceKMSDBSTOREKeyProviderAPIEZKsDEKsEDEKEDEKEDEKDEK數(shù)據(jù)安全架構(gòu)數(shù)據(jù)安全方面，本產(chǎn)品建立了功能強(qiáng)大的全生態(tài)圈的安全體系，采用最先進(jìn)的大數(shù)據(jù)安全技術(shù)，除了存儲(chǔ)安全以外，還提供文件組標(biāo)簽安全、網(wǎng)關(guān)安全、傳輸安全、API安全、融合安全等一系列大數(shù)據(jù)安全生態(tài)，確保為各種安全場(chǎng)景提供技術(shù)支撐。目錄0102大數(shù)據(jù)平臺(tái)總體規(guī)劃大數(shù)據(jù)平臺(tái)功能設(shè)計(jì)03大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)04大數(shù)據(jù)平臺(tái)場(chǎng)景案例政府用戶場(chǎng)景：某省工商局建立輿情監(jiān)控某省工商局結(jié)合自身職能，需要實(shí)時(shí)跟蹤社會(huì)輿情（如12315期間），并將社會(huì)輿情與本地投訴進(jìn)行關(guān)聯(lián)分析，對(duì)于涉及到本地企業(yè)或產(chǎn)品質(zhì)量的事件能第一時(shí)間掌握。項(xiàng)目團(tuán)隊(duì)現(xiàn)場(chǎng)為客戶定制輿情監(jiān)控應(yīng)用，但是缺少各類(lèi)報(bào)表展示工具和外部輿情數(shù)據(jù)，缺少大數(shù)據(jù)分析和計(jì)算的手段數(shù)據(jù)源數(shù)據(jù)倉(cāng)庫(kù)可視化工具外部輿情