【數(shù)字化轉型】大數(shù)據(jù)平臺總體規(guī)劃規(guī)劃：功能設計、技術架構設計及應用場景案例

DMBOK數(shù)據(jù)管理大數(shù)據(jù)平臺規(guī)劃功能及技術架構設計目錄010203大數(shù)據(jù)平臺總體規(guī)劃大數(shù)據(jù)平臺功能設計大數(shù)據(jù)平臺技術架構04大數(shù)據(jù)平臺場景案例大數(shù)據(jù)時代的挑戰(zhàn)隨著國家十三五規(guī)劃出臺，大數(shù)據(jù)產業(yè)已納入國家戰(zhàn)略規(guī)劃。大數(shù)據(jù)時代的到來對傳統(tǒng)政府、企業(yè)帶來了巨大的挑戰(zhàn)。01高昂的大數(shù)據(jù)成本傳統(tǒng)企業(yè)數(shù)據(jù)伴隨互聯(lián)網(wǎng)發(fā)展爆炸增長需要對整個IT架構進行重構，開發(fā)先進的軟件平臺和算法企業(yè)需要投入大量人力、物力和時間02大數(shù)據(jù)人才短缺大數(shù)據(jù)屬于新興行業(yè)，各類人才匱乏傳統(tǒng)企業(yè)很難建立專業(yè)化的大數(shù)據(jù)團隊大數(shù)據(jù)人才匱乏又推高了大數(shù)據(jù)項目成本03數(shù)據(jù)利用孤島普遍存在每個部門都有自己的數(shù)據(jù)規(guī)范，站在各自角度對數(shù)據(jù)的理解和定義在數(shù)據(jù)利用上主要局限在部門內部進行數(shù)據(jù)分析04大數(shù)據(jù)資源難以分享缺乏合適的渠道和方式進行資源分享。迫切需要其他企業(yè)、部門的數(shù)據(jù)來支撐其精準營銷、需求預測等大數(shù)據(jù)行業(yè)蓬勃發(fā)展目前市場上的大數(shù)據(jù)公司側重方面不同，包括大數(shù)據(jù)基礎設施、大數(shù)據(jù)模型算法、大數(shù)據(jù)BI分析、大數(shù)據(jù)可視化、大數(shù)據(jù)云計算等各個方面。大數(shù)據(jù)可視化大數(shù)據(jù)應用大數(shù)據(jù)BI分析大數(shù)據(jù)基礎設施大數(shù)據(jù)模型算法0104050203連接大數(shù)據(jù)用戶和大數(shù)據(jù)企業(yè)大數(shù)據(jù)平臺將承接gongs戰(zhàn)略，鋪設大數(shù)據(jù)管道，連接大數(shù)據(jù)用戶和大數(shù)據(jù)企業(yè)，為大數(shù)據(jù)產業(yè)鏈各端帶來價值。構建全球首個大數(shù)據(jù)生態(tài)圈大數(shù)據(jù)生態(tài)圈將圍繞用戶需求，平臺主要針對的目標是政府、部委、行業(yè)用戶，他們是數(shù)據(jù)的提供者，也是需求的提出者；平臺同時也為研發(fā)團隊提供應用開發(fā)的支撐。應用資源平臺交互政府部委行業(yè)數(shù)據(jù)源開發(fā)工具應用場景模型算法融合平臺服務平臺生態(tài)平臺運營平臺精準營銷用戶畫像精準扶貧供銷匹配交易所合作伙伴政務系統(tǒng)互聯(lián)網(wǎng)物聯(lián)網(wǎng)企業(yè)系統(tǒng)用戶應用用戶直接體驗各類大數(shù)據(jù)應用，也可將自己的應用在平臺上共享，并可以通過平臺進行各項應用的結算平臺通過四層平臺的搭建，逐步的實現(xiàn)的整個生態(tài)圈的支撐，滿足生態(tài)圈各方需求，促進生態(tài)系統(tǒng)良好運行資源為支撐豐富的應用需要從模型、代碼、案例等各個方面提供豐富的內容，借鑒平臺標準模型、標準流程等進行應用的開發(fā)，并根據(jù)應用的使用情況進行結算交互平臺對外可以接入不同的數(shù)據(jù)來源，也可以接入數(shù)據(jù)交易所和其他合資公司，真正意義上實現(xiàn)了數(shù)據(jù)互聯(lián)互通大數(shù)據(jù)平臺在生態(tài)系統(tǒng)中的定位平臺用戶運營數(shù)據(jù)清洗，數(shù)據(jù)挖掘，數(shù)據(jù)存儲，交易服務，研發(fā)工作室應用開發(fā)者模型構建者消費者數(shù)據(jù)提供者用戶角色之間互相切換，買家可以同時成為賣家角色互換角色互換角色互換角色互換數(shù)據(jù)服務數(shù)據(jù)挖掘分析模型數(shù)據(jù)驗證模型共享提供大數(shù)據(jù)環(huán)境生長所需土壤，推動生態(tài)系統(tǒng)良好運行交易服務平臺運維數(shù)據(jù)存儲數(shù)據(jù)挖掘報表展示價格中心服務中心聊天系統(tǒng)…大數(shù)據(jù)平臺通過最新的大數(shù)據(jù)技術將大數(shù)據(jù)用戶、大數(shù)據(jù)平臺和運營商有機結合起來，大數(shù)據(jù)用戶基于平臺獲得自己所需價值，大數(shù)據(jù)平臺作為土壤支撐生態(tài)系統(tǒng)，運營商則作為園丁負責推動生態(tài)系統(tǒng)良好運行。目錄0102大數(shù)據(jù)平臺總體規(guī)劃大數(shù)據(jù)平臺功能設計03大數(shù)據(jù)平臺技術架構04大數(shù)據(jù)平臺場景案例大數(shù)據(jù)平臺的用戶主體大數(shù)據(jù)平臺F.政府用戶C.數(shù)據(jù)源廠商B.工具廠商A.模型算法廠商D.應用廠商/創(chuàng)客團體大數(shù)據(jù)商城L.互聯(lián)網(wǎng)機構用戶G.部委用戶H.行業(yè)用戶K.金融用戶N.個人用戶M.教育機構用戶E.云資源廠商I.產業(yè)園用戶J.企業(yè)用戶大數(shù)據(jù)平臺九種業(yè)務場景教學培訓平臺集研發(fā)、培訓與一身，提供專業(yè)的解決方案，便于大數(shù)據(jù)人才培養(yǎng)數(shù)據(jù)采集可接入企業(yè)MySQL\Oracle\FTP\物聯(lián)網(wǎng)等多種類型的數(shù)據(jù)源，以及API等外部數(shù)據(jù)源，可以支撐PB級數(shù)據(jù)抽取支持創(chuàng)業(yè)創(chuàng)新為創(chuàng)業(yè)團隊提供廣闊的大數(shù)據(jù)市場，實現(xiàn)快速的產品研發(fā)變現(xiàn)，支持大眾創(chuàng)業(yè)、萬眾創(chuàng)新企業(yè)小推車根據(jù)企業(yè)需求集成不同的企業(yè)信息化產品融合共享通過平臺進行大數(shù)據(jù)挖掘分析，并可以通過BI工具和可視化工具展示企業(yè)數(shù)據(jù)交換可實現(xiàn)企業(yè)內部不同業(yè)務部門不同信息系統(tǒng)之間的信息交換共享招商引資平臺可以為園區(qū)的不同企業(yè)提供基礎的信息化辦公環(huán)境，便于招商引資行業(yè)大數(shù)據(jù)匯集行業(yè)用戶和行業(yè)數(shù)據(jù)，支撐行業(yè)大數(shù)據(jù)挖掘分析，為行業(yè)用戶各項決策提供依據(jù)大數(shù)據(jù)運營實現(xiàn)大數(shù)據(jù)平臺和商城的運營推廣，精準定位用戶需求，提供多種運營監(jiān)控手段大數(shù)據(jù)平臺“大平臺”支撐不同用戶需求“九種”業(yè)務場景“十四類”用戶主體歸納不同用戶主體的核心業(yè)務需求不同場景通過核心組件支撐“十二大”核心組件數(shù)據(jù)源安全組件數(shù)據(jù)倉庫工具箱數(shù)據(jù)清洗數(shù)據(jù)封裝大數(shù)據(jù)商城行業(yè)大數(shù)據(jù)大數(shù)據(jù)運營融合共享數(shù)據(jù)采集支持創(chuàng)業(yè)創(chuàng)新教學培訓招商引資企業(yè)數(shù)據(jù)交換企業(yè)小推車F.政府用戶C.數(shù)據(jù)源廠商B.工具廠商A.模型算法廠商D.應用廠商/創(chuàng)客團體K.金融用戶H.行業(yè)用戶G.部委用戶M.教育機構用戶L.互聯(lián)網(wǎng)機構用戶N.個人業(yè)務用戶E.云資源廠商I.產業(yè)園用戶J.企業(yè)用戶大數(shù)據(jù)平臺功能API數(shù)據(jù)接入、數(shù)據(jù)庫數(shù)據(jù)接入、數(shù)據(jù)標準、API發(fā)布、API計費BI報表展示、可視化展示、工具接入、工具接入標準數(shù)據(jù)源模型編輯、模型訓練器、模型訓練數(shù)據(jù)庫數(shù)據(jù)模型可視化工具網(wǎng)絡安全、主機安全、應用安全、數(shù)據(jù)安全、安全服務數(shù)據(jù)倉庫集成性平臺云資源數(shù)據(jù)封裝數(shù)據(jù)融聚合、數(shù)據(jù)清洗、代碼編譯、大數(shù)據(jù)計算、數(shù)據(jù)挖掘、數(shù)據(jù)分析大數(shù)據(jù)存儲、全文索引應用封裝、工具更新、工具接入標準、應用發(fā)布、應用商城、移動APP端、應用監(jiān)控安全組件工具箱數(shù)據(jù)清洗我的個人數(shù)據(jù)銀行云帶寬、云存儲、云計算大數(shù)據(jù)工具、企業(yè)信息化工具數(shù)據(jù)融聚合、數(shù)據(jù)清洗、工具接入、工具接入標準系統(tǒng)更新、用戶管理、權限控制、數(shù)據(jù)安全、系統(tǒng)監(jiān)控、服務管理個人數(shù)據(jù)管理、數(shù)據(jù)共享大數(shù)據(jù)商城大數(shù)據(jù)平臺業(yè)務架構應用層門戶應用支撐層標準層元數(shù)據(jù)標準、工具接入標準、價格標準、代碼標準、模型語言標準數(shù)據(jù)源數(shù)據(jù)模型可視化工具安全組件數(shù)據(jù)封裝集成性平臺數(shù)據(jù)倉庫云資源工具箱數(shù)據(jù)清洗我的個人數(shù)據(jù)銀行政府版部委廳局版行業(yè)版金融版互聯(lián)網(wǎng)機構版智慧城市版教育機構版商城主頁移動客戶端數(shù)據(jù)開發(fā)版OpenAPIPAASIAAS接入OracleMySQLFTPAPI傳感器數(shù)據(jù)…封裝數(shù)據(jù)融聚合數(shù)據(jù)清洗工作流畫布工作流調度大數(shù)據(jù)挖掘存儲HiveHbaseHDFSMySQLMPP工具可視化工具BI工具代碼工具清洗工具商城訂單管理賣家中心賬號管理定制平臺結算中心活動專區(qū)客服中心消息系統(tǒng)APP端

個人數(shù)據(jù)維護數(shù)據(jù)導入數(shù)據(jù)變現(xiàn)數(shù)據(jù)安全系統(tǒng)用戶管理權限管理監(jiān)控中心管控中心更新中心運營運營報表賬號管理促銷系統(tǒng)客服中心消息系統(tǒng)系統(tǒng)監(jiān)控商品管理部委用戶政府用戶行業(yè)用戶用戶個人用戶應用應用封裝應用上傳模型模型編輯模型上傳模型訓練

金融用戶模型廠商產業(yè)園用戶工具廠商企業(yè)用戶教育機構用戶數(shù)據(jù)源廠商互聯(lián)網(wǎng)機構用戶應用廠商云資源廠商數(shù)據(jù)源功能描述實現(xiàn)購買外部數(shù)據(jù)源和配置內部數(shù)據(jù)管道1、可通過商城購買外部數(shù)據(jù)源，并查詢詳細信息；2、通過配置數(shù)據(jù)管道，實現(xiàn)內部數(shù)據(jù)庫接入（Oracle、DB2等）。1、適配絕大多數(shù)數(shù)據(jù)庫類型，實現(xiàn)版本間零差異；2、通過商城直接購買外部數(shù)據(jù)源；功能特點數(shù)據(jù)模型功能描述模型編輯1、可將本地的數(shù)據(jù)模型上傳到平臺進行計算2、通過商城實現(xiàn)模型的變現(xiàn)1、模型研發(fā)人員可以使用平臺強大的計算能力進行模型的計算2、可通過平臺獲取模型訓練所需要的數(shù)據(jù)3、模型信息編輯方便，可自定義標簽方便搜索、可支持圖標上傳、自定義描述等，方便模型變現(xiàn)功能特點可視化工具功能描述集成多種BI圖表和可視化工具1、提供海量的可視化模板和自定義選項2、基于平臺上的數(shù)據(jù)分析結果進行BI和可視化制作1、可視化工具豐富2、操作便捷，通過簡單的拖拽即可實現(xiàn)數(shù)據(jù)的可視化展現(xiàn)3、不同視角解讀數(shù)據(jù)，及時準確的做出決策功能特點安全組件功能描述展示購買的外部安全組件：1、展示通過商城購買的安全組件；2、查詢安全組件詳細信息。1、豐富的安全服務內容，為用戶提供多元化安全服務功能特點數(shù)據(jù)封裝功能描述集數(shù)據(jù)接入、數(shù)據(jù)清洗、數(shù)據(jù)融合和數(shù)據(jù)建模于一體的數(shù)據(jù)封裝平臺1、并通過工作流的方式將復雜的大數(shù)據(jù)底層操作步驟變得扁平化、可視化；2、支持全過程監(jiān)控，用于實時掌握整個數(shù)據(jù)工廠服務的運行狀態(tài)；1、操作可視化、傻瓜化2、可以計劃定時運行工作流3、實時對工作流運行情況進行監(jiān)控，查看運行結果功能特點數(shù)據(jù)倉庫功能描述大數(shù)據(jù)存儲1、可支持Mysql、Hbase、Hive、HDFS數(shù)據(jù)庫的增刪改查，部分數(shù)據(jù)可預覽1、方便數(shù)據(jù)能夠高效調用、處理、存儲，支持數(shù)據(jù)傳輸、回寫、高速檢索等功能，為大數(shù)據(jù)的處理提供更好的存儲力量。功能特點云資源功能描述應用商城1、可支持查看搜索購買云資源產品1、豐富平臺服務內容，為用戶提供可供選擇的多元化服務功能特點集成性平臺功能描述集成性平臺是集應用打包、更新、接入、發(fā)布于一體的綜合性平臺，可以實現(xiàn)對不同BI報表或可視化展示打包成一個應用、新應用的接入、以及將應用發(fā)布到商城變現(xiàn)。1、相較于傳統(tǒng)的可視化工具和BI報表工具做出的“死物”，集成性平臺具有可視化的操作和交互性。2、可以隨意布局，還可以添加文字背景圖片等其他元素3、我們的應用相較于傳統(tǒng)報表具有更強的展示性，有更炫的效果和更美的模板功能特點工具箱功能描述其他各類工具的集合，研發(fā)提供的綜合型系統(tǒng)工具集。它提供最全面的云計算優(yōu)化功能，數(shù)據(jù)安全、數(shù)據(jù)遷移和軟硬件監(jiān)控等工具。1、工具種類繁多，為大數(shù)據(jù)開發(fā)提供有效地保障2、適用性強，既可以適用于C/S端，也可以適用于B/S端3、使用便捷，下載，安裝既可完成部署功能特點數(shù)據(jù)清洗功能描述平臺集成海量清洗工具及ETL工具：1、支持在各種主流數(shù)據(jù)庫（同構或異構）間進行對稱或非對稱數(shù)據(jù)同步2、支持對各類關系數(shù)據(jù)庫或平面文件的數(shù)據(jù)進行抽取，過濾、轉換，并將處理結果快速存入Hadoop文件或HBase數(shù)據(jù)庫1、集成海量專業(yè)ETL軟件廠商2、產品覆蓋面廣，涵蓋數(shù)據(jù)集成、同步、容災備份等應用領域.3、支持ETL任務各個環(huán)節(jié)的數(shù)據(jù)預覽功能特點權限控制權限控制通過角色、角色組進行用戶功能權限管控，簡化權限分配操作1、角色、角色管理和權限分配2、機構管理和用戶分配3、功能權限分配1、管理用戶擁有的角色和角色組，基于角色進行權限分配，簡化權限分配操作。2、快捷建立企業(yè)組織機構，并完成用戶分配3、多層級功能和菜單權限，按角色快速分配功能特點監(jiān)控中心監(jiān)控中心監(jiān)控中心針對整個平臺的硬件、服務、消息平臺等進行監(jiān)控和報警1、硬件監(jiān)控2、hadoop集群監(jiān)控3、告警設置1、自動監(jiān)控主機、服務等相關性能指標，進行智能分析，快速定位錯誤產生、性能下降的原因。及時報警，最大限度降低用戶損失。2、以最終用戶視角監(jiān)控各項性能指標，幫助用戶獲得更好的使用體驗功能特點管控中心管控中心管控中心是查看系統(tǒng)屬性的地方，可以查看服務信息與主機信息。1、查看服務信息2、查看主機信息1、結構精簡，簡單易看，降低用戶的使用難度功能特點目錄0102大數(shù)據(jù)平臺總體規(guī)劃大數(shù)據(jù)平臺功能設計03大數(shù)據(jù)平臺技術架構04大數(shù)據(jù)平臺場景案例大數(shù)據(jù)技術架構支持Open

SDKOpenAPI模型工作室BI報表廠商接入腳本工作室2828存儲、計算模塊服務組件與計算層數(shù)據(jù)倉庫存儲數(shù)據(jù)服務數(shù)據(jù)接入服務工作流及流程編排任務調度中心數(shù)據(jù)倉庫元數(shù)據(jù)平臺計算層MRSparkStormHive消息平臺日志收集主數(shù)據(jù)服務中心數(shù)據(jù)融合數(shù)據(jù)安全HDFS／HIVEHBASEMysqlRedisElasticSearch其它。。。數(shù)據(jù)源接入實時數(shù)據(jù)源接入離線數(shù)據(jù)源接入實時推送數(shù)據(jù)API數(shù)據(jù)互聯(lián)網(wǎng)爬蟲數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)文件數(shù)據(jù)非結構化數(shù)據(jù)數(shù)據(jù)接入實時數(shù)據(jù)接入文件接入數(shù)據(jù)庫數(shù)據(jù)接入非結構化數(shù)據(jù)API數(shù)據(jù)接入ETL數(shù)據(jù)接入數(shù)據(jù)集成數(shù)據(jù)標準規(guī)范管理數(shù)據(jù)定價管理數(shù)據(jù)標準執(zhí)行系統(tǒng)管理大數(shù)據(jù)應用可視化交互界面監(jiān)控平臺管控中心大數(shù)據(jù)處理架構數(shù)據(jù)接入方面，通過數(shù)據(jù)接入模塊，可支持各種異構數(shù)據(jù)源接入，包括但不限定于數(shù)據(jù)庫、文件、實時數(shù)據(jù)、API數(shù)據(jù)。大數(shù)據(jù)處理能力方面，提供功能強大的實時計算能力，并提供數(shù)據(jù)實時數(shù)據(jù)和離線數(shù)據(jù)融合，從而可以撮合各方數(shù)據(jù)源進行數(shù)據(jù)融合操作，從而挖掘出更深層的數(shù)據(jù)價值。運行監(jiān)控方面，覆蓋大數(shù)據(jù)全生態(tài)監(jiān)控指標，如大數(shù)據(jù)metrics監(jiān)控、消息平臺監(jiān)控、redis監(jiān)控、zookeeper監(jiān)控、系統(tǒng)監(jiān)控、服務中心監(jiān)控等等大數(shù)據(jù)安全架構支持DataAccessDataManagementDistributedFileSystem(HDFS)EncryptedFile(EDEK)EncryptionZone(EZKey)KeyProviderAPINameNodeYARN(CryptoStream/DEK)HDFSClientKeyProviderAPISecurityServiceKMSDBSTOREKeyProviderAPIEZKsDEKsEDEKEDEKEDEKDEK數(shù)據(jù)安全架構數(shù)據(jù)安全方面，本產品建立了功能強大的全生態(tài)圈的安全體系，采用最先進的大數(shù)據(jù)安全技術，除了存儲安全以外，還提供文件組標簽安全、網(wǎng)關安全、傳輸安全、API安全、融合安全等一系列大數(shù)據(jù)安全生態(tài)，確保為各種安全場景提供技術支撐。目錄0102大數(shù)據(jù)平臺總體規(guī)劃大數(shù)據(jù)平臺功能設計03大數(shù)據(jù)平臺技術架構04大數(shù)據(jù)平臺場景案例政府用戶場景：某省工商局建立輿情監(jiān)控某省工商局結合自身職能，需要實時跟蹤社會輿情（如12315期間），并將社會輿情與本地投訴進行關聯(lián)分析，對于涉及到本地企業(yè)或產品質量的事件能第一時間掌握。項目團隊現(xiàn)場為客戶定制輿情監(jiān)控應用，但是缺少各類報表展示工具和外部輿情數(shù)據(jù)，缺少大數(shù)據(jù)分析和計算的手段數(shù)據(jù)源數(shù)據(jù)倉庫可視化工具外部輿情