企業(yè)數(shù)字化中臺(tái)建設(shè)方案

1、企業(yè)數(shù)字化中臺(tái)建設(shè)方案技術(shù)創(chuàng)新，變革未來(lái)企業(yè)數(shù)字化建設(shè)12一站式數(shù)據(jù)中臺(tái)PaaS目錄CONTENTS企業(yè)數(shù)據(jù)化建設(shè)頂層設(shè)計(jì) 咨詢(xún)規(guī)劃數(shù)據(jù)服務(wù)化數(shù)據(jù)服務(wù)API數(shù)據(jù)可視化引擎 指標(biāo)/標(biāo)簽服務(wù)引擎數(shù)據(jù)資產(chǎn)化數(shù)據(jù)清洗 數(shù)據(jù)模型數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范 數(shù)據(jù)管理與治理數(shù)據(jù)平臺(tái)化數(shù)據(jù)存儲(chǔ)數(shù)據(jù)采集 數(shù)據(jù)計(jì)算數(shù)據(jù)價(jià)值化（數(shù)據(jù)對(duì)企業(yè)的全面賦能）數(shù)據(jù)運(yùn)營(yíng) 組織保障企業(yè)數(shù)據(jù)化是一個(gè)巨大的體系化工程企業(yè)數(shù)據(jù)化所涉及的知識(shí)體系，技能 體系是廣泛且相互獨(dú)立在業(yè)務(wù)和技術(shù)的驅(qū)動(dòng)下，做好價(jià)值前 瞻和全面輔助至關(guān)重要第一步 數(shù)字化咨詢(xún)：企業(yè)數(shù)據(jù)化調(diào)研分析（1/2）【了解企業(yè)業(yè)務(wù)流程， 業(yè)務(wù) 場(chǎng)景， 了解各個(gè)崗位對(duì)數(shù)據(jù) 的需求】業(yè)務(wù) 調(diào)研

2、【 了解企業(yè)當(dāng)前的信息化 建設(shè)情況， 了解服務(wù)廠商】信息化 調(diào)研 【了解企業(yè)的數(shù)據(jù)化架構(gòu)， 內(nèi)容， 成果】數(shù)字化 調(diào)研 【 對(duì)企業(yè)數(shù)據(jù)化情況進(jìn)行 整體全面評(píng)估， 找到當(dāng)前 數(shù)據(jù)化的問(wèn)題點(diǎn)和薄弱點(diǎn)】數(shù)字化 評(píng)估 第一步 數(shù)據(jù)化咨詢(xún)：數(shù)據(jù)應(yīng)用規(guī)劃（2/2）企業(yè)業(yè)務(wù)架構(gòu)對(duì)企業(yè)進(jìn)行全面調(diào)研，客觀描述企業(yè)架構(gòu)，成果物作 為數(shù)據(jù)應(yīng)用規(guī)劃的前提和依據(jù)。指標(biāo)/標(biāo)簽體系構(gòu)建將數(shù)據(jù)應(yīng)用場(chǎng)景層層拆解，細(xì)分到指標(biāo)及標(biāo)簽粒度 依據(jù)企業(yè)業(yè)務(wù)場(chǎng)景進(jìn)行標(biāo)準(zhǔn)指標(biāo)及報(bào)表體系構(gòu)建。 建立管理及維護(hù)機(jī)制，確保數(shù)據(jù)權(quán)威性和內(nèi)部一致性數(shù)據(jù)應(yīng)用場(chǎng)景規(guī)劃了解企業(yè)、了解數(shù)據(jù)應(yīng)用、了解技術(shù)； 基于最佳實(shí)踐知識(shí)庫(kù)；基于深厚的數(shù)據(jù)應(yīng)用能力及經(jīng)驗(yàn)?；?/p>

3、于數(shù)據(jù)資源的實(shí)現(xiàn)路徑規(guī)劃結(jié)合數(shù)據(jù)資源盤(pán)點(diǎn)情況，確認(rèn)指標(biāo)支撐情況 通過(guò)指標(biāo)關(guān)聯(lián)數(shù)據(jù)應(yīng)用場(chǎng)景根據(jù)數(shù)據(jù)應(yīng)用評(píng)估體系進(jìn)行整體評(píng)估 確定實(shí)施優(yōu)先級(jí)及行動(dòng)路線(xiàn)第二步 數(shù)據(jù)平臺(tái)化：平臺(tái)選型標(biāo)準(zhǔn)與策略（1/2）數(shù)據(jù)加工采集任務(wù)調(diào)度統(tǒng)一運(yùn)維離線(xiàn)計(jì)算引擎離線(xiàn)計(jì)算引擎數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理模型算法平臺(tái)計(jì)算任務(wù)調(diào)度統(tǒng)一監(jiān)控告警集群部署集群彈性伸縮數(shù)據(jù)服務(wù)數(shù)據(jù)API可視化引擎標(biāo)簽引擎報(bào)表引擎數(shù)據(jù)開(kāi)放門(mén)戶(hù)數(shù)據(jù)管理數(shù)據(jù)計(jì)算引擎數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)式化對(duì)象文件數(shù)據(jù)接入數(shù)據(jù)同步引擎多源異構(gòu)數(shù)據(jù)庫(kù)離線(xiàn)數(shù)據(jù)采集實(shí)時(shí)數(shù)據(jù)采集文件類(lèi)采集第二步 數(shù)據(jù)平臺(tái)化：數(shù)據(jù)資源盤(pán)點(diǎn)與匯聚（2/2）數(shù)據(jù)資源盤(pán)點(diǎn)數(shù)據(jù)資

4、源成果的可視化呈現(xiàn)外部數(shù)據(jù)資源的有效引入 數(shù)據(jù)資源獲取成本評(píng)估逐步支撐數(shù)據(jù)資產(chǎn)層10%數(shù)據(jù)資源全部進(jìn)入數(shù)據(jù)資產(chǎn) 前期投入大整體受益高工期較長(zhǎng)20%45%按照業(yè)務(wù)領(lǐng)域錄入 即滿(mǎn)足當(dāng)前需求又兼顧了部分未來(lái)發(fā)展在需要擴(kuò)展時(shí)相對(duì)方便綜合投入產(chǎn)出比高按需錄入 傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建模式不利于長(zhǎng)期發(fā)展數(shù)據(jù)資產(chǎn)層薄弱第三步 數(shù)據(jù)資產(chǎn)化：讓數(shù)據(jù)成為可用的資產(chǎn)匯聚全域數(shù)據(jù)構(gòu)建可擴(kuò)展數(shù)據(jù)模型建立數(shù)據(jù)開(kāi)發(fā)標(biāo)準(zhǔn)規(guī)范奠定數(shù)據(jù)資產(chǎn)基礎(chǔ)支撐數(shù)據(jù)應(yīng)用建設(shè)健壯的數(shù)據(jù)資產(chǎn)層降低數(shù)據(jù)應(yīng)用開(kāi)發(fā)成本提升開(kāi)發(fā)效率提升數(shù)據(jù)應(yīng)用價(jià)值數(shù)據(jù)資產(chǎn)未來(lái)將 會(huì)納入企業(yè)核心 資產(chǎn)管理范疇可變現(xiàn)可管可視第四步 數(shù)據(jù)服務(wù)化：高效數(shù)據(jù)開(kāi)發(fā)、支撐數(shù)據(jù)應(yīng)用業(yè)務(wù)數(shù)據(jù)應(yīng)用

5、數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)零散的數(shù)據(jù)企業(yè)業(yè)務(wù)運(yùn)轉(zhuǎn)產(chǎn)生數(shù)據(jù)（數(shù)據(jù)平臺(tái)化）有價(jià)值的數(shù)據(jù)被匯聚成數(shù)據(jù)資產(chǎn)（數(shù)據(jù)資產(chǎn)化）根據(jù)數(shù)據(jù)應(yīng)用的需求在數(shù)據(jù)資產(chǎn)層進(jìn)行大量的開(kāi)發(fā)，從而形成數(shù)據(jù)服務(wù)（數(shù)據(jù)服務(wù)化）數(shù)據(jù)服務(wù)化是數(shù)據(jù)資產(chǎn)變現(xiàn)的過(guò)程，數(shù)據(jù)中臺(tái)不但要承載數(shù)據(jù)資產(chǎn)，更要承擔(dān)大量在數(shù)據(jù)資產(chǎn)中的開(kāi)發(fā) 和加工工作，把數(shù)據(jù)資產(chǎn)提煉成為業(yè)務(wù)需要的和可以使用的數(shù)據(jù)，同時(shí)將這些數(shù)據(jù)以數(shù)據(jù)服務(wù)的形式直 接提供也業(yè)務(wù)人員，或者間接的提供給應(yīng)用系統(tǒng)來(lái)使用！數(shù)據(jù)應(yīng)用反哺業(yè)務(wù)（數(shù)據(jù)價(jià)值化）第五步 數(shù)據(jù)價(jià)值化：提煉數(shù)據(jù)業(yè)務(wù)價(jià)值數(shù)據(jù)匯總、最多跑一次、企業(yè)畫(huà)像、企業(yè)信用評(píng)分、精準(zhǔn)招商、區(qū)域產(chǎn)業(yè)分析、風(fēng)控雷達(dá)、投資項(xiàng)目管理、人才管理、決策看板業(yè)務(wù)界面實(shí)

6、時(shí)營(yíng)銷(xiāo)、輿情分析、精準(zhǔn)獲客、交叉銷(xiāo)售、個(gè)性化理財(cái)、賬務(wù)追 溯、客戶(hù)畫(huà)像、實(shí)時(shí)征信、反欺詐、客戶(hù)風(fēng)險(xiǎn)評(píng)估、信息安全、員 工分析客戶(hù)畫(huà)像、購(gòu)買(mǎi)意向分析、去化率分析、樓盤(pán)洞察、渠道洞察、置 業(yè)顧問(wèn)效能、客源實(shí)時(shí)分析、群訴事件預(yù)警消費(fèi)者洞察、智能組貨、賣(mài)點(diǎn)分析、智慧門(mén)店、智能補(bǔ)貨、訂貨預(yù)測(cè)、門(mén)店熱力分析、排產(chǎn)計(jì)劃、物流優(yōu)化游客畫(huà)像、輿情監(jiān)控、旅游熱力圖、消費(fèi)數(shù)據(jù)、運(yùn)營(yíng)報(bào)告、客流分 析、停車(chē)分析、應(yīng)急指揮、車(chē)流監(jiān)控經(jīng)費(fèi)預(yù)判、科研成果績(jī)效、科研數(shù)據(jù)分析、人才畫(huà)像、校區(qū)財(cái)力透視、資產(chǎn)負(fù)債分析、辦事服務(wù)統(tǒng)計(jì)、運(yùn)維監(jiān)控由于數(shù)據(jù)平臺(tái)化、數(shù) 據(jù)資產(chǎn)化、數(shù)據(jù)服務(wù)化的 完整構(gòu)建，數(shù)據(jù)應(yīng)用得以在 企業(yè)內(nèi)部低成本、高效 率

7、 的構(gòu)建和試錯(cuò)，數(shù)據(jù)化 應(yīng) 用數(shù)量大幅增長(zhǎng)，最終 輸 送到企業(yè)的各個(gè)層級(jí)、 各 個(gè)崗位和各種業(yè)務(wù)場(chǎng)景。從 提升營(yíng)收、降低成本、 控 制業(yè)務(wù)風(fēng)險(xiǎn)，提高業(yè)務(wù)效率 ，創(chuàng)新業(yè)務(wù)模式等多 方面 實(shí)現(xiàn)數(shù)據(jù)價(jià)值。第六步 數(shù)據(jù)化運(yùn)營(yíng)與保障數(shù)據(jù)分析需求整理數(shù)據(jù)實(shí)施執(zhí)行分析結(jié)論制定優(yōu)化方案驗(yàn)證優(yōu)化方案產(chǎn) 品/ 業(yè) 務(wù) 迭 代 改 進(jìn)管理層數(shù)據(jù)管理委員會(huì)（虛擬團(tuán)隊(duì)）數(shù)據(jù)架構(gòu)數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量技術(shù)平臺(tái)數(shù)據(jù)運(yùn)營(yíng)各業(yè)務(wù)線(xiàn)數(shù)據(jù)運(yùn)營(yíng)參與業(yè)務(wù)迭代循環(huán)決策層公司領(lǐng)導(dǎo)層（CIO/CDO）數(shù)據(jù)產(chǎn)品經(jīng)理數(shù)據(jù)架構(gòu)師算法工程師數(shù)據(jù)運(yùn)維工程師數(shù)據(jù)部門(mén)負(fù)責(zé)人執(zhí)行層數(shù) 據(jù) 分 析 和 探 索數(shù)據(jù)分析師數(shù)據(jù)開(kāi)發(fā)工程師企業(yè)數(shù)字化建設(shè)平臺(tái)的全面支撐平臺(tái)

8、管理工具數(shù)據(jù)智能應(yīng)用數(shù)據(jù)大屏經(jīng)營(yíng)分析智能客服數(shù)據(jù)源日志MongoDB計(jì)算存儲(chǔ)引擎s數(shù)據(jù)質(zhì)量DataValid規(guī)則監(jiān)控逐行校驗(yàn)質(zhì)量報(bào)告RDBMSMaxComputeFTPHBase離線(xiàn)開(kāi)發(fā)BatchWork離線(xiàn)數(shù)據(jù)同步離線(xiàn)任務(wù)開(kāi)發(fā)任務(wù)監(jiān)控運(yùn)維可視化建模Notebook建模模型在線(xiàn)部署爬蟲(chóng)埋點(diǎn)實(shí)時(shí)開(kāi)發(fā)StreamWorks實(shí)時(shí)數(shù)據(jù)同步實(shí)時(shí)任務(wù)開(kāi)發(fā)任務(wù)監(jiān)控運(yùn)維API數(shù)據(jù)資產(chǎn)DataAssets元模型數(shù)據(jù)血緣數(shù)據(jù)脫敏智能運(yùn)營(yíng)智能組貨智能風(fēng)控ElasticSearch數(shù)據(jù)開(kāi)發(fā)平臺(tái)API生成數(shù)據(jù)共享服務(wù)DataAPIAPI市場(chǎng)組件數(shù)據(jù)服務(wù)引擎數(shù)據(jù)可視化標(biāo)簽引擎EasyVTagEngineBI報(bào)表 Easy

9、BI運(yùn)維管家EasyManager安裝部署彈性伸縮 監(jiān)控告警故障診斷日志審計(jì)EasyLog用戶(hù)操作軌跡操作風(fēng)險(xiǎn)預(yù)警日志搜索DTHadoopEMRCDHHDP星環(huán)FusionInsightLibrAGreenplum模板標(biāo)簽工廠 實(shí)體畫(huà)像QuickBI帆軟/永洪算法開(kāi)發(fā)平臺(tái)數(shù)據(jù)資產(chǎn)平臺(tái)算法開(kāi)發(fā)AIWorks06數(shù)據(jù)運(yùn)營(yíng)與保障05數(shù)據(jù)價(jià)值化04數(shù)據(jù)服務(wù)化03數(shù)據(jù)資產(chǎn)化02數(shù)據(jù)平臺(tái)化01數(shù)據(jù)化咨詢(xún)規(guī)劃企業(yè)數(shù)據(jù)化體系搭建完成一站式數(shù)據(jù)中臺(tái)數(shù)據(jù)平臺(tái)化數(shù)據(jù)資產(chǎn)化數(shù)據(jù)服務(wù)化數(shù)據(jù)價(jià)值化數(shù)據(jù)化咨詢(xún)規(guī)劃數(shù)據(jù)化診斷數(shù)據(jù)應(yīng)用規(guī)劃數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)組織數(shù)據(jù)化保障體系企業(yè)數(shù)字化建設(shè)12一站式數(shù)據(jù)中臺(tái)PaaS目錄CONTENTS

10、數(shù)棧DTinsight：云原生一站式數(shù)據(jù)中臺(tái)PaaS基于k8s的云原生技術(shù)，支持容器 化部署和資源調(diào)度，實(shí)現(xiàn)彈性伸縮， 快速部署升級(jí)天生云原生同時(shí)支持CDH、HDP、EMR、星環(huán)、 華為FusionInsight、Kylin、TiDB 等多種第三方引擎，真正的中臺(tái)級(jí) 產(chǎn)品多引擎多集群可視化SQL編輯，托拉拽式作業(yè)編 排，百萬(wàn)級(jí)任務(wù)調(diào)度，開(kāi)發(fā)效率提 升3倍數(shù)據(jù)易開(kāi)發(fā)開(kāi)放的元數(shù)據(jù)自動(dòng)采集，全鏈路的 數(shù)據(jù)資產(chǎn)治理，元數(shù)據(jù)查找秒級(jí)定 位，治理效率提升數(shù)據(jù)易管理提供統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)，減少多 數(shù)據(jù)源適配的工作量，實(shí)現(xiàn)數(shù)據(jù)服 務(wù)的可視、可管數(shù)據(jù)易消費(fèi)讓大數(shù)據(jù)從“DOS時(shí)代”進(jìn)入“Windows時(shí)代”數(shù)棧覆

11、蓋了建設(shè)數(shù)據(jù)中臺(tái)過(guò)程中所需要的一站式工具，滿(mǎn)足企業(yè)的全方 面的數(shù)據(jù)處理鏈路，可以解放開(kāi)發(fā)人員的生產(chǎn)力，極大的 縮短數(shù)據(jù)價(jià)值 的萃取過(guò)程，提高企業(yè)提煉數(shù)據(jù)價(jià)值的能力。數(shù)棧DTinsight：云原生一站式數(shù)據(jù)中臺(tái)PaaS容器化部署多云不可變基礎(chǔ)設(shè)施30分鐘極速部署彈性擴(kuò)縮容數(shù)千節(jié)點(diǎn)集群規(guī)模智能自動(dòng)擴(kuò)縮容資源調(diào)度云化分布式計(jì)算,存儲(chǔ)分離資源統(tǒng)一調(diào)度和隔離服務(wù)API化聲明式數(shù)據(jù)API開(kāi)放式SDK 天生云原生 數(shù)棧DTinsight自主可控核心技術(shù)FlinkX流批一體式同步工具DAGSchedulerX高性能分布式調(diào)度引擎EasyManager運(yùn)維管理30+數(shù)據(jù)源支持支持實(shí)時(shí)和批量同步1500+開(kāi)源社區(qū)

12、Star1-2周兼容新數(shù)據(jù)源支持百萬(wàn)級(jí)任務(wù)并發(fā)數(shù)十種任務(wù)類(lèi)型調(diào)度支持任務(wù)優(yōu)先級(jí)1-1000配置支持自依賴(lài)、跨周期策略30分鐘急速部署多集群管理服務(wù)自檢查自修復(fù)全方位監(jiān)控告警自研核心組件數(shù)棧DTinsight自主可控核心技術(shù)國(guó)產(chǎn)化多樣化安全策略行為審計(jì)訪(fǎng)問(wèn)與通信安全數(shù)據(jù)查詢(xún)與訪(fǎng)問(wèn)安全數(shù)據(jù)加密與脫敏全鏈路日志跟蹤行為日志統(tǒng)一管理日志分析與監(jiān)控告警支持國(guó)產(chǎn)數(shù)據(jù)庫(kù)接入支持國(guó)產(chǎn)操作系統(tǒng)支持國(guó)產(chǎn)ARM服務(wù)器安全數(shù)據(jù)服務(wù)行級(jí)權(quán)限控制Token、AK/SK認(rèn)證數(shù)據(jù)服務(wù)流量管控 安全可信 數(shù)棧DTinsight產(chǎn)品全景圖離線(xiàn)開(kāi)發(fā)平臺(tái)BatchWorksd算法開(kāi)發(fā)平臺(tái)AIWorks可視化建模Notebook建模模

13、型部署數(shù)據(jù)質(zhì)量DataVali規(guī)則配置規(guī)則校驗(yàn)質(zhì)量報(bào)告數(shù)據(jù)同步任務(wù)開(kāi)發(fā)任務(wù)運(yùn)維實(shí)時(shí)開(kāi)發(fā)平臺(tái)StreamWorks實(shí)時(shí)采集實(shí)時(shí)任務(wù)任務(wù)運(yùn)維數(shù)據(jù)資產(chǎn)DataAssets元模型數(shù)據(jù)血緣數(shù)據(jù)脫敏數(shù)據(jù)共享服務(wù)EasyAPIAPI生成API市場(chǎng)數(shù)據(jù)可視化EasyV組件模板智能標(biāo)簽DataTag標(biāo)簽實(shí)體標(biāo)簽管理公有云私有云混合云標(biāo)簽服務(wù)彈性計(jì)算引擎EasyMR數(shù)棧運(yùn)維管家EasyManager服務(wù) 平臺(tái)開(kāi)發(fā)平臺(tái)基礎(chǔ) 平臺(tái)資產(chǎn) 平臺(tái)IaaS指標(biāo)管理EasyIndex指標(biāo)生成指標(biāo)查詢(xún)數(shù)據(jù)化運(yùn)維EasyDo日志接入智能預(yù)警數(shù)據(jù)同步引擎FlinkX離線(xiàn)數(shù)棧DTinsight ，快速完成數(shù)據(jù)中臺(tái)搭建數(shù)據(jù)服務(wù)平臺(tái)快速搜索通用數(shù)據(jù) 資產(chǎn)交互式查詢(xún)萃取數(shù)據(jù) 資產(chǎn)數(shù)據(jù)API數(shù)據(jù)源算法挖掘 模型構(gòu)建公共 數(shù)據(jù)實(shí)時(shí)數(shù)據(jù) 模型構(gòu)建數(shù)據(jù)消費(fèi)移動(dòng)端PC端線(xiàn)下物業(yè)業(yè)務(wù)監(jiān)控可視化數(shù)據(jù)報(bào)表用戶(hù)運(yùn)營(yíng)數(shù)據(jù)門(mén)戶(hù)實(shí) 時(shí)安 全智 能規(guī) 范全 域營(yíng)銷(xiāo)離線(xiàn)數(shù)據(jù)數(shù)據(jù)集成模型構(gòu)建數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)資產(chǎn)平臺(tái)元數(shù)據(jù) 主數(shù)據(jù) 標(biāo)簽數(shù)據(jù)數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全資產(chǎn)運(yùn)營(yíng)數(shù)據(jù)中臺(tái)實(shí)時(shí)離線(xiàn)實(shí)時(shí)產(chǎn)品解耦，不同場(chǎng)景按需組合數(shù)棧 一站式數(shù)據(jù)中臺(tái)PaaSBatchWorks離線(xiàn)開(kāi)發(fā)模塊數(shù)