企業(yè)數(shù)據(jù)中臺整體介紹及建設(shè)方案

企業(yè)數(shù)據(jù)中臺整體介紹什么是數(shù)據(jù)中臺數(shù)據(jù)中臺怎么建設(shè)數(shù)據(jù)中臺產(chǎn)品怎么選數(shù)據(jù)中臺案例介紹企業(yè)大數(shù)據(jù)面臨什么樣的問題01混亂的、困惑的數(shù)據(jù)口徑不統(tǒng)一數(shù)據(jù)視角不一致02渴望的、不滿足的每個崗位都希望得到數(shù)據(jù)的支撐很多種智能的應(yīng)用都需要數(shù)據(jù)的支撐03基礎(chǔ)不牢、價值不高的底層建設(shè)嚴(yán)重匱乏高價值數(shù)據(jù)難以產(chǎn)生當(dāng)前的數(shù)據(jù)業(yè)務(wù)價值低下04零散的、孤立的、分散的業(yè)務(wù)越向前越不準(zhǔn)確數(shù)據(jù)被業(yè)務(wù)模塊割裂數(shù)據(jù)定義不清晰數(shù)據(jù)對不上Productand

technologyOrganization

systemDesignand

planning

設(shè)計

規(guī)劃

技術(shù)

產(chǎn)品

組織

體系數(shù)據(jù)資源數(shù)據(jù)治理數(shù)據(jù)建模數(shù)據(jù)指標(biāo)大數(shù)據(jù)平臺開發(fā)套件規(guī)劃可視化分析引擎業(yè)務(wù)職責(zé)數(shù)據(jù)策略規(guī)范運維數(shù)據(jù)運維企業(yè)選擇什么樣的大數(shù)據(jù)起點規(guī)范小數(shù)據(jù)中心無序小數(shù)據(jù)中心無序大數(shù)據(jù)中心規(guī)范有序的全域數(shù)據(jù)中心（數(shù)據(jù)中臺）企業(yè)完整數(shù)據(jù)解決方案解決數(shù)據(jù)“存”、“通”、“用”難題數(shù)據(jù)中臺，是基于分布式數(shù)據(jù)平臺之上，根據(jù)行業(yè)客戶的業(yè)務(wù)場景量身定制的一整套數(shù)據(jù)智能解決方案，基于“互聯(lián)網(wǎng)+”時代的數(shù)據(jù)價值思考，賦能企業(yè)，提升競爭力數(shù)據(jù)中臺解決什么問題用一切數(shù)據(jù)業(yè)務(wù)化通存一切業(yè)務(wù)數(shù)據(jù)化連接數(shù)據(jù)孤島數(shù)據(jù)中臺有什么本事數(shù)據(jù)規(guī)范：數(shù)據(jù)標(biāo)準(zhǔn)化，指標(biāo)體系數(shù)據(jù)建模：數(shù)據(jù)域，邏輯模型，物理模型數(shù)據(jù)管理：主數(shù)據(jù)，元數(shù)據(jù)、數(shù)據(jù)質(zhì)量，數(shù)據(jù)安全數(shù)據(jù)共享：數(shù)據(jù)地圖，數(shù)據(jù)接口企業(yè)數(shù)據(jù)資產(chǎn)可視化企業(yè)IT資源可視化智能報表開發(fā)與共享大屏可視化展現(xiàn)與監(jiān)控標(biāo)簽體系管理：靜態(tài)標(biāo)簽、動態(tài)標(biāo)簽（算法標(biāo)簽），標(biāo)簽生命周期管理全景洞察：用戶畫像，商品畫像，商圈畫像…精準(zhǔn)營銷：人群篩選，智能推薦，廣告投放……規(guī)則管理：業(yè)務(wù)規(guī)則配置，預(yù)警監(jiān)控…多來源：RDBMS，Hadoop，文本、接口..多結(jié)構(gòu)：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化多方式：批量、實時整合打通：IDMapping，整合統(tǒng)一數(shù)據(jù)業(yè)務(wù)化數(shù)據(jù)資產(chǎn)管理采集整合分析挖掘數(shù)據(jù)可視化自助交互式分析：智能報表，整合分析豐富的算法庫：數(shù)據(jù)預(yù)處理，分類、聚類，關(guān)聯(lián)，預(yù)測…數(shù)據(jù)中

臺數(shù)據(jù)中臺與傳統(tǒng)數(shù)倉有什么區(qū)別分布式數(shù)據(jù)平臺傳統(tǒng)數(shù)倉以單機關(guān)系型數(shù)據(jù)庫離線分析為主；數(shù)據(jù)中臺以分布式引擎架構(gòu)，同時支持離線計算/實時計算/即時計算/智能計算數(shù)據(jù)源豐富性傳統(tǒng)數(shù)倉以業(yè)務(wù)數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)為主；數(shù)據(jù)中臺涵蓋業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、行為埋點數(shù)據(jù)、IoT數(shù)據(jù)、爬蟲數(shù)據(jù)、外部數(shù)據(jù)等建設(shè)模式方法論傳統(tǒng)數(shù)倉往往采用自頂向下的建設(shè)模式，以明確的業(yè)務(wù)分析驅(qū)動，延續(xù)性低；數(shù)據(jù)中臺采用自底向上的方式，結(jié)合業(yè)務(wù)需求變化不斷迭代升級數(shù)據(jù)開發(fā)一站式傳統(tǒng)數(shù)倉往往將ODS、EDW和ETL開發(fā)切割到不同廠商工具實現(xiàn)；數(shù)據(jù)中臺則主張一站式可視化數(shù)據(jù)開發(fā)，借助分布式技術(shù)的力量簡化數(shù)據(jù)加工處理的過程數(shù)據(jù)資產(chǎn)在線化傳統(tǒng)數(shù)倉的數(shù)據(jù)管理和治理，往往花費大量精力，最終形成的是離線的規(guī)范和文檔；數(shù)據(jù)中臺則強調(diào)元數(shù)據(jù)管理統(tǒng)一入口的自動化和數(shù)據(jù)資產(chǎn)管理的在線化數(shù)據(jù)應(yīng)用創(chuàng)新傳統(tǒng)數(shù)倉以某個業(yè)務(wù)主題的BI報表和決策支持為主，目的性單一，煙囪式建設(shè)；數(shù)據(jù)中臺則主張全域數(shù)據(jù)打通數(shù)據(jù)孤島，釋放業(yè)務(wù)方數(shù)據(jù)應(yīng)用創(chuàng)新的能量數(shù)據(jù)中臺長什么樣數(shù)據(jù)中臺體現(xiàn)什么樣的企業(yè)核心價值全面梳理數(shù)據(jù)資產(chǎn)構(gòu)建全域數(shù)據(jù)中心落地戰(zhàn)略和組織保障培養(yǎng)業(yè)務(wù)創(chuàng)新的土壤數(shù)據(jù)資產(chǎn)管理在線化形成數(shù)據(jù)人才成長的搖籃通過業(yè)務(wù)的不斷滋養(yǎng)打造業(yè)務(wù)和數(shù)據(jù)的閉環(huán)企業(yè)怎么規(guī)劃大數(shù)據(jù)發(fā)展藍圖數(shù)據(jù)應(yīng)用建設(shè)數(shù)據(jù)可視化大屏經(jīng)營指標(biāo)體系建設(shè)實體標(biāo)簽體系建設(shè)大數(shù)據(jù)應(yīng)用開發(fā)坎精準(zhǔn)營銷智慧選址零售參謀智慧門店數(shù)據(jù)化咨詢數(shù)據(jù)管理組織

指標(biāo)梳理與現(xiàn)狀分析標(biāo)簽梳理與現(xiàn)狀分析數(shù)據(jù)應(yīng)用規(guī)劃兌數(shù)據(jù)中臺建設(shè)規(guī)劃數(shù)據(jù)資源規(guī)劃 數(shù)據(jù)質(zhì)量評估3ONE中臺方法論震數(shù)據(jù)中臺建設(shè)數(shù)據(jù)同步 數(shù)據(jù)建模數(shù)據(jù)萃取數(shù)據(jù)采集與質(zhì)量治理離用戶中心產(chǎn)品中心其他中心日志數(shù)據(jù)采集外部數(shù)據(jù)爬取行為數(shù)據(jù)采集大數(shù)據(jù)數(shù)據(jù)質(zhì)量治理業(yè)務(wù)數(shù)據(jù)質(zhì)量治理基礎(chǔ)數(shù)據(jù)質(zhì)量治理數(shù)據(jù)治理企業(yè)信息化數(shù)據(jù)化展望上帝

=

全知

+

全能全知

=

數(shù)據(jù)

+

算法數(shù)據(jù)應(yīng)用內(nèi)部數(shù)據(jù)

基礎(chǔ)數(shù)據(jù)外部數(shù)據(jù)

半結(jié)構(gòu)、非結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)化交易數(shù)據(jù)決策者業(yè)務(wù)人員管理者機器/應(yīng)用角色更快的指標(biāo)更多的指標(biāo) 隱藏在背后的指標(biāo)數(shù)據(jù)化信息化step1step2step3step4step1step2step3step4辦公自動化 ?大量應(yīng)用與部署

?ERP ? Soa系統(tǒng)的大量內(nèi)部集中

? Esb集團管控 ? portal應(yīng)用中臺分布式自研發(fā)業(yè)務(wù)產(chǎn)生數(shù)據(jù) ? 會計電算化財務(wù)報表業(yè)務(wù)報表企業(yè)編碼規(guī)范BI分析管理駕駛艙數(shù)據(jù)中心數(shù)據(jù)挖掘數(shù)據(jù)治理大數(shù)據(jù)數(shù)據(jù)中臺數(shù)據(jù)應(yīng)用AI數(shù)據(jù)智能……信息化與數(shù)據(jù)化互動數(shù)據(jù)化的成果是數(shù)據(jù)、是價值什么是數(shù)據(jù)中臺數(shù)據(jù)中臺怎么建設(shè)數(shù)據(jù)中臺產(chǎn)品怎么選數(shù)據(jù)中臺案例介紹方法論整體規(guī)劃，分布實施，數(shù)據(jù)中臺是一個經(jīng)過不斷循環(huán)、反饋而使系統(tǒng)不斷增長與完善的過程，這是區(qū)別于系統(tǒng)生命周期法的主要特點。產(chǎn)品+工具大數(shù)據(jù)分布式計算平臺、數(shù)據(jù)開發(fā)套件、數(shù)據(jù)質(zhì)量管理工具、數(shù)據(jù)地圖管理工具數(shù)據(jù)模型管理工具、API管理工具等。實施流程一整套體系化的數(shù)據(jù)中臺建設(shè)實施流程，包括需求調(diào)研、需求分析、架構(gòu)設(shè)計、數(shù)據(jù)與應(yīng)用開發(fā)、部署和測試運維等。數(shù)據(jù)中臺體系涵蓋整個數(shù)據(jù)中臺解決方案框架圖，既包含數(shù)據(jù)技術(shù)平臺，也包含數(shù)據(jù)開發(fā)、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)和數(shù)據(jù)產(chǎn)品應(yīng)用。通過建設(shè)數(shù)據(jù)中臺建立數(shù)據(jù)資產(chǎn)體系，規(guī)?；?wù)業(yè)務(wù)，保證數(shù)據(jù)質(zhì)量，更大限度的發(fā)揮數(shù)據(jù)價值。數(shù)據(jù)中臺建設(shè)思路分析明確業(yè)務(wù)需求，業(yè)務(wù)建模，與現(xiàn)有系統(tǒng)匹配。部署基礎(chǔ)設(shè)施安裝或升級。集成整體環(huán)境測試聯(lián)調(diào)上線調(diào)研包含機會評估和企業(yè)評估兩項服務(wù)設(shè)計設(shè)計數(shù)據(jù)倉庫和數(shù)據(jù)應(yīng)用技術(shù)體系架構(gòu)，完成詳細(xì)設(shè)計開發(fā)數(shù)據(jù)倉庫ETL

的設(shè)計、模型開發(fā)和單元測試，數(shù)據(jù)產(chǎn)品開發(fā)管理元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、容量規(guī)劃、優(yōu)化性能問題、1357246數(shù)據(jù)中臺實施路徑客戶行業(yè)的了解行業(yè)成功案例和經(jīng)驗總結(jié)培訓(xùn)資料、交流問題以及調(diào)查問卷的準(zhǔn)備客戶的組織結(jié)構(gòu)和工作流程客戶當(dāng)前的業(yè)務(wù)系統(tǒng)和主要功能客戶各系統(tǒng)之間的關(guān)系、數(shù)據(jù)內(nèi)容及狀況客戶主要的應(yīng)用報表的解釋準(zhǔn)備工作通過原型收集需求后，完成分析模型描述數(shù)據(jù)產(chǎn)品需求說明書業(yè)務(wù)調(diào)研系統(tǒng)調(diào)研成果輸出細(xì)致分析整理客戶報表及業(yè)務(wù)系統(tǒng)數(shù)據(jù)構(gòu)建數(shù)據(jù)產(chǎn)品或分析模型的原型圖問卷調(diào)查會議溝通電話溝通數(shù)據(jù)中臺實施路徑——①調(diào)研數(shù)據(jù)中臺實施路徑——②分析：以業(yè)務(wù)為驅(qū)動現(xiàn)狀分析確定、分解分析主題確定指標(biāo)體系確定分析角度確定維度層次目前的業(yè)務(wù)發(fā)展情況？經(jīng)營管理現(xiàn)狀？系統(tǒng)的數(shù)據(jù)源和數(shù)據(jù)質(zhì)量怎么樣？主題是否還需要分解？每個主題的分解目標(biāo)是什么？每個分析主題包括哪些關(guān)鍵分析指標(biāo)？包括哪些衍生物指標(biāo)？這些指標(biāo)從哪些維度進行分析？這些維度包含哪些層次？維度的聚合方式是什么？以業(yè)務(wù)為導(dǎo)向結(jié)構(gòu)化分析，逐步細(xì)化形成需求文檔數(shù)據(jù)中臺實施路徑——③設(shè)計：方法論數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)規(guī)范定義從業(yè)務(wù)源頭標(biāo)準(zhǔn)化技術(shù)內(nèi)核工具化規(guī)范定義、建模研發(fā)、調(diào)度運維、···元數(shù)據(jù)驅(qū)動智能化半自動化->智能化規(guī)劃計算和存儲技術(shù)驅(qū)動數(shù)據(jù)連接基于超強ID識別技術(shù)連接數(shù)據(jù)技術(shù)內(nèi)核工具化超強ID識別、高效標(biāo)簽生產(chǎn)、···業(yè)務(wù)驅(qū)動技術(shù)價值化孤島->高質(zhì)量->高價值主題式數(shù)據(jù)服務(wù)主題邏輯表屏蔽復(fù)雜物理表統(tǒng)一但多樣化數(shù)據(jù)服務(wù)一般查詢+OLAP分析+在線服務(wù)跨源數(shù)據(jù)服務(wù)屏蔽多種異構(gòu)數(shù)據(jù)源全流程一體化從數(shù)據(jù)采集到數(shù)據(jù)服務(wù)全鏈路通向上多樣化賦能場景通用產(chǎn)品+行業(yè)產(chǎn)品+專享產(chǎn)品向下屏蔽多計算引擎公共云+專有云+私有云雙向聯(lián)動業(yè)務(wù)與產(chǎn)品&技術(shù)協(xié)同互助OneDataOneIDOneService數(shù)據(jù)中臺實施路徑——③設(shè)計：數(shù)據(jù)倉庫模型設(shè)計CDMCDM層又細(xì)分為DWD層和DWS層，分別是明細(xì)寬表層和公共匯總數(shù)據(jù)層DWD：以維度模型方法基礎(chǔ)，采用維度退化手法，減少事實表和維度表的關(guān)聯(lián)DWS：加強指標(biāo)的維度退化，采取更多寬表化構(gòu)建公共指標(biāo)層，提升公共指標(biāo)的復(fù)用性ADS個性化指標(biāo)加工：不公用性；復(fù)雜性（指數(shù)型、比值型、排名型指標(biāo)）基于應(yīng)用的數(shù)據(jù)組裝：大寬表集市、橫表轉(zhuǎn)縱表、趨勢指標(biāo)串ODS同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步結(jié)構(gòu)化：非結(jié)構(gòu)化(日志)結(jié)構(gòu)化處理累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計要求保存歷史數(shù)據(jù)、數(shù)據(jù)清洗數(shù)據(jù)應(yīng)用層操作數(shù)據(jù)層公共維度模型層數(shù)據(jù)中臺實施路徑——③設(shè)計：基于OneData的數(shù)據(jù)模型分層設(shè)計數(shù)據(jù)采集平臺實時數(shù)據(jù)源采集方式定時數(shù)據(jù)源采集方式數(shù)據(jù)計算平臺阿里云數(shù)加大數(shù)據(jù)平臺袋鼠云RDOS分布式大數(shù)據(jù)計算平臺數(shù)據(jù)中臺工具產(chǎn)品數(shù)據(jù)質(zhì)量模塊數(shù)據(jù)模型模塊API平臺模塊標(biāo)簽工廠…數(shù)據(jù)應(yīng)用平臺應(yīng)用微服務(wù)和數(shù)據(jù)庫環(huán)境部署產(chǎn)品監(jiān)控工具部署開發(fā)環(huán)境生產(chǎn)環(huán)境數(shù)據(jù)中臺環(huán)境搭建開發(fā)環(huán)境和生產(chǎn)環(huán)境嚴(yán)格一致數(shù)據(jù)中臺實施路徑——④部署數(shù)據(jù)模型測試數(shù)據(jù)模型性能優(yōu)化數(shù)據(jù)模型性能調(diào)整和優(yōu)化針對開發(fā)后的ETL腳本進行自測和交叉測試數(shù)據(jù)備份和恢復(fù)開發(fā)數(shù)據(jù)備份與恢復(fù)程序增量數(shù)據(jù)加載開發(fā)日常增量加載的程序和處理流程歷史數(shù)據(jù)加載開發(fā)歷史數(shù)據(jù)加載的程序和處理流程ETL開發(fā)數(shù)據(jù)定時/實時同步，建立DW/OLAP分析模型數(shù)據(jù)中臺實施路徑——⑤開發(fā)：數(shù)據(jù)倉庫開發(fā)數(shù)據(jù)測試測試歷史數(shù)據(jù)加載程序和流程測試日常數(shù)據(jù)加載程序和流程數(shù)據(jù)正確性測試數(shù)據(jù)模型性能測試應(yīng)用測試單元測試接口測試功能測試集成測試性能測試接口測試功能測試用戶體驗測試數(shù)據(jù)中臺實施路徑——⑥集成數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT

支持團隊考核指標(biāo)責(zé)任評價標(biāo)準(zhǔn)執(zhí)行評價政策執(zhí)行評價評價標(biāo)準(zhǔn)技術(shù)元數(shù)據(jù)流程評價與考核流程考核指標(biāo)建立/維護流程標(biāo)準(zhǔn)建立/維護流程組織建立/維護流程評價與考核

數(shù)據(jù)認(rèn)責(zé) 平臺業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)創(chuàng)建數(shù)據(jù)質(zhì)量 元數(shù)據(jù)數(shù)據(jù)存儲 數(shù)據(jù)移動 數(shù)據(jù)共享數(shù)據(jù)安全數(shù)據(jù)停用數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務(wù)分類業(yè)務(wù)含義……真實性定義及時性定義完整性定義一致性定義……安全等級權(quán)限定義審計定義保留策略……數(shù)據(jù)安全管理數(shù)據(jù)中臺實施路徑——⑦管理：數(shù)據(jù)管理體系什么是數(shù)據(jù)中臺數(shù)據(jù)中臺怎么建設(shè)數(shù)據(jù)中臺產(chǎn)品怎么選數(shù)據(jù)中臺案例介紹數(shù)據(jù)中臺實施路徑——⑥集成擁抱開源基于Spark/Flink/Tensorflow兼容CDH/HDP/TDH/EMR貢獻FlinkX/jLogstash/StreamSQL私有化&公有云部署支持PB級大數(shù)據(jù)不依賴特定IAAS模塊組合計算引擎&應(yīng)用引擎開發(fā)套件&治理套件報表引擎&數(shù)據(jù)應(yīng)用引擎自有研發(fā)能滿足客戶離線和實時等計算需求，通過不同產(chǎn)品組合能滿足多數(shù)大數(shù)據(jù)用戶的需求。但是是閉源體系。公有云服務(wù)為主按需購買大數(shù)據(jù)服務(wù)，初期價格不高，但是5年成本比較高。要求數(shù)據(jù)上云，對企業(yè)數(shù)據(jù)安全制度是挑戰(zhàn)綁定產(chǎn)品體系化自主開發(fā)的產(chǎn)品化體系，產(chǎn)品之間的耦合度很多高，功能強大但是要配套使用阿里公有云大數(shù)據(jù)服務(wù)（數(shù)據(jù)能上云的客戶，推薦阿里公有云）袋鼠數(shù)棧產(chǎn)品系統(tǒng)（希望本地化部署客戶，推薦數(shù)棧）數(shù)棧：企業(yè)級一站式數(shù)據(jù)中臺PaaS業(yè)務(wù)中臺數(shù)據(jù)應(yīng)用數(shù)據(jù)化運營可視化大屏輿情監(jiān)控精準(zhǔn)營銷個性化推薦……數(shù)據(jù)源RDBMS日志文件ElasticSearchFTPHBaseDT.Trace……智能實時全域基礎(chǔ)服務(wù)數(shù)據(jù)應(yīng)用引擎數(shù)據(jù)API集群部署運維監(jiān)控多租戶隔離多集群管理日志分析EasyLog分析引擎大屏引擎Easy[V]……數(shù)據(jù)計算引擎RD-OSClouderaFusionInsightEMR數(shù)據(jù)開發(fā)套件數(shù)據(jù)集成實時任務(wù)開發(fā)任務(wù)運維離線任務(wù)開發(fā)數(shù)據(jù)倉庫主題域用戶主題域交易主題域商品主題域數(shù)據(jù)治理套件數(shù)據(jù)質(zhì)量數(shù)據(jù)地圖數(shù)據(jù)模型數(shù)棧產(chǎn)品第三方產(chǎn)品數(shù)棧多租戶管理◎ 通過資源隊列方式實現(xiàn)資源隔離◎ 支持計算節(jié)點粒度的多租戶管理◎ 支持cpu+內(nèi)存組合粒度的多租戶管理◎ 支持按照資源池的百分比/固定值進行資源分配租戶A 租戶B 租戶C用戶計算任務(wù)租戶A任務(wù)租戶B任務(wù)租戶A任務(wù)租戶B任務(wù)租戶C任務(wù)虛擬機節(jié)點1 節(jié)點2 節(jié)點3節(jié)點4 節(jié)點5節(jié)點6 節(jié)點7租戶A租戶B租戶C物理機1物理機2物理機3物理機租戶管理平臺IAAS資源管理平臺數(shù)據(jù)的實時清洗、歸并、結(jié)構(gòu)化數(shù)倉的補充和優(yōu)化用戶行為預(yù)警、AppCrash預(yù)警、服務(wù)器攻擊預(yù)警內(nèi)容投放、無線智能推送、實時個性化推薦等實時計算相關(guān)指標(biāo)反饋及時調(diào)整決策數(shù)據(jù)化運營活動實時直播大屏實時流計算實時ETL監(jiān)控預(yù)警實時在線系統(tǒng)實時報表對用戶行為或相關(guān)事件實時監(jiān)測和分析，基于風(fēng)控規(guī)則進行預(yù)警數(shù)棧-開發(fā)套件：大數(shù)據(jù)的“視窗操作系統(tǒng)”開源生態(tài)兼容全生命周期覆蓋◎全鏈路覆蓋數(shù)據(jù)價值釋放過程，支持實時、離線和智能計算可視化操作界面◎

屏蔽底層復(fù)雜的分布式計算引擎，基于Web的開發(fā)平臺，提高開發(fā)效率◎兼容CDH、HDP、EMR等第三方開源分布式計算引擎數(shù)據(jù)輸入任務(wù)開發(fā)與調(diào)度任務(wù)狀態(tài)監(jiān)控數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)模型規(guī)范數(shù)據(jù)輸出實時/離線/智能分布式計算引擎數(shù)棧-開發(fā)套件◎ 屏蔽底層分布式開源引擎的復(fù)雜性，以更加友好、便捷、可視化的方式提供一站式數(shù)據(jù)開發(fā)工作臺協(xié)作開發(fā)任務(wù) 調(diào)度類型 依賴支持SQL、MR、PySpark、Python、Shell、Tensofrflow、MxNet等多種不同類型任務(wù)和臨時查詢，滿足SQL查詢、自定義函數(shù)、機器學(xué)習(xí)、深度學(xué)習(xí)、外部功能調(diào)用等不同場景開發(fā)需求支持工作流，便捷完成整個ETL鏈路的開發(fā)自主研發(fā)的DTEngine內(nèi)核，支持復(fù)雜的調(diào)度與依賴配置內(nèi)置130多種系統(tǒng)函數(shù)，充分滿足不同場景的任務(wù)配置自動解析SQL并生成推薦的任務(wù)，簡化依賴配置流程支持自定義參數(shù)，靈活滿足不同計算場景需求愉悅的WebIDE編程體驗，支持代碼自動補全、列模式編輯、主題切換等統(tǒng)一的代碼提交、資源管理和函數(shù)管理，一站式完成數(shù)據(jù)開發(fā)任務(wù)完善的任務(wù)鎖機制和代碼歷史版本支持，充分滿足團隊協(xié)作式開發(fā)的趨勢數(shù)棧-開發(fā)套件：分布式高性能同步引擎FlinkX◎ 數(shù)據(jù)同步在不同存儲系統(tǒng)中起到“橋梁”的作用，是數(shù)據(jù)中臺的基礎(chǔ)核心功能◎ 支持多種不同的異構(gòu)存儲系統(tǒng)數(shù)據(jù)，插件化架構(gòu)可隨時支持更多的新數(shù)據(jù)源需求◎ 底層基于Flink分布式架構(gòu)，支持大容量、高并發(fā)同步，相比單點同步性能更好，穩(wěn)定性更高FlinkX源碼已由數(shù)棧研發(fā)團隊貢獻給開源社區(qū)，詳情請參考：Zdal支付寶分布式數(shù)據(jù)庫中間件，支持MySQL、Oracle、DB2分庫分表架構(gòu)OracleSQLServerHDFSHiveHBasePostgreSQLMongoDBRedisSElasticSearchODPFTPMySQLZdal[2][1]FlinkXFlinkX讀取寫入存儲存儲存儲存儲存儲數(shù)據(jù)開發(fā)-可視化的調(diào)度與依賴配置◎ 自主研發(fā)的數(shù)據(jù)任務(wù)調(diào)度引擎（DTEngine），單臺虛擬機最高支持萬級別任務(wù)的復(fù)雜調(diào)度[1]

，讓數(shù)據(jù)加工更流暢◎ 可視化的調(diào)度周期、任務(wù)依賴配置，支持多種調(diào)度參數(shù)，充分滿足開發(fā)過程中的各種需要多種調(diào)度周期多種依賴模式支持復(fù)雜的任務(wù)間DAG依賴可視化配置支持任務(wù)自依賴模式多種調(diào)度參數(shù)為使任務(wù)自動周期運行時能動態(tài)適配環(huán)境變化，開發(fā)套件內(nèi)置4種系統(tǒng)調(diào)度參數(shù)，滿足絕大多數(shù)場景的任務(wù)配置需求，同時可支持靈活的自定義參數(shù)配置支持分鐘、小時、天、周、月多種調(diào)度周期的可視化配置[1]：測試環(huán)境的硬件配置：4核8G內(nèi)存的虛擬機數(shù)據(jù)地圖：可視化的數(shù)據(jù)資產(chǎn)管理◎ 隨著企業(yè)發(fā)展，數(shù)據(jù)規(guī)模逐漸增長，對已有數(shù)據(jù)資產(chǎn)的管理會越來越重要◎ 數(shù)據(jù)地圖基于租戶級別提供統(tǒng)一的數(shù)據(jù)管控體系，包括完善的數(shù)據(jù)授權(quán)模塊，提升平臺的數(shù)據(jù)安全性類目體系基本管理血緣關(guān)系臟數(shù)據(jù)管理生命周期操作記錄權(quán)限管理對新建、刪除、變更表結(jié)構(gòu)等操作自動記錄，實現(xiàn)數(shù)據(jù)操作蹤跡可查詢根據(jù)任務(wù)、腳本等因素自動建立血緣關(guān)系，提高數(shù)據(jù)異常問題排查速度，實現(xiàn)數(shù)據(jù)鏈路的可查詢、可跟蹤對同步任務(wù)產(chǎn)生的臟數(shù)據(jù)統(tǒng)一查看與管理租戶間數(shù)據(jù)嚴(yán)格隔離租戶內(nèi)支持表級權(quán)限授權(quán)和審批流程，保障數(shù)據(jù)安全覆蓋全部數(shù)據(jù)的自動化生命周期管理，提高存儲系統(tǒng)利用效率，降低存儲成本支持多級類目管理，確保數(shù)據(jù)資產(chǎn)能夠分門別類，便于后續(xù)的查找和維護自動更新平臺中表的元數(shù)據(jù)，記錄表名、字段、分區(qū)、存儲等信息，同時支持?jǐn)?shù)據(jù)預(yù)覽數(shù)據(jù)模型：3步實現(xiàn)規(guī)范化數(shù)據(jù)中臺開發(fā)◎ 數(shù)據(jù)模型內(nèi)置經(jīng)過阿里實戰(zhàn)檢驗的OneData規(guī)范，也支持不同行業(yè)的建模規(guī)范配置，將傳統(tǒng)的人工經(jīng)驗+人工約定模式改為系統(tǒng)化規(guī)范方式基礎(chǔ)配置 模型設(shè)計 檢測中心 規(guī)范化表級規(guī)則生成◎模型檢測◎ 模型層級（ODS/DWD/DWS）◎模型不規(guī)范原因分析◎ 主題域(銷售、庫存、用戶）層級◎字段檢測◎ 刷新頻率（天、周、月）+◎字段不規(guī)范原因分析◎ 增量定義（全量、增量）主題域◎ 模型生成規(guī)則+刷新頻率字段級+◎ 原子指標(biāo)自定義◎ 衍生指標(biāo)示例：ODS_sales_D_customAnaly數(shù)據(jù)質(zhì)量：十年實踐經(jīng)驗沉淀的多種校驗規(guī)則◎ 數(shù)據(jù)質(zhì)量組件支持常用的關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)存儲，可基本覆蓋絕大多數(shù)質(zhì)量校驗場景◎ 目前已應(yīng)用于中金易云、茅臺、藍光地產(chǎn)等多個項目數(shù)據(jù)源OracleSQLServerPostgreSQLHiveMaxComputeMySQL校驗規(guī)則◎ 基于阿里數(shù)據(jù)生產(chǎn)的實戰(zhàn)經(jīng)驗，內(nèi)置20余種校驗規(guī)則◎ 支持表級、字段級2類規(guī)則◎ 目前支持6種數(shù)據(jù)源，滿足大多數(shù)場景下的質(zhì)量校驗需求支持的數(shù)據(jù)源質(zhì)量報告◎ 支持字段級、表級校驗報告，具備歷史數(shù)據(jù)統(tǒng)計功能，輔助定位數(shù)據(jù)質(zhì)量的問題根源分析引擎：海量數(shù)據(jù)即系查詢產(chǎn) 品 特 點◎ 實時OLAP引擎◎ 十億級別數(shù)據(jù)聚合，秒級響應(yīng)◎ 多種預(yù)聚合模式◎ 開箱即用◎ 兼容jdbc協(xié)議,使用便捷◎ 采用spark計算引擎+carbondata存儲格式◎ 滿足靈活的數(shù)據(jù)探索需求◎ 對接BI系統(tǒng)，實現(xiàn)多維分析◎ 標(biāo)簽平臺，實時創(chuàng)建人群◎ 對接業(yè)務(wù)系統(tǒng)，滿足海量數(shù)據(jù)高并發(fā)，低延遲查詢需求使 用 場 景數(shù)據(jù)API：簡單易用1準(zhǔn)備好數(shù)據(jù)庫2開發(fā)數(shù)據(jù)庫連接代碼3開發(fā)API邏輯代碼5搭建HTTP服務(wù)器6部署API接口服務(wù)7服務(wù)運維擴容縮容4開發(fā)API鑒權(quán)&流控邏輯1.準(zhǔn)備好數(shù)據(jù)庫2.配置API查詢邏輯傳統(tǒng)模式下，開發(fā)一個接口服務(wù)需要的步驟：基于Serverless架構(gòu)的數(shù)據(jù)API開發(fā)一個接口服務(wù)只需2步：數(shù)據(jù)API采用Serverless架構(gòu)，用戶只需關(guān)注API本身的查詢邏輯，無需關(guān)心運行環(huán)境等基礎(chǔ)設(shè)施，數(shù)據(jù)服務(wù)會為您準(zhǔn)備好計算資源，零運維成本什么是數(shù)據(jù)中臺數(shù)據(jù)中臺怎么建設(shè)數(shù)據(jù)中臺產(chǎn)品怎么選數(shù)據(jù)中臺案例介紹中金易云出版發(fā)行大數(shù)據(jù)平臺中金易云出版發(fā)行大數(shù)據(jù)平臺10000+零售門店40+發(fā)行集團2000+出版集團圖書推薦、活動推薦銷售對比分析，降低產(chǎn)品滯銷、庫存積壓獲取行業(yè)風(fēng)向科學(xué)的采購模式、發(fā)貨及營銷方式獲知及時的銷售數(shù)據(jù)、選題數(shù)據(jù)針對一線市場情況實時調(diào)整策略以大數(shù)據(jù)思維方法論重構(gòu)出版發(fā)行行業(yè)，打通“經(jīng)絡(luò)”，讓生態(tài)轉(zhuǎn)起來！項目背景阿里云：大數(shù)據(jù)計算能力 行業(yè)專家：行業(yè)深度理解 袋鼠云：全面豐富的大數(shù)據(jù)能力統(tǒng)一數(shù)據(jù)應(yīng)用服務(wù)（數(shù)據(jù)同步-》搜索引擎+多維分析）數(shù)據(jù)計算與存儲離線計算實時計算采集/接入ERP 數(shù)據(jù)文件爬取……豆瓣 亞馬遜 ……基礎(chǔ)數(shù)據(jù)采購倉儲交易商品營銷客戶公共數(shù)據(jù)萃取數(shù)據(jù)作者出版社讀者發(fā)行集團終端門店書目數(shù)據(jù)研發(fā)數(shù)倉規(guī)劃數(shù)據(jù)建模規(guī)范定義數(shù)據(jù)研發(fā)調(diào)度運維數(shù)據(jù)資產(chǎn)資產(chǎn)分析數(shù)據(jù)目錄數(shù)據(jù)權(quán)限數(shù)據(jù)查找選題助手出版端門戶(一期)發(fā)行 管理 行業(yè)助手 助手 風(fēng)向競爭分析行業(yè)風(fēng)向發(fā)行端門戶（二期)集團 我的 庫存概覽 營銷 優(yōu)化發(fā)貨優(yōu)化分析報告零售端門戶（二期）我的 會員 銷售 對比 數(shù)據(jù) 庫存營銷

分析 分析 分析 報告 優(yōu)化PC端移動端可視化大屏端豐富的多端體驗中金易云數(shù)據(jù)中臺整體架構(gòu)指標(biāo)項按銷售地區(qū)（浙江省、河南省、河北省、貴州省…