數(shù)據(jù)湖建設項目解決方案

數(shù)據(jù)湖建設項目解決方案構建安全、可信、高可用、高性能的大數(shù)據(jù)管理與應用底座目錄建設概述01總體規(guī)劃02建設方案03實施方案0401總體概述建設背景“4智”應用基礎支撐集團數(shù)據(jù)智能化經(jīng)營管理智能化業(yè)務作業(yè)智能化行業(yè)運營智能化解決數(shù)據(jù)“匯”、“存”、“管”、“用”、“營”難題

數(shù)據(jù)湖及應用平臺數(shù)據(jù)管理和業(yè)務應用要求數(shù)據(jù)分散：基礎數(shù)據(jù)分布在各個應用平臺中，應用開發(fā)商整合能力差；數(shù)據(jù)管理能力較弱：缺乏統(tǒng)一的數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)開發(fā)管理、數(shù)據(jù)服務管理、數(shù)據(jù)安全管理和監(jiān)控運維管理等；數(shù)據(jù)利用能力不強：現(xiàn)有數(shù)據(jù)無法適應新業(yè)務需求，同時歷史數(shù)據(jù)無法并入新的系統(tǒng)再利用。集團戰(zhàn)略要求集團戰(zhàn)略管控數(shù)字化；業(yè)務運營數(shù)字化；產(chǎn)業(yè)協(xié)同數(shù)字化；管理支撐數(shù)字化?！笆奈濉耙?guī)劃愿景響應國家“十四五”規(guī)劃提出的““加快數(shù)字發(fā)展，建設數(shù)字中國”，推進持續(xù)深化改革，以“守護生命與健康”為使命，籌劃建設“集團城市健康中心”，打造以理論為基礎，依托現(xiàn)代科技賦能，基于用戶關系經(jīng)營，通過大數(shù)據(jù)、實體醫(yī)療、網(wǎng)絡診療平臺、藥事服務平臺和新零售平臺等提供防、養(yǎng)、調(diào)全渠道多場景的健康產(chǎn)品、健康內(nèi)容、健康定制和健康管理服務，打造一站式解決目標用戶健康問題的創(chuàng)新型健康服務中臺。集團信息化現(xiàn)狀分析集團領導市場財務銷售運營辦公自動化系統(tǒng)三方OMS生產(chǎn)管理系統(tǒng)全渠道數(shù)字化平臺移動應用門戶網(wǎng)站ERP系統(tǒng)人力資源系統(tǒng)業(yè)務信息系統(tǒng)集團級集團財務系統(tǒng)業(yè)務系統(tǒng)信息化基本形成體系項目管理級公司級1線上線下業(yè)務信息化整合工作穩(wěn)步推進2決策管理和數(shù)據(jù)分析應用正在迭代完善3集團統(tǒng)一數(shù)據(jù)管理和應用體系尚未建成4業(yè)務運營和管理遇到的問題分析未統(tǒng)一業(yè)務口徑和數(shù)據(jù)標準數(shù)據(jù)質(zhì)量層次不齊缺乏統(tǒng)一數(shù)據(jù)管理支撐平臺需方多、變化快信息化投入較大，卻不能及時有效了解集團整體業(yè)務運營情況海量業(yè)務報表，卻無法對決策管理提供有效支撐無法通過企業(yè)關鍵績效指導決策大量時間精力投入到數(shù)據(jù)收集、報表制作中缺乏統(tǒng)一的業(yè)務運營口徑和指標標準業(yè)務的管理口徑和財務口徑不一致，各部門運營管理信息存在交叉重復對上級部門運營管理匯報要求不夠靈活，響應效率低下；對下級單位數(shù)據(jù)收集不及時、不準確運營管理缺乏綜合性系統(tǒng)和完整的數(shù)據(jù)支撐能力缺少統(tǒng)一的平臺滿足決策層、管理層和運營層等對數(shù)據(jù)應用的各種需求運營管理需求反復變更、“多對多”的情況，IT服務部門疲于應付運營管理應用需求類型多、數(shù)量多、口徑不一和數(shù)據(jù)質(zhì)量差等原因，導致開發(fā)周期較長，時效性差等問題業(yè)務數(shù)據(jù)來源分散，缺乏整合統(tǒng)一的基礎數(shù)據(jù)，無法有效支撐決策和管理集團高管層（決策層）IT服務支撐層業(yè)務運營管理層數(shù)據(jù)孤島、數(shù)據(jù)分散總體建設目標以“守護生命與健康”為使命，推動企業(yè)數(shù)字化轉(zhuǎn)型，建立集團數(shù)據(jù)湖及應用平臺，全面提升集團智慧化經(jīng)營決策管理能力。借助5G、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術，重點解決戰(zhàn)略閉環(huán)、業(yè)務運營、管理支撐等業(yè)務系統(tǒng)間數(shù)據(jù)不通和數(shù)據(jù)孤島等問題，破解數(shù)據(jù)“匯”、“存”、“管”、“用”、“營”等難題。通過建立集團統(tǒng)一的數(shù)據(jù)湖及應用平臺，提供數(shù)據(jù)匯聚、存儲、治理、分析、服務、共享、應用和運營能力，夯實企業(yè)大數(shù)據(jù)智能化、經(jīng)營管理智能化、業(yè)務作業(yè)智能化、醫(yī)療健康行業(yè)運營智能化的“4智”應用基礎支撐能力，構建跨業(yè)務、跨部門和跨層級的融合應用場景，形成企業(yè)“數(shù)智化”運行的智能中樞，實現(xiàn)經(jīng)營狀態(tài)的實時監(jiān)測，經(jīng)營數(shù)據(jù)的輔助決策、指標的智能預警預測，關鍵問題的智慧決策，打造集團運行管理閉環(huán)與智慧化決策能力

。總體建設目標數(shù)據(jù)匯聚能力數(shù)據(jù)存儲能力數(shù)據(jù)治理能力數(shù)據(jù)分析能力數(shù)據(jù)服務能力數(shù)據(jù)應用能力數(shù)據(jù)運營能力離線數(shù)據(jù)采集實時數(shù)據(jù)采集結(jié)構化數(shù)據(jù)采集非結(jié)構化數(shù)據(jù)采集視頻數(shù)據(jù)采集物聯(lián)網(wǎng)數(shù)據(jù)采集互聯(lián)網(wǎng)數(shù)據(jù)采集手工數(shù)據(jù)補錄采集…數(shù)據(jù)庫數(shù)據(jù)存儲文件數(shù)據(jù)存儲圖片數(shù)據(jù)存儲聲音數(shù)據(jù)存儲視頻數(shù)據(jù)存儲關系圖譜數(shù)據(jù)存儲時序數(shù)據(jù)存儲…數(shù)據(jù)架構管理數(shù)據(jù)標準管理數(shù)據(jù)建模管理數(shù)據(jù)開發(fā)管理數(shù)據(jù)調(diào)度管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)生命周期管理…統(tǒng)計分析靈活查詢多維分析數(shù)據(jù)挖掘人工智能標簽管理指標管理知識圖譜數(shù)據(jù)可視化…數(shù)據(jù)需求管理資源目錄管理數(shù)據(jù)服務接口管理數(shù)據(jù)共享交換管理數(shù)據(jù)報送管理數(shù)據(jù)開放管理數(shù)據(jù)服務評價…人員管理用戶管理營銷管理渠道管理財務管理風控管理工程管理生產(chǎn)管理監(jiān)管報送…數(shù)據(jù)運維管理數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)合作數(shù)據(jù)資產(chǎn)價值變現(xiàn)數(shù)據(jù)運營考核評價…1234567總體架構規(guī)劃數(shù)據(jù)架構規(guī)劃技術架構規(guī)劃應用體系規(guī)劃數(shù)據(jù)治理規(guī)劃數(shù)據(jù)共享規(guī)劃平臺工具規(guī)劃平臺建設藍圖規(guī)劃…建設目標規(guī)劃數(shù)據(jù)湖及應用平臺框架體系、搭建技術基礎平臺，實現(xiàn)C端用戶數(shù)據(jù)采集、入湖、治理和共享服務，以及支撐企業(yè)務+（私域流量業(yè)務）綜合分析和智能化應用，總結(jié)經(jīng)驗教訓，為集團數(shù)據(jù)湖及應用平臺的整體建設奠定基礎。本期目標基礎平臺搭建數(shù)據(jù)治理體系建設數(shù)據(jù)共享服務建設數(shù)據(jù)分析應用建設框架體系規(guī)劃大數(shù)據(jù)平臺TBDS安裝部署數(shù)據(jù)治理產(chǎn)品安裝部署數(shù)據(jù)共享交換產(chǎn)品安裝部署用戶數(shù)據(jù)采集用戶數(shù)據(jù)建模用戶數(shù)據(jù)開發(fā)數(shù)據(jù)質(zhì)量檢查元數(shù)據(jù)管理數(shù)據(jù)標準管理用戶需求分析應用設計數(shù)據(jù)及應用開發(fā)數(shù)據(jù)共享與服務對接共享服務需求分析資源目錄梳理共享服務發(fā)布共享服務申請用戶信息調(diào)研共享服務調(diào)用12345共享服務授權預期成效：”七步走”解決企業(yè)面臨的數(shù)字化轉(zhuǎn)型發(fā)展痛點利用大數(shù)據(jù)技術建立集團統(tǒng)一的數(shù)據(jù)湖，實現(xiàn)數(shù)據(jù)采集、存儲、處理、分析和服務的統(tǒng)一管理，提高信息和數(shù)據(jù)的響應時間，提高經(jīng)營管理工作效率，有利于壓縮開支，降低管理成本，推進數(shù)字化轉(zhuǎn)型發(fā)展。03020406070503信息煙囪

數(shù)據(jù)分散

利益割據(jù)

數(shù)據(jù)保密不全面

數(shù)據(jù)標準

不統(tǒng)一

管理機制不成體系

安全保障

不健全

數(shù)字化轉(zhuǎn)型面臨的痛點”七步走”解決問題1設立專管機構，完善管理體系2整合數(shù)據(jù)孤島，統(tǒng)一數(shù)據(jù)標準3構建數(shù)據(jù)采集體系，打通數(shù)據(jù)整合通道4設計數(shù)據(jù)存儲策略，提升數(shù)據(jù)存儲效率5初步構建數(shù)據(jù)治理體系6制定數(shù)據(jù)共享服務策略，促進數(shù)據(jù)融合安全發(fā)展7奠定數(shù)據(jù)應用基礎，打造大數(shù)據(jù)綜合應用能力02總體規(guī)劃平臺建設總體思路搭建技術基礎平臺，探索平臺應用能力第一階段夯實數(shù)據(jù)基礎，推進服務與應用建設第二階段完善應用體系，提升平臺智慧能力第三階段建立數(shù)據(jù)運營體系，持續(xù)優(yōu)化平臺能力第四階段數(shù)據(jù)湖及應用平臺建設規(guī)劃數(shù)據(jù)采集技術平臺搭建數(shù)據(jù)存儲技術平臺搭建數(shù)據(jù)處理技術平臺搭建數(shù)據(jù)調(diào)度技術平臺搭建數(shù)據(jù)治理技術平臺搭建數(shù)據(jù)共享技術平臺搭建試點數(shù)據(jù)域（用戶）采集、存儲、治理、分析和共享實施…集團與事業(yè)部應用建設全面支撐（人員管理、用戶管理營銷管理、渠道管理、財務管理、工程管理、合同管理、生產(chǎn)管理、風控管理、應急指揮、監(jiān)管報送…）基礎分析能力完善（指標、標簽、知識圖譜）綜合分析應用增強態(tài)勢感知能力建設實時分析應用場景體系建設算法模型體系建設AI服務體系化建設區(qū)塊鏈技術場景應用…數(shù)據(jù)資產(chǎn)運營規(guī)劃數(shù)據(jù)產(chǎn)品體系建設數(shù)據(jù)產(chǎn)品價值評估體系建設數(shù)據(jù)價值變現(xiàn)體系建設數(shù)據(jù)運營安全體系建設數(shù)據(jù)采集能力迭代升級數(shù)據(jù)治理能力迭代升級數(shù)據(jù)分析能力迭代升級數(shù)據(jù)應用能力迭代升級數(shù)據(jù)共享服務能力迭代升級算法模型中心健全AI服務能力迭代升級場景應用持續(xù)推進數(shù)據(jù)運營考核體系建設…數(shù)據(jù)治理體系咨詢規(guī)劃技術平臺能力增強集團與四大事業(yè)部數(shù)據(jù)入湖全域數(shù)據(jù)采集、存儲、治理、分析和共享體系建設數(shù)據(jù)治理體系建設AI平臺搭建與應用探索基礎分析能力建設（指標、標簽、知識圖譜）綜合分析應用建設實時分析與應用場景探索重點應用建設支持…數(shù)據(jù)湖及應用平臺總體架構（構建六個平臺、四個中心、三個保障體系，一個統(tǒng)一門戶）運維保障體系安全保障體系標準規(guī)范體系保障體系數(shù)據(jù)運營中心數(shù)據(jù)共享開放平臺數(shù)據(jù)匯聚平臺存儲計算平臺數(shù)據(jù)處理平臺數(shù)據(jù)共享交換離線數(shù)據(jù)同步實時數(shù)據(jù)同步數(shù)據(jù)補錄共享監(jiān)測共享審計權鑒發(fā)布訂閱認證注冊數(shù)據(jù)源業(yè)務系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)外部數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財務系統(tǒng)……Hadoop關系數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫圖數(shù)據(jù)庫對象數(shù)據(jù)庫時序數(shù)據(jù)庫爬蟲離線數(shù)據(jù)處理實時數(shù)據(jù)處理非結(jié)構化數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)統(tǒng)一調(diào)度數(shù)據(jù)分析平臺統(tǒng)計分析多維分析即席查詢機器學習…數(shù)據(jù)挖掘數(shù)據(jù)治理平臺數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理AI中心數(shù)據(jù)資源中心指標服務標簽服務數(shù)據(jù)產(chǎn)品服務知識圖譜服務…可信計算服務數(shù)據(jù)沙箱服務多方安全計算服務數(shù)據(jù)檢索服務文件共享服務庫表共享服務接口共享服務共享服務引擎共享服務管理共享服務保障文本識別影像識別語義解析圖像識別語音識別…數(shù)據(jù)服務中心數(shù)據(jù)需求管理應用集成運營可視化數(shù)據(jù)資源目錄管理租戶管理…統(tǒng)一用戶/權限數(shù)據(jù)統(tǒng)一門戶數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價12345678實時分析9101112業(yè)務賦能管理駕駛艙客戶營銷資金管理財務分析產(chǎn)能預測風險審計用戶分析…績效考核監(jiān)管報送13平臺管理實時數(shù)據(jù)區(qū)匯聚區(qū)臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算當事人財務…用戶管理營銷管理…指標庫標簽庫…經(jīng)營分析用戶畫像…數(shù)據(jù)湖及應用平臺分階段規(guī)劃運維保障體系安全保障體系標準規(guī)范體系保障體系數(shù)據(jù)運營中心數(shù)據(jù)共享開放平臺數(shù)據(jù)匯聚平臺存儲計算平臺數(shù)據(jù)處理平臺數(shù)據(jù)共享交換離線數(shù)據(jù)同步實時數(shù)據(jù)同步數(shù)據(jù)補錄共享監(jiān)測共享審計權鑒發(fā)布訂閱認證注冊數(shù)據(jù)源業(yè)務系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)外部數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財務系統(tǒng)……Hadoop關系數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫圖數(shù)據(jù)庫對象數(shù)據(jù)庫時序數(shù)據(jù)庫爬蟲離線數(shù)據(jù)處理實時數(shù)據(jù)處理非結(jié)構化數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)統(tǒng)一調(diào)度數(shù)據(jù)分析平臺統(tǒng)計分析多維分析即席查詢機器學習…數(shù)據(jù)挖掘數(shù)據(jù)治理平臺數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理AI中心數(shù)據(jù)資源中心指標服務標簽服務數(shù)據(jù)產(chǎn)品服務知識圖譜服務…可信計算服務數(shù)據(jù)沙箱服務多方安全計算服務數(shù)據(jù)檢索服務文件共享服務庫表共享服務接口共享服務共享服務引擎共享服務管理共享服務保障文本識別影像識別語義解析圖像識別語音識別…數(shù)據(jù)服務中心數(shù)據(jù)需求管理應用集成運營可視化數(shù)據(jù)資源目錄管理租戶管理…統(tǒng)一用戶/權限數(shù)據(jù)統(tǒng)一門戶數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價12345678實時分析9101112業(yè)務賦能管理駕駛艙客戶營銷資金管理財務分析產(chǎn)能預測風險審計用戶分析…績效考核監(jiān)管報送13平臺管理實時數(shù)據(jù)區(qū)匯聚區(qū)臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算當事人財務…用戶管理營銷管理…指標庫標簽庫…經(jīng)營分析用戶畫像…二階段：夯實三階段：完善一階段：打基礎四階段：運營事業(yè)部數(shù)據(jù)資源池集團數(shù)據(jù)資源池實時區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)臨時庫ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)省醫(yī)藥數(shù)據(jù)…基礎區(qū)當事人機構產(chǎn)品合約采購生產(chǎn)銷售庫存營銷地理區(qū)域財務運輸事件計劃項目…主題區(qū)用戶管理營銷管理運營管理風險管理財務管理…集市區(qū)經(jīng)營分析用戶畫像風險審計監(jiān)管報送產(chǎn)能預警財務分析事業(yè)部應用…分析區(qū)指標庫標簽庫關系圖譜事業(yè)部實時區(qū)事業(yè)部匯聚區(qū)臨時庫ODS庫事業(yè)部基礎區(qū)事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應用集市區(qū)123456123456數(shù)據(jù)湖及應用平臺數(shù)據(jù)架構（統(tǒng)一標準，構建集團和四大事業(yè)部數(shù)據(jù)湖的六大數(shù)據(jù)區(qū)）（1）數(shù)據(jù)源（2）采集（3）匯聚（6）共享服務（4）治理（5）分析（7）數(shù)據(jù)應用標簽服務API實時服務API數(shù)據(jù)庫共享文件共享數(shù)據(jù)共享服務API共享離線采集實時采集消息CDCAPI...文件數(shù)據(jù)庫接口補錄填報...實時數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實時營銷數(shù)據(jù)…物流數(shù)據(jù)離線數(shù)據(jù)源業(yè)務系統(tǒng)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財務系統(tǒng)…外部數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)來源數(shù)據(jù)采集平臺指標服務API關系圖譜服務API數(shù)據(jù)檢索服務API數(shù)據(jù)安全服務API…數(shù)據(jù)應用管理駕駛艙客戶營銷資金管理財務分析產(chǎn)能預測風險審計指揮調(diào)度…績效考核監(jiān)管報送用戶分析集團數(shù)據(jù)湖與事業(yè)部四大數(shù)據(jù)湖之間定位及關系探討事業(yè)部數(shù)據(jù)資源池集團數(shù)據(jù)資源池實時區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)臨時庫ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)省醫(yī)藥數(shù)據(jù)…基礎區(qū)當事人機構產(chǎn)品合約采購生產(chǎn)銷售庫存營銷地理區(qū)域財務運輸事件計劃項目…主題區(qū)用戶管理營銷管理運營管理風險管理財務管理…集市區(qū)經(jīng)營分析用戶畫像風險審計監(jiān)管報送產(chǎn)能預警財務分析事業(yè)部應用…分析區(qū)指標庫標簽庫關系圖譜事業(yè)部實時區(qū)事業(yè)部匯聚區(qū)臨時庫ODS庫事業(yè)部基礎區(qū)事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應用集市區(qū)123456123456方案一：事業(yè)部獨立建設數(shù)據(jù)湖，集團匯聚整合建湖方案二：集團統(tǒng)一建湖，事業(yè)部數(shù)據(jù)湖同步和特色發(fā)展方案建議：集團領導牽頭，統(tǒng)一標準和統(tǒng)一建湖方案描述：事業(yè)部根據(jù)自身業(yè)務特色構建數(shù)據(jù)湖和數(shù)據(jù)治理體系，集團數(shù)據(jù)湖匯聚事業(yè)部數(shù)據(jù)湖數(shù)據(jù)，設計數(shù)據(jù)標準，進行數(shù)據(jù)治理、數(shù)據(jù)分析和數(shù)據(jù)共享服務。優(yōu)點：建設靈活，能快速滿足各事業(yè)部和集團數(shù)據(jù)湖的應用需求。缺點：難以統(tǒng)一標準和數(shù)據(jù)口徑，多頭數(shù)據(jù)采集，后期維護工作量較大。方案描述：集團數(shù)據(jù)湖統(tǒng)一標準和數(shù)據(jù)治理體系，統(tǒng)一匯聚、治理、分析和數(shù)據(jù)共享服務；集團數(shù)據(jù)湖根據(jù)事業(yè)部數(shù)據(jù)需求統(tǒng)一分發(fā)數(shù)據(jù)，事業(yè)部同步數(shù)據(jù)和，并根據(jù)自身特色構建數(shù)據(jù)湖及應用。優(yōu)點：集團與事業(yè)部數(shù)據(jù)標準統(tǒng)一，后期管理協(xié)調(diào)難度較少。缺點：前期統(tǒng)一難度較高，事業(yè)部建設靈活度不高。先進經(jīng)驗：目前信息化領先行業(yè)和企業(yè)的數(shù)據(jù)平臺能力建設，大部分采用集團統(tǒng)一標準、統(tǒng)一建設、統(tǒng)一管理和統(tǒng)一運營。方案建議：目前集團和事業(yè)部業(yè)務系統(tǒng)已較為完備，數(shù)據(jù)湖建設處于起步階段，為集團統(tǒng)一標準和建湖奠定了基礎。03建設方案項目建設范圍數(shù)據(jù)湖平臺框架體系規(guī)劃、技術基礎平臺搭建，集團C端用戶數(shù)據(jù)采集、入湖、治理、共享服務和用戶分析應用總體架構規(guī)劃數(shù)據(jù)架構規(guī)劃技術架構規(guī)劃應用體系規(guī)劃數(shù)據(jù)治理規(guī)劃數(shù)據(jù)共享規(guī)劃平臺工具規(guī)劃平臺建設藍圖規(guī)劃…1.數(shù)據(jù)湖平臺框架體系規(guī)劃3.數(shù)據(jù)匯聚4.數(shù)據(jù)資源中心建設5.數(shù)據(jù)治理6.數(shù)據(jù)分析2.平臺搭建7.數(shù)據(jù)共享服務TBDS基礎平臺搭數(shù)據(jù)治理平臺搭建數(shù)據(jù)共享服務平臺搭建健康事業(yè)部用戶數(shù)據(jù)匯聚省醫(yī)藥公司用戶數(shù)據(jù)匯聚藥品事業(yè)部用戶數(shù)據(jù)匯聚云健康事業(yè)部用戶數(shù)據(jù)匯聚信息調(diào)研基礎區(qū)數(shù)據(jù)模型設計主題區(qū)數(shù)據(jù)模型設計應用數(shù)據(jù)集市模型設計數(shù)據(jù)清洗、轉(zhuǎn)換和匯總數(shù)據(jù)標準管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理C端用戶分析需求調(diào)研C端用戶數(shù)據(jù)分析設計C源用戶數(shù)據(jù)分析開發(fā)C端用戶數(shù)據(jù)資源目錄梳理C端用戶數(shù)據(jù)共享發(fā)布項目建設總體思路事業(yè)部用戶數(shù)渠道分析用戶月活用戶日活地域分析時間分析數(shù)據(jù)入湖及治理數(shù)據(jù)分析應用數(shù)據(jù)可視化FineReportFineBI用戶信息數(shù)據(jù)用戶標簽模型填報數(shù)據(jù)、參數(shù)數(shù)據(jù)采集數(shù)據(jù)建模數(shù)據(jù)清洗數(shù)據(jù)加載數(shù)據(jù)整合數(shù)據(jù)匯總數(shù)據(jù)源健康事業(yè)部省醫(yī)藥公司藥品事業(yè)部智慧零售達人管理微信公眾號后臺醫(yī)療器械app電商系統(tǒng)數(shù)據(jù)excelerp孩子王電商saas云健康電商平臺用戶電商平臺用戶門店用戶數(shù)據(jù)生意參謀數(shù)據(jù)共享服務用戶資源目錄梳理用戶數(shù)據(jù)目錄掛接用戶數(shù)據(jù)共享發(fā)布項目邏輯架構：搭建基礎平臺，以集團C端用戶需求為試點打通數(shù)據(jù)湖鏈路本期范圍運維保障體系安全保障體系標準規(guī)范體系保障體系數(shù)據(jù)運營中心數(shù)據(jù)共享開放平臺數(shù)據(jù)匯聚平臺存儲計算平臺數(shù)據(jù)處理平臺數(shù)據(jù)共享交換離線數(shù)據(jù)同步實時數(shù)據(jù)同步數(shù)據(jù)補錄共享監(jiān)測共享審計權鑒發(fā)布訂閱認證注冊數(shù)據(jù)源業(yè)務系統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)外部數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)HR系統(tǒng)OAERP主數(shù)據(jù)渠道系統(tǒng)三方OMS財務系統(tǒng)……Hadoop關系數(shù)據(jù)庫MPP內(nèi)存數(shù)據(jù)庫圖數(shù)據(jù)庫對象數(shù)據(jù)庫時序數(shù)據(jù)庫爬蟲離線數(shù)據(jù)處理實時數(shù)據(jù)處理非結(jié)構化數(shù)據(jù)轉(zhuǎn)化數(shù)據(jù)統(tǒng)一調(diào)度數(shù)據(jù)分析平臺統(tǒng)計分析多維分析即席查詢機器學習…數(shù)據(jù)挖掘數(shù)據(jù)治理平臺數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)標準管理數(shù)據(jù)模型管理數(shù)據(jù)生命周期管理數(shù)據(jù)安全管理主數(shù)據(jù)管理AI中心數(shù)據(jù)資源中心指標服務標簽服務數(shù)據(jù)產(chǎn)品服務知識圖譜服務…可信計算服務數(shù)據(jù)沙箱服務多方安全計算服務數(shù)據(jù)檢索服務文件共享服務庫表共享服務接口共享服務共享服務引擎共享服務管理共享服務保障文本識別影像識別語義解析圖像識別語音識別…數(shù)據(jù)服務中心數(shù)據(jù)需求管理應用集成運營可視化數(shù)據(jù)資源目錄管理租戶管理…統(tǒng)一用戶/權限數(shù)據(jù)統(tǒng)一門戶數(shù)據(jù)產(chǎn)品管理數(shù)據(jù)資產(chǎn)價值評估數(shù)據(jù)資產(chǎn)營銷推廣數(shù)據(jù)資產(chǎn)價值變現(xiàn)數(shù)據(jù)運營維護運營考核評價12345678實時分析9101112業(yè)務賦能管理駕駛艙客戶營銷資金管理財務分析產(chǎn)能預測風險審計用戶分析…績效考核監(jiān)管報送13平臺管理實時數(shù)據(jù)區(qū)匯聚區(qū)臨時庫ODS庫基礎區(qū)主題區(qū)分析區(qū)應用集市區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算當事人財務…用戶管理營銷管理…指標庫標簽庫…經(jīng)營分析用戶畫像…項目數(shù)據(jù)架構事業(yè)部數(shù)據(jù)資源池集團數(shù)據(jù)資源池實時區(qū)實時數(shù)據(jù)存儲實時分析處理實時指標計算匯聚區(qū)臨時庫ODS庫集團數(shù)據(jù)健康數(shù)據(jù)藥品數(shù)據(jù)中藥數(shù)據(jù)省醫(yī)藥數(shù)據(jù)…基礎區(qū)當事人機構產(chǎn)品合約采購生產(chǎn)銷售庫存營銷地理區(qū)域財務運輸事件計劃項目…主題區(qū)用戶管理營銷管理運營管理風險管理財務管理…集市區(qū)經(jīng)營分析用戶畫像風險審計監(jiān)管報送產(chǎn)能預警財務分析事業(yè)部應用…分析區(qū)指標庫標簽庫關系圖譜事業(yè)部實時區(qū)事業(yè)部匯聚區(qū)臨時庫ODS庫事業(yè)部基礎區(qū)事業(yè)部主題區(qū)事業(yè)部分析區(qū)事業(yè)部應用集市區(qū)123456123456（1）數(shù)據(jù)源（2）采集（3）匯聚（6）共享服務（4）治理（5）分析（7）數(shù)據(jù)應用標簽服務API實時服務API數(shù)據(jù)庫共享文件共享數(shù)據(jù)共享服務API共享離線采集實時采集消息CDCAPI...文件數(shù)據(jù)庫接口補錄填報...實時數(shù)據(jù)源物聯(lián)感知數(shù)據(jù)實時營銷數(shù)據(jù)…物流數(shù)據(jù)離線數(shù)據(jù)源數(shù)據(jù)來源數(shù)據(jù)采集平臺指標服務API關系圖譜服務API數(shù)據(jù)檢索服務API數(shù)據(jù)安全服務API…健康事業(yè)部用戶數(shù)據(jù)省醫(yī)藥公司用戶數(shù)據(jù)藥品事業(yè)部用戶數(shù)據(jù)云健康事業(yè)部用戶數(shù)據(jù)數(shù)據(jù)應用管理駕駛艙客戶營銷資金管理財務分析產(chǎn)能預測風險審計指揮調(diào)度…績效考核監(jiān)管報送用戶分析本期范圍1.數(shù)據(jù)湖平臺框架體系規(guī)劃行業(yè)最佳實踐平臺提升機會專家知識戰(zhàn)略定位應用體系規(guī)劃規(guī)劃原則調(diào)研問卷調(diào)研訪談現(xiàn)狀調(diào)研評估建議分項規(guī)劃目標現(xiàn)狀期望問題總體評估平臺提升建議提升機會分析總體架構規(guī)劃技術架構規(guī)劃數(shù)據(jù)架構規(guī)劃數(shù)據(jù)共享服務規(guī)劃運維體系規(guī)劃藍圖規(guī)劃與演進藍圖規(guī)劃與演進平臺工具規(guī)劃數(shù)據(jù)治理規(guī)劃業(yè)務與IT部門輸入服務提供商輸入與分析2、基礎技術平臺搭建需求溝通1環(huán)境準備2平臺安裝部署3平臺部署驗證4平臺優(yōu)化完善5TBDS部署需求溝通數(shù)據(jù)共享交換部署需求溝通數(shù)據(jù)治理部署需求溝通網(wǎng)絡訪問需求溝通…服務器確定網(wǎng)絡環(huán)境確定端口環(huán)境確定操作系統(tǒng)確定軟件版本確定…操作系統(tǒng)安裝部署TBDS安裝部署數(shù)據(jù)共享安裝部署數(shù)據(jù)治理安裝部署…平臺功能驗證平臺訪問和服務驗證平臺系統(tǒng)接口驗證外部接口驗證網(wǎng)絡訪問驗證…平臺實施需求支持應用功能優(yōu)化完善系統(tǒng)運行問題處理…平臺搭建流程預期成效用戶分析平臺搭建完成，操作使用正常具備數(shù)據(jù)湖實施支撐能力具備完整平臺運維文檔3、數(shù)據(jù)采集匯聚

提供異構數(shù)據(jù)源之間的數(shù)據(jù)同步能力，實現(xiàn)集團C端用戶整庫遷移、全量數(shù)據(jù)匯聚、增量數(shù)據(jù)匯聚、ETL任務管理和監(jiān)控運維。數(shù)據(jù)匯聚架構數(shù)據(jù)匯聚流程匯聚范圍確定1匯聚信息整理2數(shù)據(jù)匯聚開發(fā)3任務調(diào)度配置45匯聚業(yè)務范圍確定匯聚系統(tǒng)范圍確定匯聚表范圍確定匯聚手工數(shù)據(jù)范圍確定系統(tǒng)信息整理數(shù)據(jù)字典整理接口信息整理網(wǎng)絡信息整理…匯聚調(diào)度任務整理匯聚調(diào)度任務基礎信息配置匯聚調(diào)度任務依賴觸發(fā)配置任務調(diào)度測試驗證…調(diào)度任務監(jiān)控配置匯聚任務監(jiān)控預警匯聚監(jiān)控任務故障處理日常運維巡檢…匯聚監(jiān)控運維用戶信息配置數(shù)據(jù)源配置匯聚區(qū)建表配置數(shù)據(jù)匯聚任務配置與開發(fā)數(shù)據(jù)匯聚任務測試數(shù)據(jù)匯聚查看和問題處理…預期成效數(shù)據(jù)匯聚需求數(shù)據(jù)源匯聚知識庫采集匯聚引擎采集匯聚知識庫匯聚知識庫數(shù)據(jù)源管理數(shù)據(jù)采集開發(fā)管理數(shù)據(jù)采集調(diào)度管理數(shù)據(jù)采集監(jiān)控預警匯聚區(qū)數(shù)據(jù)庫文件CDC日志消息接口臨時區(qū)ODS數(shù)據(jù)匯聚平臺健康事業(yè)部省醫(yī)藥公司藥品事業(yè)部智慧零售達人管理微信公眾號后臺醫(yī)療器械電商系統(tǒng)數(shù)據(jù)erp孩子王電商平臺智云健康電商平臺用戶電商平臺用戶門店用戶數(shù)據(jù)生意參謀4、數(shù)據(jù)體系建設—總體流程信息調(diào)研(ID)業(yè)務需求分析應用概要設計項目前期準備業(yè)務調(diào)研(BD）業(yè)務需求編寫應用開發(fā)系統(tǒng)軟硬件資源安裝系統(tǒng)測試與驗收系統(tǒng)管理與維護項目結(jié)束回顧業(yè)務訪談項目管理（ProjectManagement）應用詳細設計前端界面設計邏輯數(shù)據(jù)模型設計物理數(shù)據(jù)模型設計數(shù)據(jù)接口規(guī)范設計映射/ETL/實時數(shù)據(jù)開發(fā)應用設計需求分析系統(tǒng)開發(fā)系統(tǒng)設計上線與維護數(shù)據(jù)治理①②③④4、數(shù)據(jù)資源中心建設—步驟一：信息調(diào)研工作內(nèi)容了解企業(yè)的整體IT架構和發(fā)展規(guī)劃了解企業(yè)的當前業(yè)務系統(tǒng)的現(xiàn)狀了解3-5年內(nèi)業(yè)務系統(tǒng)建設的規(guī)化了解企業(yè)針對信息系統(tǒng)建設標準化的規(guī)劃詳細查看每個實體業(yè)務含義和數(shù)據(jù)特征、并且進行分類和取舍定義詳細查看每個字段業(yè)務含義和數(shù)據(jù)物理特征、進行分類和取舍定義掌握針對人員、組織機構、客戶、營銷、產(chǎn)品、渠道、合同、財務、生產(chǎn)、ERP等定義重要業(yè)務編碼規(guī)則仔細整理業(yè)務系統(tǒng)的代碼編碼、主外鍵關聯(lián)關系檢查客戶提供的重要業(yè)務編碼規(guī)則是否在系統(tǒng)中完整執(zhí)行檢查業(yè)務系統(tǒng)的代碼的一致性和完整性，并且做出代碼映射關系基于實體和字段的物理特征，給出初步的數(shù)據(jù)質(zhì)量審核報告基于現(xiàn)有ID情況，結(jié)合業(yè)務需求調(diào)研，進行簡要的缺口分析識大局找關系掌握業(yè)務系統(tǒng)之間的業(yè)務功能劃分掌握業(yè)務系統(tǒng)之間的數(shù)據(jù)交換、流向、以及數(shù)據(jù)衍生關系掌握現(xiàn)有分析系統(tǒng)從業(yè)務系統(tǒng)之間進行數(shù)據(jù)抽取的內(nèi)容和方式掌握現(xiàn)有分析系統(tǒng)和業(yè)務系統(tǒng)以及應用系統(tǒng)的數(shù)據(jù)回送情況看細節(jié)查質(zhì)量調(diào)研流程各個源系統(tǒng)分別進行收集源系統(tǒng)源：系統(tǒng)需求文檔、操作手冊、表結(jié)構說明書、代碼值、樣本數(shù)據(jù)、建庫腳本了解系統(tǒng)系統(tǒng)架構、功能、業(yè)務處理及其它系統(tǒng)間的關系了解系統(tǒng)的數(shù)據(jù)量、改造計劃、軟硬件平臺了解數(shù)據(jù)表的業(yè)務含義，并初步篩選出關注的表篩選出需求相關的表通過分析樣本數(shù)據(jù)驗證前期調(diào)研的結(jié)果、分析表間關系在復原源系統(tǒng)ER圖的過程中了解表之間關系、表與字段的業(yè)務含義根據(jù)調(diào)研結(jié)果及入模型策略篩選入倉范圍基于信息調(diào)研結(jié)果編寫信息調(diào)研報告分系統(tǒng)確認信息調(diào)研報告：主要確認如模型范圍評審信息調(diào)研報告準備訪談分析評審了解源系統(tǒng)的字段的業(yè)務含義只調(diào)研初步篩選關注的表生產(chǎn)系數(shù)據(jù)統(tǒng)結(jié)構與資料不一致怎么辦？源系統(tǒng)設計人員不配合怎么辦？入模型范圍如何確定？…資料收集資料收集系統(tǒng)與表級調(diào)研字段級調(diào)研樣本數(shù)據(jù)分析調(diào)研報告編寫調(diào)研報告評審123456持續(xù)迭代完善4、數(shù)據(jù)資源中心建設—步驟二：①數(shù)據(jù)模型設計方法物理模型(技術)邏輯模型(業(yè)務)概念模型參考模型行業(yè)數(shù)據(jù)模型選擇：行業(yè)主題模型數(shù)據(jù)主題與主要數(shù)據(jù)概念客戶化邏輯數(shù)據(jù)模型客戶化物理數(shù)據(jù)模型業(yè)務訪問數(shù)據(jù)模型視圖集市報表業(yè)務需求數(shù)據(jù)要素清單數(shù)據(jù)整合映射映射制造業(yè)企業(yè)行業(yè)模型數(shù)據(jù)湖數(shù)據(jù)庫4、數(shù)據(jù)資源中心建設—步驟二：②數(shù)據(jù)區(qū)定位與數(shù)據(jù)模型設計流程數(shù)據(jù)資源中心各區(qū)定位模型設計步驟匯聚數(shù)據(jù)區(qū)源系統(tǒng)分類數(shù)據(jù)不整合保留長期歷史數(shù)據(jù)保留明細數(shù)據(jù)全量數(shù)據(jù)增量數(shù)據(jù)基礎數(shù)據(jù)區(qū)主題分類數(shù)據(jù)整合保留長期歷史數(shù)據(jù)保留明細數(shù)據(jù)主題/分析數(shù)據(jù)區(qū)主題分類結(jié)合維度建模數(shù)據(jù)整合保留一定周期的歷史數(shù)據(jù)保留部分明細/匯總加工數(shù)據(jù)集市區(qū)維度建模為主數(shù)據(jù)整合保留特定業(yè)務需求的歷史數(shù)據(jù)保留部分明細/匯總加工數(shù)據(jù)面向數(shù)據(jù)面向需求從業(yè)務的角度出發(fā)滿足公共需求迭代開發(fā)全部原始數(shù)據(jù)核心數(shù)據(jù)、清洗融合后匯總與分析數(shù)據(jù)特定需求數(shù)據(jù)(1)前期準備項目管理：文檔、溝通、問題跟蹤、回顧、驗證、測試、認可…方法技術工具模板經(jīng)驗業(yè)務知識(2)信息調(diào)研(6)物理模型設計(3)構建主題模型(4)構建概念設計(5)邏輯模型詳細設計邏輯模型設計(7)設計評審/驗證物理模型實現(xiàn)：ETL開發(fā)4、數(shù)據(jù)資源中心建設—步驟二：③基礎區(qū)數(shù)據(jù)模型設計行業(yè)主題模型設計參考用戶模型設計部分參考當事人偏好當事人偏好頻率當事人偏好類型當事人偏好聯(lián)系事件當事人偏好媒介類型當事人偏好當事人當事人偏好當事人角色當事人偏好地點當事人偏好地點角色當事人偏好地址地理區(qū)域地址當事人偏好語言當事人基于成熟行業(yè)模型藍本，構建集團C端用戶基礎數(shù)據(jù)模型，融合集團和事業(yè)部內(nèi)外部數(shù)據(jù)、規(guī)避變化、形成統(tǒng)一的當事人數(shù)據(jù)視圖。線下活動數(shù)據(jù)訂單編號商品名稱訂單金額買家ID收貨人姓名收貨地址聯(lián)系電話發(fā)票抵扣券訂單創(chuàng)建時間微信行為數(shù)據(jù)掃描二維碼關注公眾號微信ID昵稱公眾號留言打開微頁面注冊會員來源渠道關注公眾號訪問活動微頁面提交活動表單姓名手機號郵箱數(shù)據(jù)采集、數(shù)據(jù)清洗微信openidEmailMAC華東地區(qū)基本信息：男性 30歲微信unionid手機號碼CookieQQ用戶ID：行為軌跡：會員信息：會員等級 會員積分會員權益電商訂單數(shù)據(jù)用戶在不同平臺以不同的身份留下行為軌跡。通過建立

ID

關聯(lián)機制，在基礎區(qū)進行數(shù)據(jù)建模和標準化，在不同渠道的身份對應到唯一的獨立身份，不斷累積用戶的行為“像素”。在基礎區(qū)建模的基礎上，根據(jù)用戶特征形成清晰的用戶360畫像。4、數(shù)據(jù)資源中心建設—步驟二：④用戶標簽數(shù)據(jù)模型設計線上媒體數(shù)據(jù)Cookie訪問行為記錄手機號車型頁面停留時間試駕時間姓名城市數(shù)據(jù)采集、數(shù)據(jù)清洗數(shù)據(jù)采集、數(shù)據(jù)清洗數(shù)據(jù)采集、數(shù)據(jù)清洗用戶畫像主題建模ID識別基礎區(qū)建模數(shù)據(jù)標準化【訂單】女裝

無縫羽絨長大衣

409125金額：1299元收貨地址：上海市X區(qū)XX大街手機號：138****8271購買時間：2018/01/11

09:21:21溝通時間：2018/01/04

12:18:00所在渠道：小程序商城手機號：138****8271咨詢問題：倍舒暖與HEATTECH區(qū)別【訂單】童裝

Ultra

Stretch

起居套裝

414607下單時間：2018/01/3120:22:00下單門店：上?；春Ｖ新菲炫灥暧唵谓痤~：129元付款方式：支付寶2017/10/21

19:40:22

關注公眾號微信昵稱：skyfly001微信OPENID：nsisuykksikqy閱讀“U系列2019春夏款Lookbook”點擊菜單“會員福利-50元心意券”閱讀“2018年代表作”文章點擊菜單“年貨買買買”點擊商城-男裝-HEATTECH，訪問某倍舒暖商品詳情頁收藏男裝HEATTECH

螺紋圓領T恤

413314瀏覽新春新品活動頁訪問時長

00:21:34

跳出電商平臺自有平臺客服線下門店靜態(tài)標簽流程標簽模型標簽預測標簽性別 地域 年齡職業(yè) 婚否 有孩相對穩(wěn)定的信息、人口學屬性、身份屬性根據(jù)行為與軌跡、自定義規(guī)則，自動添加參與X活動瀏覽X頁面報名領取權益線上消費線下消費教育水平依據(jù)屬性行為、計算得出的客戶標簽重要價值客戶 品類偏好-童裝30天活躍度-120分購買力-高利用算法訓練模型得到的預測標簽預測流失風險-低需求推薦-限時特優(yōu)-女裝復購可能預測-高情感 產(chǎn)品 活動信息 偏好 偏好場景偏好銷售 價格終端 體系情感 視覺 促銷賣點 系統(tǒng) 活動關鍵 衍生詞 品消費者維度人口 認知信息 信息產(chǎn)品維度基本 功能信息 賣點內(nèi)容場景地點 社交 文化類型 屬性 氛圍4、數(shù)據(jù)資源中心建設—步驟二：⑤用戶標簽設計源數(shù)據(jù)標簽構建標簽體系ETL知識庫ETL調(diào)度管理ETL任務管理日志管理負載管理ETL監(jiān)控4、數(shù)據(jù)資源中心建設—步驟三：數(shù)據(jù)開發(fā)體系框架追加清洗、轉(zhuǎn)換和標準化匯總加載基礎數(shù)據(jù)區(qū)臨時區(qū)應用數(shù)據(jù)集市區(qū)實時數(shù)據(jù)區(qū)數(shù)據(jù)匯聚平臺主題區(qū)ODS庫匯總提煉加工任務文件加載任務應用數(shù)據(jù)加工任務實時數(shù)據(jù)處理文件檢查任務數(shù)據(jù)匯聚加工任務數(shù)據(jù)清洗轉(zhuǎn)換任務數(shù)據(jù)質(zhì)量檢查任務數(shù)據(jù)抽取加載任務數(shù)據(jù)治理任務數(shù)據(jù)處理任務抽取加載任務數(shù)據(jù)質(zhì)量管理業(yè)務檢核任務文件監(jiān)聽抽取觸發(fā)定時元數(shù)據(jù)管理庫實時數(shù)據(jù)采集數(shù)據(jù)庫主動采集數(shù)據(jù)文件采集消息、接口追加清洗、轉(zhuǎn)換和標準化分析區(qū)提煉提煉提煉ETL開發(fā)管理ETL任務管理數(shù)據(jù)匯聚平臺元數(shù)據(jù)加載任務4、數(shù)據(jù)資源中心建設—步驟三：數(shù)據(jù)開發(fā)流程與支撐工具數(shù)據(jù)開發(fā)準備1建庫建表2數(shù)據(jù)映射3ETL配置開發(fā)45建庫建表環(huán)境準備開發(fā)系統(tǒng)準備配置文件準備信息調(diào)研結(jié)果數(shù)據(jù)模型成果..創(chuàng)建數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)庫用戶創(chuàng)建數(shù)據(jù)表數(shù)據(jù)庫表賦權…單元測試模板準備單元測試執(zhí)行單元測試報告…單元測試6ETL調(diào)度配置7系統(tǒng)集成測試表映射字段映射代碼映射關聯(lián)過濾條件映射…數(shù)據(jù)開發(fā)參數(shù)配置數(shù)據(jù)映射導入數(shù)據(jù)開發(fā)配置公共代碼配置腳本編寫調(diào)試…調(diào)度任務整理調(diào)度任務基礎信息配置調(diào)度任務依賴觸發(fā)配置調(diào)度任務測試驗證…集成測試模板準備集成測試執(zhí)行集成測試報告…數(shù)據(jù)開發(fā)流程數(shù)據(jù)開發(fā)工具支撐4、數(shù)據(jù)資源中心建設—步驟四：數(shù)據(jù)統(tǒng)一調(diào)度管理郵件短信外部管理應用ETLAutomationRepositoryETL調(diào)度平臺管理與控制模塊知識庫模塊Master模塊消息接口功能接口Agent模塊實時監(jiān)控系統(tǒng)管理統(tǒng)計分析控制臺系統(tǒng)插件文件監(jiān)控定時任務BTEAgent1Agent2AgentnPrimaryStandby一站式開發(fā)平臺數(shù)據(jù)治理平臺其他工具調(diào)度程序生成器歷史明細引擎元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)標準數(shù)據(jù)生命周期批量接口直連接口Cube構建引擎數(shù)據(jù)加載數(shù)據(jù)同步數(shù)據(jù)卸載質(zhì)量檢查清洗融合分析匯總數(shù)據(jù)挖掘機器學習觸發(fā)5、數(shù)據(jù)治理建設：數(shù)據(jù)標準管理數(shù)據(jù)標準設計流程1.標準框架數(shù)據(jù)主題設計范圍優(yōu)先策略工作重點配合支持……2.現(xiàn)狀調(diào)研現(xiàn)有定義使用習慣問題梳理現(xiàn)狀分析參考文檔……3.標準設計信息大類信息小類信息項數(shù)據(jù)類型重要規(guī)則……4.標準映射系統(tǒng)范圍應用領域數(shù)據(jù)表數(shù)據(jù)字段數(shù)據(jù)取值……5.標準執(zhí)行影響分析范圍/順序系統(tǒng)改造新建系統(tǒng)手工補錄……6.維護反饋標準發(fā)布管理機制工作流程維護增強配套工具……標準范圍含哪些？目前的狀況如何？標準應該什么樣？這些內(nèi)容都在哪兒？標準應該如何執(zhí)行？如何維護理標準？數(shù)據(jù)標準工具支撐基礎標準管理：為實體及屬性設置標準統(tǒng)計標準管理：為統(tǒng)計指標設置標準機構清單管理：為層級化實體設置標準公共代碼管理：引入國家、行業(yè)或企業(yè)自定義的代碼標準業(yè)務術語管理：為元數(shù)據(jù)業(yè)務口徑配置業(yè)務術語命名規(guī)范管理：為系統(tǒng)各類標識符設立統(tǒng)一標準標準內(nèi)容管理標準審核瀏覽：查看目前已發(fā)布的各類標準詳情標準審核審批：審核新創(chuàng)建的標準并發(fā)布標準評分評分體系庫管理：設置元數(shù)據(jù)標準評分計算要素權重標準評分管理：管理各級元數(shù)據(jù)的標準評分132標準審核管理5、數(shù)據(jù)治理建設：元數(shù)據(jù)管理元數(shù)據(jù)管理流程元數(shù)據(jù)管理工具支撐元數(shù)據(jù)采集可以對技術元數(shù)據(jù)進行細粒度到字段級別的全鏈分析，影響分析和血緣分析元數(shù)據(jù)使用包括技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)使用142血緣&影響分析支持上10種異構元數(shù)據(jù)采集,采集配置、采集任務的管理和采集任務配置元數(shù)據(jù)地圖35知識中心按照數(shù)據(jù)資產(chǎn)的層級分類，以3D形式展示各個層級數(shù)據(jù)資產(chǎn)的匯總情況支持文檔上傳、下載、在線預覽元數(shù)據(jù)采集1血緣影響分析2元數(shù)據(jù)利用3元數(shù)據(jù)運營維護4數(shù)據(jù)源配置元數(shù)據(jù)采集任務配置數(shù)據(jù)庫元數(shù)據(jù)采集文件元數(shù)據(jù)采集接口元數(shù)據(jù)采集腳本元數(shù)據(jù)采集ETL調(diào)度元數(shù)據(jù)采集…元數(shù)據(jù)檢索系統(tǒng)、表與字段血緣關系分析系統(tǒng)、表與字段影響分析關系分析業(yè)務元數(shù)據(jù)分析…元數(shù)據(jù)采集監(jiān)控預警元數(shù)據(jù)采集問題處理系統(tǒng)日常運維監(jiān)控…數(shù)據(jù)資產(chǎn)展示數(shù)據(jù)字典管理數(shù)據(jù)對標業(yè)務指標管理數(shù)據(jù)質(zhì)量檢查系統(tǒng)故障排查變更影響評估…5、數(shù)據(jù)治理建設：數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)質(zhì)量管理工具支撐數(shù)據(jù)質(zhì)量檢查規(guī)則管理包括檢查模板（質(zhì)量檢查SQL腳本）的新建、編輯及刪除等工單管理包括工單流程的新建、瀏覽及審批132檢查模板管理數(shù)據(jù)質(zhì)量庫2.配置質(zhì)量檢查規(guī)則3.部署檢查腳本4.數(shù)據(jù)質(zhì)量報告1.收集數(shù)據(jù)質(zhì)量管理需求元數(shù)據(jù)資料庫基于元數(shù)據(jù)配置數(shù)據(jù)質(zhì)量規(guī)則增加數(shù)據(jù)質(zhì)量規(guī)則集5.質(zhì)量問題工單跟蹤處理抽取數(shù)據(jù)源數(shù)據(jù)源基礎區(qū)主題區(qū)傳輸匯聚區(qū)轉(zhuǎn)換加載匯總抽取ETL處理流程數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)集市分析區(qū)數(shù)據(jù)質(zhì)量管理7.質(zhì)量考核評價6.處理結(jié)果查詢提供檢查規(guī)則的創(chuàng)建、編輯、刪除、啟用及停用等功能數(shù)據(jù)質(zhì)量探查45質(zhì)量評分管理一是自動探查，根據(jù)系統(tǒng)內(nèi)置好的探查模板自動對數(shù)據(jù)進行預設好的分析檢查；二是手動探查，自定義方式設置探查模板，再根據(jù)探查模板對數(shù)據(jù)進行分析檢查包括評分體系庫管理（為元數(shù)據(jù)質(zhì)量評分設置評分標準）和質(zhì)量評分管理（管理各級元數(shù)據(jù)系統(tǒng)的質(zhì)量評分）6、數(shù)據(jù)分析試點應用（運用BI工具對集團C端用戶綜合分析）用戶地域分布產(chǎn)品地域銷量門店地域分布用戶數(shù)量統(tǒng)計用戶增長分析日活用戶分析用戶年齡分布用戶評價分析地域用戶消費分析提升效率提升用戶量輔助領導決策助力產(chǎn)品銷量提升大屏PC端移動端7、數(shù)據(jù)服務試點應用：基于供需對接建立數(shù)據(jù)服務共享體系目錄清單有什么？在哪里？誰負責？數(shù)據(jù)資源中心1、目錄問題域2、目錄分類部門目錄主題目錄基礎目錄業(yè)務目錄數(shù)據(jù)目錄管理目錄上級目錄本級目錄下級目錄資源屬性功能分類層級屬性3、目錄建立4、數(shù)據(jù)掛接提供方主動編目A管理方編目B供需對接推動編目C提供方主動掛接A供需對接推動掛接C需求清單需求方資源信息數(shù)據(jù)項信息需求說明管理方審批/分發(fā)責任清單資源信息共享內(nèi)容共享條件結(jié)束目錄清單：確保數(shù)據(jù)的系統(tǒng)性需求清單：確保數(shù)據(jù)的針對性責任清單：壓實數(shù)據(jù)采集責任提供方以信息化手段推動數(shù)據(jù)共享服務，建立能按需共享的業(yè)務模式，解決各部門數(shù)據(jù)共享和應用難題。管理方掛接B提供方7、數(shù)據(jù)共享服務試點應用：基于C端用戶建立數(shù)據(jù)共享服務流程數(shù)據(jù)資源目錄梳理1共享資源發(fā)布2共享資源申請3共享資源審核授權45匯聚區(qū)資源目錄梳理基礎區(qū)資源目錄梳理主題區(qū)資源目錄梳理數(shù)據(jù)集市區(qū)資源目錄梳理..共享服務目錄創(chuàng)建共享數(shù)據(jù)源配置共享數(shù)據(jù)接入共享數(shù)據(jù)資源配置與更新共享服務測試共享服務發(fā)布…數(shù)據(jù)共享資源檢索數(shù)據(jù)共享服務調(diào)用數(shù)據(jù)共享服務調(diào)用問題反饋…共享服務調(diào)用6共享服務管理與運維共享服務系統(tǒng)管理共享服務權限管理共享服務日志管理共享服務監(jiān)控預警共享服務故障處理共享服務統(tǒng)計分析…數(shù)據(jù)共享資源檢索數(shù)據(jù)共享資源申請數(shù)據(jù)共享資源數(shù)量申請數(shù)據(jù)共享資源問題反饋…數(shù)據(jù)共享資源使用審核數(shù)據(jù)共享資源數(shù)量審核數(shù)據(jù)共享資源跨部門授權數(shù)據(jù)共享資源部門內(nèi)授權…數(shù)據(jù)共享服務流程數(shù)據(jù)共享服務工具支撐04實施方案實施方法產(chǎn)品定義需求分析系統(tǒng)設計開發(fā)測試與部署準備維護迭代技術數(shù)據(jù)應用項目管理培訓與部署運行使用與支持獲取技術需求信息調(diào)研業(yè)務調(diào)研定義/擴展技術架構定義/擴展數(shù)據(jù)架構定義/擴展業(yè)務架構定義/擴展應用架構技術需求分析數(shù)據(jù)源分析數(shù)據(jù)需求分析業(yè)務需求分析體系架構設計原型設計應用設計測試方案制定產(chǎn)品安裝與參數(shù)調(diào)整應用開發(fā)部署方案制定系統(tǒng)集成測試用戶驗收測試培訓資料準備培訓/部署基礎層模型設計應用層模型設計基礎層ETL設計應用層ETL設計匯總層模型設計匯總層ETL設計構建基礎層ETL構建應用層ETL構建匯總層ETL單元測試實時數(shù)據(jù)處理設計實時數(shù)據(jù)處理總體實施計劃項目啟動試運行結(jié)束項目運維12月9日培訓及知識轉(zhuǎn)移項目管理項目結(jié)束基礎模型系統(tǒng)運維12月22日11月23日信息調(diào)研數(shù)據(jù)采集接入設計開發(fā)環(huán)境搭建一期平臺測試及上線數(shù)據(jù)治理體系建設啟動應用上線試運行（3個月）12月31日3月31日項目建設方案數(shù)據(jù)模型設計數(shù)據(jù)共享服務體系建設數(shù)據(jù)資源目錄梳理與數(shù)據(jù)共享運維11月15日ETL開發(fā)數(shù)據(jù)分析應用平臺咨詢規(guī)劃次年3月31日平臺上線組織角色項目領導小組甲方領導乙方領導項目管理辦公室乙方項目經(jīng)理乙方項目總監(jiān)甲方項目經(jīng)理QA組……專家顧問組產(chǎn)品研發(fā)顧問解決方案顧問數(shù)據(jù)模型顧問架構與開發(fā)組……需求組……平臺組……咨詢規(guī)劃組……模型組……技術支持組集團信息系統(tǒng)專家各事業(yè)部信息系統(tǒng)專家數(shù)據(jù)中心專家事業(yè)部業(yè)務專家業(yè)務支持組集團部門業(yè)務專家事業(yè)部業(yè)務專家角色職責序號小組名稱小組負責人小組職責1項目領導小組