大數(shù)據(jù)治理平臺建設與應用解決方案

大數(shù)據(jù)時代到來，我們已被海量數(shù)據(jù)信息包圍大數(shù)據(jù)時代到來，我們已被海量數(shù)據(jù)信息包圍研發(fā)數(shù)據(jù)輿情數(shù)據(jù)研發(fā)數(shù)據(jù)輿情數(shù)據(jù)管理數(shù)據(jù)刑偵信息風險信息數(shù)據(jù)第三方行業(yè)的新增長點。廣告數(shù)據(jù)廣告數(shù)據(jù)監(jiān)測數(shù)據(jù)用戶信息監(jiān)測數(shù)據(jù)用戶信息制造政府搜索數(shù)據(jù)搜索數(shù)據(jù)社交數(shù)據(jù)社交數(shù)據(jù)模型算法SparkHBase列存儲Storm流處理BI分析數(shù)據(jù)挖掘大數(shù)據(jù)存儲應用廣泛，具備大數(shù)據(jù)必備因素大數(shù)據(jù)存儲數(shù)據(jù)的傳輸問題也有大數(shù)據(jù)組件解決，如通過數(shù)據(jù)BI軟件、數(shù)據(jù)分析挖掘通過大數(shù)據(jù)平臺的相供商產(chǎn)品提供商商供商數(shù)據(jù)分法提供商設廠商?■數(shù)據(jù)產(chǎn)品廠商，缺乏場景使用經(jīng)驗數(shù)據(jù)平臺廠商與數(shù)據(jù)應用廠商往往不是一家，平臺廠商缺乏數(shù)據(jù)應用建設經(jīng)驗。數(shù)據(jù)應用廠商不能理解平臺內(nèi)數(shù)據(jù)業(yè)務含義具有涉密數(shù)據(jù)開發(fā)資質(zhì)的廠商有限，但并不了解大數(shù)據(jù)平臺內(nèi)部數(shù)據(jù)的含義。各廠商之間交換的數(shù)據(jù)質(zhì)量得不到保證大數(shù)據(jù)建設項目被分為數(shù)據(jù)平臺、應用、業(yè)務等多個獨立項目和廠商，之間的銜接部分沒有人管理，造成數(shù)據(jù)質(zhì)量差。業(yè)務需求·拿到的使用數(shù)據(jù)根本沒法用業(yè)務需求集中響應技術(shù)需求技術(shù)需求·大文件數(shù)據(jù)傳輸慢·大數(shù)據(jù)量實時傳輸沒有解決方案·沒有統(tǒng)一的技術(shù)管理平臺·跨平臺數(shù)據(jù)問題無法追述管理需求管理需求·眾多大數(shù)據(jù)廠商難以協(xié)調(diào)·廠商管理之間的空隙沒填補·數(shù)據(jù)質(zhì)量問題來回推諉0大數(shù)據(jù)治理平臺背景大數(shù)據(jù)平臺化的發(fā)展趨勢與現(xiàn)狀大數(shù)據(jù)平臺化的發(fā)展趨勢與現(xiàn)狀應用百花齊放應用：我有數(shù)據(jù)分析經(jīng)驗，但是我拿不到百花齊放訪問層存儲層數(shù)據(jù)源廠商Z廠商Z:我只是提供數(shù)據(jù)共享平臺，廠商訪問層存儲層數(shù)據(jù)源廠商Z廠商Y:廠商X:大數(shù)據(jù)項目實施中遇到的哪些問題?大數(shù)據(jù)項目實施中遇到的哪些問題?數(shù)據(jù)應用廠商意理大數(shù)據(jù)平臺內(nèi)數(shù)據(jù)的技術(shù)、業(yè)務屬性不清晰，意理批量導入實時同步使用3使用不明確：由于數(shù)據(jù)業(yè)務特性與使用方法不統(tǒng)一，難以對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速集成和共使用3質(zhì)量監(jiān)控大數(shù)據(jù)平臺大數(shù)據(jù)平臺建設廠商監(jiān)控不到位：在實際數(shù)據(jù)運行中，會出現(xiàn)數(shù)據(jù)信息發(fā)生中斷異?；驍?shù)據(jù)量發(fā)生突然變化等數(shù)據(jù)大數(shù)據(jù)平臺建設廠商數(shù)據(jù)源場景一：建好數(shù)據(jù)管理體系，快速識別數(shù)據(jù)場景一：建好數(shù)據(jù)管理體系，快速識別數(shù)據(jù)元數(shù)據(jù)建議元數(shù)據(jù)建議：?1.自動化獲取元數(shù)據(jù)信息通過自動化采集與解析手段，建立技術(shù)、業(yè)務、過程元數(shù)據(jù)的注冊輸入，數(shù)據(jù)的業(yè)務特點是?通過自動化采集與解析手段，建立技術(shù)、業(yè)務、過程元數(shù)據(jù)的注冊輸入，標明數(shù)據(jù)方位。2.標明數(shù)據(jù)方位，整理業(yè)務屬性2.標明數(shù)據(jù)方位，整理業(yè)務屬性將數(shù)據(jù)資產(chǎn)按業(yè)務屬性編目，梳理數(shù)如何快速識別數(shù)據(jù)?據(jù)的屬性、共享方式、特性、映射。3:建立業(yè)務數(shù)據(jù)服務目錄數(shù)據(jù)資產(chǎn)模型以數(shù)據(jù)資產(chǎn)為驅(qū)動方式，實現(xiàn)數(shù)據(jù)集數(shù)據(jù)資產(chǎn)模型成和共享。建立數(shù)據(jù)服務目錄。如何自動化管理?如何快速找到樣例數(shù)據(jù)?批量數(shù)據(jù)交換?我需要秒級更新數(shù)據(jù)?數(shù)據(jù)太大無法傳建議：梳理數(shù)據(jù)集成、交換需求。按技術(shù)特征劃分為基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)開發(fā)，實現(xiàn)資產(chǎn)與數(shù)據(jù)服務的對接。通過服務目數(shù)據(jù)庫服務元數(shù)據(jù)庫資源實例資源服務數(shù)據(jù)資產(chǎn)服務內(nèi)存數(shù)據(jù)服務數(shù)據(jù)資產(chǎn)服務內(nèi)存數(shù)據(jù)服務實時資源同步內(nèi)存數(shù)據(jù)模型批量資源獲取數(shù)據(jù)模型數(shù)據(jù)資源模型數(shù)據(jù)模型場景三：提供專業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問題。場景三：提供專業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問題。數(shù)據(jù)不一致怎么辦?針對調(diào)度監(jiān)控和數(shù)據(jù)源相關(guān)監(jiān)控過程中的數(shù)據(jù)進行整合形成數(shù)據(jù)源頭調(diào)度監(jiān)控的分析報表。數(shù)據(jù)抖動監(jiān)控是指通過對數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時間周期內(nèi)，通過折線圖的方式可以查詢一段時間內(nèi)數(shù)據(jù)的峰值和低谷。數(shù)據(jù)一致性監(jiān)控是數(shù)據(jù)抖動監(jiān)控是指通過對數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時間周期內(nèi)，通過折線圖的方式可以查詢一段時間內(nèi)數(shù)據(jù)的峰值和低谷。數(shù)據(jù)一致性監(jiān)控是對采集時的數(shù)據(jù)記錄條數(shù)和入庫的數(shù)據(jù)條數(shù)進行一致性比對，對不一致的數(shù)據(jù)采集作業(yè)進行標記的一種監(jiān)控。數(shù)據(jù)量異常波動?數(shù)據(jù)源變更怎么辦?建議：日使用流量50日使用流量50梳理數(shù)據(jù)平臺、MPP、Hadoop平臺的重要數(shù)據(jù)監(jiān)控指標與監(jiān)控需求。6月6月7月對接數(shù)據(jù)監(jiān)控平臺，以以郵件、短信等通知方式告上基于模型的數(shù)據(jù)獲取數(shù)據(jù)，基于數(shù)據(jù)模型管理，可以讓技術(shù)與業(yè)務人員支持現(xiàn)有主流的大數(shù)據(jù)技術(shù)平臺的對接可對接現(xiàn)有的大數(shù)據(jù)Hive,Spark,Strom流數(shù)據(jù)等主流的數(shù)據(jù)結(jié)構(gòu)，分數(shù)據(jù)獲取方式靈活多樣，可支持配置化數(shù)據(jù)訂閱管理支持靈活的數(shù)據(jù)訂閱方式，以支推，拉的數(shù)據(jù)訂閱數(shù)據(jù)與服務接口對接?？芍С侄喾N數(shù)據(jù)預警機制，隨時發(fā)現(xiàn)數(shù)據(jù)任務執(zhí)行過程中所遇到的問題支持執(zhí)行任務的全過程監(jiān)控，執(zhí)行數(shù)量監(jiān)控，數(shù)據(jù)波動、數(shù)據(jù)到達預警監(jiān)控等，并支持多種信息通知方式，如短信、郵件0大數(shù)據(jù)治理平臺背景通過大數(shù)據(jù)治理，提供數(shù)據(jù)服務，從管理中心轉(zhuǎn)變?yōu)榉胀ㄟ^大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價值，從成本中心轉(zhuǎn)變?yōu)槔麧欀行墓芾砺氊煿芾硭悸饭芾斫M織數(shù)據(jù)管理數(shù)據(jù)開發(fā)數(shù)據(jù)應用數(shù)據(jù)管理數(shù)據(jù)開發(fā)數(shù)據(jù)應用自己應用自己應用提供數(shù)據(jù)服務提供數(shù)據(jù)服務方便別人方便別人用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務創(chuàng)新三方數(shù)據(jù)交易交易交易交易數(shù)據(jù)數(shù)據(jù)理平臺理平臺運營數(shù)據(jù)實時流數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布治理生產(chǎn)數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布治理生產(chǎn)頜人力非結(jié)構(gòu)化數(shù)據(jù)頜人力非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)治理平臺的架構(gòu)特征大數(shù)據(jù)治理平臺的架構(gòu)特征以數(shù)據(jù)存儲、處理為核心的傳統(tǒng)數(shù)據(jù)管理平臺過度到大數(shù)據(jù)治理平臺大數(shù)據(jù)平臺大數(shù)據(jù)治理平臺1平臺大數(shù)據(jù)治理平臺傳統(tǒng)大數(shù)據(jù)平臺規(guī)范企業(yè)中哪些角色會直接使用到大數(shù)據(jù)治理平臺企業(yè)中哪些角色會直接使用到大數(shù)據(jù)治理平臺業(yè)務運營人員據(jù)情況。業(yè)務系統(tǒng)開發(fā)人員務創(chuàng)新的IT實現(xiàn)。據(jù)中心數(shù)據(jù)的特性。中心實現(xiàn)。大數(shù)據(jù)中心管理者中心的運營與管理。的數(shù)據(jù)業(yè)務需求。據(jù)支撐。大數(shù)據(jù)中心開發(fā)者特點。大數(shù)據(jù)中心大數(shù)據(jù)中心2.查找數(shù)據(jù)2.查找數(shù)據(jù)大數(shù)據(jù)治理平臺5.5.確認數(shù)據(jù)需求3.返回數(shù)據(jù)3.返回數(shù)據(jù)運營交易6.返回數(shù)據(jù)數(shù)據(jù)消費方數(shù)據(jù)消費方→80%數(shù)據(jù)使用需求------20%需開發(fā)數(shù)據(jù)需求接口應用分析應用數(shù)據(jù)使用接口應用分析應用數(shù)據(jù)使用程應用治理規(guī)范資產(chǎn)采集應用治理規(guī)范資產(chǎn)采集數(shù)據(jù)地圖數(shù)據(jù)服務總線數(shù)據(jù)管理流程數(shù)據(jù)監(jiān)控數(shù)據(jù)監(jiān)控服務共享規(guī)范管理服務共享規(guī)范數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)數(shù)據(jù)開發(fā)平臺數(shù)據(jù)申服務數(shù)據(jù)申流程數(shù)據(jù)數(shù)據(jù)加應用數(shù)據(jù)數(shù)據(jù)加應用斯夢服勞轄斯夢服發(fā)監(jiān)數(shù)據(jù)共享/服發(fā)監(jiān)數(shù)據(jù)共享/氧度監(jiān)學氧度監(jiān)學B用)B用)數(shù)據(jù)開發(fā)資源層業(yè)務數(shù)據(jù)大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺功能架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺功能架構(gòu)圖數(shù)據(jù)資產(chǎn)使用數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)采集采集適配器管理集采集適配器管理集Hive采集DB采集大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺邏輯架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺邏輯架構(gòu)圖數(shù)據(jù)開發(fā)數(shù)據(jù)應用7接口文件DB數(shù)據(jù)監(jiān)控…大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺關(guān)鍵技術(shù)與特性大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺關(guān)鍵技術(shù)與特性1、解析、組裝、入庫過程分離，實現(xiàn)數(shù)據(jù)資產(chǎn)采集和存儲解耦資產(chǎn)元模儲采集解析采集解析模型組裝多類業(yè)數(shù)多類業(yè)數(shù)據(jù)源數(shù)據(jù)入庫3、采用MOF模型規(guī)范實現(xiàn)數(shù)據(jù)資產(chǎn)擴展存儲權(quán)威建立統(tǒng)一的第三方數(shù)據(jù)審核機制，不依附于某個業(yè)務單元的數(shù)據(jù)特性，對數(shù)據(jù)資產(chǎn)重新定位；數(shù)據(jù)落地基于系統(tǒng)運行態(tài)環(huán)境的元數(shù)據(jù)采集，真正做到以系統(tǒng)落地環(huán)境為數(shù)據(jù)統(tǒng)一建立統(tǒng)一的數(shù)據(jù)模型視圖，為業(yè)務管理人員方便的獲取到數(shù)據(jù)提供先決條件；擴展基于MOF可擴展模型，對業(yè)務模型擴展無需改動代碼，節(jié)省團隊管理成本；分析快速輔助定位問題，出現(xiàn)數(shù)據(jù)問題可輔助定位與分析問題的根源，迅速響應業(yè)務需求；大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺功能架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺功能架構(gòu)圖系統(tǒng)管理人員管理權(quán)限管理系統(tǒng)管理人員管理權(quán)限管理編目管理資源目錄管理批量資源導入資源展示配置編目管理資源目錄管理批量資源導入資源展示配置基本信息維護資源關(guān)系管理模型檢索資源檢索基礎查詢維度查詢條件查詢存儲模型開發(fā)模型設計模型管理關(guān)系維護配置管理文件交換開發(fā)模型設計模型管理關(guān)系維護存儲開發(fā)數(shù)據(jù)開發(fā)數(shù)據(jù)交換開發(fā)交換模型開發(fā)交換作業(yè)開發(fā)交換作業(yè)開發(fā)交換組件管理服務接口開發(fā)服務接口開發(fā)服務接口配置應用組件配置組件管理策略管理加密策略交換策略脫敏策略監(jiān)控策略策略開發(fā)策略定義策略開發(fā)策略管理自定義開發(fā)大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺邏輯架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺邏輯架構(gòu)圖數(shù)據(jù)共享層開發(fā)者運營者門戶數(shù)據(jù)共享層開發(fā)者運營者門戶數(shù)據(jù)開發(fā)層數(shù)據(jù)開發(fā)層數(shù)據(jù)庫文件數(shù)據(jù)接口數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)=批量數(shù)據(jù)大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺技術(shù)與特性大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺技術(shù)與特性接口應用接口應用服務服務服務服務服務服務接服務服務服務服務服務服務接描述與數(shù)據(jù)發(fā)布共享剝描述描述約束提升提供圖形化的開發(fā)界面，顛覆以往的數(shù)據(jù)只能寫SQL代碼的情況。直觀并可提升開發(fā)效率；數(shù)據(jù)開發(fā)平臺復用復用結(jié)構(gòu)化的組件，利于知識積累與復用。避免人員變動帶來的無形中的學習成本；針對業(yè)務特性對現(xiàn)有的數(shù)據(jù)資產(chǎn)進行編目開發(fā)，讓數(shù)據(jù)使用者直觀理解數(shù)據(jù)的含義；以數(shù)據(jù)資產(chǎn)模型為驅(qū)動力，實現(xiàn)數(shù)據(jù)集成與共享的服務創(chuàng)新開發(fā)模式；統(tǒng)一讓項目中的各數(shù)據(jù)實施廠商都使用統(tǒng)一的數(shù)據(jù)開發(fā)方式，避免技術(shù)實現(xiàn)不同所帶來的壁壘；大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務總線功能架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務總線功能架構(gòu)圖節(jié)點注冊系統(tǒng)安全系統(tǒng)安全調(diào)度管理資源擴展總線監(jiān)控中心節(jié)點監(jiān)控標準規(guī)范標準規(guī)范消息交換文件交換流交換斷點續(xù)傳異常管理服務檢索大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務總線邏輯架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務總線邏輯架構(gòu)圖數(shù)據(jù)消費者數(shù)據(jù)消費者數(shù)據(jù)共享層控引擎數(shù)據(jù)共享層控引擎數(shù)據(jù)/文件個個數(shù)據(jù)開發(fā)層數(shù)據(jù)資產(chǎn)接口服務開發(fā)數(shù)據(jù)開發(fā)層數(shù)據(jù)資產(chǎn)接口服務開發(fā)大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務總線關(guān)鍵技大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務總線關(guān)鍵技術(shù)與特性單實例處理能力單實例處理能力分布式擴展能力分布式擴展能力ESB實例3ESB實例4ESB實例5ESB管理服務器ESB實例1硬件硬件硬件件硬C·段之間基于隊列通信…渠道多渠道的數(shù)據(jù)共享方式，包括數(shù)據(jù)接口，文件，數(shù)據(jù)庫等，保證業(yè)務實現(xiàn)的可行性；數(shù)據(jù)服務總線快速海量提示實時的數(shù)據(jù)解決方案，支持流數(shù)據(jù)傳傳輸方式，保證業(yè)務數(shù)據(jù)的及時性；對于海量數(shù)據(jù)與音視頻文件，提供快速的大文件傳輸機制，快速獲得大數(shù)據(jù)；全方位的數(shù)據(jù)流量統(tǒng)計方式，讓數(shù)據(jù)的獲取與使用更加的透明化；安全數(shù)據(jù)的集成與共享，提供數(shù)據(jù)加密、數(shù)據(jù)脫敏等配置策略，保證數(shù)據(jù)的安全性；大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺功能架構(gòu)圖大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺功能架構(gòu)圖表表分析表表數(shù)據(jù)數(shù)據(jù)調(diào)度監(jiān)控服務訪問情況監(jiān)控監(jiān)控執(zhí)行元數(shù)據(jù)告警系統(tǒng)大數(shù)據(jù)平臺治理七條監(jiān)控線大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)平臺邏輯架構(gòu)圖大數(shù)據(jù)平臺治理七條監(jiān)控線大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)平臺邏輯架構(gòu)圖業(yè)務應用數(shù)據(jù)開發(fā)數(shù)據(jù)資產(chǎn)E(抽取)L(加載)L(加載)個實時數(shù)據(jù)采集數(shù)據(jù)內(nèi)部數(shù)數(shù)據(jù)內(nèi)部數(shù)C專題庫BC專題庫大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺關(guān)鍵技術(shù)與特性大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺關(guān)鍵技術(shù)與特性1數(shù)據(jù)采集監(jiān)控是指對外部和內(nèi)部的離線數(shù)據(jù)和實時數(shù)據(jù)進行采集記錄數(shù)據(jù)層面的監(jiān)控，如：數(shù)據(jù)文件大小，數(shù)據(jù)文件記錄數(shù)，數(shù)據(jù)文件增全量采集，采集頻率等的監(jiān)控及預警2實現(xiàn)大數(shù)據(jù)平臺中離線數(shù)據(jù)計算處理ETL執(zhí)行的監(jiān)控，如作業(yè)的啟動情況，作業(yè)的執(zhí)行情況，作業(yè)的依賴情況，作業(yè)的執(zhí)行時效，作業(yè)狀態(tài)，作業(yè)執(zhí)行日志。3對數(shù)據(jù)質(zhì)量進行統(tǒng)一閉環(huán)管理，覆蓋數(shù)據(jù)質(zhì)量的定義、監(jiān)控、問題分析、整改和評估，推動質(zhì)量問題的解決。圍繞數(shù)據(jù)質(zhì)量管理，建立監(jiān)控機制，如，及時性、完整性、準確性、有效性等監(jiān)控及預警。4實現(xiàn)大數(shù)據(jù)平臺數(shù)據(jù)到達情況監(jiān)控和數(shù)據(jù)分發(fā)成功與否監(jiān)控，數(shù)據(jù)到達是指采集的數(shù)據(jù)文件或DB數(shù)據(jù)是否按約定的時間節(jié)點準備就緒，對問題實現(xiàn)預警；數(shù)據(jù)分發(fā)是指大數(shù)據(jù)平臺中的數(shù)據(jù)及時傳遞到目標端的監(jiān)控。5數(shù)據(jù)服務總線服務監(jiān)控管理，服務監(jiān)控包括，服務運行情況，消費者訪問情況，提供者提供情況，SLA滿足程度，提供者與消費者之間的依賴關(guān)系，依賴分析，從而能確定哪個客戶端在使用服務6大數(shù)據(jù)平臺中數(shù)據(jù)模型，與大數(shù)據(jù)交互數(shù)據(jù)源數(shù)據(jù)模型變更的監(jiān)控，包括數(shù)據(jù)庫表結(jié)構(gòu)，數(shù)據(jù)文件結(jié)構(gòu)，指標定義，數(shù)據(jù)標準規(guī)范的技術(shù)，業(yè)務，管理屬性監(jiān)控，數(shù)據(jù)字典的監(jiān)控及預警。7實現(xiàn)數(shù)據(jù)標準的變更監(jiān)控，數(shù)據(jù)標準的落地映射監(jiān)控，在數(shù)據(jù)標準發(fā)生現(xiàn)在后調(diào)整的時候，能快速的定位變更的影響，也能知道哪些系統(tǒng)，哪些部門的哪個數(shù)據(jù)庫表落地了數(shù)據(jù)標準規(guī)范。便捷監(jiān)控用戶的使用安全，通過郵件、短信等方式無需登錄系統(tǒng)可發(fā)現(xiàn)數(shù)據(jù)問題；數(shù)據(jù)監(jiān)控平臺及時準確標準及時發(fā)現(xiàn)數(shù)據(jù)的波動、缺失等變化，在影響業(yè)務開展之前及時發(fā)現(xiàn)問題原因；以提高數(shù)據(jù)質(zhì)量為目標，定期數(shù)據(jù)做質(zhì)量檢查，建立閉環(huán)質(zhì)量管理機制；通過數(shù)據(jù)質(zhì)量監(jiān)控手段，自動化發(fā)現(xiàn)數(shù)據(jù)標準問題，提供數(shù)據(jù)標準落地檢查機制；集中提供集中的數(shù)據(jù)監(jiān)控平臺，統(tǒng)一監(jiān)控環(huán)境，無需在不同環(huán)境配置多套監(jiān)控產(chǎn)品；共享協(xié)作開發(fā)利用共享協(xié)作數(shù)據(jù)保障使用使用治理運營分析資產(chǎn)管理運營分析管理跨行業(yè)、期國內(nèi)最權(quán)威的大數(shù)據(jù)治理廠商頂層規(guī)劃，平臺建設，/全體系全面提升三階段：治理數(shù)據(jù)·建立治理數(shù)據(jù)的一體化數(shù)據(jù)治理體系，實現(xiàn)全方位全面提升三階段：治理數(shù)據(jù)項目實施·根據(jù)數(shù)據(jù)治理平臺的建立，以大數(shù)據(jù)平臺為依托，項目實施二階段：項目實施·逐步推進項目實施數(shù)據(jù)管理，建議先實施元數(shù)據(jù)二階段：項目實施·建立大數(shù)據(jù)運營平臺平臺驗證一階段：建立平臺·建立大數(shù)據(jù)治理平臺(數(shù)據(jù)基礎監(jiān)控，數(shù)據(jù)傳輸監(jiān)控，數(shù)據(jù)管理監(jiān)控，數(shù)據(jù)服務監(jiān)控)平臺驗證一階段：建立平臺0大數(shù)據(jù)治理平臺背景大數(shù)據(jù)治理平臺在各行業(yè)的應用案例大數(shù)據(jù)治理平臺在各行業(yè)的應用案例保監(jiān)會)要求，重點整合元數(shù)據(jù)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量和數(shù)據(jù)消費層…互聯(lián)網(wǎng)AEQ\*jc3\*hps22\o\al(\s\up5(PP),用)應消費層…電信行業(yè)大數(shù)據(jù)治理架構(gòu)電信行業(yè)大數(shù)據(jù)治理架構(gòu)大數(shù)據(jù)基線版元數(shù)據(jù)CRM大數(shù)據(jù)基線版元數(shù)據(jù)系統(tǒng)互聯(lián)網(wǎng)能力開放數(shù)據(jù)超市數(shù)據(jù)資產(chǎn)管理平臺核心經(jīng)分庫數(shù)據(jù)資產(chǎn)管理平臺核心經(jīng)分庫大數(shù)據(jù)平臺大數(shù)據(jù)平臺經(jīng)分輔庫流處理流處理資源池換與集成換與集成(對外吸務)準數(shù)據(jù)源掃描件外部數(shù)據(jù)B域數(shù)據(jù)M域數(shù)據(jù)O域數(shù)據(jù)案例案例·某銀行建立企業(yè)級的數(shù)據(jù)治理體系金融業(yè)大數(shù)據(jù)治理體系架構(gòu)數(shù)據(jù)使用者(領導決策層)數(shù)據(jù)管理者(IT管理層)金融業(yè)大數(shù)據(jù)治理體系架構(gòu)數(shù)據(jù)生產(chǎn)者(業(yè)務層)標準規(guī)范質(zhì)量檢查流程管理標準規(guī)范制定數(shù)據(jù)管理辦法(管理流程、權(quán)責關(guān)系)制定考核規(guī)則(績效評分卡)大數(shù)據(jù)制定考核規(guī)則(績效評分卡)元數(shù)據(jù)質(zhì)量提