大數(shù)據(jù)治理管理與運營體系數(shù)據(jù)治理平臺建設方案

平臺總體概述提供多種數(shù)據(jù)采集或集成，包括業(yè)務系統(tǒng)數(shù)據(jù)ETL，外部文件、第三方接口抽取，實時消息采集等。采集/集成環(huán)節(jié)支撐多種數(shù)據(jù)加工方式，包括批量數(shù)據(jù)加工，實時交互計算，機器學習等。加工/計算環(huán)節(jié)支持用戶個性化需求、自主數(shù)據(jù)探索，提供固定主題的報表、指標，臨時報表需求、自助取數(shù)，數(shù)據(jù)探索、數(shù)據(jù)實驗等功能。決策/探索環(huán)節(jié)數(shù)據(jù)治理平臺適用于分析型系統(tǒng)數(shù)據(jù)處理的各個過程，負責數(shù)據(jù)的加工處理以及加工處理過程數(shù)據(jù)標準、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺可以提供數(shù)據(jù)輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出等數(shù)據(jù)流圖各個過程的全生命周期、全流程的數(shù)據(jù)處理，并在數(shù)據(jù)處理全過程提供中提供數(shù)據(jù)治理和數(shù)據(jù)管控的一站式解決方案。大數(shù)據(jù)時代組織普遍要面對數(shù)據(jù)多樣化，缺少統(tǒng)一標準，集成困難；數(shù)據(jù)分散，形成信息孤島，共享困難；數(shù)據(jù)質(zhì)量低下，導致統(tǒng)計不準確的諸多問題。如何有效管理數(shù)據(jù)資源使之能夠驅(qū)動業(yè)務的快速發(fā)展，成為數(shù)據(jù)治理產(chǎn)品的核心價值所在。平臺設計理念·一個標準化工廠數(shù)據(jù)治理產(chǎn)品以為組織打造通用的數(shù)據(jù)工廠為設計理念，以構建流水式數(shù)據(jù)產(chǎn)線為核心，幫助組織快速實現(xiàn)從“數(shù)據(jù)原料”

到“數(shù)據(jù)產(chǎn)品”

整個過程的加工處理、價值轉(zhuǎn)化以及規(guī)范管控。標準化生產(chǎn)自動化生產(chǎn)精益化管理由場景理解、場景抽象、抽象實現(xiàn)、抽象配置、方案生成、調(diào)度等工序組成由數(shù)據(jù)上下文形成自動化的數(shù)據(jù)流由多個工序最終生成一體多面的數(shù)據(jù)治理流程平臺設計理念·四大治理原則平臺設計理念·五大治理標準數(shù)據(jù)模型標準化數(shù)據(jù)運營全員化數(shù)據(jù)安全可控化數(shù)據(jù)治理產(chǎn)品化數(shù)據(jù)處理工廠化數(shù)據(jù)安全可控化

體現(xiàn)安全的重要性、必要性，保障系統(tǒng)數(shù)據(jù)安全和數(shù)據(jù)服務開放過程中數(shù)據(jù)的安全可控。數(shù)據(jù)模型標準化

通過數(shù)據(jù)治理平臺將數(shù)據(jù)模型的要求嚴格落地，杜絕不滿足標準的數(shù)據(jù)模型出現(xiàn)在系統(tǒng)中。數(shù)據(jù)運營全員化

體現(xiàn)“平臺化、開放性”的思想，提高數(shù)據(jù)開放的可視化，實現(xiàn)人人參與數(shù)據(jù)治理、數(shù)據(jù)建設和數(shù)據(jù)運維。數(shù)據(jù)治理產(chǎn)品化數(shù)據(jù)治理的成果和內(nèi)容，必須通過切實可行的IT手段落實到系統(tǒng)來嚴格執(zhí)行。數(shù)據(jù)處理工廠化

數(shù)據(jù)處理工作，必須實現(xiàn)工廠化的建設和管理，以“極速、低成本、高質(zhì)量”要求來響應業(yè)務部門的個性化數(shù)據(jù)需求。平臺設計理念·三大實施策略1）有實現(xiàn)數(shù)據(jù)全程的可見、可管、可控，最小化業(yè)務和技術溝通成本的理論和機制；2）有實現(xiàn)數(shù)據(jù)的全生命周期管理的理論和機制；3）有實現(xiàn)開發(fā)管理規(guī)范和數(shù)據(jù)管理規(guī)范低成本的嚴格執(zhí)行的理論和機制；4）有實現(xiàn)系統(tǒng)建設過程中問題的低成本監(jiān)管和解決的理論和機制；5）有實現(xiàn)引入第三方獨立監(jiān)管供應商來負責系統(tǒng)的監(jiān)控和維護的理論和機制。1）有保證業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)的一致性的理論和機制；2）有保證元數(shù)據(jù)與數(shù)據(jù)加工環(huán)節(jié)的一致性的理論和機制；3）有實現(xiàn)基于歷史經(jīng)驗的告警機制；4）有低成本高效地解決傳統(tǒng)調(diào)度面臨的問題定位和修復問題最小代價等難題的理論和機制。1）有保證文檔與實現(xiàn)的一致性機制；2）有實現(xiàn)對文檔系統(tǒng)的低依賴性的機制。整理制作郎豐利1519質(zhì)量管控2系統(tǒng)管控1知識管控3平臺總體架構元數(shù)據(jù)管理數(shù)據(jù)標準管理數(shù)據(jù)開發(fā)調(diào)度數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量管控數(shù)據(jù)共享服務…服務能力解決方案金融零售制造業(yè)交通農(nóng)業(yè)用戶群體行業(yè)應用基礎平臺數(shù)據(jù)開發(fā)人員數(shù)據(jù)分析師業(yè)務用戶數(shù)據(jù)科學家數(shù)據(jù)管理員數(shù)據(jù)操作員組織、用戶、角色、權限管理數(shù)據(jù)源管理數(shù)據(jù)采集插件管理數(shù)據(jù)管理基礎平臺大數(shù)據(jù)存儲與計算引擎日志管理元數(shù)據(jù)智能管理調(diào)度中心建模設計數(shù)據(jù)治理服務能力數(shù)據(jù)共享數(shù)據(jù)服務引擎服務門戶數(shù)據(jù)門戶（Web

UI）數(shù)據(jù)治理（Web

UI）元數(shù)據(jù)管理元數(shù)據(jù)血緣元數(shù)據(jù)維護元數(shù)據(jù)解析元數(shù)據(jù)采集數(shù)據(jù)標準管理業(yè)務標準管理技術標準管理命名標準管理維度標準管理數(shù)據(jù)質(zhì)量管理質(zhì)量統(tǒng)計分析質(zhì)量報告管理質(zhì)量稽核管理質(zhì)量規(guī)則配置數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)檢索數(shù)據(jù)資產(chǎn)總覽數(shù)據(jù)資產(chǎn)地圖數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)開發(fā)管理統(tǒng)一任務調(diào)度數(shù)據(jù)模型設計可視化開發(fā)數(shù)據(jù)腳本開發(fā)數(shù)據(jù)服務管理訂閱審核服務監(jiān)控服務審核服務管理算法庫消息管理互聯(lián)網(wǎng)…電子政務教育平臺技術架構采用工廠化的數(shù)據(jù)處理和管理模式，通過數(shù)據(jù)生產(chǎn)計劃、數(shù)據(jù)生產(chǎn)執(zhí)行和數(shù)據(jù)生產(chǎn)管理三大子模塊，保障數(shù)據(jù)處理全過程透明可控，實現(xiàn)工具化、流程化和自動化的開發(fā)、運維、管理，提升數(shù)據(jù)開發(fā)、生產(chǎn)效率，保持系統(tǒng)健康、持續(xù)、穩(wěn)定的發(fā)展。數(shù)據(jù)處理管理模塊：負責軟件開發(fā)和數(shù)據(jù)規(guī)范的管控數(shù)據(jù)生產(chǎn)計劃模塊主要功能為：需求設計、設計確認等數(shù)據(jù)處理執(zhí)行模塊：負責數(shù)據(jù)處理計劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)質(zhì)量控制等工作提供元數(shù)據(jù)獲取和管理功能提供數(shù)據(jù)對象設計功能提供對象化接口模塊提供數(shù)據(jù)質(zhì)量管理功能提供可視化的標準IDE環(huán)境提供與各類底層平臺對接功能提供基于元數(shù)據(jù)血緣圖的調(diào)度功能平臺功能特性·組件化應用提供各類組件，支持通過拖拉組件的方式快速形成數(shù)據(jù)生產(chǎn)線，縮短應用的開發(fā)周期、節(jié)約應用的開發(fā)成本、提高應用的開發(fā)質(zhì)量，幫助用戶更快地完成數(shù)據(jù)模型、數(shù)據(jù)處理的開發(fā)。組件采用松耦合式的架構，支持自定義擴展。分為三種類型：功能組件、模板組件、管控組件。01)功能組件02)管控組件03)模板組件04)自定義擴展功能組件對常用的數(shù)據(jù)處理、系統(tǒng)交互等方法進行封裝，實現(xiàn)快速的數(shù)據(jù)處理開發(fā)。包括：1）數(shù)據(jù)采集組件；2）數(shù)據(jù)處理組件；3）數(shù)據(jù)加載組件；4）數(shù)據(jù)分發(fā)組件；5）數(shù)據(jù)校驗組件；6）質(zhì)量告警組件。管控組件為系統(tǒng)管理員對開發(fā)人員開發(fā)的規(guī)范性提供管控手段。包括：1）命名規(guī)范組件；2）元數(shù)據(jù)完整性組件；3）表關聯(lián)合理性組件；4）余度限制組件；5）危險操作控制組件；6）質(zhì)量規(guī)則組件；7）告警處理組件；8）分析報告組件。模板組件為開發(fā)人員提供數(shù)據(jù)模型快速開發(fā)的手段。包括：1）HDFS模板；2）HIVE模板；3）MR/Spark模板；4）HBase

模板；6）RDBMS模板。平臺的組件具備可擴展能力，支持組件的新增、刪除、修改。組件擴展采用熱插拔機制，且無需重啟平臺。平臺功能特性·元數(shù)據(jù)管理提供元數(shù)據(jù)管理功能，獲取和管理在開發(fā)過程中沉淀的各類元數(shù)據(jù)信息，并提供開放開視圖，以支持管理人員、業(yè)務人員和技術人員快速準確地了解系統(tǒng)，同時支持數(shù)據(jù)質(zhì)量管理、安全管理、應用優(yōu)化、應用開發(fā)等功能。元數(shù)據(jù)前向獲取統(tǒng)一管理和開放元數(shù)據(jù)一致性保障為確保元數(shù)據(jù)能夠真實反映系統(tǒng)現(xiàn)狀，平臺提供業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)、技術元數(shù)據(jù)與技術實現(xiàn)、元數(shù)據(jù)血緣與數(shù)據(jù)調(diào)度等一致性的保障功能。1）業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)的一致性保障；2）技術元數(shù)據(jù)與技術實現(xiàn)的一致性保障；3）元數(shù)據(jù)血緣與數(shù)據(jù)調(diào)度的一致性。提供元數(shù)據(jù)前向獲取功能，讓開發(fā)人員在完成應用程序開發(fā)的同時，完成元數(shù)據(jù)的收集。元數(shù)據(jù)獲取分兩類：1）技術元數(shù)據(jù)的獲取；2）業(yè)務元數(shù)據(jù)的獲取。提供元模型設計、元數(shù)據(jù)填充、血緣分析等元數(shù)據(jù)管理功能平臺功能特性·數(shù)據(jù)處理根據(jù)不同的數(shù)據(jù)生產(chǎn)環(huán)境，具備不同的數(shù)據(jù)處理能力，可根據(jù)自身需求，基于平臺擴展自主的數(shù)據(jù)處理功能。數(shù)據(jù)治理平臺提供數(shù)據(jù)處理各項能力的開發(fā)功能，提供包括數(shù)據(jù)采集、處理、裝載、分發(fā)、校驗等功能開發(fā)。具備執(zhí)行標準的開源Hadoop接口調(diào)用能力，以及基于個性化Hadoop接口封裝能力。如果數(shù)據(jù)存儲是以數(shù)據(jù)庫表形式，應支持基于SQL的數(shù)據(jù)處理開放。開發(fā)者可以通過集成開發(fā)環(huán)境編寫相應的SQL語句，發(fā)送到相應的數(shù)據(jù)庫運行?；赟QL的數(shù)據(jù)處理基于Hive提供類SQL的數(shù)據(jù)處理能力的開放。開發(fā)者通過集成開發(fā)環(huán)境編寫相應的HiveQL

語句，并發(fā)送到Hive執(zhí)行，以處理存儲在分布式文件系統(tǒng)HDFS中的數(shù)據(jù)。類SQL的數(shù)據(jù)處理Spark是基于MapReduce

算法實現(xiàn)的分布式計算，它立足于內(nèi)存計算，能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce

的算法。SparkSQL基于Spark提供SQL方式的數(shù)據(jù)訪問。基于Spark的數(shù)據(jù)處理支持在集成開發(fā)環(huán)境中進行MR作業(yè)開發(fā)，對開發(fā)者屏蔽Hadoop底層的復雜性?；贛ap/Reduce的數(shù)據(jù)處理開發(fā)提供對已設計完成的數(shù)據(jù)計算模型進行申請，注冊，提交，執(zhí)行，監(jiān)控的統(tǒng)一管理的功能流處理，支持流式計算平臺功能特性·質(zhì)量管理平臺提供從設計、開發(fā)到運行全過程的數(shù)據(jù)質(zhì)量管理功能，以及從數(shù)據(jù)來源、數(shù)據(jù)加工到數(shù)據(jù)輸出的全流程監(jiān)控功能。設計階段質(zhì)量在平臺中數(shù)據(jù)質(zhì)量規(guī)則是設計出來的，并作用于數(shù)據(jù)處理過程，具備靈活調(diào)整的特性，可實現(xiàn)PDCA循環(huán)的落地.開發(fā)階段質(zhì)量在開發(fā)階段，平臺提供規(guī)則配置和規(guī)范檢查功能。包括：1）規(guī)則配置；2）規(guī)范檢查。全流程監(jiān)控平臺提供全流程監(jiān)控功能，各層的監(jiān)控包含但不限于以下規(guī)則：1）數(shù)據(jù)來源質(zhì)量監(jiān)控規(guī)則；2）數(shù)據(jù)加工質(zhì)量監(jiān)控規(guī)則（包括臨時表）；3）數(shù)據(jù)輸出質(zhì)量監(jiān)控規(guī)則。PDCA優(yōu)化1）P(plan)計劃，分析現(xiàn)狀，制定質(zhì)量監(jiān)控規(guī)則；2）D(Do)執(zhí)行，執(zhí)行監(jiān)控規(guī)則；3）C(check)檢查，檢查執(zhí)行結果是否達到了預定的目標；4）A(act)修正，對檢查的結果進行處理，對準確的質(zhì)量監(jiān)控規(guī)則予以標準化。運行階段質(zhì)量運行階段，平臺提供系統(tǒng)自動化保障和質(zhì)量規(guī)則監(jiān)控告警功能。包括：1）質(zhì)量規(guī)則監(jiān)控告警；2）系統(tǒng)自動化保障。平臺功能特性·統(tǒng)一調(diào)度提供統(tǒng)一的調(diào)度管理，用于數(shù)據(jù)層和應用層的任務調(diào)度。在統(tǒng)一調(diào)度下，每個任務都是一個個的數(shù)據(jù)對象，任務的前后關系嚴格按照元數(shù)據(jù)血緣關系進行調(diào)度，實現(xiàn)數(shù)據(jù)從源頭到目標的全程的元數(shù)據(jù)血緣與數(shù)據(jù)調(diào)度的一致性。在統(tǒng)一調(diào)度下，可進行調(diào)度關系管理、調(diào)度周期管理、調(diào)度狀態(tài)管理和調(diào)度資源管理。調(diào)度狀態(tài)管理提供調(diào)度狀態(tài)查看和控制功能：1）通過列表或圖形化界面，可查看調(diào)度運行過程中任務的狀態(tài)；2）提供可對錯誤進行分析和處理的操作；3）提供歷史調(diào)度信息庫；調(diào)度周期管理提供各類不同類型的調(diào)度周期：1）固定調(diào)度；2）定時調(diào)度；調(diào)度關系管理自動和手動的調(diào)度機制，提供調(diào)度關系管理功能，包括：1）調(diào)度關系設置功能；2）調(diào)度關系分析功能；3）調(diào)度重跑最小代價分析功能；4）調(diào)度關系維護功能；調(diào)度資源管理提供調(diào)度資源的管理功能，包括：1）隊列設置；2）并發(fā)數(shù)設置；3）優(yōu)先級設置；4）任務分配；跨平臺統(tǒng)一調(diào)度支持異構計算引擎下的任務調(diào)度，能夠按照數(shù)據(jù)流向關系組成數(shù)據(jù)流圖，即不同環(huán)境下的任務，能同時存在于同一數(shù)據(jù)流調(diào)度圖中。平臺功能設計平臺應用案例·某運營商大數(shù)據(jù)體系離線采集（ETL平臺）數(shù)據(jù)采集B域數(shù)據(jù)O域數(shù)據(jù)M域數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)社交數(shù)據(jù)…實時采集（Flume/Kafka）互聯(lián)網(wǎng)采集（采集平臺）DPI數(shù)據(jù)模型數(shù)據(jù)倉庫操作數(shù)據(jù)存儲層市場基礎模型政企基礎模型大數(shù)據(jù)平臺位置數(shù)據(jù)模型信令數(shù)據(jù)模型通信數(shù)據(jù)模型數(shù)據(jù)存儲經(jīng)分系統(tǒng)政企產(chǎn)品運營平臺標簽庫數(shù)據(jù)應用數(shù)據(jù)集市業(yè)務網(wǎng)管參與建設重點建設政企應用模型市場應用模型統(tǒng)一GIS平臺政企客戶分析平臺營銷管理平臺全面、深度的參與了某運營商大數(shù)據(jù)管理與應用體系的建設，深耕政企數(shù)據(jù)管理與運營分析，先后建設了政企產(chǎn)品運營平臺，政企客戶分析平臺，統(tǒng)一GIS平臺，營銷管理平臺，并主導建立了某運營商政企數(shù)據(jù)經(jīng)營分析全流程體系。平臺應用案例·某公安大數(shù)據(jù)資源平臺總體方案公安大數(shù)據(jù)中心構建TB級大數(shù)據(jù)采集、存儲、計算、挖掘、分析與應用能力匯聚數(shù)據(jù)資源形成數(shù)據(jù)資產(chǎn)保護數(shù)據(jù)安全挖掘數(shù)據(jù)價值形成業(yè)務洞察建立數(shù)據(jù)服務城市管理者城市運營者城市企業(yè)城市監(jiān)管機構城市居民公安各系統(tǒng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)社會數(shù)據(jù)政府機構數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…智慧公安數(shù)據(jù)檢索數(shù)據(jù)計算決策依據(jù)洞察&建議數(shù)據(jù)統(tǒng)計、經(jīng)營分析、風險預警、智能服務、輔助決策&兌現(xiàn)數(shù)據(jù)價值、賦能公安實戰(zhàn)、提升治安水平、推動社會發(fā)展平臺應用案例·某ZX中心工廠化生產(chǎn)管控平臺利用數(shù)據(jù)治理平臺產(chǎn)品，建設了某ZX中心數(shù)據(jù)倉庫的建管一體化平臺，通過對某ZX中心數(shù)據(jù)倉庫的全面重構以及建管一體化的新生產(chǎn)方式的實施，解決了長期困擾某ZX中心的數(shù)據(jù)倉庫內(nèi)部模型和代碼黑盒化的問題。采用了工廠化的數(shù)據(jù)處理和管理模式，改變了傳統(tǒng)的數(shù)據(jù)處理和管理方式，實現(xiàn)數(shù)據(jù)“統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理、統(tǒng)一運營、統(tǒng)一服務”；構建了面向數(shù)據(jù)處理的統(tǒng)一管控框架；實現(xiàn)了模型和數(shù)據(jù)處理的標準化、規(guī)范化；實現(xiàn)了數(shù)據(jù)處理過程中元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的統(tǒng)一管控；建立系統(tǒng)知識庫，沉淀數(shù)據(jù)資產(chǎn)、管理規(guī)則與應用模型相關知識。完成了某ZX中心數(shù)據(jù)倉庫全面的重構；建立并實施了建管一體化的全新數(shù)據(jù)管理與生產(chǎn)方式。平臺應用案例·某證券統(tǒng)統(tǒng)一調(diào)度平臺利用數(shù)據(jù)治理平臺產(chǎn)品，為某證券搭建了數(shù)據(jù)管理與應用的統(tǒng)一調(diào)度平臺，解決了某證券跨系統(tǒng)跨計算引擎的統(tǒng)一調(diào)度所存