數(shù)據(jù)治理平臺(tái)與數(shù)據(jù)運(yùn)營體系建設(shè)方案_第1頁
數(shù)據(jù)治理平臺(tái)與數(shù)據(jù)運(yùn)營體系建設(shè)方案_第2頁
數(shù)據(jù)治理平臺(tái)與數(shù)據(jù)運(yùn)營體系建設(shè)方案_第3頁
數(shù)據(jù)治理平臺(tái)與數(shù)據(jù)運(yùn)營體系建設(shè)方案_第4頁
數(shù)據(jù)治理平臺(tái)與數(shù)據(jù)運(yùn)營體系建設(shè)方案_第5頁
已閱讀5頁,還剩48頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

數(shù)據(jù)治理平臺(tái)與數(shù)據(jù)運(yùn)營體系建設(shè)方案

構(gòu)建高效、安全、規(guī)范的大數(shù)據(jù)治理管理與運(yùn)

目錄

01數(shù)據(jù)治理總體解決方案

02數(shù)據(jù)治理平臺(tái)建設(shè)方案

03數(shù)據(jù)治理運(yùn)營實(shí)施方案

01

數(shù)據(jù)治理總體解決方案

對(duì)數(shù)據(jù)治理的總體認(rèn)識(shí)

狹義上:數(shù)據(jù)治理是指對(duì)數(shù)據(jù)質(zhì)量的管理、專注在數(shù)據(jù)本身。義:數(shù)據(jù)治理專注于將數(shù)閽乍為企事業(yè)單位數(shù)據(jù)資產(chǎn)進(jìn)行應(yīng)用

和管理的一套管理機(jī)制,能夠消除數(shù)據(jù)的不一致性.

廣義上:數(shù)據(jù)治理是對(duì)數(shù)據(jù)的全生命周期進(jìn)行管理,包含數(shù)據(jù)采集、清

建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn).提高數(shù)據(jù)質(zhì)量,實(shí)現(xiàn)數(shù)據(jù)內(nèi)外部共

洗、轉(zhuǎn)換等傳統(tǒng)數(shù)據(jù)集成和存儲(chǔ)環(huán)節(jié)的工作、同時(shí)還包含數(shù)據(jù)資產(chǎn)目錄、

數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全、數(shù)據(jù)開發(fā)、數(shù)據(jù)服務(wù)與應(yīng)用等,整個(gè)數(shù)據(jù)生命期享,并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)

而開展開的業(yè)務(wù)、技術(shù)和管理活動(dòng)都屬于數(shù)據(jù)治理范疇。數(shù)據(jù)治理定略決策中,發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值。

數(shù)據(jù)治理方法論】數(shù)據(jù)治理要素;

匯聚融合提煉抽象數(shù)據(jù)規(guī)范:沒

有規(guī)矩,不成

G上云匯冬方圓

全里檔康關(guān)系中心如渡中心■臺(tái)理活

]-ATJ||I?數(shù)據(jù)費(fèi)產(chǎn)大圳?標(biāo)簽市商

成線款碾實(shí)時(shí)故據(jù)動(dòng),理論結(jié)合

一檔

,安保85投大

故樨管理》全思畫像實(shí)踐

W?T

?raw

服務(wù)

模型治理A預(yù)默

A規(guī)照引擎》數(shù)據(jù)與故

reevr'獸中心>API開放「理要荔;;

王翌同蹲

成再數(shù)更,IDMapijn^.ID哉叩”A

AMMS

大數(shù)據(jù)管理典型方案

實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)

經(jīng)營分析曾輔助決策合價(jià)值挖掘£數(shù)據(jù)智能的保管與增值

I-K業(yè)務(wù)目表單樣式金I計(jì)算任務(wù)調(diào)度

標(biāo)BI一一需求

分析數(shù)據(jù)整合模理上-------------功能返應(yīng)用發(fā)布數(shù)據(jù)應(yīng)用

計(jì)讓數(shù)據(jù)賦能業(yè)務(wù)

數(shù)據(jù)應(yīng)用/曦務(wù)集市

數(shù)據(jù)采集數(shù)據(jù)資源數(shù)據(jù)計(jì)算管理i臺(tái)理開發(fā)調(diào)度數(shù)據(jù)模型機(jī)器學(xué)習(xí)數(shù)盛全

云計(jì)算大數(shù)據(jù)大數(shù)據(jù)管理與應(yīng)用平臺(tái)AIaa圖譜技

術(shù)

整合數(shù)據(jù)*資源連接各類人員

0息3忠

5

大數(shù)據(jù)平臺(tái)典型架構(gòu)

統(tǒng)一運(yùn)維數(shù)據(jù)安全

數(shù)據(jù)管理門戶&數(shù)據(jù)可視化

數(shù)據(jù)應(yīng)經(jīng)營分析

用輔助決策

數(shù)據(jù)治元數(shù)據(jù)

理管理管理

監(jiān)控?cái)?shù)據(jù)脫

告警敏管理

111

存儲(chǔ)計(jì)算

故障安全日

志管理

運(yùn)維流安全審

程管理計(jì)管理

數(shù)據(jù)采

實(shí)時(shí)采集FTP采集垃『隹.

集1離線采集?L接口米集?通式采集二

運(yùn)維作安全告

業(yè)務(wù)系統(tǒng)麒.…I招用力■非結(jié)構(gòu)化數(shù)據(jù).互聯(lián)網(wǎng)數(shù)據(jù)■.

數(shù)據(jù)源物聯(lián)網(wǎng)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)流業(yè)管理

6

大數(shù)據(jù)平臺(tái)典型架構(gòu)

(管理與開放)門戶

數(shù)據(jù)共享開放平臺(tái)

數(shù)據(jù)治理平臺(tái)

數(shù)據(jù)資源中心(數(shù)據(jù)湖,基礎(chǔ)數(shù)據(jù)庫,基礎(chǔ)庫,主專題庫)

數(shù)據(jù)源

大數(shù)據(jù)平臺(tái)典型架構(gòu)

統(tǒng)一

運(yùn)維

管理

平臺(tái)

數(shù)據(jù)源

大數(shù)據(jù)平臺(tái)典型架構(gòu)

數(shù)

據(jù)

臺(tái)

數(shù)據(jù)基礎(chǔ)支撐平臺(tái)

數(shù)據(jù)采集平臺(tái)

數(shù)據(jù)源

數(shù)據(jù)治理在整個(gè)大數(shù)據(jù)平臺(tái)中的定位

數(shù)據(jù)共享開放平臺(tái)數(shù)據(jù)管理與應(yīng)用門戶

。明曲汨留修乃內(nèi)通

珊幅制即度

提供數(shù)據(jù)加工處理的

居共享:統(tǒng)管理核心能力,并串聯(lián)、

集成其他能力模塊完

0saesrgs(畋居、杭隹、鼬、令隊(duì)目錄)=)\成面向需求的數(shù)據(jù)生

數(shù)據(jù)治理平臺(tái)r產(chǎn),是實(shí)現(xiàn)將原始數(shù)

據(jù)資源轉(zhuǎn)換為數(shù)據(jù)應(yīng)

數(shù)據(jù)采集任務(wù)謂度9瞽H/理提取與存儲(chǔ)

用服務(wù)的中心樞紐

數(shù)據(jù)采集平臺(tái)

數(shù)據(jù)資源中心

/、制的主要界面

數(shù)據(jù)源數(shù)據(jù)基礎(chǔ)支撐平口

10

數(shù)據(jù)治理總體方案

利用數(shù)據(jù)治理平臺(tái)所覆蓋的從標(biāo)準(zhǔn)、設(shè)計(jì)、采集、開發(fā)到使用,再到交付和運(yùn)維的全數(shù)據(jù)治理流程,幫助組織實(shí)現(xiàn)一站式數(shù)據(jù)治理運(yùn)營服務(wù)可滿足數(shù)

據(jù)共享交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)運(yùn)營多種應(yīng)用場景,并通過構(gòu)建數(shù)據(jù)工廠實(shí)現(xiàn)數(shù)據(jù)治理的標(biāo)準(zhǔn)化、流程化與組件化。

數(shù)據(jù)生產(chǎn)者大數(shù)據(jù)治理平臺(tái)數(shù)據(jù)消費(fèi)者

I

業(yè)務(wù)I~婁據(jù);第規(guī)范標(biāo)準(zhǔn)(元數(shù)據(jù)、標(biāo)準(zhǔn)、質(zhì)量、資產(chǎn)、目錄)內(nèi)部管理者

清洗■質(zhì)量?賺資產(chǎn)

數(shù)

日志數(shù)據(jù),:內(nèi)部業(yè)務(wù)部門:

據(jù)

I

據(jù)

力0T■*甑■共享I

歸I

I

,:內(nèi)部下屬單位:

£命周期甯里

1物:持續(xù)反饋

大數(shù)據(jù)資源中心口楸伴

夕陪剛勾???

,或關(guān)網(wǎng)瓣

I數(shù)據(jù)安全管控

11

數(shù)據(jù)治理?數(shù)據(jù)采集方案

委辦局政

委辦委辦委辦

務(wù)網(wǎng)VPC委辦1委辦2委辦N23N

(批數(shù)據(jù))

DB類型MySQLoracle結(jié)構(gòu)化文件非結(jié)構(gòu)化文件

大數(shù)據(jù)平臺(tái)數(shù)據(jù)采集

數(shù)據(jù)湖

>>里.>>

?批數(shù)據(jù)處理:通過數(shù)據(jù)采集平臺(tái)任務(wù)調(diào)度的方式,根據(jù)時(shí)間戳定時(shí)探查委辦局前置庫數(shù)據(jù)以及結(jié)構(gòu)化文件的變動(dòng),通過數(shù)據(jù)采集平臺(tái)的解析,抽取增

量數(shù)據(jù)到數(shù)據(jù)湖。

?流數(shù)據(jù)處理:通過數(shù)據(jù)湖內(nèi)獨(dú)立部署kafka消息系統(tǒng),采用委辦局推送或自動(dòng)拉取的方式,接入流數(shù)據(jù)。

?數(shù)據(jù)抽取過程中進(jìn)行監(jiān)測(cè),實(shí)施監(jiān)測(cè)目前抽取的狀態(tài)、抽取進(jìn)度,斷流告警,一致性檢測(cè)結(jié)果等。并通過分布式部署提高數(shù)據(jù)抽取速度。

12

I數(shù)據(jù)治理?數(shù)據(jù)應(yīng)用開發(fā)

b數(shù)據(jù)探索a模型開發(fā)令程序開發(fā)品程序測(cè)試舄審核上線

select,IraB<tefaulLDAEM.lidUEwherep.day?:sded?frcn

hu_uiflr_calLc?untscounts*16.select?frailhuuicrcal

I.countswhereccwnts>16;2.模型定義;5.程序在線測(cè)試

shovtableslike*>Uw_dl<|)350_hlve_(IR:

??k>ci?I?o_da<i>350_hiv?_<leu_i?Aor(2_20i8、",lr<?

創(chuàng)建模型基礎(chǔ)廠.…一」提供WEB界面可視化測(cè)試:信息、乂模括乂g

taw_<te<p35(]jklT?_(BtA_iHport2J20I8seloct?frcai

tMp_dfcp350jBiT?_dBta_iBpart2_20181iselect?fr<VIE-AV功能]查看執(zhí)行時(shí)長、執(zhí)行:

VHp_datpf^Lhiv?_<tet?_lwcrt2J2018lx

)狀態(tài)熊息,方便開發(fā)人員!田調(diào)試■

/性能分析.

eflDHDflBcnna£-

04-編輯模型應(yīng)用程序[6-調(diào)度配置

1■數(shù)據(jù)探索,MW*R

,①可視化開發(fā):固懶呈序命:令,拖拽式使用,自由配置邏壁

根據(jù)業(yè)務(wù)邏輯做需求分析,i,7■提交審核并上線

:②腳本開發(fā):支持sql、

通過探索了解相關(guān)數(shù)據(jù)情開發(fā)人員建立上線任

添加表結(jié)構(gòu)息Python,java,shell等類型:提供手工用灌*式,時(shí)務(wù),

腳本

提交審核并上線

13

數(shù)據(jù)治理?統(tǒng)一調(diào)度方案

數(shù)據(jù)共享開放應(yīng)用平

庫表數(shù)據(jù)下

發(fā)任務(wù)調(diào)度

采集矜

調(diào)度對(duì)接元數(shù)據(jù)同步

數(shù)據(jù)治理?開數(shù)據(jù)治理?資

數(shù)據(jù)采集平臺(tái)發(fā)調(diào)度平臺(tái)產(chǎn)管理平臺(tái)

JDBC流數(shù)據(jù)處理

接口-------------------------------------

數(shù)據(jù)支撐平臺(tái)

/數(shù)據(jù)采集平臺(tái)的采集任務(wù)完成后,通知開發(fā)調(diào)度管理平臺(tái)的庫內(nèi)處理程序進(jìn)行調(diào)度任務(wù)的銜接;

/數(shù)據(jù)支撐平臺(tái)提供JDBC接口,供開發(fā)調(diào)度管理平臺(tái)調(diào)用,實(shí)現(xiàn)數(shù)據(jù)庫操作的調(diào)度開發(fā)調(diào)度管理平臺(tái)對(duì)數(shù)據(jù)支撐平臺(tái)發(fā)布流數(shù)據(jù)處

理償;

/數(shù)據(jù)資產(chǎn)管理平臺(tái)提供元數(shù)據(jù)同步接口,把模型元數(shù)據(jù)同步給開發(fā)調(diào)度管理平臺(tái)做庫內(nèi)處理開發(fā)

/數(shù)據(jù)調(diào)度平臺(tái)完成相關(guān)數(shù)據(jù)應(yīng)用計(jì)算后,將庫表數(shù)據(jù)推送給數(shù)據(jù)開放平臺(tái),對(duì)外開放使用。

14

數(shù)據(jù)治理?數(shù)據(jù)資產(chǎn)管理

模型管理目錄管理質(zhì)量管理標(biāo)準(zhǔn)官理

數(shù)模型維護(hù)關(guān)系關(guān)聯(lián)目錄維護(hù)資源編目質(zhì)量定義規(guī)則庫標(biāo)燮護(hù)標(biāo)準(zhǔn)導(dǎo)入

據(jù)

代碼關(guān)聯(lián)橢分析目彝類目錄標(biāo)簽規(guī)則瓣數(shù)據(jù)檢核標(biāo)準(zhǔn)瀏覽落地檢核

元數(shù)據(jù)]目錄級(jí)聯(lián)]

產(chǎn)版本管理數(shù)據(jù)糾正質(zhì)量報(bào)告代碼映射版本管理

管T

資源管理共享管理

數(shù)據(jù)源管理資源注冊(cè)資源發(fā)布資源審核應(yīng)用場景事項(xiàng)字典預(yù)算項(xiàng)目應(yīng)用系統(tǒng)

前置節(jié)點(diǎn)庫表資源文件資源接口資源…

共享申請(qǐng)共享審核共享授權(quán)共享統(tǒng)計(jì)...

數(shù)蜂庫一SMSS8S庫

據(jù)

■部門數(shù)據(jù)庫人口庫城市運(yùn)行

部門數(shù)據(jù)庫法人經(jīng)濟(jì)運(yùn)行…

政務(wù)云管理存儲(chǔ)管理網(wǎng)絡(luò)管理資源調(diào)度|用戶離隹|系統(tǒng)管理

臬礎(chǔ)設(shè)施層J」i——’11

I邏輯資源層(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源)?

/根據(jù)提供方供數(shù)責(zé)任,對(duì)接入數(shù)據(jù)資源進(jìn)行編目,維護(hù)其業(yè)務(wù)屬性和管理屬性,使其初步具備應(yīng)用條件;

,參照數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)數(shù)據(jù)模型結(jié)構(gòu)、業(yè)務(wù)代碼,通過建立變更管理和版本控制,實(shí)現(xiàn)數(shù)據(jù)模型管控;

,通過基礎(chǔ)元數(shù)據(jù)定義數(shù)據(jù)資產(chǎn)規(guī)格(如:庫表、文件、文件夾、接口等),并借助統(tǒng)一平臺(tái)實(shí)現(xiàn)資源接入。

15

數(shù)據(jù)治理項(xiàng)目實(shí)施方案

以構(gòu)建一個(gè)能

持續(xù)高效運(yùn)轉(zhuǎn)

的數(shù)據(jù)治理體

系為目標(biāo)

t

16

逐步構(gòu)建一套大數(shù)據(jù)治理應(yīng)用與服務(wù)體系

數(shù)據(jù)建模數(shù)據(jù)分析咨詢

大數(shù)據(jù)平臺(tái)建設(shè)數(shù)倉建

/BI數(shù)據(jù)治理應(yīng)用開發(fā)專題主題開發(fā)運(yùn)營支撐…

―設(shè)----------

數(shù)據(jù)處理管理?、“,?r-?,1機(jī)器學(xué)習(xí)

1LAT..

?1數(shù)據(jù)倉庫管理治理對(duì)比分析交叉分析回歸聚類語音識(shí)別

朝HadoopETL..回歸分析數(shù)據(jù)標(biāo)簽分類神經(jīng)網(wǎng)培圖像識(shí)別

統(tǒng)計(jì)分析方法管理分析理論

公式法對(duì)比法4P用戶使用行為PEST5W2H

二八法漏斗法STP理論邏輯樹生命周期

17

02

數(shù)據(jù)治理平臺(tái)建設(shè)方案

平臺(tái)總體概述

大數(shù)據(jù)時(shí)代組織普遍要面對(duì)數(shù)據(jù)多樣化,缺少統(tǒng)一標(biāo)準(zhǔn),集成困難;數(shù)據(jù)分散,形成信息孤島,共享困難;數(shù)據(jù)質(zhì)量低下,導(dǎo)致統(tǒng)

計(jì)不準(zhǔn)確的諸多問題。如何有效管理數(shù)據(jù)資源使之能夠驅(qū)動(dòng)業(yè)務(wù)的快速發(fā)展,成為數(shù)據(jù)治理產(chǎn)品的核心價(jià)值所在。

采集/集成環(huán)節(jié)

數(shù)據(jù)治理平臺(tái)適用于分析型系統(tǒng)數(shù)據(jù)處理的各個(gè)過

提供多種數(shù)據(jù)采集或集成,包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)m外部文件、第

程,負(fù)責(zé)數(shù)據(jù)的加工處理以及加工處理過程數(shù)據(jù)標(biāo)三方接口抽取,實(shí)時(shí)消息采集等

準(zhǔn)、元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。平臺(tái)可以提供數(shù)據(jù)

加工/計(jì)算環(huán)節(jié)

輸入、數(shù)據(jù)加工、數(shù)據(jù)輸出等數(shù)據(jù)流圖各個(gè)過程的支撐多種數(shù)據(jù)加工方式,包括批量數(shù)據(jù)加工,實(shí)時(shí)交互計(jì)算,機(jī)器

全生命周期、全流程的數(shù)據(jù)處理,并在數(shù)據(jù)處理全學(xué)習(xí)等。

過程提供中提供數(shù)據(jù)治理和數(shù)據(jù)管控的一站式解決

支持用戶個(gè)性化需求、自主數(shù)據(jù)探索,提供固定主題的報(bào)表、指標(biāo),

方案。

臨時(shí)報(bào)表需求、自助取數(shù),數(shù)據(jù)探索、數(shù)據(jù)實(shí)驗(yàn)等功能。

19

平臺(tái)設(shè)計(jì)理念?一個(gè)標(biāo)準(zhǔn)化工廠

storyAtntractConcrete(oofigAMCHIMCScheduleMain<eiumce

尸小

SDFADfCDfPtX

socADCCDCPDC

數(shù)據(jù)治理產(chǎn)品以為組織打造通用的數(shù)據(jù)工廠為設(shè)計(jì)理念,以構(gòu)建流水式數(shù)據(jù)產(chǎn)線為核心,幫助組織快速實(shí)現(xiàn)從’‘?dāng)?shù)據(jù)原料”到

“數(shù)據(jù)產(chǎn)品”整個(gè)過程的加工處理、價(jià)值轉(zhuǎn)化以及規(guī)范管控。

>DCF:由DC構(gòu)成的Flow,良好的Context衛(wèi)有星務(wù)化的語義標(biāo)普,升上流程業(yè)務(wù)化的it明度

一體務(wù)面的DCF,調(diào)度?ETL?/?欺據(jù)橫型管理理管控…

標(biāo)準(zhǔn)化生產(chǎn)自動(dòng)化生產(chǎn)精益化管理

??*??<

工建解

4UK?工理鑄冬郵。鮮

itH20

/由多個(gè)工序最終生成一體多面的數(shù)據(jù)治理

/由場景理解、場景抽象、抽象實(shí)現(xiàn)、抽,由數(shù)據(jù)上下文形成自動(dòng)化的數(shù)據(jù)流

象配置、方案生成、調(diào)度等工序組成流程

21

平臺(tái)設(shè)計(jì)理念?四大治理原則

MetadataBeforeCodingBusinessDrivenDesign

業(yè)務(wù)元數(shù)據(jù)手眼術(shù)元數(shù)據(jù)的強(qiáng)以最大化業(yè)務(wù)需求吻合度為

制性前向獲取機(jī)制,杜絕元數(shù)目標(biāo),所有數(shù)據(jù)對(duì)象的設(shè)計(jì)

據(jù)的后期補(bǔ)錄,建設(shè)保證業(yè)務(wù)和實(shí)現(xiàn),都必須以業(yè)務(wù)需求

元數(shù)據(jù)/技術(shù)元數(shù)據(jù)廢術(shù)實(shí)現(xiàn)為驅(qū)動(dòng),在最大程度上保證

這三者一致性的技術(shù)機(jī)制.數(shù)據(jù)對(duì)象與業(yè)務(wù)需求的一致

性.

ObjectOrientedArchitecture

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論