數(shù)字化轉(zhuǎn)型中的大數(shù)據(jù)治理架構(gòu)設(shè)計(jì)思路

數(shù)字化轉(zhuǎn)型中的大數(shù)據(jù)治理架構(gòu)設(shè)計(jì)方案目錄123數(shù)字化時(shí)代大數(shù)據(jù)向服務(wù)化發(fā)展大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析普元大數(shù)據(jù)治理架構(gòu)實(shí)踐虛擬時(shí)空交易與現(xiàn)實(shí)時(shí)空交付的數(shù)字化時(shí)代突破狹義虧聯(lián)網(wǎng)的限制，訃識(shí)虛擬與現(xiàn)實(shí)的本質(zhì)：虛擬時(shí)空的交易與現(xiàn)實(shí)時(shí)空的交付互聯(lián)網(wǎng)信息虧通移勱互聯(lián)網(wǎng)時(shí)間自由

空間自由互聯(lián)網(wǎng)+虛擬時(shí)空&現(xiàn)實(shí)時(shí)空網(wǎng)上銀行、銀證通、銀保通手機(jī)銀行、移勱支付消費(fèi)金融、工業(yè)4.0人、物、商業(yè)數(shù)字化連接的商業(yè)模式發(fā)展趨勢：未來的企業(yè)必將成為數(shù)字化企業(yè)消費(fèi)者的生活方式日益數(shù)字化。人們可以在仸何時(shí)間、仸何地點(diǎn)利用線上、線下渠道體驗(yàn)無縫購物，運(yùn)用社交媒體表達(dá)自我，而一旦發(fā)現(xiàn)供應(yīng)商的服務(wù)欠佳，也比以往更迫切地更換服務(wù)商企業(yè)也希望綜合運(yùn)用多種技術(shù)支持，將已有能力向社會(huì)開放，改善客戶聯(lián)系，在創(chuàng)造社會(huì)價(jià)值的同時(shí)實(shí)現(xiàn)企業(yè)價(jià)值以大數(shù)據(jù)為驅(qū)勱的企業(yè)數(shù)字化轉(zhuǎn)型紅領(lǐng)集團(tuán)通過業(yè)務(wù)創(chuàng)新實(shí)現(xiàn)由客戶需求直接驅(qū)勱工廠的運(yùn)作模式以大數(shù)據(jù)為驅(qū)勱的企業(yè)數(shù)字化轉(zhuǎn)型紅領(lǐng)集團(tuán)通過業(yè)務(wù)創(chuàng)新實(shí)現(xiàn)由客戶需求直接驅(qū)勱工廠的運(yùn)作模式蘇州工業(yè)園區(qū)政務(wù)信息共享蘇州工業(yè)園區(qū)在信息化發(fā)展規(guī)劃中提出了

“三庫、三通、九樞紐”的信息化總體發(fā)展框架。三通企業(yè)通居民通政務(wù)通接入園區(qū)31個(gè)部門、涉及85個(gè)業(yè)務(wù)領(lǐng)域，335個(gè)數(shù)據(jù)分類，3981工作項(xiàng)。公安樞紐交通樞紐社保樞紐教育樞紐社區(qū)樞紐健康樞紐九樞紐…先后完成了公安、工商等15家人口、法人信息高關(guān)聯(lián)度局辦三庫企業(yè)基礎(chǔ)庫人口基礎(chǔ)庫地理信息庫的信息納入政務(wù)資源于平臺(tái)。園區(qū)云計(jì)算平臺(tái)趨勢：CDO辦公室成為數(shù)字化企業(yè)的標(biāo)準(zhǔn)崗位根據(jù)大數(shù)據(jù)咨詢公司NewVantagePartners近期發(fā)布的調(diào)查報(bào)告，在接受調(diào)查的企業(yè)中，2012年僅有12%仸命了首席數(shù)據(jù)官，而2016年這一比例上升到54%12%54%2008-2009年世界金融危機(jī)，第一位CDO誕生2012年2016年趨勢：數(shù)字化企業(yè)的數(shù)據(jù)中心向大數(shù)據(jù)服務(wù)轉(zhuǎn)型數(shù)據(jù)中心從成本中心轉(zhuǎn)變?yōu)槔麧欀行?，向外部提供服?wù)數(shù)據(jù)中心由數(shù)據(jù)管理轉(zhuǎn)變?yōu)閿?shù)據(jù)服務(wù)，為業(yè)務(wù)創(chuàng)新服務(wù)對(duì)內(nèi)應(yīng)用對(duì)內(nèi)應(yīng)用對(duì)內(nèi)應(yīng)用對(duì)內(nèi)應(yīng)用對(duì)外產(chǎn)品對(duì)外產(chǎn)品對(duì)外產(chǎn)品對(duì)外產(chǎn)品數(shù)據(jù)中心大數(shù)據(jù)服務(wù)數(shù)據(jù)采集研發(fā)團(tuán)隊(duì)趨勢：大數(shù)據(jù)平臺(tái)由功能化平臺(tái)向服務(wù)化平臺(tái)轉(zhuǎn)型為全業(yè)務(wù)域業(yè)務(wù)創(chuàng)新需求提供服務(wù)面向分析業(yè)務(wù)網(wǎng)絡(luò)數(shù)據(jù)

通信數(shù)據(jù)

信用數(shù)據(jù)

客戶數(shù)據(jù)三方數(shù)據(jù)業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新交易交易運(yùn)營生產(chǎn)分析服務(wù)服務(wù)大

數(shù)

據(jù)實(shí)時(shí)流數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)大

數(shù)

據(jù)分析分析分析經(jīng)營決策實(shí)時(shí)流數(shù)據(jù)運(yùn)營生產(chǎn)數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布非/結(jié)構(gòu)化數(shù)據(jù)風(fēng)險(xiǎn)控制生產(chǎn)預(yù)測服務(wù)非結(jié)構(gòu)化數(shù)據(jù)采集數(shù)據(jù)分析傳感器數(shù)據(jù)

社交媒體

IT/OT

圖像視頻大數(shù)據(jù)治理是大數(shù)據(jù)平臺(tái)服務(wù)化的關(guān)鍵用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新網(wǎng)絡(luò)數(shù)據(jù)

通信數(shù)據(jù)

信用數(shù)據(jù)

客戶數(shù)據(jù)業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新三方數(shù)據(jù)交易交易運(yùn)營生產(chǎn)分析交易運(yùn)營財(cái)務(wù)人力大

數(shù)

據(jù)服務(wù)服務(wù)數(shù)據(jù)數(shù)據(jù)實(shí)時(shí)流數(shù)據(jù)數(shù)據(jù)治理大數(shù)據(jù)治理運(yùn)營生產(chǎn)數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布非/結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)采集數(shù)據(jù)分析傳感器數(shù)據(jù)

社交媒體

IT/OT

圖像視頻傳統(tǒng)數(shù)據(jù)治理難以解決大數(shù)據(jù)平臺(tái)的問題傳統(tǒng)數(shù)據(jù)治理存在組織架構(gòu)復(fù)雜、管理范圍狹窄、管理流程復(fù)雜、人工錄入多等弊端龐大的組織架構(gòu)狹窄的管理范圍復(fù)雜的管理流程大量的錄入工作邀提

請(qǐng)供

專意

家見度規(guī)

量則修

改度規(guī)

量則刪

除導(dǎo)

出

報(bào)

表度

量待修改數(shù)據(jù)標(biāo)準(zhǔn)信息項(xiàng)初審包含標(biāo)準(zhǔn)項(xiàng)數(shù)

據(jù)模

標(biāo)塊

準(zhǔn)告

需方

生法

成計(jì)

檢劃

核度存

量池

規(guī)（

則含

暫退回

）初

審YN復(fù)

審Y出

人審

批

通

過

通

知

提修

訂

通

知

使

用

度度

量

規(guī)

則

查

詢版本1.1主題標(biāo)生

準(zhǔn)成

批度

量規(guī)

則量

規(guī)務(wù)

則編

的寫

檢人

核員

任數(shù)

據(jù)標(biāo)

準(zhǔn)單度

項(xiàng)量

添規(guī)

加則NNNN信

息

項(xiàng)

英文

主管業(yè)務(wù)

描述

版本

關(guān)聯(lián)代碼

標(biāo)準(zhǔn)編號(hào)退

回

通

知新審

增批退

回修退刪

改回除修

訂

退知

回

通主題標(biāo)準(zhǔn)名稱

英文名主

管

業(yè)

標(biāo)

準(zhǔn)

描

標(biāo)

準(zhǔn)

編務(wù)部門級(jí)

聯(lián)

停

用映信

射息元數(shù)名稱名部門項(xiàng)(選擇代碼)啟

用

通

知檢法

核啟

方用導(dǎo)

出

報(bào)

表據(jù)需檢

求核

生計(jì)

成劃存

量

生

成成

通

知檢

核

方

法

完檢

核

方

法

審批檢

核

方

法

審批

通

知寫

人

員通

知

具

體

編申

請(qǐng)

退

回

通知述號(hào)檢

核編

方寫

法檢

核分

方配

法檢編

核寫

方申

法請(qǐng)檢

核

方詢

法

查檢方

核法數(shù)

據(jù)編

寫

超

時(shí)

預(yù)

警檢

核

計(jì)

劃申

請(qǐng)寫修人改

編檢

核

方

法通

知

IT

編

寫檢法

核修

方改檢法

核停

方用手檢

工核

錄計(jì)

入劃1.1級(jí)

聯(lián)

停

用檢

核刪

任除

務(wù)檢

核

任

務(wù)檢

核啟

任用

務(wù)默

認(rèn)別

預(yù)定

警義

級(jí)制

定

預(yù)別

警

級(jí)檢

核停

任用

務(wù)修

改關(guān)聯(lián)系統(tǒng)系統(tǒng)名系統(tǒng)1檢成

核檢

方核

法任

生務(wù)設(shè)間

置（

執(zhí)周

行期

時(shí)）選

擇

執(zhí)統(tǒng)

行

系執(zhí)

行

池檢

核

任

務(wù)

待生

成

s

ql通

知

IT

執(zhí)

行源

系

統(tǒng)

執(zhí)

行生

成

結(jié)入

果

導(dǎo)C創(chuàng)R讀U

更任

務(wù)

超

時(shí)

預(yù)

警結(jié)

果他

反模

饋塊

其檢

核

執(zhí)

行執(zhí)果

行分

結(jié)析反

饋檢結(jié)

核果表單詳見1.12.5.2存

在

質(zhì)

量

問

題導(dǎo)

出題

質(zhì)報(bào)

量表

問系統(tǒng)2通

知寫

具人

體員

編導(dǎo)

出

報(bào)

表比對(duì)版本主

動(dòng)量

錄問

入題

質(zhì)質(zhì)

量

問

題告生

成

報(bào)細(xì)

報(bào)

告數(shù)

據(jù)

質(zhì)

量

明分?jǐn)?shù)

據(jù)

質(zhì)

量

評(píng)IT

任配務(wù)

分通過初審?fù)嘶厣暾?qǐng)人上傳附件選問

擇題

質(zhì)主

量管部

門質(zhì)級(jí)

量別

問判

題斷表單詳見下表確認(rèn)

修改標(biāo)準(zhǔn)代碼Y

問

題

關(guān)

閉表

盤數(shù)

據(jù)

質(zhì)

量

儀IT方修法改通

知?jiǎng)?wù)

主部

管門

業(yè)申

請(qǐng)

主閉

動(dòng)

關(guān)反

饋

問

題審

批信

息

中

心度規(guī)

量則檢任

核務(wù)通檢知核N信

息審

中批

心確量

認(rèn)問

質(zhì)題修

改

檢

核

方法判質(zhì)

斷量

是問

否題填及情

寫改況

問進(jìn)說

題計(jì)明劃升

需

求數(shù)

據(jù)

質(zhì)

量

提升

方

案

報(bào)

告提

交

問

題

提用大數(shù)據(jù)治理連接業(yè)務(wù)創(chuàng)新與大數(shù)據(jù)用自勱化，自劣化，智能化的大數(shù)據(jù)治理找到數(shù)據(jù)，提供數(shù)據(jù)，使用數(shù)據(jù)，治理數(shù)據(jù)共享開發(fā)利用共享協(xié)作數(shù)據(jù)保障開發(fā)使用大數(shù)據(jù)治理資產(chǎn)管理運(yùn)營分析管理目錄123數(shù)字化時(shí)代大數(shù)據(jù)向服務(wù)化發(fā)展大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析普元大數(shù)據(jù)治理架構(gòu)實(shí)踐目前的大數(shù)據(jù)平臺(tái)難以滿足數(shù)字化時(shí)代要求缺乏服務(wù)化管理維度業(yè)務(wù)維度技術(shù)維度數(shù)據(jù)難使用數(shù)據(jù)難查找數(shù)據(jù)工具鏈復(fù)雜數(shù)據(jù)質(zhì)量難提升敏感數(shù)據(jù)易泄露管理/業(yè)務(wù)/技術(shù)的大數(shù)據(jù)治理全面提升創(chuàng)新能力大數(shù)據(jù)治理管理提升業(yè)務(wù)支撐技術(shù)平臺(tái)大數(shù)據(jù)治理：重新定位數(shù)據(jù)管理部門通過大數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價(jià)值，從成本中心轉(zhuǎn)變?yōu)槔麧欀行膫鹘y(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理管理職責(zé)數(shù)據(jù)管理

數(shù)據(jù)開發(fā)

數(shù)據(jù)應(yīng)用自己應(yīng)用提供數(shù)據(jù)服務(wù)方便別人管理思路管理組織業(yè)務(wù)開發(fā)全棧能力團(tuán)隊(duì)運(yùn)維專業(yè)的服務(wù)團(tuán)隊(duì)大數(shù)據(jù)治理：提供全面的業(yè)務(wù)創(chuàng)新能力通過大數(shù)據(jù)治理，降低業(yè)務(wù)對(duì)技術(shù)依賴，充分發(fā)揮業(yè)務(wù)創(chuàng)新潛能傳統(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理開發(fā)實(shí)現(xiàn)業(yè)務(wù)模式需求業(yè)務(wù)數(shù)據(jù)部門業(yè)務(wù)業(yè)務(wù)自劣開發(fā)＋業(yè)務(wù)范圍…分析應(yīng)用1分析應(yīng)用2分析應(yīng)用n數(shù)據(jù)通道數(shù)據(jù)應(yīng)用能力大數(shù)據(jù)治理：提供智能化自勱化的技術(shù)平臺(tái)業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用全自劣的數(shù)據(jù)服務(wù)開發(fā)智能化的數(shù)據(jù)服務(wù)發(fā)布數(shù)據(jù)發(fā)布平臺(tái)大數(shù)據(jù)治理自勱化的數(shù)據(jù)獲取數(shù)據(jù)資產(chǎn)平臺(tái)數(shù)據(jù)監(jiān)控平臺(tái)全自勱的數(shù)據(jù)資產(chǎn)采集智能化監(jiān)控大數(shù)據(jù)平臺(tái)大數(shù)據(jù)治理的十二個(gè)技術(shù)原則123456可視化管理企業(yè)資產(chǎn)自勱獲取數(shù)據(jù)信息789持續(xù)積累檢核規(guī)則自勱化質(zhì)量評(píng)分大數(shù)據(jù)服務(wù)智能化管理核心數(shù)據(jù)定義數(shù)據(jù)管理能力服務(wù)化從需求開始控制數(shù)據(jù)質(zhì)量在集成點(diǎn)檢查數(shù)據(jù)質(zhì)量為數(shù)據(jù)標(biāo)準(zhǔn)添加技術(shù)屬性識(shí)別與管理業(yè)務(wù)語義關(guān)聯(lián)業(yè)務(wù)語義與技術(shù)101112可視化管理企業(yè)數(shù)據(jù)資產(chǎn)企業(yè)數(shù)據(jù)資產(chǎn)表、字段對(duì)象、接口業(yè)務(wù)語義、業(yè)務(wù)服務(wù)自勱獲取數(shù)據(jù)信息大數(shù)據(jù)適配器Spark，HDFS，Hive，HBase，Sqoop，F(xiàn)lume，PigDatabaseTranswarp

Data

Hub，Cloudera

CDH，F(xiàn)usionInsight，Hortonworks

HDPETL商業(yè)版本適配器數(shù)據(jù)庫自勱化Oracle，DB2，MySQL,

Teradata，Sybase，數(shù)據(jù)庫適配器SQLServer，Greenplum，PostgreSQL等多種數(shù)據(jù)庫存儲(chǔ)過程腳本服務(wù)報(bào)表建模工具適配器ERWin，Powerdesigner等設(shè)計(jì)模型MetaDataPrimetonDI，

Datastage，PowerCenter，PentahoKettle，SAPDataSeriveETL工具適配器可視化工具適配器PrimetoniData，Cognos，OBIEE,

SAP

BO，Tableau，MSTR，QlikViewHadoop/Spark對(duì)Shell、Perl等腳本采用SQL解析的方式進(jìn)行ETL作業(yè)映射關(guān)系元數(shù)據(jù)采集，存儲(chǔ)過程，DDL華為、星環(huán)業(yè)務(wù)文檔腳本適配器NLP適配器自勱分析各種非結(jié)構(gòu)化文本，自勱分析業(yè)務(wù)元數(shù)據(jù)從需求開始控制數(shù)據(jù)質(zhì)量以元數(shù)據(jù)為核心，打通數(shù)據(jù)生命周期，從源頭保證數(shù)據(jù)質(zhì)量。數(shù)據(jù)生命周期分析（TheDataLifecycle）計(jì)劃創(chuàng)建獲取維護(hù)使用歸檔/恢復(fù)清除45671集成Data應(yīng)用Pipeline規(guī)范定義開發(fā)上線23采集DataQuality大數(shù)據(jù)服務(wù)智能化產(chǎn)品需求客戶需求客戶需求大數(shù)據(jù)治理DataLake常規(guī)數(shù)據(jù)熱點(diǎn)數(shù)據(jù)大

數(shù)

據(jù)熱點(diǎn)數(shù)據(jù)常規(guī)數(shù)據(jù)營銷數(shù)據(jù)數(shù)據(jù)管理能力服務(wù)化提供各種數(shù)據(jù)管理服務(wù)，如質(zhì)量、元數(shù)據(jù)、標(biāo)準(zhǔn)、監(jiān)控、發(fā)布共享的服務(wù)，將治理平臺(tái)變?yōu)榉?wù)平臺(tái)。標(biāo)準(zhǔn)化服務(wù)幫劣設(shè)計(jì)應(yīng)用數(shù)據(jù)模型質(zhì)量評(píng)分服務(wù)評(píng)估業(yè)務(wù)服務(wù)質(zhì)量業(yè)務(wù)與技術(shù)關(guān)聯(lián)服務(wù)使業(yè)務(wù)人員自劣設(shè)計(jì)報(bào)表資產(chǎn)地圖服務(wù)提供企業(yè)數(shù)據(jù)資產(chǎn)全景圖提供影響/血統(tǒng)分析服務(wù)追溯全企業(yè)信息資產(chǎn)能力服務(wù)化元數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)數(shù)據(jù)開發(fā)服務(wù)數(shù)據(jù)監(jiān)控服務(wù)數(shù)據(jù)發(fā)布共享服務(wù)數(shù)據(jù)管理平臺(tái)目錄123數(shù)字化時(shí)代大數(shù)據(jù)向服務(wù)化發(fā)展大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析普元大數(shù)據(jù)治理架構(gòu)實(shí)踐蘇州工業(yè)園區(qū)“三庫、三通、九樞紐”建設(shè)蘇州工業(yè)園區(qū)在信息化發(fā)展規(guī)劃中提出了

“三庫、三通、九樞紐”的信息化總體發(fā)展框架。三通企業(yè)通居民通政務(wù)通接入園區(qū)31個(gè)部門、涉及85個(gè)業(yè)務(wù)領(lǐng)域，335個(gè)數(shù)據(jù)分類，3981工作項(xiàng)。公安樞紐交通樞紐社保樞紐教育樞紐社區(qū)樞紐健康樞紐九樞紐…先后完成了公安、工商等15家人口、法人信息高關(guān)聯(lián)度局辦三庫企業(yè)基礎(chǔ)庫人口基礎(chǔ)庫地理信息庫的信息納入政務(wù)資源于平臺(tái)。園區(qū)云計(jì)算平臺(tái)蘇州工業(yè)園區(qū)數(shù)據(jù)資源云平臺(tái)實(shí)現(xiàn)以元數(shù)據(jù)為基礎(chǔ)的政務(wù)于業(yè)務(wù)創(chuàng)新模式（資產(chǎn)、開發(fā)、運(yùn)營、監(jiān)控）四中心一個(gè)技術(shù)支撐平臺(tái)，一個(gè)融合庫，全面實(shí)現(xiàn)蘇州工業(yè)園的數(shù)據(jù)資產(chǎn)資源化

以元數(shù)據(jù)為基礎(chǔ)梳理服務(wù)目錄

將服務(wù)目錄編目幵與數(shù)據(jù)對(duì)接

將下屬企/事業(yè)單位的數(shù)據(jù)能力接入政務(wù)資源于平臺(tái)浙江電力數(shù)據(jù)自劣化分析平臺(tái)普元提供的數(shù)據(jù)自劣分析平