20240630食品零售行業(yè)數(shù)字化轉(zhuǎn)型解決方案參考

企業(yè)數(shù)字化轉(zhuǎn)型規(guī)劃設(shè)計(jì)目錄CONTENTS2

企業(yè)數(shù)字化轉(zhuǎn)型需求分析4企業(yè)數(shù)字化轉(zhuǎn)型業(yè)務(wù)應(yīng)用3企業(yè)數(shù)字化轉(zhuǎn)型頂層設(shè)計(jì)1企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景5企業(yè)數(shù)字化轉(zhuǎn)型未來展望Part

1企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景化、多元化的綜合企業(yè)服務(wù)3

互聯(lián)網(wǎng)企業(yè)戰(zhàn)略

PC端向移動(dòng)端轉(zhuǎn)化趨勢(shì)明顯，互聯(lián)網(wǎng)企業(yè)向移動(dòng)互聯(lián)網(wǎng)企業(yè)轉(zhuǎn)變，移

動(dòng)先行戰(zhàn)略

呈現(xiàn)移動(dòng)化、社交化、平臺(tái)化、開放化、產(chǎn)業(yè)化的發(fā)展趨勢(shì)，以泛在、跨界、聚合、智慧為發(fā)展方向，以用戶體驗(yàn)和用戶價(jià)值為中心，全面融入到企業(yè)價(jià)值鏈各個(gè)環(huán)節(jié)和個(gè)人衣食住行玩等生活場景中，企業(yè)服務(wù)無處不在

以移動(dòng)支付、大數(shù)據(jù)應(yīng)用為核心，向電商、O2O

、P2P等拓展，圍繞互聯(lián)網(wǎng)生態(tài)體系，持續(xù)推進(jìn)產(chǎn)品創(chuàng)新、客戶體驗(yàn)創(chuàng)新和商業(yè)模式創(chuàng)新

客戶深耕：“主辦企業(yè)”、“伙伴企業(yè)”、“社區(qū)企

業(yè)”、“縣域企業(yè)”

渠道創(chuàng)新：“移動(dòng)企業(yè)”、“社交企業(yè)”、“智慧企

業(yè)”

產(chǎn)品差異：“專業(yè)化企業(yè)”、“全能企業(yè)”、“不僅

是企業(yè)”

成立互聯(lián)網(wǎng)企業(yè)實(shí)驗(yàn)室、大數(shù)據(jù)分析中心，通過組織

創(chuàng)新推動(dòng)新技術(shù)創(chuàng)新

通過生物識(shí)別技術(shù)、互聯(lián)網(wǎng)、移動(dòng)支付、大數(shù)據(jù)、云計(jì)算、智能可穿戴設(shè)備等技術(shù)的創(chuàng)新應(yīng)用，迅速加強(qiáng)客戶洞察、全渠道協(xié)同、精準(zhǔn)營銷、線上線下協(xié)同、

信用評(píng)估、風(fēng)險(xiǎn)監(jiān)控等可持續(xù)業(yè)務(wù)創(chuàng)新的能力建設(shè)

優(yōu)化業(yè)務(wù)結(jié)構(gòu)，變粗放型發(fā)展為集約化經(jīng)營，實(shí)現(xiàn)向輕資

產(chǎn)、輕資本的表外業(yè)務(wù)拓展

發(fā)展資產(chǎn)管理、投資企業(yè)、資產(chǎn)托管等市場化業(yè)務(wù)，從傳統(tǒng)企業(yè)變身為數(shù)據(jù)分析者、撮合交易者和財(cái)富管理者

服務(wù)國家戰(zhàn)略，服務(wù)實(shí)體經(jīng)濟(jì)科技引領(lǐng)創(chuàng)新

差異化、特色化經(jīng)營

管理轉(zhuǎn)型

營銷精準(zhǔn)化、管理精細(xì)化、決策科學(xué)化

運(yùn)營集約化、自動(dòng)化1

業(yè)務(wù)轉(zhuǎn)型創(chuàng)新

提供包括企業(yè)、證券、信托、保險(xiǎn)等及非企業(yè)服務(wù)在內(nèi)的、全方位、專業(yè)化、個(gè)性

綜合化經(jīng)營企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景

組織扁平化、團(tuán)隊(duì)專業(yè)化發(fā)展趨勢(shì)6245企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景?

往行業(yè)垂直細(xì)分領(lǐng)域發(fā)展，提供特色化、專業(yè)化服務(wù)?與供應(yīng)鏈企業(yè)融合，實(shí)現(xiàn)產(chǎn)融結(jié)合；?向交易撮合平臺(tái)、信息中介平臺(tái)、綜合化網(wǎng)絡(luò)理財(cái)平臺(tái)等綜合性平臺(tái)方向發(fā)展?隨著監(jiān)管政策明確，企業(yè)會(huì)快速進(jìn)入P2P，以企業(yè)信用優(yōu)勢(shì)給P2P行業(yè)帶來快速發(fā)展機(jī)會(huì)?

企業(yè)拓展與P2P公司合作范圍：客戶推薦、信息共享、風(fēng)險(xiǎn)評(píng)估、資金托管、資金流監(jiān)控、貸款催收、資產(chǎn)保全、委托貸款

等全方位合作?

企業(yè)自營或共營方式建立P2P平臺(tái)：

客戶自助信用評(píng)估授信；社交信用評(píng)估（社交授信、熟人授信）；社交信用隱性擔(dān)保增

信；熟人信用顯性擔(dān)保增信；跟投貸款、領(lǐng)投貸款模式創(chuàng)新?P2P公司已接近2000家，市場規(guī)模約0.2萬億元，

在整個(gè)融資體系中占比還非常小?

借款客戶主要以中小企業(yè)客戶為主，個(gè)人貸款客戶少?純線上模式少，多以線上線下結(jié)合，投資端以線上為主，

資產(chǎn)端以線下為主，營銷、

運(yùn)營成本高?

貸款利率高，信息不透明，純線上大數(shù)據(jù)風(fēng)控技術(shù)不成熟，信用風(fēng)險(xiǎn)較大，平臺(tái)風(fēng)險(xiǎn)

與收益不對(duì)等?企業(yè)直接進(jìn)入P2P比較少，主要是監(jiān)管政策不明確，

但已有不少企業(yè)與P2P公司合作，

布局P2P現(xiàn)狀線下模式線上線下結(jié)合

O2O模式中國P2P模式發(fā)展趨勢(shì)企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景純線上模式企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)背景l(fā)

商城已建立面向整個(gè)零售業(yè)務(wù)的數(shù)據(jù)l商城數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用l數(shù)據(jù)平臺(tái)整體架構(gòu)；倉庫，整合了前臺(tái)業(yè)務(wù)運(yùn)營數(shù)據(jù)和后l缺乏面向整個(gè)消費(fèi)企業(yè)的統(tǒng)一、完整l數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)；臺(tái)管理數(shù)據(jù)，建立了面向零售的管理的數(shù)據(jù)視圖；l較成熟的企業(yè)業(yè)數(shù)據(jù)模型；分析應(yīng)用；l缺乏支撐消費(fèi)企業(yè)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)l數(shù)據(jù)質(zhì)量治理；l

消費(fèi)企業(yè)已開展供應(yīng)鏈企業(yè)、人人貸險(xiǎn)評(píng)估體系；l元數(shù)據(jù)管理；和保理等多種業(yè)務(wù)，積累了一定量的l缺乏消費(fèi)企業(yè)客戶360度視圖，客戶l數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)業(yè)務(wù)數(shù)據(jù)，同時(shí)業(yè)務(wù)人員也從客戶管行為分析和預(yù)測(cè)無法實(shí)現(xiàn)；l數(shù)據(jù)整合；理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營規(guī)模預(yù)測(cè)等方面l缺乏面向企業(yè)業(yè)務(wù)運(yùn)營管理的關(guān)鍵績l數(shù)據(jù)應(yīng)用建設(shè)；,

提出了大量分析預(yù)測(cè)需求；效指標(biāo)體系；l數(shù)據(jù)平臺(tái)的軟硬環(huán)境l

……l……l……數(shù)據(jù)平臺(tái)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控……基礎(chǔ)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)是未來一段時(shí)間的重點(diǎn)！消費(fèi)企業(yè)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析基本的現(xiàn)狀存在的問題關(guān)注的內(nèi)容企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)目標(biāo)通過數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，消費(fèi)企業(yè)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，

對(duì)各類業(yè)務(wù)進(jìn)行

前瞻性預(yù)測(cè)及分析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力

統(tǒng)一定義BI應(yīng)用云數(shù)據(jù)推送平臺(tái)已實(shí)現(xiàn)了

主要零售及企業(yè)業(yè)務(wù)系統(tǒng)

數(shù)據(jù)清洗、整合，為未來

消費(fèi)企業(yè)數(shù)據(jù)平臺(tái)提供了豐富的數(shù)據(jù)源。統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式

統(tǒng)一部署技術(shù)基礎(chǔ)供應(yīng)鏈企業(yè)系統(tǒng)POP系統(tǒng)外部非結(jié)構(gòu)化數(shù)據(jù)其他業(yè)務(wù)系統(tǒng)采購管理系統(tǒng)自定義報(bào)表工具行＋列的簡單定義方式統(tǒng)一制定目標(biāo)和分

析模型集團(tuán)職能管控層各級(jí)業(yè)務(wù)操作層多種格式報(bào)表BI分析工具集團(tuán)決策層600%500%

400%

300%200%100%0%2004年

2005年

2006年

2007年

2008年

鐵礦石

焦煤從中長期看，數(shù)據(jù)倉庫對(duì)消費(fèi)企業(yè)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性通過數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率消費(fèi)企業(yè)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為企業(yè)業(yè)務(wù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件通過數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保消費(fèi)企業(yè)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價(jià)值實(shí)現(xiàn)分散在供應(yīng)鏈企業(yè)、人人貸、保理等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級(jí)視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級(jí)分析、交叉銷售提供基礎(chǔ)1.實(shí)現(xiàn)數(shù)據(jù)共享2.加強(qiáng)業(yè)務(wù)協(xié)作3.促進(jìn)業(yè)務(wù)創(chuàng)新4.提升建設(shè)效率5.改善數(shù)據(jù)質(zhì)量企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)預(yù)期收益Part

2企業(yè)數(shù)字化轉(zhuǎn)型需求分析實(shí)時(shí)數(shù)

據(jù)查詢歷史數(shù)

據(jù)查詢內(nèi)部管理分析業(yè)務(wù)沙盤演練數(shù)據(jù)增

值產(chǎn)品數(shù)據(jù)應(yīng)

用層實(shí)時(shí)數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)增值產(chǎn)

品數(shù)據(jù)區(qū)數(shù)據(jù)計(jì)

算層主題

數(shù)

據(jù)

區(qū)數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交

換層大數(shù)據(jù)交換組件企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)商城零售供應(yīng)鏈企業(yè)人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)數(shù)據(jù)

產(chǎn)生層用戶訪

問層數(shù)據(jù)管控層內(nèi)部用戶數(shù)據(jù)

管控

平臺(tái)貼源數(shù)據(jù)區(qū)流程

調(diào)度

平臺(tái)監(jiān)控告警待處理大數(shù)據(jù)流程調(diào)度層企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)處理后大數(shù)據(jù)IT人員外部用戶數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)安全元數(shù)據(jù)數(shù)據(jù)質(zhì)量流程調(diào)度供應(yīng)鏈數(shù)據(jù)……零售數(shù)據(jù)客戶管理財(cái)務(wù)管理風(fēng)險(xiǎn)管理……客戶匯總賬戶匯總機(jī)構(gòu)匯總……協(xié)議主題客戶主題產(chǎn)品主題……數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件移動(dòng)互聯(lián)用戶評(píng)價(jià)訪問日志社交媒體大數(shù)據(jù)區(qū)……l在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)l商城和消費(fèi)企業(yè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)

增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，云數(shù)據(jù)推送平臺(tái)采用分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn)

對(duì)于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量

初始數(shù)據(jù)加載均采用全量模式l內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)

商城日常零售業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，如：供應(yīng)商信息、采購信息、商品信息、銷售流水……

消費(fèi)企業(yè)日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中，如：客戶信息、賬戶信息、企業(yè)產(chǎn)品信息、交易流水……l企業(yè)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)

日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點(diǎn)評(píng)……l企業(yè)外部數(shù)據(jù)

企業(yè)外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息……企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)產(chǎn)生層源數(shù)據(jù)內(nèi)容源數(shù)據(jù)增量保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)交換層傳輸組件是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì)的，本質(zhì)是通過分析數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)庫的特點(diǎn)來針對(duì)性的設(shè)計(jì)工具，以追求卓越的性能NAS存儲(chǔ)Hadoop

元數(shù)據(jù)數(shù)據(jù)平臺(tái)導(dǎo)入

臨時(shí)區(qū)數(shù)據(jù)平臺(tái)導(dǎo)出

臨時(shí)區(qū)ETL程序區(qū)數(shù)據(jù)服務(wù)層云數(shù)據(jù)推送平臺(tái)數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)商城系統(tǒng)消費(fèi)企業(yè)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)交

換組件數(shù)據(jù)區(qū)數(shù)據(jù)交

換組件大數(shù)據(jù)交換組

件外部

大數(shù)

據(jù)↓↓數(shù)據(jù)平臺(tái)臨時(shí)數(shù)

據(jù)區(qū) 集團(tuán)數(shù)據(jù)交換平臺(tái)每日獲取運(yùn)輸局推送平臺(tái)提供的業(yè)務(wù)系統(tǒng)變

化數(shù)據(jù)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū) 企業(yè)數(shù)據(jù)平臺(tái)加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時(shí)數(shù)Hadoop集群元數(shù)

據(jù)區(qū) 存儲(chǔ)數(shù)據(jù)平臺(tái)各個(gè)Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)

元數(shù)據(jù)數(shù)據(jù)平臺(tái)ETL數(shù)據(jù)

處理程序區(qū) 數(shù)據(jù)平臺(tái)ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲(chǔ)在NAS集群指定目錄，各接口服務(wù)器通過文件

系統(tǒng)Link建立映射企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)交換層NAS存儲(chǔ)據(jù)區(qū)l定時(shí)抽取用戶訪問

日志，加載到數(shù)據(jù)

平臺(tái)大數(shù)據(jù)區(qū)HDFS

指定目錄，MR程序

加工處理l開發(fā)網(wǎng)絡(luò)爬蟲程序

,

掃描用戶微博，

抓取用戶微博內(nèi)容

,

社交圈信息，存

入大數(shù)據(jù)區(qū)l企業(yè)內(nèi)部非結(jié)構(gòu)化

、半結(jié)構(gòu)化數(shù)據(jù)，

如：音頻、視頻、

郵件、Office文檔

、抵押品掃描件等l企業(yè)外部非結(jié)構(gòu)化

、半結(jié)構(gòu)化數(shù)據(jù)，

如：微博、貼吧、

論壇、用戶點(diǎn)擊流

、用戶移動(dòng)位置等l組件以實(shí)時(shí)和批量

兩種模式實(shí)現(xiàn)下列

功能：

數(shù)據(jù)采集

數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換

平臺(tái)（接口服務(wù)器）

NAS指定目錄

存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)平臺(tái)

大數(shù)據(jù)區(qū)指定HDFS目

錄l

批量采集：大數(shù)據(jù)

源以SFTP協(xié)議批量

傳輸數(shù)據(jù)文件l

在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用

大據(jù)源API，或以網(wǎng)

絡(luò)平臺(tái)爬蟲方式抓

取源系統(tǒng)非結(jié)構(gòu)化

、半結(jié)構(gòu)化數(shù)據(jù)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)交換層大數(shù)據(jù)交換組件處理對(duì)象應(yīng)用場景實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能l

批量數(shù)據(jù)處理由流程調(diào)度層部署的

自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行l(wèi)

整個(gè)流程主要完成如下工作：1.

獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時(shí)數(shù)據(jù)區(qū)2.

獲取企業(yè)內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù),并進(jìn)行結(jié)構(gòu)化處理，存入主

題或集市數(shù)據(jù)區(qū)3.

按照貼源數(shù)據(jù)模型整合數(shù)據(jù)(標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）4.

按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總5.

數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——流程調(diào)度層批量處理流程l

實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲

取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技

術(shù)構(gòu)建“數(shù)據(jù)流”l

整個(gè)處理流程由流程調(diào)度層部署的自定

義開發(fā)WorkFlow組件調(diào)度運(yùn)行l(wèi)

整個(gè)流程主要完成如下工作：1.

通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)2.

通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加

載到實(shí)時(shí)數(shù)據(jù)區(qū)3.

針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——流程調(diào)度層實(shí)時(shí)數(shù)據(jù)處理流程l

業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)l

數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)l

貼源數(shù)據(jù)模型l

不保存歷史l

主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問l

無最終用戶訪問lI/O敏感，日終批量ETLl以ELT形式通過HiveSQL執(zhí)行l(wèi)與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)l

業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)l緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理l

貼源數(shù)據(jù)模型l

保存最近7天數(shù)據(jù)l貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問l

無最終用戶訪問lI/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載l

少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序l與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層貼源數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期工作負(fù)載用戶訪問模式平臺(tái)要求l

其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)l

按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢l

數(shù)據(jù)按照HDFS文件存儲(chǔ)l

數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年l

集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時(shí)效區(qū)批量作業(yè)訪問l

業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢l

MapReduce分布式計(jì)算，HDFS命令實(shí)現(xiàn)Hadoop集群內(nèi)歸檔，

Sqoop實(shí)現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢l

獨(dú)立的Hadoop集群（HDFS+Hive）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)l企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)l

采集并存儲(chǔ)數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)l

數(shù)據(jù)按照HDFS文件存儲(chǔ)l

建議保留1年l

集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問l

少量高級(jí)業(yè)務(wù)人員進(jìn)行大數(shù)據(jù)分析l

MapReduce分布式計(jì)算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包

括文本檢索、語義分詞、圖像識(shí)別、音頻識(shí)別等）l與主題區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（HDFS）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）歷史歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期工作負(fù)載用戶訪問模式平臺(tái)要求l

對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)l

針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)l

逆范式寬表l

依賴于集市數(shù)據(jù)需求l

集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問l

少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感，日終批量ETL（連接、聚合、匯總等等）l以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDFl與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)l

業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù)l

打破業(yè)務(wù)條線整合數(shù)據(jù)l

第三范式模型l

保留長期歷史，需要根據(jù)主題細(xì)化l

主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問l

少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感，日終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）l以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDFl與大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）主題數(shù)據(jù)區(qū)—匯總主題數(shù)據(jù)區(qū)—明細(xì)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期工作負(fù)載用戶訪問模式可用性要求l

面向企業(yè)內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)l為客戶、運(yùn)營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)l

維度數(shù)據(jù)模型l

依賴業(yè)務(wù)需求l

沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問l決策人員、管理人員、業(yè)務(wù)人員訪問lI/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終

批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）l

基于開放平臺(tái)的完全無共享MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)l

按沙盤演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)l為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù)l

模型依賴于沙盤演練需求l

在整個(gè)沙盤演練周期內(nèi)保留l

集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問l

少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)lI/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）l以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDFl

獨(dú)立的Hadoop集群（HDFS）l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）應(yīng)用集市數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期工作負(fù)載用戶訪問模式可用性要求l

面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水l為實(shí)時(shí)獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù)l

貼源數(shù)據(jù)模型l

依賴用戶業(yè)務(wù)需求l

企業(yè)業(yè)務(wù)人員l高時(shí)效、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢l

CPU敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn)

實(shí)時(shí)連續(xù)ETL處理+SQL批量處理l

獨(dú)立的內(nèi)存數(shù)據(jù)庫集群l無單點(diǎn)故障，365×24小時(shí)不停機(jī)l

根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)l為部署在數(shù)據(jù)平臺(tái)上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持l

應(yīng)用模型，依賴于用戶業(yè)務(wù)需求l

依賴于用戶業(yè)務(wù)需求l

企業(yè)外部人員，如：客戶l

通過自己部署在Paas平臺(tái)上的應(yīng)用訪問lI/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終

批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）l

獨(dú)立的Paas平臺(tái)，部署Hadoop集群l

無單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）實(shí)時(shí)數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期工作負(fù)載用戶訪問模式可用性要求數(shù)據(jù)集成層公共匯總數(shù)據(jù)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)主題明細(xì)數(shù)據(jù)客戶管理集市財(cái)務(wù)管理集市風(fēng)險(xiǎn)管理集市運(yùn)營管理集市……集市歸檔數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)流實(shí)驗(yàn)室數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)財(cái)務(wù)研發(fā)數(shù)據(jù)企業(yè)業(yè)務(wù)數(shù)據(jù)操作型聚合數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)操作型明細(xì)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)POP自營數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財(cái)務(wù)審計(jì)數(shù)據(jù)貼源數(shù)據(jù)源系統(tǒng)

數(shù)據(jù)文件集市數(shù)據(jù)高時(shí)效

數(shù)據(jù)大數(shù)據(jù)主題數(shù)據(jù)4

歷史查詢類應(yīng)用

1

管理分析類應(yīng)用l

針對(duì)公檢法查詢需求、內(nèi)外部審

l

管理分析類應(yīng)用主要實(shí)現(xiàn)了集團(tuán)

計(jì)需求和最終用戶的歷史交易查

客戶管理、運(yùn)營管理、財(cái)務(wù)管理

詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù)

、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大

為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用

分析體系功能l

歷史查詢類應(yīng)用通常使用BI工具

l

管理分析類應(yīng)用通常采用套裝軟或自主開發(fā)實(shí)現(xiàn)3

沙盤演練類應(yīng)用l

業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)

業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)

備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模

型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果l

沙盤演練類應(yīng)用通常使用R語言在

Hadoop分布式體系下實(shí)現(xiàn)件和BI工具（MicroStrategy等）

實(shí)現(xiàn)l

消費(fèi)企業(yè)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)

業(yè)務(wù)需求的理解或者對(duì)市場的判

斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)

價(jià)值，并封裝成商業(yè)產(chǎn)品l

數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI

工具實(shí)現(xiàn)，面向企業(yè)內(nèi)外部用戶l

客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)

前業(yè)務(wù)的發(fā)生（如：用戶交易、

用戶訪問日志），進(jìn)行實(shí)時(shí)查詢

、分析的應(yīng)用企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)應(yīng)用層l

實(shí)時(shí)分析類應(yīng)用通常使用CEP

、ESB等技術(shù)實(shí)現(xiàn)5

高時(shí)效類分析應(yīng)用2

數(shù)據(jù)增值類產(chǎn)品平臺(tái)應(yīng)用大數(shù)據(jù)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——平臺(tái)發(fā)展不同階段對(duì)應(yīng)應(yīng)用動(dòng)態(tài)數(shù)據(jù)倉庫階段讓正確的事情發(fā)生！批量隨機(jī)查詢數(shù)據(jù)分析

持續(xù)更新加載/短查詢

基于事件的動(dòng)態(tài)觸發(fā)查詢復(fù)雜度增長ETL處理復(fù)雜度增長大數(shù)據(jù)平臺(tái)發(fā)展階段劃分?jǐn)?shù)據(jù)量增長用戶數(shù)增長操作為主階段什么正在發(fā)生？預(yù)測(cè)為主階段將會(huì)發(fā)生什么？報(bào)表為主階段

發(fā)生了什么分析為主階段為什么會(huì)發(fā)生工作負(fù)載復(fù)雜度o

總賬分析

資產(chǎn)負(fù)債表分析

損益表分析

現(xiàn)金流量表分析

財(cái)務(wù)指標(biāo)分析o

盈利分析

機(jī)構(gòu)貢獻(xiàn)度

產(chǎn)品貢獻(xiàn)度

客戶細(xì)分貢獻(xiàn)度

渠道績效o

資產(chǎn)負(fù)債分析

主要指標(biāo)報(bào)告，如：

凈利息收入、凈收入、凈現(xiàn)值、市場價(jià)值等

頭寸報(bào)告

現(xiàn)金流報(bào)告

風(fēng)險(xiǎn)價(jià)值（VaR）計(jì)算o

財(cái)務(wù)預(yù)算與計(jì)劃

財(cái)務(wù)預(yù)算

財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控

執(zhí)行過程分析

年末財(cái)務(wù)計(jì)劃執(zhí)行分

析o

預(yù)測(cè)與場景分析

業(yè)務(wù)規(guī)模預(yù)測(cè)

收益預(yù)測(cè)

o

……o

風(fēng)險(xiǎn)監(jiān)控報(bào)表/信息披露

流動(dòng)性報(bào)表

利率敏感性報(bào)表

資本充足率報(bào)表

……o

市場風(fēng)險(xiǎn)

市場風(fēng)險(xiǎn)暴露值

流動(dòng)性管理、利率管

理o

信用風(fēng)險(xiǎn)

信用風(fēng)險(xiǎn)暴露值計(jì)算

信用風(fēng)險(xiǎn)控制（貸前控制、貸中監(jiān)控、

貸后分析）o

操作風(fēng)險(xiǎn)

異常交易預(yù)警

后督差錯(cuò)檢查

……o

防欺詐/反洗錢

定義欺詐交易模型

可能性欺詐交易預(yù)警

欺詐交易分布分析o

全面風(fēng)險(xiǎn)管理

o

……o

客戶單一視圖

公司客戶信息管理

個(gè)人客戶信息管理

同業(yè)客戶信息管理o

目標(biāo)客戶搜索

重點(diǎn)客戶

關(guān)懷客戶

風(fēng)險(xiǎn)客戶

異動(dòng)客戶o

客戶細(xì)分

個(gè)人客戶細(xì)分

公司客戶細(xì)分o

客戶行為分析

客戶輪廓分析

產(chǎn)品交叉銷售分析

百分比分析

渠道偏好分析o

營銷活動(dòng)管理

營銷活動(dòng)規(guī)劃

營銷活動(dòng)定義

營銷活動(dòng)執(zhí)行

營銷活動(dòng)蘋果o

營銷活動(dòng)自動(dòng)化

渠道接口與集成

流程自動(dòng)化

o

……o

領(lǐng)導(dǎo)管理駕駛艙o

機(jī)構(gòu)績效考核o

客戶經(jīng)理考核

客戶經(jīng)理工作量評(píng)估

客戶經(jīng)理服務(wù)客戶收

益評(píng)估o

產(chǎn)品績效考核o

業(yè)務(wù)量考核

供應(yīng)鏈企業(yè)業(yè)務(wù)

人人貸業(yè)務(wù)

保理業(yè)務(wù)

基金業(yè)務(wù)

其它中間業(yè)務(wù)

……o

渠道成本與收益

o

……企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——管理分析類應(yīng)用o

目前監(jiān)管機(jī)構(gòu)沒有明確要

求客戶管理監(jiān)管披露風(fēng)險(xiǎn)管理運(yùn)營管理財(cái)務(wù)管理l

儀表盤：通過儀表盤及其它展現(xiàn)方式對(duì)企業(yè)關(guān)鍵績效指標(biāo)進(jìn)行展示，為領(lǐng)導(dǎo)層決策提供

直觀的數(shù)據(jù)支持l

靜態(tài)報(bào)表：按照預(yù)先定義格式，批處理報(bào)表，在線查詢報(bào)表等l

Office集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，

降低用

戶使用難度企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)訪問層多種展現(xiàn)形式滿足各層級(jí)用戶及應(yīng)用系統(tǒng)使用需求即席查詢

靜態(tài)報(bào)表

多維分析

儀表盤

問題發(fā)現(xiàn)

Office集成

Web服務(wù)

挖掘預(yù)測(cè)l

即席查詢：通過即席查詢工具或手工書寫SQL語句，完成業(yè)務(wù)信息的即席查看l

多維分析：從多個(gè)維度靈活組合對(duì)目標(biāo)值進(jìn)行分析，常見功能包括上下鉆取、透明鉆取

、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等l

主動(dòng)問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)企業(yè)運(yùn)營中的問題，通過手機(jī)、郵l

挖掘預(yù)測(cè)：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計(jì)等高級(jí)統(tǒng)計(jì)分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價(jià)值l

Web服務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊(cè)在企業(yè)服務(wù)總線上，供其它業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果決策層管理層業(yè)務(wù)人員數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)件等方式報(bào)警組織評(píng)價(jià)

與考核考核指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全評(píng)價(jià)標(biāo)準(zhǔn)數(shù)據(jù)認(rèn)責(zé)企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)管控層企業(yè)數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)四個(gè)域。流程平臺(tái) 數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會(huì)

數(shù)據(jù)管理人數(shù)據(jù)所有人

數(shù)據(jù)生產(chǎn)人

數(shù)據(jù)使用人IT支持團(tuán)隊(duì)

考核指標(biāo)建立/維護(hù)流程評(píng)價(jià)與考核流程標(biāo)準(zhǔn)建立/維護(hù)

流程組織建立/維護(hù)

流程技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)及時(shí)性定義完整性定義

一致性定義標(biāo)準(zhǔn)執(zhí)行評(píng)價(jià)政策執(zhí)行評(píng)價(jià)責(zé)任評(píng)價(jià)數(shù)據(jù)格式業(yè)務(wù)分類

業(yè)務(wù)含義……數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)安全管理工作流管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理真實(shí)性定義數(shù)據(jù)類型審計(jì)定義保留策略安全等級(jí)權(quán)限定義……數(shù)據(jù)全生命周期數(shù)據(jù)移動(dòng)數(shù)據(jù)創(chuàng)建數(shù)據(jù)共享數(shù)據(jù)停用據(jù)存儲(chǔ)…………企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運(yùn)轉(zhuǎn)機(jī)制組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具這四個(gè)域相互作用、相互支撐，

提供對(duì)各信息系

統(tǒng)數(shù)據(jù)的管控。管控平臺(tái)管控綜合管理o標(biāo)準(zhǔn)/規(guī)范管理o流程管理o考核儀表盤

o

……元數(shù)據(jù)管理o業(yè)務(wù)元數(shù)據(jù)管理o技術(shù)元數(shù)據(jù)管理o管理元數(shù)據(jù)分析o

……數(shù)據(jù)質(zhì)量管理o稽核規(guī)則管理o數(shù)據(jù)稽核o質(zhì)量報(bào)告

o

……評(píng)價(jià)與考核o標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）o遵守標(biāo)準(zhǔn)所需要的政策o政策與標(biāo)準(zhǔn)遵從考評(píng)定義

o

……管控組織o數(shù)據(jù)管控委員會(huì)o數(shù)據(jù)所有人o數(shù)據(jù)認(rèn)責(zé)人o

IT支持

o

……制

定管控流程o數(shù)據(jù)接入流程o數(shù)據(jù)變更流程o數(shù)據(jù)授權(quán)流程o數(shù)據(jù)退役流程o標(biāo)準(zhǔn)/政策制定流程o評(píng)價(jià)考核流程

o……工具支撐流程支撐流程支撐

明確了數(shù)據(jù)管

控過程中的組織

結(jié)構(gòu)、角色、職

責(zé)等。管控組織

除了要負(fù)責(zé)制定

數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、

安全等要求外，還需要負(fù)責(zé)制定

管控的相關(guān)流程

和評(píng)價(jià)考核指標(biāo)

等內(nèi)容。

采用專門的

技術(shù)平臺(tái)支撐

管控流程的自

動(dòng)化，發(fā)布管

控組織制定的

一些相關(guān)標(biāo)準(zhǔn)

和規(guī)范，及時(shí)

反映管控過程

中存在的一些

問題等。

通過建立一些

定性或定量的數(shù)

據(jù)管控評(píng)價(jià)考核

指標(biāo)，去評(píng)估及

考核數(shù)據(jù)相關(guān)責(zé)

任人職責(zé)履行情

況、數(shù)據(jù)管控標(biāo)

準(zhǔn)及數(shù)據(jù)政策的

執(zhí)行情況等。

規(guī)范了數(shù)據(jù)

管控過程中，各個(gè)環(huán)節(jié)日常

任務(wù)處理的運(yùn)

作模式，例如

數(shù)據(jù)定義如何

變更、數(shù)據(jù)沖

突如何協(xié)調(diào)等。o數(shù)據(jù)產(chǎn)生者o數(shù)據(jù)使用者o

………考

評(píng)

工具支撐制定信息管理委員會(huì)數(shù)據(jù)管控參與方數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)使用部門數(shù)據(jù)擁有部門數(shù)據(jù)管理部門崗位角色l

數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，

制定

遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測(cè)正在進(jìn)行的數(shù)據(jù)管控行動(dòng)。l

數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個(gè)數(shù)據(jù)管控的成

敗的關(guān)鍵。l

典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控主導(dǎo)方數(shù)據(jù)管控負(fù)責(zé)部門數(shù)據(jù)管控經(jīng)理企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)管控組織業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員運(yùn)維組織實(shí)施項(xiàng)目組數(shù)據(jù)質(zhì)量管理員元數(shù)

據(jù)管

理員數(shù)據(jù)安全管理員數(shù)據(jù)主管數(shù)據(jù)主管數(shù)據(jù)主管數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行l(wèi)

消除一數(shù)多義，提升數(shù)據(jù)的唯一性、

一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管

理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。l

數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：

數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)

標(biāo)準(zhǔn)管理的考評(píng)。企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)理念推廣

/定量考評(píng)定性考評(píng)關(guān)鍵業(yè)務(wù)對(duì)象數(shù)據(jù)結(jié)構(gòu)代碼映射數(shù)據(jù)分類關(guān)鍵代碼數(shù)據(jù)維度……歸檔系統(tǒng)ODS數(shù)據(jù)標(biāo)準(zhǔn)

分析報(bào)告客戶類

數(shù)據(jù)標(biāo)準(zhǔn)。。。類

數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類

數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量考評(píng)數(shù)據(jù)質(zhì)量提升l

數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評(píng)的目的

:

數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；

數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)

制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實(shí)施相應(yīng)的措施企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)一致性要求數(shù)據(jù)及時(shí)性要求業(yè)務(wù)規(guī)則數(shù)據(jù)唯一性要求數(shù)據(jù)完整性要求數(shù)據(jù)準(zhǔn)確性要求自動(dòng)修正手工修正數(shù)據(jù)補(bǔ)錄數(shù)據(jù)質(zhì)量

考核指標(biāo)數(shù)據(jù)質(zhì)量

驗(yàn)證規(guī)則數(shù)據(jù)質(zhì)量

分析報(bào)告數(shù)據(jù)質(zhì)量

標(biāo)準(zhǔn)l

業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)

數(shù)據(jù)進(jìn)行描述l

管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全

的狀態(tài)信息l

技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——元數(shù)據(jù)管理數(shù)據(jù)安全分級(jí)數(shù)據(jù)訪問授權(quán)技術(shù)l

數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)據(jù)訪問授權(quán)管理兩個(gè)部分：

數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中

實(shí)施數(shù)據(jù)安全保護(hù)和訪問提供數(shù)據(jù)安全控制的基礎(chǔ)。

數(shù)據(jù)訪問授權(quán)：數(shù)據(jù)訪問授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問的授權(quán)方法及流程

,

建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問和信息披露的安全。企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)使用需求數(shù)據(jù)敏感度數(shù)據(jù)使用者權(quán)責(zé)數(shù)據(jù)重要性數(shù)據(jù)訪問

授權(quán)規(guī)則數(shù)據(jù)安全

等級(jí)定義安全l業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程

數(shù)據(jù)認(rèn)責(zé)流程

數(shù)據(jù)治理考核體系

數(shù)據(jù)治理考核流程

數(shù)據(jù)治理考核指標(biāo)體系l數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程

數(shù)據(jù)標(biāo)準(zhǔn)建立流程

數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程l數(shù)據(jù)質(zhì)量管理管理高階流程-數(shù)據(jù)質(zhì)量要求確定流程l元數(shù)據(jù)管理高階流程

元數(shù)據(jù)變更流程l數(shù)據(jù)安全管理管理高階流程

數(shù)據(jù)安全審批流程企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——高階工作流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程協(xié)調(diào)會(huì)議數(shù)據(jù)管控考核流程參與討論數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程組織討論議題討論

決議督辦

結(jié)束參與討論參與討論參與討論參與討論業(yè)務(wù)數(shù)據(jù)規(guī)劃策略（數(shù)據(jù)質(zhì)量規(guī)則）數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)

溝通討論參與討論參與討論參與討論參與討論通知請(qǐng)求方/結(jié)

實(shí)是召開審議會(huì)議

設(shè)計(jì)元數(shù)據(jù)更新方案組織實(shí)施元數(shù)據(jù)變

更方案訪問授權(quán)則開始

需求收集提出預(yù)案開始收集數(shù)據(jù)標(biāo)提供數(shù)據(jù)標(biāo)準(zhǔn)需求提供數(shù)據(jù)標(biāo)準(zhǔn)需求提供數(shù)據(jù)標(biāo)準(zhǔn)需求提供數(shù)據(jù)標(biāo)準(zhǔn)需求考核流程否否是更新數(shù)參與討論參與討論召開數(shù)據(jù)管控協(xié)調(diào)會(huì)議是否需要提交審議？否存在爭論是接收數(shù)據(jù)訪問請(qǐng)求提出數(shù)據(jù)訪問請(qǐng)求召開數(shù)據(jù)

管控協(xié)調(diào)

會(huì)議否

數(shù)據(jù)認(rèn)責(zé)關(guān)系

確認(rèn)或更新數(shù)據(jù)質(zhì)量要求收集提供數(shù)據(jù)質(zhì)量要求提出業(yè)務(wù)元數(shù)據(jù)變

更需求釋需求提出技術(shù)元數(shù)據(jù)變

更需求考核報(bào)告簽批生成考核報(bào)告開始數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程組織各部門

溝通討論參與討論開始收集數(shù)據(jù)安

全需求開始匯總管控執(zhí)行情況數(shù)據(jù)所

數(shù)據(jù)使

數(shù)

據(jù)

生

數(shù)

據(jù)

管有者

用者

產(chǎn)者

理

者確認(rèn)評(píng)分結(jié)果確認(rèn)評(píng)分結(jié)果提出數(shù)據(jù)認(rèn)

責(zé)范圍提出初步認(rèn)責(zé)

方案者

者

者

者據(jù)數(shù)有所據(jù)數(shù)用使據(jù)數(shù)理管據(jù)數(shù)生產(chǎn)數(shù)據(jù)標(biāo)準(zhǔn)文檔更新數(shù)據(jù)定義、屬

性、維度等信息考核結(jié)果公布結(jié)束開始認(rèn)責(zé)需求收

集開始接收數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)請(qǐng)求信息管理委員會(huì)數(shù)據(jù)管控責(zé)任部門

數(shù)據(jù)所有者

數(shù)據(jù)管理者數(shù)據(jù)使用者數(shù)據(jù)所

數(shù)據(jù)

管數(shù)據(jù)使有者

理者

用

者數(shù)據(jù)管控負(fù)責(zé)部門據(jù)

者數(shù)據(jù)管數(shù)據(jù)生數(shù)據(jù)使理者

產(chǎn)者

用者者

者

者

數(shù)有所據(jù)數(shù)用使據(jù)數(shù)理管數(shù)據(jù)管控負(fù)責(zé)部

門業(yè)

務(wù)

部

門技術(shù)

部

門依據(jù)評(píng)分辦法根據(jù)執(zhí)

行情況進(jìn)行評(píng)分?jǐn)?shù)

據(jù)

部

管

門

控

負(fù)

責(zé)數(shù)

責(zé)據(jù)

部管

門控

負(fù)數(shù)據(jù)管控協(xié)調(diào)會(huì)議流程信息管理

委員會(huì)數(shù)據(jù)管控責(zé)任部門跟蹤安是否批準(zhǔn)變更？

否數(shù)據(jù)質(zhì)量要求確定流程信息管理委員會(huì)信息管

理委員

會(huì)數(shù)據(jù)管數(shù)據(jù)生接到變更請(qǐng)求

，對(duì)

問題進(jìn)行備案登記是是否有

爭議數(shù)據(jù)安全分級(jí)流程授權(quán)召開數(shù)據(jù)

管控協(xié)調(diào)會(huì)議數(shù)據(jù)管控

負(fù)

責(zé)

部

門方案預(yù)審并匯

報(bào)數(shù)據(jù)安全審批流程發(fā)布元數(shù)據(jù)變更說

明理者

產(chǎn)者向流程觸發(fā)人反處

理結(jié)果數(shù)據(jù)認(rèn)責(zé)關(guān)系

簽批組織實(shí)施新的

數(shù)據(jù)標(biāo)準(zhǔn)信息管

理

委

員

會(huì)部

負(fù)

管

數(shù)門

責(zé)

控

據(jù)數(shù)據(jù)認(rèn)責(zé)流程元數(shù)據(jù)變更流程組織和職責(zé)

公布數(shù)者部

負(fù)

管

數(shù)門

責(zé)

控

據(jù)會(huì)議計(jì)劃

和議題信息管

理

委標(biāo)的牽轉(zhuǎn)發(fā)請(qǐng)求評(píng)分匯總結(jié)果者

據(jù)數(shù)生產(chǎn)是否需

要修改數(shù)據(jù)管

控制度數(shù)據(jù)認(rèn)

責(zé)表數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布數(shù)理使者據(jù)

者據(jù)

者數(shù)有據(jù)訪問請(qǐng)求是

否會(huì)議準(zhǔn)備數(shù)

有生產(chǎn)員

會(huì)參與討論結(jié)束結(jié)束據(jù)據(jù)所管數(shù)用開始結(jié)束所據(jù)標(biāo)準(zhǔn)瀏覽權(quán)限管理用戶管理規(guī)范管理績效指標(biāo)流程管理信息地圖待辦事項(xiàng)指標(biāo)速遞主菜單質(zhì)量管理l

數(shù)據(jù)管控平臺(tái)從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運(yùn)算處理，

以不同的形式，不同的功能

在展現(xiàn)層提供用戶接口數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)管控平臺(tái)知識(shí)庫數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫元數(shù)據(jù)知識(shí)庫企業(yè)數(shù)字化轉(zhuǎn)型總體架構(gòu)——數(shù)據(jù)管控平臺(tái)展現(xiàn)

層應(yīng)用

層數(shù)據(jù)

層質(zhì)量稽核庫……元數(shù)據(jù)采集…………標(biāo)準(zhǔn)維護(hù)元數(shù)據(jù)管理標(biāo)準(zhǔn)管理工作管理系統(tǒng)管理規(guī)則配置首頁流程調(diào)度平臺(tái)數(shù)據(jù)管控平臺(tái)非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)云數(shù)據(jù)推送平臺(tái)業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)沙盤演練平臺(tái)

（Hadoop集群）Load（Hive）歷史歸檔查詢平臺(tái)

（Hadoop集群

Sqoop增值產(chǎn)品平臺(tái)（Hadoop集群）DistcpHQL+LoadMR數(shù)據(jù)交換平臺(tái)（自主開發(fā)交換組件+NAS存儲(chǔ)）基礎(chǔ)計(jì)算平臺(tái)（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）實(shí)時(shí)分析平臺(tái)

（內(nèi)存數(shù)據(jù)庫）管理分析平臺(tái)

（X86MPP集群）企業(yè)數(shù)字化轉(zhuǎn)型總體產(chǎn)品框架SFTP/HTTP/API

DistcpHQL+LoadFTP

+HiveCopyfromloalHQL+LoadSqoopSqoopDistcpDistcpQueue)Part

3企業(yè)數(shù)字化轉(zhuǎn)型頂層設(shè)計(jì)

全面開展內(nèi)部管理分析、實(shí)時(shí)分析和沙盤演練應(yīng)用建設(shè)，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作

全面開展企業(yè)數(shù)字化轉(zhuǎn)型建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平

臺(tái)數(shù)據(jù)區(qū)建設(shè)

隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開展數(shù)據(jù)標(biāo)準(zhǔn)化工作開展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)開展貼源數(shù)據(jù)整合，初步建立企業(yè)級(jí)數(shù)據(jù)視圖，實(shí)現(xiàn)對(duì)管理分析類應(yīng)用和實(shí)時(shí)分析類應(yīng)用的支撐規(guī)劃數(shù)據(jù)管控藍(lán)圖，初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理

深化分析體系，形成

深度智能化業(yè)務(wù)分析

性能持續(xù)優(yōu)化、數(shù)據(jù)

平臺(tái)持續(xù)完善、

持續(xù)深化數(shù)據(jù)管控體

系，形成消費(fèi)企業(yè)企

業(yè)級(jí)的數(shù)據(jù)管控體系2013年

2014年——2015年

2015年以后第一階段

第二階段

第三階段以基礎(chǔ)平臺(tái)搭建為主，配合消費(fèi)企業(yè)初期業(yè)務(wù)開展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營管理三方面開展搭建大數(shù)據(jù)處理平臺(tái)和實(shí)時(shí)分析平臺(tái)，應(yīng)用方面開展實(shí)時(shí)分析和數(shù)據(jù)產(chǎn)品封裝應(yīng)

業(yè)務(wù)分析框架技

基礎(chǔ)數(shù)據(jù)平臺(tái)

管

數(shù)據(jù)管控體系企業(yè)數(shù)字化轉(zhuǎn)型演進(jìn)路線未來持續(xù)優(yōu)化提升階段對(duì)企業(yè)價(jià)值的創(chuàng)造當(dāng)前位置應(yīng)管應(yīng)技技應(yīng)2013.10一期技管管階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段l

搭建數(shù)據(jù)交換平臺(tái)，部署NAS存儲(chǔ)集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫交換組

件和數(shù)據(jù)區(qū)交換組件l

搭建基礎(chǔ)計(jì)算平臺(tái)，設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū)，以T+1頻率整合商城

和企業(yè)業(yè)務(wù)數(shù)據(jù)l

搭建歷史歸檔查詢平臺(tái)，歸檔商城和企業(yè)業(yè)務(wù)數(shù)據(jù)文件l

搭建內(nèi)部管理分析應(yīng)用平臺(tái)，部署MPP集群和BI分析應(yīng)用環(huán)境l

搭建實(shí)時(shí)分析平臺(tái)，部署內(nèi)存數(shù)據(jù)庫和實(shí)時(shí)BI分析環(huán)境l

實(shí)現(xiàn)了數(shù)據(jù)平臺(tái)內(nèi)部個(gè)數(shù)據(jù)區(qū)之間、

數(shù)據(jù)平臺(tái)與外部系統(tǒng)間的雙向數(shù)據(jù)傳

輸l

實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合l

實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理l

實(shí)現(xiàn)了內(nèi)部管理分析環(huán)境搭建l

實(shí)現(xiàn)實(shí)時(shí)分析環(huán)境搭建第二階段l

數(shù)據(jù)交換平臺(tái)增強(qiáng)和優(yōu)化，包括：大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施l

基礎(chǔ)計(jì)算平臺(tái)增強(qiáng)，包括：引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū)

;

設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施

大數(shù)據(jù)區(qū)，實(shí)現(xiàn)企業(yè)內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理l

搭建沙盤演練平臺(tái)l

實(shí)時(shí)分析平臺(tái)增強(qiáng)和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源l

實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲(chǔ)、一次計(jì)算

、多次使用l

建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，實(shí)

現(xiàn)了用戶自主用數(shù)l

為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類分析用提供平臺(tái)l

為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺(tái)第三階段l

基礎(chǔ)計(jì)算平臺(tái)持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和

ETL處理l

搭建增值產(chǎn)品平臺(tái)，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)l

數(shù)據(jù)交換平臺(tái)、沙盤演練平臺(tái)、實(shí)時(shí)分析平臺(tái)進(jìn)一步增強(qiáng)和優(yōu)化l

數(shù)據(jù)平臺(tái)納入盡可能多的企業(yè)內(nèi)外部

數(shù)據(jù)l

數(shù)據(jù)平臺(tái)以最優(yōu)的性能支持各類數(shù)據(jù)

應(yīng)用企業(yè)數(shù)字化轉(zhuǎn)型演進(jìn)說明——基礎(chǔ)數(shù)據(jù)平臺(tái)階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段l

分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍(lán)圖和路線圖設(shè)計(jì)，

數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計(jì)l

梳理企業(yè)數(shù)字化轉(zhuǎn)型ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則

、評(píng)價(jià)指標(biāo)、管控流程，并落地實(shí)施數(shù)據(jù)質(zhì)量管理系統(tǒng)l

梳理企業(yè)數(shù)字化轉(zhuǎn)型包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、ETL流程

、BI語義層等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)l

同步企業(yè)數(shù)字化轉(zhuǎn)型ETL建設(shè)，

實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)l

收集并整合了消費(fèi)企業(yè)所有技

術(shù)元數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)生命周

管理、血緣分析和影響分析等

功能第二階段l

隨著更多數(shù)據(jù)源的引入，進(jìn)一步增強(qiáng)數(shù)據(jù)質(zhì)量管理系統(tǒng)l

隨著更多數(shù)據(jù)源的引入、更多平臺(tái)的建立，梳理并整合更多技術(shù)元數(shù)據(jù)l

梳理企業(yè)數(shù)字化轉(zhuǎn)型包含的業(yè)務(wù)和管理類元數(shù)據(jù)，如業(yè)務(wù)術(shù)語、業(yè)務(wù)指標(biāo)、

業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)l

開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略l

完善了數(shù)據(jù)質(zhì)量管理體系，實(shí)

現(xiàn)了問題及時(shí)發(fā)現(xiàn)、及時(shí)解決l

實(shí)現(xiàn)了消費(fèi)企業(yè)全方位的元數(shù)

據(jù)管理，打通了業(yè)務(wù)和技術(shù)元

數(shù)據(jù)關(guān)聯(lián)關(guān)系l

為消費(fèi)企業(yè)數(shù)據(jù)平臺(tái)建設(shè)提供

了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)第三階段l

數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強(qiáng)l

元數(shù)據(jù)管理持續(xù)優(yōu)化并增強(qiáng)l

基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實(shí)施l

開展指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略l

通過完善的數(shù)據(jù)管控體系，提

升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性

、建立數(shù)據(jù)間的血緣關(guān)系，使

得業(yè)務(wù)人員可以方便、有效的

使用數(shù)據(jù)，提高數(shù)據(jù)實(shí)用性企業(yè)數(shù)字化轉(zhuǎn)型演進(jìn)說明——數(shù)據(jù)管控階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段l

開展客戶信息管理建設(shè)，設(shè)計(jì)并實(shí)施個(gè)人客戶和供應(yīng)商360

°視

圖、客戶目標(biāo)搜索、客戶細(xì)分等功能l

開展風(fēng)險(xiǎn)管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)評(píng)級(jí)模型l

開展運(yùn)營管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)鏈企業(yè)、人人貸等業(yè)務(wù)條線

業(yè)務(wù)量統(tǒng)計(jì)分析l

初步梳理實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，進(jìn)行高時(shí)效分析應(yīng)用試點(diǎn)l

可以方便的對(duì)個(gè)人客戶和供應(yīng)商進(jìn)行分群

,

以及全方位信息查詢和展示l

供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)等級(jí)評(píng)定l

針對(duì)目前開展的業(yè)務(wù)進(jìn)行經(jīng)營情況統(tǒng)計(jì)分

析l

搭建并驗(yàn)證高時(shí)效應(yīng)用體系第二階段l

隨著消費(fèi)企業(yè)業(yè)務(wù)的展開，逐步開展內(nèi)部管理分析體系的建設(shè)，

本階段重點(diǎn)為客戶關(guān)系管理、運(yùn)營管理等l

高級(jí)業(yè)務(wù)人員利用沙盤演練平臺(tái)進(jìn)行數(shù)據(jù)挖掘、預(yù)測(cè)和科學(xué)試驗(yàn)l

進(jìn)一步樹立實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，深化開展高時(shí)效分析應(yīng)用l

開始梳理市場上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品l

通過內(nèi)部管理分析體系的建設(shè)、滿足了消

費(fèi)企業(yè)日常經(jīng)營管理、決策分析和進(jìn)一步

提高價(jià)值創(chuàng)造力的需要l

實(shí)現(xiàn)了業(yè)務(wù)人員自主用數(shù)l

實(shí)現(xiàn)了高時(shí)效分析，與業(yè)務(wù)流程的整合l

實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價(jià)值第三階段l

隨著消費(fèi)企業(yè)業(yè)務(wù)的展開，進(jìn)一步完善內(nèi)部管理分析體系的建設(shè)

,

包括：市場風(fēng)險(xiǎn)管理、操作風(fēng)險(xiǎn)管理、財(cái)務(wù)管理等l

收集實(shí)時(shí)分析需求，進(jìn)一步增強(qiáng)并優(yōu)化實(shí)時(shí)分析應(yīng)用體系l

增值數(shù)據(jù)產(chǎn)品設(shè)計(jì)逐漸成為重點(diǎn)，數(shù)據(jù)分析師收集企業(yè)內(nèi)外部數(shù)

據(jù)需求，設(shè)計(jì)更完善的增值數(shù)據(jù)產(chǎn)品l

通過內(nèi)部管理分析應(yīng)用體系建設(shè)進(jìn)一步實(shí)

現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新l

通過實(shí)時(shí)分析應(yīng)用體系建設(shè)，實(shí)現(xiàn)大數(shù)據(jù)

平臺(tái)業(yè)務(wù)系統(tǒng)的交互，與業(yè)務(wù)流程的融合l

增值數(shù)據(jù)產(chǎn)品的開發(fā)進(jìn)一步發(fā)揮的數(shù)據(jù)平

臺(tái)的數(shù)據(jù)價(jià)值企業(yè)數(shù)字化轉(zhuǎn)型演進(jìn)說明——應(yīng)用體系Part

4企業(yè)數(shù)字化轉(zhuǎn)型業(yè)務(wù)應(yīng)用企業(yè)企業(yè)數(shù)字化轉(zhuǎn)型一期架構(gòu)l

基礎(chǔ)計(jì)算平臺(tái)：基于Hadoop集群構(gòu)建，按照業(yè)務(wù)條線、以貼源數(shù)據(jù)模型存儲(chǔ)了業(yè)務(wù)系統(tǒng)明細(xì)數(shù)據(jù)l

數(shù)據(jù)交換平臺(tái)：NAS集群實(shí)現(xiàn)了進(jìn)出數(shù)據(jù)平臺(tái)數(shù)據(jù)的暫存，業(yè)務(wù)數(shù)據(jù)交換組件實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實(shí)現(xiàn)了基礎(chǔ)計(jì)算平臺(tái)與管理分析平臺(tái)間的數(shù)據(jù)交換l

流程調(diào)度平臺(tái)：自主開發(fā)的流程調(diào)度引擎實(shí)現(xiàn)整個(gè)數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理任務(wù)調(diào)度和運(yùn)行l(wèi)

管理分析平臺(tái)：由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應(yīng)用構(gòu)成，實(shí)現(xiàn)了面向應(yīng)用的數(shù)據(jù)加工、管理、分析服務(wù)l

實(shí)時(shí)分析平臺(tái)：由高檔X86服務(wù)器組成的集群，實(shí)現(xiàn)高時(shí)效、高并發(fā)的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類管理分析需求l

數(shù)據(jù)交換平臺(tái)由FTP服務(wù)器、加載服務(wù)器和

NAS存儲(chǔ)組成，完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)的獲取、

加載和歸檔lFTP服務(wù)器：利用LVS構(gòu)成的FTP集群，接收

云數(shù)據(jù)推送平臺(tái)處理后的數(shù)據(jù)，存儲(chǔ)在NAS

集群的指定目錄l

加載服務(wù)器：部署ETL任務(wù)，實(shí)現(xiàn)指定目錄

的文件到達(dá)監(jiān)控、文件級(jí)檢核、數(shù)據(jù)加載（HiveLoad）到臨時(shí)數(shù)據(jù)區(qū)，同時(shí)歸檔(

copyfromlocal）歷史數(shù)據(jù)區(qū)lNAS集群：按照日期和源系統(tǒng)劃分目錄，緩

存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL云數(shù)據(jù)推送平臺(tái)l

云數(shù)據(jù)推送平臺(tái)實(shí)現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取

獲、按需分發(fā)。l

平臺(tái)采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)，存儲(chǔ)在MySQL集群l

平臺(tái)按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄企業(yè)企業(yè)數(shù)字化轉(zhuǎn)型NAS集群文件歸檔文件加載文件級(jí)檢核文件到達(dá)事件監(jiān)控文件歸檔文件加載文件級(jí)檢核文件到達(dá)事件監(jiān)控LVS集群：FTP服務(wù)器#3數(shù)據(jù)交換平臺(tái)—平臺(tái)邏輯架構(gòu)LVS集群：負(fù)載均衡服務(wù)器……

……LVS集群：FTP服務(wù)器#1加載服務(wù)器#1加載服務(wù)器#4…………供應(yīng)鏈人人貸物流財(cái)務(wù)……POP1.

設(shè)計(jì)并實(shí)施云數(shù)據(jù)推送平臺(tái)；2.

按照消費(fèi)企業(yè)接口定義，抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)；3.

按照消費(fèi)企業(yè)接口規(guī)范要求，按時(shí)生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；4.

若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級(jí)平臺(tái)版本，根據(jù)消費(fèi)企業(yè)更新接口規(guī)范提供數(shù)據(jù)；5.

應(yīng)及時(shí)解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；6.

對(duì)于未盡事宜，應(yīng)同消費(fèi)企業(yè)協(xié)商解決。1.

安裝部署消費(fèi)企業(yè)企業(yè)數(shù)字化轉(zhuǎn)型物理環(huán)境、應(yīng)用軟件,并進(jìn)行基礎(chǔ)設(shè)施運(yùn)維；2.

在業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫服務(wù)器安裝并部署云數(shù)據(jù)推送平臺(tái)客戶端，并提供數(shù)據(jù)庫訪問。1.

制定接口規(guī)范，并提交給云數(shù)據(jù)推送項(xiàng)目組；2.

梳理業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項(xiàng)目組；3.

開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；4.

對(duì)接收的數(shù)據(jù)提供驗(yàn)證功能，并返回驗(yàn)證結(jié)果到云數(shù)據(jù)推送平臺(tái)；5.

根據(jù)云數(shù)據(jù)推送平臺(tái)提交的變更通知修改接口定義和數(shù)據(jù)交換組件；6.

對(duì)于未盡事宜，應(yīng)同云計(jì)算方協(xié)商解決。1.

針對(duì)消費(fèi)企業(yè)需求，指定接口人、提供文檔；2.

業(yè)務(wù)系統(tǒng)因版本升級(jí)等原因?qū)е聰?shù)據(jù)模型發(fā)生變化，及時(shí)通知云數(shù)據(jù)推送平臺(tái)接口責(zé)任人。數(shù)據(jù)交換平臺(tái)—參與方責(zé)任劃分運(yùn)維部門研發(fā)部門消費(fèi)企業(yè)云計(jì)算數(shù)據(jù)交換平臺(tái)—業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實(shí)現(xiàn)方式l

每張?jiān)聪到y(tǒng)表都對(duì)應(yīng)一個(gè)獨(dú)立的數(shù)據(jù)接口

數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構(gòu)成（文件命名和具體內(nèi)容參見接口規(guī)范）

文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）

如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，

云數(shù)據(jù)推送平臺(tái)應(yīng)該生成空的數(shù)據(jù)接口l

傳輸方式FTP傳輸，利用LVS技術(shù)構(gòu)建FTP集群，接收數(shù)據(jù)l

傳輸頻率云數(shù)據(jù)推送平臺(tái)通常按照T+1頻率為消費(fèi)企業(yè)提供數(shù)據(jù)，具體頻率要求參見接口定義l

接口處理模式1.

云數(shù)據(jù)推送平臺(tái)根據(jù)不同接口單元定義，準(zhǔn)備數(shù)據(jù)、生成接口數(shù)據(jù)文件；2.

云數(shù)據(jù)推送平臺(tái)根據(jù)接口規(guī)范生成相應(yīng)的接口控制文件；3.

云數(shù)據(jù)推送平臺(tái)壓縮數(shù)據(jù)（LZO），并通過FTP將數(shù)據(jù)接口存入NAS指定目錄；4.

企業(yè)企業(yè)數(shù)字化轉(zhuǎn)型部署在不同加載服務(wù)器上的數(shù)據(jù)交換組件完成：a)

定時(shí)輪詢NAS指定目錄，獲取接口（包括數(shù)據(jù)文件、控制文件和DDL文件）；b)

執(zhí)行文件級(jí)檢核；c)

通過檢核后，

將數(shù)據(jù)文件和控制文件移動(dòng)到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；5.

在TaskAutomation調(diào)度下執(zhí)行數(shù)據(jù)加載和數(shù)據(jù)歸檔任務(wù)?！璍VS服務(wù)器4FTPPythonJSSModulePythonruntimeRedhatLinux加載服務(wù)器4加載任務(wù)歸檔任務(wù)HiveHDFSClientRedhatLinux……加載服務(wù)器1加載任務(wù)歸檔任務(wù)HiveHDFSClientRedhatLinux數(shù)據(jù)交換平臺(tái)—平臺(tái)部署架構(gòu)l

數(shù)據(jù)交換平臺(tái)由8臺(tái)X86服務(wù)器和一個(gè)NAS集群構(gòu)成

X86服務(wù)器按照功能分為2組，一組實(shí)現(xiàn)數(shù)據(jù)獲取，一組實(shí)現(xiàn)數(shù)據(jù)加載和歸檔LVS服務(wù)器1LVSPythonJSSModulePythonruntimeRedhatLinuxLVS1負(fù)載均衡其它LVS服務(wù)器

負(fù)責(zé)接收接口文件，寫入NAS

集群目錄支持按需擴(kuò)展/

減少服務(wù)器負(fù)責(zé)源系統(tǒng)數(shù)據(jù)文件加載和

歸檔每臺(tái)服務(wù)器負(fù)責(zé)多個(gè)源系統(tǒng)支持按需擴(kuò)展/

減少服務(wù)器按日期和源系統(tǒng)建立數(shù)

據(jù)目錄，緩

存每日接口

文件，供交

換平臺(tái)訪問部署數(shù)據(jù)交換平臺(tái)和流程調(diào)

度平臺(tái)程序，

各服務(wù)器通過

文件鏈接使用

NAS集群作為公共數(shù)據(jù)區(qū)，由8臺(tái)服務(wù)器共享訪問（讀寫）lllllllNAS集群LANll

TaskAutomation驅(qū)動(dòng)各個(gè)

平臺(tái)、實(shí)現(xiàn)從數(shù)據(jù)存入NAS平臺(tái)到數(shù)據(jù)集市生成

整個(gè)處理過程的工作流管

理

數(shù)據(jù)交換平臺(tái)負(fù)責(zé)數(shù)據(jù)

抽取、文件級(jí)質(zhì)量檢核

、調(diào)用HiveLoad加載數(shù)據(jù)

基礎(chǔ)計(jì)算平臺(tái)使用HiveSQL實(shí)現(xiàn)貼源數(shù)據(jù)

整合、公共匯總數(shù)據(jù)處

理

管理分析平臺(tái)使用關(guān)系

型數(shù)據(jù)庫的SQL實(shí)現(xiàn)集

市數(shù)據(jù)的處理

歷史歸檔查詢平臺(tái)負(fù)責(zé)

數(shù)據(jù)文件和Hadoop集群

數(shù)據(jù)歸檔流程調(diào)度平臺(tái)—平臺(tái)邏輯架構(gòu)流程調(diào)度平臺(tái)—流程調(diào)度元數(shù)據(jù)l

TaskAutomation的元數(shù)據(jù)統(tǒng)一存儲(chǔ)在MySQL數(shù)據(jù)庫中

任務(wù)定義，包括任務(wù)名稱、描述、運(yùn)行服務(wù)器、運(yùn)行狀態(tài)、運(yùn)行時(shí)間、相關(guān)數(shù)據(jù)源等屬性

任務(wù)依賴，任務(wù)的執(zhí)行依賴與其他上游任務(wù)

任務(wù)觸發(fā)，任務(wù)成功執(zhí)行后觸發(fā)的下游任務(wù)

任務(wù)組，

一組有相互關(guān)系的任務(wù)，全部完成后會(huì)觸發(fā)頭任務(wù)運(yùn)行

……l

元數(shù)據(jù)由所有流程調(diào)度服務(wù)器共享流程調(diào)度平臺(tái)—任務(wù)調(diào)度引擎l

通過偵測(cè)器偵測(cè)事件，按照任務(wù)定義和任務(wù)依賴關(guān)系觸發(fā)任務(wù)運(yùn)行，觸發(fā)方式把主要包括

自動(dòng)觸發(fā)

定時(shí)觸發(fā)，按照預(yù)先定義的時(shí)間周期，如每日、每周、每月，或任何有規(guī)律的時(shí)間間隔執(zhí)行任務(wù)。目前可明確的任務(wù)主要是每月執(zhí)行的基礎(chǔ)計(jì)算平

臺(tái)、管理分析平臺(tái)數(shù)據(jù)歸檔。

事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務(wù)。如：數(shù)據(jù)文件到達(dá)指定目錄，會(huì)觸發(fā)數(shù)據(jù)加載任務(wù)。同樣，流程失敗也會(huì)觸發(fā)新的job，如錯(cuò)誤處理、

例外處理等。

手動(dòng)觸發(fā)

系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對(duì)特定范圍的數(shù)據(jù)進(jìn)行審計(jì)與驗(yàn)證、對(duì)特定范圍

的數(shù)據(jù)進(jìn)行針對(duì)性很強(qiáng)的數(shù)據(jù)清洗、或者是對(duì)某流程失敗后的修復(fù)。l

每個(gè)要執(zhí)行的任務(wù)均由任務(wù)執(zhí)行代理啟動(dòng)運(yùn)行流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫中，集群中任何服務(wù)器發(fā)

生故障不會(huì)破壞元數(shù)據(jù)完整性。服務(wù)器

故障時(shí)，只需要修改ETL任務(wù)屬性，

指

定其他服務(wù)器執(zhí)行任務(wù)即可，故障不會(huì)

影響任務(wù)依賴關(guān)系、任務(wù)組關(guān)系。流程調(diào)度集群由多臺(tái)服務(wù)器構(gòu)成，按工

作負(fù)載劃分不同角色，分別實(shí)現(xiàn)ETL處

理過程中不同類型任務(wù)的調(diào)度。當(dāng)某類

調(diào)度工作負(fù)載較大時(shí)，可通過增加服務(wù)

器的方式，實(shí)現(xiàn)集群的橫向擴(kuò)展流程調(diào)度平臺(tái)—集群可靠性和可擴(kuò)展性高可用性擴(kuò)展能力臨時(shí)/歸檔區(qū)調(diào)度服務(wù)器1TaskAutomationHadoopHivePerlRuntimeMySQLClientRedhatLinux臨時(shí)/歸檔區(qū)調(diào)度服務(wù)器4TaskAutomationHadoopHivePerlRuntimeMySQLClientRedhatLinux……l

流程調(diào)度平臺(tái)由八臺(tái)X86服務(wù)器構(gòu)成，服務(wù)器按照功能分為兩類

兩臺(tái)X86服務(wù)器部署MySQL數(shù)據(jù)庫集群，存儲(chǔ)流程調(diào)度元數(shù)據(jù)

六臺(tái)X86服務(wù)器部署流程調(diào)度引擎，負(fù)責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運(yùn)行貼源區(qū)調(diào)度服務(wù)器TaskAutomationHadoopHivePerlRuntimeMySQLClientRedhatLinuxLAN匯總區(qū)調(diào)度服務(wù)器TaskAutomationHadoopHivePerlRuntimeMySQLClientRedhatLinuxMySQL主服務(wù)器MasterNode MySQL從服務(wù)器 l

按數(shù)據(jù)區(qū)劃分工作流

,工作流不跨數(shù)據(jù)區(qū)l

臨時(shí)區(qū)數(shù)據(jù)處理的工

作流部署在數(shù)據(jù)交換

換平臺(tái)的加載服務(wù)器l

貼園區(qū)和匯總區(qū)工作

流分別部署獨(dú)立的服

務(wù)器l

MySQL主-從集群，存儲(chǔ)臨時(shí)區(qū)、歸檔區(qū)、

貼源區(qū)和匯總

區(qū)數(shù)據(jù)處理任

務(wù)定義，任務(wù)

依賴關(guān)系流程調(diào)度平臺(tái)—平臺(tái)部署架構(gòu)MasterNodel

基礎(chǔ)計(jì)算平臺(tái)基于Hadoop集群搭建

集群采用標(biāo)準(zhǔn)的X86服務(wù)器

集群彈性架構(gòu)，按需分配計(jì)算資源，

支

持添加X86服務(wù)器的方式實(shí)現(xiàn)橫向擴(kuò)展

集群中的數(shù)據(jù)保留三份，保證任何節(jié)點(diǎn)

故障，不影響集群對(duì)外提供服務(wù)l

基礎(chǔ)計(jì)算平臺(tái)有三個(gè)數(shù)據(jù)區(qū)構(gòu)成

臨時(shí)數(shù)據(jù)區(qū)，緩存當(dāng)日源系統(tǒng)變化（新

增、修改、刪除）數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理

貼源數(shù)據(jù)區(qū)，按照源系統(tǒng)數(shù)據(jù)模型整合

的明細(xì)歷史數(shù)據(jù)，作為基礎(chǔ)數(shù)據(jù)層實(shí)現(xiàn)

數(shù)據(jù)一次整合、多次使用

匯總數(shù)據(jù)區(qū)，根據(jù)應(yīng)用需求，對(duì)貼源數(shù)

據(jù)區(qū)明細(xì)數(shù)據(jù)進(jìn)行預(yù)連接、預(yù)聚合、預(yù)

匯總處理的數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)的一次計(jì)

算、多次使用VMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVMVM節(jié)點(diǎn)VMVM拿拿貼源數(shù)據(jù)區(qū)Hadoop拿節(jié)點(diǎn)匯總數(shù)據(jù)區(qū)臨時(shí)數(shù)據(jù)區(qū)基礎(chǔ)計(jì)算平臺(tái)—平臺(tái)邏輯架構(gòu)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)l

數(shù)據(jù)庫設(shè)計(jì)原則

臨時(shí)數(shù)據(jù)區(qū)對(duì)應(yīng)獨(dú)立的Hive數(shù)據(jù)庫

不對(duì)外提供訪問，ETL用戶對(duì)數(shù)據(jù)庫有增、刪

、查、改權(quán)限l

模型設(shè)計(jì)原則

邏輯模型參考源系統(tǒng)和接口規(guī)范定義，為每

個(gè)接口單元設(shè)計(jì)實(shí)體、屬性

物理模型與邏輯模型保持一致，每個(gè)實(shí)體對(duì)

應(yīng)一張Hive表，表采用LZO壓縮存儲(chǔ)

物理模型設(shè)計(jì)不建議考慮索引、物化視圖等

技術(shù)特性

以天為單位，按業(yè)務(wù)日期建立分區(qū)l

歷史保留原則

緩存當(dāng)日業(yè)務(wù)數(shù)據(jù)、為數(shù)據(jù)重跑方便可保留7

天歷史

過期數(shù)據(jù)直接刪除對(duì)應(yīng)分區(qū)，不需要?dú)w檔企業(yè)數(shù)字化轉(zhuǎn)型要整合的源系統(tǒng)，包括：

POP、財(cái)務(wù)審計(jì)、財(cái)務(wù)研發(fā)、大物流、供應(yīng)鏈、企業(yè)、網(wǎng)站交易、數(shù)據(jù)部和移動(dòng)客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)。建立數(shù)據(jù)緩沖區(qū)，臨時(shí)存放從源系統(tǒng)抽取過來的增量/全量

數(shù)據(jù)，支撐后續(xù)ELT處理。包含內(nèi)容主要用途基礎(chǔ)計(jì)算平臺(tái)—臨時(shí)數(shù)據(jù)區(qū)設(shè)計(jì)

原則l

數(shù)據(jù)庫設(shè)計(jì)原則

貼源數(shù)據(jù)區(qū)對(duì)應(yīng)獨(dú)立的Hive數(shù)據(jù)庫

不對(duì)外提供訪問，ETL用戶對(duì)數(shù)據(jù)庫有增、刪

、查、改權(quán)限l

模型設(shè)計(jì)原則

針對(duì)不需要記錄變化的實(shí)體，其邏輯模型參

考緩沖層，按照貼源設(shè)計(jì)

針對(duì)需要記錄變化的數(shù)據(jù)，需要增加時(shí)間字

段，設(shè)計(jì)拉鏈數(shù)據(jù)模型，記錄歷史

物理模型考慮分區(qū)，流水表按業(yè)務(wù)日期建立

分區(qū)，拉鏈表按終止日期建立分區(qū)l

歷史保留原則

拉鏈表數(shù)據(jù)保留最近37個(gè)月的歷史

快照表數(shù)據(jù)永久保留

交易流水表數(shù)據(jù)保留最近25個(gè)月的歷史

過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時(shí)回遷與緩沖層相對(duì)應(yīng)，貼源整合層

主要包括：

POP、財(cái)務(wù)審計(jì)、財(cái)務(wù)研發(fā)、大物流、供應(yīng)鏈、企業(yè)、網(wǎng)站交易、數(shù)據(jù)部和移動(dòng)客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)，所有數(shù)據(jù)保留歷史。作為整個(gè)數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)層，累計(jì)歷史，為主題層、集

市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐。包含內(nèi)容主要用途基礎(chǔ)計(jì)算平臺(tái)—貼源數(shù)據(jù)區(qū)設(shè)計(jì)

原則l

數(shù)據(jù)庫設(shè)計(jì)原則

匯總數(shù)據(jù)區(qū)對(duì)應(yīng)獨(dú)立的Hive數(shù)據(jù)庫

不對(duì)外提供訪問，ETL用戶對(duì)數(shù)據(jù)庫有增、刪

、