企業(yè)數(shù)字化轉型規(guī)劃設計詳細方案 兩份資料

企業(yè)數(shù)字化轉型規(guī)劃設計目錄CONTENTS1企業(yè)數(shù)字化轉型建設背景2企業(yè)數(shù)字化轉型需求分析3企業(yè)數(shù)字化轉型頂層設計4企業(yè)數(shù)字化轉型業(yè)務應用5企業(yè)數(shù)字化轉型未來展望1企業(yè)數(shù)字化轉型建設背景Part企業(yè)數(shù)字化轉型建設背景綜合化經(jīng)營發(fā)展趨勢保障措施提供包括企業(yè)、證券、信托、保險等及非企業(yè)服務在內(nèi)的、全方位、專業(yè)化、個性化、多元化的綜合企業(yè)服務互聯(lián)網(wǎng)企業(yè)戰(zhàn)略PC端向移動端轉化趨勢明顯，互聯(lián)網(wǎng)企業(yè)向移動互聯(lián)網(wǎng)企業(yè)轉變，移動先行戰(zhàn)略呈現(xiàn)移動化、社交化、平臺化、開放化、產(chǎn)業(yè)化的發(fā)展趨勢，以泛在、跨界、聚合、智慧為發(fā)展方向，以用戶體驗和用戶價值為中心，全面融入到企業(yè)價值鏈各個環(huán)節(jié)和個人衣食住行玩等生活場景中，企業(yè)服務無處不在以移動支付、大數(shù)據(jù)應用為核心，向電商、O2O、P2P等拓展，圍繞互聯(lián)網(wǎng)生態(tài)體系，持續(xù)推進產(chǎn)品創(chuàng)新、客戶體驗創(chuàng)新和商業(yè)模式創(chuàng)新客戶深耕：“主辦企業(yè)”、“伙伴企業(yè)”、“社區(qū)企業(yè)”、“縣域企業(yè)”渠道創(chuàng)新：“移動企業(yè)”、“社交企業(yè)”、“智慧企業(yè)”產(chǎn)品差異：“專業(yè)化企業(yè)”、“全能企業(yè)”、“不僅是企業(yè)”管理轉型科技引領創(chuàng)新成立互聯(lián)網(wǎng)企業(yè)實驗室、大數(shù)據(jù)分析中心，通過組織創(chuàng)新推動新技術創(chuàng)新通過生物識別技術、互聯(lián)網(wǎng)、移動支付、大數(shù)據(jù)、云計算、智能可穿戴設備等技術的創(chuàng)新應用，迅速加強客戶洞察、全渠道協(xié)同、精準營銷、線上線下協(xié)同、信用評估、風險監(jiān)控等可持續(xù)業(yè)務創(chuàng)新的能力建設業(yè)務轉型創(chuàng)新優(yōu)化業(yè)務結構，變粗放型發(fā)展為集約化經(jīng)營，實現(xiàn)向輕資產(chǎn)、輕資本的表外業(yè)務拓展發(fā)展資產(chǎn)管理、投資企業(yè)、資產(chǎn)托管等市場化業(yè)務，從傳統(tǒng)企業(yè)變身為數(shù)據(jù)分析者、撮合交易者和財富管理者服務國家戰(zhàn)略，服務實體經(jīng)濟營銷精準化、管理精細化、決策科學化運營集約化、自動化組織扁平化、團隊專業(yè)化差異化、特色化經(jīng)營123456企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景中國P2P模式純線上模式線下模式線上線下結合O2O模式P2P公司已接近2000家，市場規(guī)模約0.2萬億元，在整個融資體系中占比還非常小借款客戶主要以中小企業(yè)客戶為主，個人貸款客戶少純線上模式少，多以線上線下結合，投資端以線上為主，資產(chǎn)端以線下為主，營銷、運營成本高貸款利率高，信息不透明，純線上大數(shù)據(jù)風控技術不成熟，信用風險較大，平臺風險與收益不對等企業(yè)直接進入P2P比較少，主要是監(jiān)管政策不明確，但已有不少企業(yè)與P2P公司合作，布局P2P現(xiàn)狀往行業(yè)垂直細分領域發(fā)展，提供特色化、專業(yè)化服務與供應鏈企業(yè)融合，實現(xiàn)產(chǎn)融結合；向交易撮合平臺、信息中介平臺、綜合化網(wǎng)絡理財平臺等綜合性平臺方向發(fā)展隨著監(jiān)管政策明確，企業(yè)會快速進入P2P，以企業(yè)信用優(yōu)勢給P2P行業(yè)帶來快速發(fā)展機會企業(yè)拓展與P2P公司合作范圍：客戶推薦、信息共享、風險評估、資金托管、資金流監(jiān)控、貸款催收、資產(chǎn)保全、委托貸款等全方位合作企業(yè)自營或共營方式建立P2P平臺：客戶自助信用評估授信；社交信用評估（社交授信、熟人授信）；社交信用隱性擔保增信；熟人信用顯性擔保增信；跟投貸款、領投貸款模式創(chuàng)新發(fā)展趨勢企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景企業(yè)數(shù)字化轉型建設背景消費企業(yè)管理分析類應用建設現(xiàn)狀基本分析關注的內(nèi)容存在的問題基本的現(xiàn)狀商城數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用缺乏面向整個消費企業(yè)的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐消費企業(yè)日常業(yè)務運轉的風險評估體系；缺乏消費企業(yè)客戶360度視圖，客戶行為分析和預測無法實現(xiàn)；缺乏面向企業(yè)業(yè)務運營管理的關鍵績效指標體系；……商城已建立面向整個零售業(yè)務的數(shù)據(jù)倉庫，整合了前臺業(yè)務運營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向零售的管理分析應用；消費企業(yè)已開展供應鏈企業(yè)、人人貸和保理等多種業(yè)務，積累了一定量的業(yè)務數(shù)據(jù)，同時業(yè)務人員也從客戶管理、風險評級和經(jīng)營規(guī)模預測等方面，提出了大量分析預測需求；……數(shù)據(jù)平臺、數(shù)據(jù)應用、數(shù)據(jù)管控……基礎數(shù)據(jù)平臺和BI應用建設是未來一段時間的重點！數(shù)據(jù)平臺整體架構；數(shù)據(jù)平臺各層建設的標準；較成熟的企業(yè)業(yè)數(shù)據(jù)模型；數(shù)據(jù)質量治理；元數(shù)據(jù)管理；數(shù)據(jù)標準建設數(shù)據(jù)整合；數(shù)據(jù)應用建設；數(shù)據(jù)平臺的軟硬環(huán)境……企業(yè)數(shù)字化轉型建設目標外部非結構化數(shù)據(jù)統(tǒng)一制定目標和分析模型統(tǒng)一劃分分析主題統(tǒng)一設計數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術基礎統(tǒng)一定義BI應用自定義報表工具行＋列的簡單定義方式多種格式報表集團決策層集團職能管控層各級業(yè)務操作層關注集團主要經(jīng)營指標業(yè)務人員使用BI應用實現(xiàn)業(yè)務協(xié)作和創(chuàng)新BI分析工具供應鏈企業(yè)系統(tǒng)POP系統(tǒng)其他業(yè)務系統(tǒng)云數(shù)據(jù)推送平臺已實現(xiàn)了主要零售及企業(yè)業(yè)務系統(tǒng)數(shù)據(jù)清洗、整合，為未來消費企業(yè)數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應用建設，消費企業(yè)將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺，對各類業(yè)務進行前瞻性預測及分析，為集團各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉能力采購管理系統(tǒng)查看職能部門的業(yè)務經(jīng)營情況企業(yè)數(shù)字化轉型建設預期收益2.加強業(yè)務協(xié)作實現(xiàn)分散在供應鏈企業(yè)、人人貸、保理等各個業(yè)務系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級視圖，有效促進業(yè)務的集成和協(xié)作，并為企業(yè)級分析、交叉銷售提供基礎3.促進業(yè)務創(chuàng)新消費企業(yè)業(yè)務人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為企業(yè)業(yè)務創(chuàng)新（客戶服務創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設效率通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預測類等系統(tǒng)提供一致的數(shù)據(jù)基礎，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復雜的現(xiàn)狀，實現(xiàn)應用系統(tǒng)建設模式的轉變，提升相關IT系統(tǒng)的建設和運行效率5.改善數(shù)據(jù)質量從中長期看，數(shù)據(jù)倉庫對消費企業(yè)分散在各個業(yè)務系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于企業(yè)整體數(shù)據(jù)質量的改善，提高的數(shù)據(jù)的實用性通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保消費企業(yè)各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務價值1.實現(xiàn)數(shù)據(jù)共享2企業(yè)數(shù)字化轉型需求分析Part企業(yè)數(shù)字化轉型總體架構歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺應用集市數(shù)據(jù)區(qū)商城零售供應鏈企業(yè)人人貸系統(tǒng)基金系統(tǒng)……系統(tǒng)企業(yè)內(nèi)外部半結構化、非結構化數(shù)據(jù)大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計算層大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應用層實時數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務沙盤演練數(shù)據(jù)增值產(chǎn)品零售數(shù)據(jù)供應鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層客戶匯總賬戶匯總機構匯總……社交媒體移動互聯(lián)用戶評價訪問日志處理后大數(shù)據(jù)待處理大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標準數(shù)據(jù)質量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實時數(shù)據(jù)查詢客戶管理財務管理……外部用戶貼源數(shù)據(jù)區(qū)……內(nèi)部管理分析內(nèi)部用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風險管理企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)產(chǎn)生層內(nèi)部業(yè)務系統(tǒng)產(chǎn)生的結構化數(shù)據(jù)商城日常零售業(yè)務處理過程中產(chǎn)生的結構化數(shù)據(jù)，存儲在關系型數(shù)據(jù)庫中，如：供應商信息、采購信息、商品信息、銷售流水……消費企業(yè)日常業(yè)務處理過程中產(chǎn)生的結構化數(shù)據(jù)，存儲在關系型數(shù)據(jù)庫中，如：客戶信息、賬戶信息、企業(yè)產(chǎn)品信息、交易流水……企業(yè)內(nèi)部非結構化數(shù)據(jù)日常業(yè)務處理過程中產(chǎn)生的非結構化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點評……企業(yè)外部數(shù)據(jù)企業(yè)外部數(shù)據(jù)以非結構化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……源數(shù)據(jù)內(nèi)容在本次項目實施中將采用以增量為主、全量為輔結合的方式獲取源數(shù)據(jù)商城和消費企業(yè)業(yè)務系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負責，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)交換層數(shù)據(jù)交換層設計目標傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設計的，本質是通過分析數(shù)據(jù)存儲結構和數(shù)據(jù)存儲庫的特點來針對性的設計工具，以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件大數(shù)據(jù)交換組件消費企業(yè)系統(tǒng)數(shù)據(jù)服務層外部大數(shù)據(jù)商城系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導入臨時區(qū)數(shù)據(jù)平臺導出臨時區(qū)NAS存儲ETL程序區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)集團數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的業(yè)務系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)企業(yè)數(shù)據(jù)平臺加工計算結果返回給業(yè)務系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務器通過文件系統(tǒng)Link建立映射企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)交換層大數(shù)據(jù)交換組件企業(yè)內(nèi)部非結構化、半結構化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等企業(yè)外部非結構化、半結構化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點擊流、用戶移動位置等批量采集：大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應用，調(diào)用大據(jù)源API，或以網(wǎng)絡平臺爬蟲方式抓取源系統(tǒng)非結構化、半結構化數(shù)據(jù)組件以實時和批量兩種模式實現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)指定HDFS目錄定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入大數(shù)據(jù)區(qū)處理對象實現(xiàn)技術實現(xiàn)功能應用場景企業(yè)數(shù)字化轉型總體架構——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：獲取業(yè)務系統(tǒng)結構化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)獲取企業(yè)內(nèi)外部非結構化數(shù)據(jù)，并進行結構化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標準化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計算后，結果交付到數(shù)據(jù)集市，支持分析類應用企業(yè)數(shù)字化轉型總體架構——流程調(diào)度層實時數(shù)據(jù)處理流程實時數(shù)據(jù)處理強調(diào)的是實時或準實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術構建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)通過大數(shù)據(jù)交換組件獲取非結構化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層業(yè)務系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載平臺要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機貼源數(shù)據(jù)模型不保存歷史業(yè)務系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水數(shù)據(jù)數(shù)據(jù)標準化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層（續(xù)）企業(yè)內(nèi)外部非結構化、半結構化數(shù)據(jù)采集并存儲數(shù)據(jù)，進行結構化處理，最終得到結構化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載平臺要求數(shù)據(jù)按照HDFS文件存儲建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行大數(shù)據(jù)分析MapReduce分布式計算，半/非結構化數(shù)據(jù)的結構化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）與主題區(qū)/貼源區(qū)構成一個Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問業(yè)務人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計算，HDFS命令實現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢獨立的Hadoop集群（HDFS+Hive）無單點故障，7×24小時+非工作日有限停機數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層（續(xù)）業(yè)務系統(tǒng)歷史明細數(shù)據(jù)打破業(yè)務條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求第三范式模型保留長期歷史，需要根據(jù)主題細化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行靈活查詢、挖掘預測I/O敏感，日終批量ETL（合并、拉鏈、關聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行靈活查詢、挖掘預測I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF與大數(shù)據(jù)區(qū)/貼源區(qū)構成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機逆范式寬表依賴于集市數(shù)據(jù)需求對主題數(shù)據(jù)預加工后的結果數(shù)據(jù)針對應用需求進行數(shù)據(jù)預連接、預匯總，為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細主題數(shù)據(jù)區(qū)—匯總企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層（續(xù)）按沙盤演練需求，準備的明細或匯總業(yè)務數(shù)據(jù)為數(shù)據(jù)科學家的挖掘預測操作提供數(shù)據(jù)服務數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務人員進行靈活查詢、挖掘預測I/O敏感，終批量ETL（合并、拉鏈、關聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復雜處理使用MR定制UDF獨立的Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務人員訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺的完全無共享MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點故障，7×24小時+非工作日有限停機維度數(shù)據(jù)模型依賴業(yè)務需求面向企業(yè)內(nèi)部管理分析類應用需求的匯總數(shù)據(jù)為客戶、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務沙盤演練數(shù)據(jù)區(qū)應用集市數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層（續(xù)）根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的企業(yè)內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負載可用性要求應用模型，依賴于用戶業(yè)務需求依賴于用戶業(yè)務需求企業(yè)外部人員，如：客戶通過自己部署在Paas平臺上的應用訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）獨立的Paas平臺，部署Hadoop集群無單點故障，7×24小時+非工作日有限停機企業(yè)業(yè)務人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢CPU敏感，BI工具或業(yè)務系統(tǒng)高并發(fā)、高時效查詢，以及準實時連續(xù)ETL處理+SQL批量處理獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障，365×24小時不停機貼源數(shù)據(jù)模型依賴用戶業(yè)務需求面向應用的業(yè)務系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實時獲準實時分析應用提供數(shù)據(jù)服務增值產(chǎn)品數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)存儲層數(shù)據(jù)流數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細數(shù)據(jù)結構化數(shù)據(jù)非結構化&半結構化數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實驗室數(shù)據(jù)集市數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)區(qū)企業(yè)業(yè)務數(shù)據(jù)主題數(shù)據(jù)區(qū)客戶管理集市財務管理集市運營管理集市風險管理集市……集市大物流系統(tǒng)數(shù)據(jù)供應鏈系統(tǒng)數(shù)據(jù)財務審計數(shù)據(jù)財務研發(fā)數(shù)據(jù)操作型明細據(jù)歸檔數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時效數(shù)據(jù)大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)應用層大數(shù)據(jù)平臺應用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎，實現(xiàn)的查詢類應用歷史查詢類應用通常使用BI工具或自主開發(fā)實現(xiàn)客戶經(jīng)理等最終業(yè)務人員針對當前業(yè)務的發(fā)生（如：用戶交易、用戶訪問日志），進行實時查詢、分析的應用管理分析類應用主要實現(xiàn)了集團客戶管理、運營管理、財務管理、風險管理、監(jiān)管信息披露五大分析體系功能管理分析類應用通常采用套裝軟件和BI工具（MicroStrategy等）實現(xiàn)業(yè)務人員根據(jù)業(yè)務需求或自己對業(yè)務的理解，設計計算模型，準備各類明細或匯總數(shù)據(jù)，導入模型運算，驗證業(yè)務結果沙盤演練類應用通常使用R語言在Hadoop分布式體系下實現(xiàn)消費企業(yè)數(shù)據(jù)科學家根據(jù)自己對業(yè)務需求的理解或者對市場的判斷，設計并運行模型，發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn)，面向企業(yè)內(nèi)外部用戶管理分析類應用1沙盤演練類應用3歷史查詢類應用4高時效類分析應用5數(shù)據(jù)增值類產(chǎn)品2實時分析類應用通常使用CEP、ESB等技術實現(xiàn)企業(yè)數(shù)字化轉型總體架構——平臺發(fā)展不同階段對應應用工作負載復雜度大數(shù)據(jù)平臺發(fā)展階段劃分操作為主階段什么正在發(fā)生？動態(tài)數(shù)據(jù)倉庫階段

讓正確的事情發(fā)生！分析為主階段為什么會發(fā)生報表為主階段發(fā)生了什么預測為主階段將會發(fā)生什么？批量隨機查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復雜度增長ETL處理復雜度增長管理分析類應用歷史查詢類應用實時分析類應用沙盤演練類應用數(shù)據(jù)增值類產(chǎn)品企業(yè)數(shù)字化轉型總體架構——管理分析類應用總賬分析資產(chǎn)負債表分析損益表分析現(xiàn)金流量表分析財務指標分析盈利分析機構貢獻度產(chǎn)品貢獻度客戶細分貢獻度渠道績效資產(chǎn)負債分析主要指標報告，如：凈利息收入、凈收入、凈現(xiàn)值、市場價值等頭寸報告現(xiàn)金流報告風險價值（VaR）計算財務預算與計劃財務預算財務計劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財務計劃執(zhí)行分析預測與場景分析業(yè)務規(guī)模預測收益預測……領導管理駕駛艙機構績效考核客戶經(jīng)理考核客戶經(jīng)理工作量評估客戶經(jīng)理服務客戶收益評估產(chǎn)品績效考核業(yè)務量考核供應鏈企業(yè)業(yè)務人人貸業(yè)務保理業(yè)務基金業(yè)務其它中間業(yè)務……渠道成本與收益……風險監(jiān)控報表/信息披露流動性報表利率敏感性報表資本充足率報表……市場風險市場風險暴露值流動性管理、利率管理信用風險信用風險暴露值計算信用風險控制（貸前控制、貸中監(jiān)控、貸后分析）操作風險異常交易預警后督差錯檢查……防欺詐/反洗錢定義欺詐交易模型可能性欺詐交易預警欺詐交易分布分析全面風險管理……目前監(jiān)管機構沒有明確要求客戶單一視圖公司客戶信息管理個人客戶信息管理同業(yè)客戶信息管理目標客戶搜索重點客戶關懷客戶風險客戶異動客戶客戶細分個人客戶細分公司客戶細分客戶行為分析客戶輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營銷活動管理營銷活動規(guī)劃營銷活動定義營銷活動執(zhí)行營銷活動蘋果營銷活動自動化渠道接口與集成流程自動化……客戶管理運營管理財務管理風險管理監(jiān)管披露示例企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)訪問層即席查詢：通過即席查詢工具或手工書寫SQL語句，完成業(yè)務信息的即席查看多維分析：從多個維度靈活組合對目標值進行分析，常見功能包括上下鉆取、透明鉆取、旋轉、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)企業(yè)運營中的問題，通過手機、郵件等方式報警決策層管理層業(yè)務人員即席查詢靜態(tài)報表多維分析儀表盤挖掘預測儀表盤：通過儀表盤及其它展現(xiàn)方式對企業(yè)關鍵績效指標進行展示，為領導層決策提供直觀的數(shù)據(jù)支持靜態(tài)報表：按照預先定義格式，批處理報表，在線查詢報表等Office集成：將分析應用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度問題發(fā)現(xiàn)Office集成Web服務挖掘預測：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法，分析結構化、非結構化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值數(shù)據(jù)科學家業(yè)務系統(tǒng)Web服務：將分析應用的功能發(fā)布為Web服務，注冊在企業(yè)服務總線上，供其它業(yè)務系統(tǒng)或分析應用調(diào)用，獲取分析結果多種展現(xiàn)形式滿足各層級用戶及應用系統(tǒng)使用需求企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控層企業(yè)數(shù)據(jù)管控體系涵蓋組織架構、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)標準管理數(shù)據(jù)質量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標準化委員會數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團隊考核指標責任評價標準執(zhí)行評價政策執(zhí)行評價評價標準數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務分類真實性定義及時性定義完整性定義技術元數(shù)據(jù)流程評價與考核流程考核指標建立/維護流程標準建立/維護流程組織建立/維護流程評價與考核業(yè)務含義一致性定義數(shù)據(jù)認責平臺安全等級權限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動數(shù)據(jù)存儲數(shù)據(jù)創(chuàng)建業(yè)務元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標準數(shù)據(jù)質量元數(shù)據(jù)數(shù)據(jù)安全…………審計定義保留策略……企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控體系內(nèi)部運轉機制管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權流程數(shù)據(jù)退役流程標準/政策制定流程評價考核流程……評價與考核標準（數(shù)據(jù)標準、質量要求、安全要求）遵守標準所需要的政策政策與標準遵從考評定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結構、角色、職責等。管控組織除了要負責制定數(shù)據(jù)標準、質量、安全等要求外，還需要負責制定管控的相關流程和評價考核指標等內(nèi)容?？荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標，去評估及考核數(shù)據(jù)相關責任人職責履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關標準和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標準/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理業(yè)務元數(shù)據(jù)管理技術元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質量管理稽核規(guī)則管理數(shù)據(jù)稽核質量報告……工具支撐組織架構、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負責定義和管理業(yè)務數(shù)據(jù)相關標準，制定遵尋標準所必須的政策，監(jiān)測正在進行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領導的參與，是整個數(shù)據(jù)管控的成敗的關鍵。典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控負責部門崗位角色數(shù)據(jù)管控主導方信息管理委員會數(shù)據(jù)標準管理員數(shù)據(jù)質量管理員數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)管控參與方業(yè)務協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用部門業(yè)務協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有部門業(yè)務協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理部門運維組織實施項目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)標準管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標準納入一個規(guī)范的管理流程中，進行數(shù)據(jù)標準的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標準管理工作可以分為以下幾個部分：數(shù)據(jù)標準建立和維護、數(shù)據(jù)標準執(zhí)行、數(shù)據(jù)標準管理的考評。數(shù)據(jù)標準建立和維護數(shù)據(jù)分類數(shù)據(jù)結構關鍵業(yè)務對象關鍵代碼數(shù)據(jù)維度代碼映射客戶類數(shù)據(jù)標準產(chǎn)品類數(shù)據(jù)標準。。。類數(shù)據(jù)標準數(shù)據(jù)標準執(zhí)行數(shù)據(jù)標準管理的考評定性考評定量考評數(shù)據(jù)標準分析報告數(shù)據(jù)標準理念推廣歸檔系統(tǒng)……ODS企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)質量管理數(shù)據(jù)質量管理框架藍圖如下，其中數(shù)據(jù)質量提升是改進數(shù)據(jù)質量的手段和質量考評的目的：數(shù)據(jù)質量要求確認，根據(jù)業(yè)務要求制定和明確數(shù)據(jù)質量要求，同時也需要符合數(shù)據(jù)標準的要求；數(shù)據(jù)質量考評，對數(shù)據(jù)質量的量化評價制定數(shù)據(jù)質量問題解決方案，根據(jù)數(shù)據(jù)質量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質量問題，實施相應的措施，提升數(shù)據(jù)質量數(shù)據(jù)質量要求業(yè)務規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準確性要求數(shù)據(jù)及時性要求數(shù)據(jù)質量標準數(shù)據(jù)質量驗證規(guī)則數(shù)據(jù)質量考核指標數(shù)據(jù)質量提升數(shù)據(jù)補錄手工修正自動修正數(shù)據(jù)質量考評數(shù)據(jù)質量監(jiān)控不定期數(shù)據(jù)質量檢查數(shù)據(jù)質量分析報告企業(yè)數(shù)字化轉型總體架構——元數(shù)據(jù)管理業(yè)務元數(shù)據(jù)：面向業(yè)務人員，從業(yè)務術語、業(yè)務描述、業(yè)務指標和業(yè)務規(guī)則等幾個方面對數(shù)據(jù)進行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質量和數(shù)據(jù)安全的狀態(tài)信息技術元數(shù)據(jù)：面向技術人員，從數(shù)據(jù)結構和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術化描述企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權管理兩個部分：數(shù)據(jù)安全分級：根據(jù)業(yè)務要求，制定一系列的數(shù)據(jù)安全分級標準和政策，為數(shù)據(jù)應用以及數(shù)據(jù)管理中實施數(shù)據(jù)安全保護和訪問提供數(shù)據(jù)安全控制的基礎。數(shù)據(jù)訪問授權：數(shù)據(jù)訪問授權的主要工作是根據(jù)數(shù)據(jù)安全分級標準，定義數(shù)據(jù)訪問的授權方法及流程，建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權機制，實現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權責數(shù)據(jù)訪問授權規(guī)則安全技術企業(yè)數(shù)字化轉型總體架構——高階工作流程業(yè)務數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認責流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標體系數(shù)據(jù)標準管理管理高階流程數(shù)據(jù)標準建立流程數(shù)據(jù)標準維護流程數(shù)據(jù)質量管理管理高階流程數(shù)據(jù)質量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認責流程數(shù)據(jù)標準、質量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會議考核流程企業(yè)數(shù)字化轉型總體架構——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關基礎系統(tǒng)為主要信息來源，通過應用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口首頁標準管理主菜單指標速遞待辦事項信息地圖標準瀏覽標準維護工作管理流程管理績效指標系統(tǒng)管理用戶管理權限管理規(guī)范管理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標準知識庫數(shù)據(jù)管控平臺知識庫……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識庫質量管理規(guī)則配置……質量稽核庫數(shù)據(jù)層應用層展現(xiàn)層企業(yè)數(shù)字化轉型總體產(chǎn)品框架非結構化/半結構化數(shù)據(jù)管理分析平臺（X86MPP集群）業(yè)務系統(tǒng)結構化數(shù)據(jù)基礎計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）實時分析平臺（內(nèi)存數(shù)據(jù)庫）沙盤演練平臺（Hadoop集群）數(shù)據(jù)管控平臺FTPSFTP/HTTP/APICopyfromloalQueue云數(shù)據(jù)推送平臺增值產(chǎn)品平臺（Hadoop集群）歷史歸檔查詢平臺（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺3企業(yè)數(shù)字化轉型頂層設計Part企業(yè)數(shù)字化轉型演進路線以基礎平臺搭建為主，配合消費企業(yè)初期業(yè)務開展，應用建設從客戶信息管理、風險管理和運營管理三方面開展搭建大數(shù)據(jù)處理平臺和實時分析平臺，應用方面開展實時分析和數(shù)據(jù)產(chǎn)品封裝開展客戶信息管理、信用風險評級和業(yè)務統(tǒng)計分析三類應用建設開展貼源數(shù)據(jù)整合，初步建立企業(yè)級數(shù)據(jù)視圖，實現(xiàn)對管理分析類應用和實時分析類應用的支撐規(guī)劃數(shù)據(jù)管控藍圖，初步實施數(shù)據(jù)質量和技術元數(shù)據(jù)管理2013年2014年——2015年2015年以后對企業(yè)價值的創(chuàng)造應管技業(yè)務分析框架基礎數(shù)據(jù)平臺數(shù)據(jù)管控體系應技管全面開展內(nèi)部管理分析、實時分析和沙盤演練應用建設，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展企業(yè)數(shù)字化轉型建設，引入更多數(shù)據(jù)源，豐富并完善平臺數(shù)據(jù)區(qū)建設隨著應用體系的搭建，完善數(shù)據(jù)質量和元數(shù)據(jù)建設，開展數(shù)據(jù)標準化工作應技管深化分析體系，形成深度智能化業(yè)務分析性能持續(xù)優(yōu)化、數(shù)據(jù)平臺持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成消費企業(yè)企業(yè)級的數(shù)據(jù)管控體系應技管一期2013.10當前位置未來持續(xù)優(yōu)化提升階段第一階段第二階段第三階段企業(yè)數(shù)字化轉型演進說明——基礎數(shù)據(jù)平臺階段劃分建設內(nèi)容預期效果第一階段搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎計算平臺，設計并實施貼源數(shù)據(jù)區(qū)，以T+1頻率整合商城和企業(yè)業(yè)務數(shù)據(jù)搭建歷史歸檔查詢平臺，歸檔商城和企業(yè)業(yè)務數(shù)據(jù)文件搭建內(nèi)部管理分析應用平臺，部署MPP集群和BI分析應用環(huán)境搭建實時分析平臺，部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境實現(xiàn)了數(shù)據(jù)平臺內(nèi)部個數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實現(xiàn)了業(yè)務數(shù)據(jù)按照貼源數(shù)據(jù)模整合實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實現(xiàn)了內(nèi)部管理分析環(huán)境搭建實現(xiàn)實時分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺增強和優(yōu)化，包括：大數(shù)據(jù)交換組件設計實施基礎計算平臺增強，包括：引入更多的數(shù)據(jù)源，增強貼源數(shù)據(jù)區(qū)；設計并實施主題數(shù)據(jù)區(qū)，打破業(yè)務條線整合數(shù)據(jù)；設計并實施大數(shù)據(jù)區(qū)，實現(xiàn)企業(yè)內(nèi)外部非結構化、半結構化數(shù)據(jù)加工、處理搭建沙盤演練平臺實時分析平臺增強和優(yōu)化，包括：引入更多應用及相關數(shù)據(jù)源實現(xiàn)了基礎數(shù)據(jù)一次存儲、一次計算、多次使用建立了數(shù)據(jù)分析人員的實驗環(huán)境，實現(xiàn)了用戶自主用數(shù)為實時、準實時類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段基礎計算平臺持續(xù)增強和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺，設計并實施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優(yōu)化數(shù)據(jù)平臺納入盡可能多的企業(yè)內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應用企業(yè)數(shù)字化轉型演進說明——數(shù)據(jù)管控階段劃分建設內(nèi)容預期效果第一階段分析和梳理當前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍圖和路線圖設計，數(shù)據(jù)管控工作的組織、技術和流程高階設計梳理企業(yè)數(shù)字化轉型ETL流程各環(huán)節(jié)的數(shù)據(jù)質量要求，指定數(shù)據(jù)質量檢查規(guī)則、評價指標、管控流程，并落地實施數(shù)據(jù)質量管理系統(tǒng)梳理企業(yè)數(shù)字化轉型包含的技術元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務、ETL流程、BI語義層等，制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)同步企業(yè)數(shù)字化轉型ETL建設，實現(xiàn)了數(shù)據(jù)質量管理系統(tǒng)收集并整合了消費企業(yè)所有技術元數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入，進一步增強數(shù)據(jù)質量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術元數(shù)據(jù)梳理企業(yè)數(shù)字化轉型包含的業(yè)務和管理類元數(shù)據(jù)，如業(yè)務術語、業(yè)務指標、業(yè)務定義等，制定相應的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)開展基礎類數(shù)據(jù)標準建設，基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略完善了數(shù)據(jù)質量管理體系，實現(xiàn)了問題及時發(fā)現(xiàn)、及時解決實現(xiàn)了消費企業(yè)全方位的元數(shù)據(jù)管理，打通了業(yè)務和技術元數(shù)據(jù)關聯(lián)關系為消費企業(yè)數(shù)據(jù)平臺建設提供了基礎類數(shù)據(jù)標準第三階段數(shù)據(jù)質量管理持續(xù)優(yōu)化并增強元數(shù)據(jù)管理持續(xù)優(yōu)化并增強基礎類數(shù)據(jù)標準逐步落地實施開展指標類數(shù)據(jù)標準建設基礎數(shù)據(jù)標準、管控流程、評價指標、落地策略通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關系，使得業(yè)務人員可以方便、有效的使用數(shù)據(jù)，提高數(shù)據(jù)實用性企業(yè)數(shù)字化轉型演進說明——應用體系階段劃分建設內(nèi)容預期效果第一階段開展客戶信息管理建設，設計并實施個人客戶和供應商360°視圖、客戶目標搜索、客戶細分等功能開展風險管理建設，設計并實施供應商和個人客戶風險評級模型開展運營管理建設，設計并實施供應鏈企業(yè)、人人貸等業(yè)務條線業(yè)務量統(tǒng)計分析初步梳理實時、準實時分析需求，進行高時效分析應用試點可以方便的對個人客戶和供應商進行分群，以及全方位信息查詢和展示供應商和個人客戶風險等級評定針對目前開展的業(yè)務進行經(jīng)營情況統(tǒng)計分析搭建并驗證高時效應用體系第二階段隨著消費企業(yè)業(yè)務的展開，逐步開展內(nèi)部管理分析體系的建設，本階段重點為客戶關系管理、運營管理等高級業(yè)務人員利用沙盤演練平臺進行數(shù)據(jù)挖掘、預測和科學試驗進一步樹立實時、準實時分析需求，深化開展高時效分析應用開始梳理市場上的數(shù)據(jù)應用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析體系的建設、滿足了消費企業(yè)日常經(jīng)營管理、決策分析和進一步提高價值創(chuàng)造力的需要實現(xiàn)了業(yè)務人員自主用數(shù)實現(xiàn)了高時效分析，與業(yè)務流程的整合實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價值第三階段隨著消費企業(yè)業(yè)務的展開，進一步完善內(nèi)部管理分析體系的建設，包括：市場風險管理、操作風險管理、財務管理等收集實時分析需求，進一步增強并優(yōu)化實時分析應用體系增值數(shù)據(jù)產(chǎn)品設計逐漸成為重點，數(shù)據(jù)分析師收集企業(yè)內(nèi)外部數(shù)據(jù)需求，設計更完善的增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析應用體系建設進一步實現(xiàn)數(shù)據(jù)共享、業(yè)務協(xié)作與創(chuàng)新通過實時分析應用體系建設，實現(xiàn)大數(shù)據(jù)平臺業(yè)務系統(tǒng)的交互，與業(yè)務流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價值4企業(yè)數(shù)字化轉型業(yè)務應用Part企業(yè)企業(yè)數(shù)字化轉型一期架構基礎計算平臺：基于Hadoop集群構建，按照業(yè)務條線、以貼源數(shù)據(jù)模型存儲了業(yè)務系統(tǒng)明細數(shù)據(jù)數(shù)據(jù)交換平臺：NAS集群實現(xiàn)了進出數(shù)據(jù)平臺數(shù)據(jù)的暫存，業(yè)務數(shù)據(jù)交換組件實現(xiàn)了業(yè)務系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實現(xiàn)了基礎計算平臺與管理分析平臺間的數(shù)據(jù)交換流程調(diào)度平臺：自主開發(fā)的流程調(diào)度引擎實現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)處理任務調(diào)度和運行管理分析平臺：由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應用構成，實現(xiàn)了面向應用的數(shù)據(jù)加工、管理、分析服務實時分析平臺：由高檔X86服務器組成的集群，實現(xiàn)高時效、高并發(fā)的實時、準實時類管理分析需求數(shù)據(jù)交換平臺—平臺邏輯架構云數(shù)據(jù)推送平臺實現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺采用GoldenGate、JBUS、Flume等技術獲取增量數(shù)據(jù)，存儲在MySQL集群平臺按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄POP企業(yè)企業(yè)數(shù)字化轉型NAS集群物流財務供應鏈人人貸……云數(shù)據(jù)推送平臺數(shù)據(jù)交換平臺由FTP服務器、加載服務器和NAS存儲組成，完成業(yè)務系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務器：利用LVS構成的FTP集群，接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù)，存儲在NAS集群的指定目錄加載服務器：部署ETL任務，實現(xiàn)指定目錄的文件到達監(jiān)控、文件級檢核、數(shù)據(jù)加載（HiveLoad）到臨時數(shù)據(jù)區(qū)，同時歸檔（copyfromlocal）歷史數(shù)據(jù)區(qū)NAS集群：按照日期和源系統(tǒng)劃分目錄，緩存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL…………LVS集群：FTP服務器#3加載服務器#1文件加載文件歸檔文件到達事件監(jiān)控文件級檢核加載服務器#4文件加載文件歸檔文件到達事件監(jiān)控文件級檢核LVS集群：FTP服務器#1LVS集群：負載均衡服務器…………數(shù)據(jù)交換平臺—參與方責任劃分設計并實施云數(shù)據(jù)推送平臺；按照消費企業(yè)接口定義，抽取業(yè)務系統(tǒng)數(shù)據(jù)；按照消費企業(yè)接口規(guī)范要求，按時生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級平臺版本，根據(jù)消費企業(yè)更新接口規(guī)范提供數(shù)據(jù)；應及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；對于未盡事宜，應同消費企業(yè)協(xié)商解決。云計算安裝部署消費企業(yè)企業(yè)數(shù)字化轉型物理環(huán)境、應用軟件，并進行基礎設施運維；在業(yè)務系統(tǒng)數(shù)據(jù)庫服務器安裝并部署云數(shù)據(jù)推送平臺客戶端，并提供數(shù)據(jù)庫訪問。運維部門制定接口規(guī)范，并提交給云數(shù)據(jù)推送項目組；梳理業(yè)務系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項目組；開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；對接收的數(shù)據(jù)提供驗證功能，并返回驗證結果到云數(shù)據(jù)推送平臺；根據(jù)云數(shù)據(jù)推送平臺提交的變更通知修改接口定義和數(shù)據(jù)交換組件；對于未盡事宜，應同云計算方協(xié)商解決。消費企業(yè)針對消費企業(yè)需求，指定接口人、提供文檔；業(yè)務系統(tǒng)因版本升級等原因導致數(shù)據(jù)模型發(fā)生變化，及時通知云數(shù)據(jù)推送平臺接口責任人。研發(fā)部門數(shù)據(jù)交換平臺—業(yè)務系統(tǒng)數(shù)據(jù)抽取實現(xiàn)方式每張源系統(tǒng)表都對應一個獨立的數(shù)據(jù)接口數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構成（文件命名和具體內(nèi)容參見接口規(guī)范）文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，云數(shù)據(jù)推送平臺應該生成空的數(shù)據(jù)接口傳輸方式FTP傳輸，利用LVS技術構建FTP集群，接收數(shù)據(jù)傳輸頻率云數(shù)據(jù)推送平臺通常按照T+1頻率為消費企業(yè)提供數(shù)據(jù)，具體頻率要求參見接口定義接口處理模式云數(shù)據(jù)推送平臺根據(jù)不同接口單元定義，準備數(shù)據(jù)、生成接口數(shù)據(jù)文件；云數(shù)據(jù)推送平臺根據(jù)接口規(guī)范生成相應的接口控制文件；云數(shù)據(jù)推送平臺壓縮數(shù)據(jù)（LZO），并通過FTP將數(shù)據(jù)接口存入NAS指定目錄；企業(yè)企業(yè)數(shù)字化轉型部署在不同加載服務器上的數(shù)據(jù)交換組件完成：定時輪詢NAS指定目錄，獲取接口（包括數(shù)據(jù)文件、控制文件和DDL文件）；執(zhí)行文件級檢核；通過檢核后，將數(shù)據(jù)文件和控制文件移動到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；在TaskAutomation調(diào)度下執(zhí)行數(shù)據(jù)加載和數(shù)據(jù)歸檔任務。數(shù)據(jù)交換平臺—平臺部署架構數(shù)據(jù)交換平臺由8臺X86服務器和一個NAS集群構成X86服務器按照功能分為2組，一組實現(xiàn)數(shù)據(jù)獲取，一組實現(xiàn)數(shù)據(jù)加載和歸檔NAS集群作為公共數(shù)據(jù)區(qū)，由8臺服務器共享訪問（讀寫）PythonruntimePythonJSSModuleFTPRedhatLinuxLVS服務器4HDFSClientHive加載任務歸檔任務RedhatLinux加載服務器1HDFSClientHive加載任務歸檔任務RedhatLinux加載服務器4LANPythonruntimePythonJSSModuleLVSRedhatLinuxLVS服務器1…………NAS集群負責源系統(tǒng)數(shù)據(jù)文件加載和歸檔每臺服務器負責多個源系統(tǒng)支持按需擴展/減少服務器LVS1負載均衡其它LVS服務器負責接收接口文件，寫入NAS集群目錄支持按需擴展/減少服務器部署數(shù)據(jù)交換平臺和流程調(diào)度平臺程序，各服務器通過文件鏈接使用按日期和源系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口文件，供交換平臺訪問流程調(diào)度平臺—平臺邏輯架構TaskAutomation驅動各個平臺、實現(xiàn)從數(shù)據(jù)存入NAS平臺到數(shù)據(jù)集市生成整個處理過程的工作流管理數(shù)據(jù)交換平臺負責數(shù)據(jù)抽取、文件級質量檢核、調(diào)用HiveLoad加載數(shù)據(jù)基礎計算平臺使用HiveSQL實現(xiàn)貼源數(shù)據(jù)整合、公共匯總數(shù)據(jù)處理管理分析平臺使用關系型數(shù)據(jù)庫的SQL實現(xiàn)集市數(shù)據(jù)的處理歷史歸檔查詢平臺負責數(shù)據(jù)文件和Hadoop集群數(shù)據(jù)歸檔流程調(diào)度平臺—流程調(diào)度元數(shù)據(jù)TaskAutomation的元數(shù)據(jù)統(tǒng)一存儲在MySQL數(shù)據(jù)庫中任務定義，包括任務名稱、描述、運行服務器、運行狀態(tài)、運行時間、相關數(shù)據(jù)源等屬性任務依賴，任務的執(zhí)行依賴與其他上游任務任務觸發(fā)，任務成功執(zhí)行后觸發(fā)的下游任務任務組，一組有相互關系的任務，全部完成后會觸發(fā)頭任務運行……元數(shù)據(jù)由所有流程調(diào)度服務器共享流程調(diào)度平臺—任務調(diào)度引擎通過偵測器偵測事件，按照任務定義和任務依賴關系觸發(fā)任務運行，觸發(fā)方式把主要包括自動觸發(fā)定時觸發(fā)，按照預先定義的時間周期，如每日、每周、每月，或任何有規(guī)律的時間間隔執(zhí)行任務。目前可明確的任務主要是每月執(zhí)行的基礎計算平臺、管理分析平臺數(shù)據(jù)歸檔。事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務。如：數(shù)據(jù)文件到達指定目錄，會觸發(fā)數(shù)據(jù)加載任務。同樣，流程失敗也會觸發(fā)新的job，如錯誤處理、例外處理等。手動觸發(fā)系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對特定范圍的數(shù)據(jù)進行審計與驗證、對特定范圍的數(shù)據(jù)進行針對性很強的數(shù)據(jù)清洗、或者是對某流程失敗后的修復。每個要執(zhí)行的任務均由任務執(zhí)行代理啟動運行流程調(diào)度平臺—集群可靠性和可擴展性高可用性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫中，集群中任何服務器發(fā)生故障不會破壞元數(shù)據(jù)完整性。服務器故障時，只需要修改ETL任務屬性，指定其他服務器執(zhí)行任務即可，故障不會影響任務依賴關系、任務組關系。擴展能力流程調(diào)度集群由多臺服務器構成，按工作負載劃分不同角色，分別實現(xiàn)ETL處理過程中不同類型任務的調(diào)度。當某類調(diào)度工作負載較大時，可通過增加服務器的方式，實現(xiàn)集群的橫向擴展流程調(diào)度平臺—平臺部署架構流程調(diào)度平臺由八臺X86服務器構成，服務器按照功能分為兩類兩臺X86服務器部署MySQL數(shù)據(jù)庫集群，存儲流程調(diào)度元數(shù)據(jù)六臺X86服務器部署流程調(diào)度引擎，負責各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運行TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient臨時/歸檔區(qū)調(diào)度服務器1TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient貼源區(qū)調(diào)度服務器TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient匯總區(qū)調(diào)度服務器TaskAutomationPerlRuntimeHadoopHiveRedhatLinuxMySQLClient臨時/歸檔區(qū)調(diào)度服務器4MasterNodeMySQL主服務器MasterNodeMySQL從服務器……LANMySQL主-從集群，存儲臨時區(qū)、歸檔區(qū)、貼源區(qū)和匯總區(qū)數(shù)據(jù)處理任務定義，任務依賴關系按數(shù)據(jù)區(qū)劃分工作流，工作流不跨數(shù)據(jù)區(qū)臨時區(qū)數(shù)據(jù)處理的工作流部署在數(shù)據(jù)交換換平臺的加載服務器貼園區(qū)和匯總區(qū)工作流分別部署獨立的服務器基礎計算平臺—平臺邏輯架構基礎計算平臺基于Hadoop集群搭建集群采用標準的X86服務器集群彈性架構，按需分配計算資源，支持添加X86服務器的方式實現(xiàn)橫向擴展集群中的數(shù)據(jù)保留三份，保證任何節(jié)點故障，不影響集群對外提供服務基礎計算平臺有三個數(shù)據(jù)區(qū)構成臨時數(shù)據(jù)區(qū)，緩存當日源系統(tǒng)變化（新增、修改、刪除）數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理貼源數(shù)據(jù)區(qū)，按照源系統(tǒng)數(shù)據(jù)模型整合的明細歷史數(shù)據(jù)，作為基礎數(shù)據(jù)層實現(xiàn)數(shù)據(jù)一次整合、多次使用匯總數(shù)據(jù)區(qū)，根據(jù)應用需求，對貼源數(shù)據(jù)區(qū)明細數(shù)據(jù)進行預連接、預聚合、預匯總處理的數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)的一次計算、多次使用VMVMVMVMVMVMVMVMVMVMVMVMVMVMVM節(jié)點VMVMVMVMVM節(jié)點VMVMVMVMVM節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點Hadoop臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)匯總數(shù)據(jù)區(qū)基礎計算平臺—臨時數(shù)據(jù)區(qū)包含內(nèi)容主要用途企業(yè)數(shù)字化轉型要整合的源系統(tǒng)，包括：POP、財務審計、財務研發(fā)、大物流、供應鏈、企業(yè)、網(wǎng)站交易、數(shù)據(jù)部和移動客戶端等研發(fā)體系的各業(yè)務系統(tǒng)。建立數(shù)據(jù)緩沖區(qū)，臨時存放從源系統(tǒng)抽取過來的增量/全量數(shù)據(jù)，支撐后續(xù)ELT處理。設計原則數(shù)據(jù)庫設計原則臨時數(shù)據(jù)區(qū)對應獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權限模型設計原則邏輯模型參考源系統(tǒng)和接口規(guī)范定義，為每個接口單元設計實體、屬性物理模型與邏輯模型保持一致，每個實體對應一張Hive表，表采用LZO壓縮存儲物理模型設計不建議考慮索引、物化視圖等技術特性以天為單位，按業(yè)務日期建立分區(qū)歷史保留原則緩存當日業(yè)務數(shù)據(jù)、為數(shù)據(jù)重跑方便可保留7天歷史過期數(shù)據(jù)直接刪除對應分區(qū)，不需要歸檔基礎計算平臺—貼源數(shù)據(jù)區(qū)包含內(nèi)容主要用途與緩沖層相對應，貼源整合層主要包括：POP、財務審計、財務研發(fā)、大物流、供應鏈、企業(yè)、網(wǎng)站交易、數(shù)據(jù)部和移動客戶端等研發(fā)體系的各業(yè)務系統(tǒng)，所有數(shù)據(jù)保留歷史。作為整個數(shù)據(jù)平臺的基礎數(shù)據(jù)層，累計歷史，為主題層、集市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐。設計原則數(shù)據(jù)庫設計原則貼源數(shù)據(jù)區(qū)對應獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權限模型設計原則針對不需要記錄變化的實體，其邏輯模型參考緩沖層，按照貼源設計針對需要記錄變化的數(shù)據(jù)，需要增加時間字段，設計拉鏈數(shù)據(jù)模型，記錄歷史物理模型考慮分區(qū)，流水表按業(yè)務日期建立分區(qū)，拉鏈表按終止日期建立分區(qū)歷史保留原則拉鏈表數(shù)據(jù)保留最近37個月的歷史快照表數(shù)據(jù)永久保留交易流水表數(shù)據(jù)保留最近25個月的歷史過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷基礎計算平臺—匯總數(shù)據(jù)區(qū)包含內(nèi)容主要用途針對客戶管理、風險評級和業(yè)務量統(tǒng)計設計明細數(shù)據(jù)進行預匯總、預連接和預加工后的結果數(shù)據(jù)。對明細數(shù)據(jù)進行預匯總、預連接和預加工，為應用數(shù)據(jù)集市準備數(shù)據(jù)。設計原則數(shù)據(jù)庫設計原則匯總數(shù)據(jù)區(qū)對應獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權限模型設計原則匯總層采用了逆范式寬表設計，某種程度上采用維度建模的方法模型設計首先需要根據(jù)業(yè)務和應用的需要盡量包含更多的屬性和指標，同時兼顧空間匯總層需要針對維度數(shù)據(jù)執(zhí)行標準化處理匯總層模型增加數(shù)據(jù)日期記錄歷史，建議根據(jù)數(shù)據(jù)日期建立分區(qū)歷史保留原則不同實體采取不同的歷史保留策略建議以支持應用為輸入，避免永久保留過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷基礎計算平臺—平臺部署架構基礎計算平臺由73臺X86服務器構成，3臺服務器作為NameNode和JobTrackerNode，70臺服務器作為DataNode和TaskTrackerNode……DataNodeTaskTrackerNode服務器1DataNodeTaskTrackerNode服務器70Name&JobTrackerNode(Secondary)NameNodeJobTrackerNode內(nèi)部互聯(lián)70臺服務器是HDFS數(shù)據(jù)節(jié)點，臨時數(shù)據(jù)區(qū)和貼源整合區(qū)作為獨立的數(shù)據(jù)庫部署在此服務器上，并按照3份冗余存儲NN負責HDFS元數(shù)據(jù)管理，元數(shù)據(jù)信息存儲在NAS集群指定目錄通過硬件冗余、RAID0+1、SlaveNN等技術實現(xiàn)高可用性70臺服務器是MR計算節(jié)點，Hive提交的SQL語句，轉化成MR任務，由JobTracker分配到每臺服務器上執(zhí)行SecondaryNN負責HDFS元數(shù)據(jù)備份管理，SecondaryJobTracker負責MR計算集群JobTracker高可用性JobTrackerNode負責MR任務分配通過心跳信號檢測TaskTracker活動狀態(tài)，排除失效節(jié)點基礎計算平臺—平臺網(wǎng)絡拓撲NodeNodeNodeNodeNode20NodesRACK1……NodeNodeNodeNodeNode20NodesRACK2……NodeNodeNodeNodeNode20NodesRACK3……NodeNodeNodeNodeNode20NodesRACK3……管理分析平臺—平臺邏輯架構客戶信息管理，采用J2EE框架自主開發(fā)，數(shù)據(jù)集市構建于分析型數(shù)據(jù)庫集群運營績效管理，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構建于分析型數(shù)據(jù)庫集群零售業(yè)務靈活分析，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構建于內(nèi)存數(shù)據(jù)庫集群HANA管理分析平臺—安全管理個人客戶信息管理企業(yè)客戶信息管理企業(yè)業(yè)務經(jīng)營分析企業(yè)業(yè)務規(guī)模預測認證管理用戶BI應用門戶審計管理授權管理身份管理授權管理認證管理審計管理安全管理員安全管理員安全管理員賬戶管理平臺安全管理信息庫LDAP賬戶信息權限信息日志信息企業(yè)數(shù)字化轉型物理架構說明平臺所有服務器均采用標準X86PC服務器系統(tǒng)劃分為三個子網(wǎng)WEB服務子網(wǎng)，兩臺服務器構成的Tomcat集群應用服務子網(wǎng)，兩臺服務器構成的MicroStrategy集群數(shù)據(jù)服務子網(wǎng)基礎計算平臺，73臺服務器構成的Hadoop集群數(shù)據(jù)集市平臺，30臺服務器構成的？集群流程調(diào)度平臺，7臺服務器構成的TaskAutomation集群數(shù)據(jù)交換平臺，5臺服務器與云數(shù)據(jù)推送平臺接口，分別實現(xiàn)不同業(yè)務系統(tǒng)的數(shù)據(jù)獲取企業(yè)數(shù)字化轉型一期硬件配置所有服務器均采用開放的X86架構，單臺服務器建議配置如下：服務器類型服務器功能數(shù)量CPU內(nèi)存網(wǎng)口操作系統(tǒng)內(nèi)置盤基礎計算平臺（Hadoop集群）DataNode&TaskTracker服務器7032128G2*1GbCentos6.312*2TB7200RPMSATAdisksNameNode&JobTracker服務器332128G2*1GbCentos6.34*600GB15KSASdisksRAID0+1歷史歸檔查詢平臺（Hadoop集群）DataNode&TaskTracker服務器301224G2*1GbCentos6.316*3TB7200RPMSATAdisksNameNode&JobTracker服務器31224G2*1GbCentos6.34*600GB15KSASdisksRAID0+1沙盤演練平臺（Hadoop集群）DataNode&TaskTracker服務器3032128G2*1GbCentos6.312*2TB7200RPMSATAdisksNameNode&JobTracker服務器332128G2*1GbCentos6.34*600GB15KSASdisksRAID0+1企業(yè)數(shù)字化轉型一期硬件配置（續(xù)）所有服務器均采用開放的X86架構，單臺服務器建議配置如下：服務器類型服務器功能數(shù)量CPU內(nèi)存網(wǎng)口操作系統(tǒng)內(nèi)置盤數(shù)據(jù)交換平臺數(shù)據(jù)接口服務器51664G2*10GbCentos6.32*600GB15KSASdisksRAID0+1流程調(diào)度&ETL平臺流程調(diào)度&ETL服務器71664G2*10GbCentos6.32*600GB15KSASdisksRAID0+1元數(shù)據(jù)服務器Hive元數(shù)據(jù)庫服務器21664G2*10GbCentos6.34*600GB15KSASdisksRAID0+1管理分析平臺數(shù)據(jù)集市服務器432128G4*10GbCentos6.32*300GB15KSASdisksRAID0+11632128G2*10GbCentos6.314*300GB15KSASdisksRAID0+1內(nèi)存數(shù)據(jù)庫服務器420256G2*10GbSLESforSAPapplications11SP28*600GB10kSASdisksRAID5BI應用服務器21664G2*10GbCentos6.32*600GB15KSASdisksRAID0+1WEB服務器21664G2*10GbCentos6.32*600GB15KSASdisksRAID0+1企業(yè)數(shù)字化轉型一期硬件配置（續(xù)）光前交換機配置要求千兆端口：278萬兆端口：100帶寬：8GBNAS集群配置如下：總存儲容量：40TB磁盤：15000RPMSASDisks網(wǎng)絡接口：萬兆網(wǎng)絡傳輸協(xié)議：TCP/IP網(wǎng)絡文件協(xié)議：CIFS、NFS單臺Cache：8GB企業(yè)數(shù)字化轉型一期軟件清單類型軟件清單基礎計算平臺Hadoop0.2Centos6.3歷史歸檔查詢平臺Hadoop0.2Centos6.3沙盤演練平臺Hadoop0.2Centos6.3數(shù)據(jù)交換平臺HadoopClient&HiveCentos6.3流程調(diào)度&ETL平臺TaskAutomationMySQLClientPerlRuntime&MySQLDBDCentos6.3類型軟件清單管理分析平臺數(shù)據(jù)集市服務器？Centos6.3實時分析平臺內(nèi)存數(shù)據(jù)庫服務器SAPHanaEnterprise1.0Centos6.3管理分析&實時分析平臺BI應用服務器MicroStrategy9.3HanaClientDBClientCentos6.3管理分析&實時分析平臺WEB服務器Tomcat7.0Centos6.35企業(yè)數(shù)字化轉型未來展望Part數(shù)據(jù)質量管理平臺技術架構數(shù)據(jù)質量檢查規(guī)則執(zhí)行模塊作為多個ETL任務部署在企業(yè)數(shù)據(jù)平臺ETL服務器上，由Automation工作流調(diào)度服務統(tǒng)一調(diào)度運行，實現(xiàn)各個數(shù)據(jù)區(qū)技術和業(yè)務數(shù)據(jù)質量檢查數(shù)據(jù)質量管理系統(tǒng)元模型包含檢查規(guī)則、檢查執(zhí)行結果、分析報告，模型作為一個獨立的Schema部署在決策分析報表平臺的數(shù)據(jù)庫數(shù)據(jù)質量檢查規(guī)則配置模塊作為JavaWeb應用部署在企業(yè)數(shù)據(jù)平臺Tomcat集群上，數(shù)據(jù)質量管理員通過統(tǒng)一的Web服務訪問，實現(xiàn)檢查規(guī)則的維護數(shù)據(jù)質量分析報告展現(xiàn)模塊作為JavaWeb應用部署在企業(yè)數(shù)據(jù)平臺Tomcat集群上，用戶通過統(tǒng)一的Web服務訪問，實現(xiàn)日報、月報的瀏覽、下載等功能數(shù)據(jù)質量分析報告生成模塊作為一個ETL任務部署在決策分析報表平臺ETL服務器上，由Automation工作流調(diào)度服務統(tǒng)一調(diào)度運行，按照每日、每月生成各數(shù)據(jù)區(qū)數(shù)據(jù)質量檢查報告數(shù)據(jù)質量管理平臺以元信息模型為核心，由規(guī)則配置管理模塊、檢查執(zhí)行模塊、分析報告生成模塊和分析報告展現(xiàn)模塊四部分構成。整個數(shù)據(jù)質量檢查過程以ETL任務的形式統(tǒng)一調(diào)度執(zhí)行。數(shù)據(jù)質量檢查執(zhí)行服務數(shù)據(jù)質量管理的規(guī)則執(zhí)行服務作為ETL任務部署在ETL服務器上在整個數(shù)據(jù)處理過程中，設置4類檢查點在不同的檢查點由TaskAutomation工作流統(tǒng)一調(diào)度執(zhí)行檢查結果統(tǒng)一存入數(shù)據(jù)質量管理資料庫1234檢查規(guī)則執(zhí)行服務檢查點1云數(shù)據(jù)推送平臺接口文件級規(guī)范性檢查任務說明任務類型ETL任務——技術型檢查ETL階段云數(shù)據(jù)推送平臺->企業(yè)數(shù)據(jù)交換平臺NAS存儲指定目錄執(zhí)行頻率每日執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在ETL服務器上執(zhí)行檢查對象云數(shù)據(jù)推送平臺按照接口規(guī)范導出的業(yè)務系統(tǒng)每日增量數(shù)據(jù)文件和控制文件檢查內(nèi)容接口文件是否存在，接口文件名稱是否正確，接口文件是否通過MD5校驗實現(xiàn)技術Linux腳本語言，Perl或Python成功閾值所有規(guī)則通過檢查依賴任務N/A觸發(fā)任務數(shù)據(jù)加載檢查規(guī)則執(zhí)行服務檢查點2臨時區(qū)數(shù)據(jù)技術性檢查任務說明任務類型ETL任務——技術型檢查ETL階段臨時數(shù)據(jù)區(qū)->貼源整合數(shù)據(jù)區(qū)執(zhí)行頻率每日執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對象云數(shù)據(jù)推送平臺按照接口規(guī)范導出的業(yè)務系統(tǒng)每日增量數(shù)據(jù)檢查內(nèi)容日期、時間格式檢查；主鍵唯一型檢查；外鍵參照完整型檢查；關鍵字段取值完整性檢查實現(xiàn)技術HiveSQL成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務接口文件級規(guī)范性檢查任務觸發(fā)任務貼源數(shù)據(jù)整合任務檢查規(guī)則執(zhí)行服務檢查點3匯總區(qū)業(yè)務性檢查任務內(nèi)容說明任務類型ETL任務——業(yè)務型檢查ETL階段貼源整合數(shù)據(jù)區(qū)->匯總數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在Hadoop集群上執(zhí)行檢查對象匯總數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務邏輯檢查：通過對若干個匯總值/指標值的運算，來檢驗各個匯總值/指標間潛在的平衡或其他比較關系實現(xiàn)技術HiveSQL成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務貼源整合數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務集市數(shù)據(jù)區(qū)應用數(shù)據(jù)生成檢查規(guī)則執(zhí)行服務檢查點4.1應用集市區(qū)技術性檢查任務內(nèi)容說明任務類型ETL任務——業(yè)務型檢查ETL階段匯總數(shù)據(jù)區(qū)->應用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應用集市數(shù)據(jù)庫集群上執(zhí)行檢查對象應用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容主鍵唯一型檢查；外鍵參照完整型檢查；關鍵字段取值完整性檢查實現(xiàn)技術SQL成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務N/A檢查規(guī)則執(zhí)行服務檢查點4.2應用集市區(qū)業(yè)務性檢查任務內(nèi)容說明任務類型ETL任務——業(yè)務型檢查ETL階段匯總數(shù)據(jù)區(qū)->應用集市數(shù)據(jù)區(qū)執(zhí)行頻率每日/月/季執(zhí)行執(zhí)行方式由TaskAutomation工作流引擎根據(jù)工作流定義統(tǒng)一調(diào)度，在應用集市數(shù)據(jù)庫集群上執(zhí)行檢查對象應用集市數(shù)據(jù)區(qū)的數(shù)據(jù)檢查內(nèi)容業(yè)務邏輯檢查：通過對若干個指標值的運算，來檢驗各個指標間潛在的平衡或其他比較關系數(shù)值檢查：主要是通過對單個指標值的監(jiān)控來發(fā)現(xiàn)數(shù)據(jù)的異常、突變等情況波動檢查：通過對單個指標值一段時間內(nèi)的數(shù)值變化情況來檢查數(shù)據(jù)的波動、變化情況一致性檢查：通過對兩個指標按某幾個維度展開后的增減幅度來發(fā)現(xiàn)數(shù)據(jù)的波動、變化情況實現(xiàn)技術SQL成功閾值90%記錄通過檢查異常處理未通過檢查的記錄存入指定錯誤明細表依賴任務匯總數(shù)據(jù)區(qū)數(shù)據(jù)處理完成觸發(fā)任務N/A數(shù)據(jù)質量管理分析報告生成服務分析報告生成服務是部署在ETL服務器上的ETL任務，按照任務流程被TaskAutomation統(tǒng)一調(diào)度執(zhí)行，生成以下三類報告：源系統(tǒng)數(shù)據(jù)交換質量日報該報告匯總了報告生成當天源系統(tǒng)的數(shù)據(jù)接口校驗結果，包括針對每個接口單元的表及記錄級校驗錯誤的統(tǒng)計數(shù)據(jù)和指標日平均值數(shù)據(jù)質量匯總日報該報告依照每日各源系統(tǒng)數(shù)據(jù)交換評價指標的平均值及當天的貼源數(shù)據(jù)、匯總數(shù)據(jù)和數(shù)據(jù)集市質量檢查結果匯總生成數(shù)據(jù)質量匯總月報該報告依照當月的日報結果，取各項指標的平均值和數(shù)據(jù)統(tǒng)計的匯總值生成數(shù)據(jù)質量管理分析報告指標定義指標分類指標名稱指標說明對應報告接口單元級評價指標接口傳輸及時率指在最后截止時間前完成上傳的接口單元數(shù)量與時限內(nèi)要求上傳的接口單元數(shù)的比率?！对聪到y(tǒng)數(shù)據(jù)交換質量日報（XX系統(tǒng)）》接口傳輸完整率指在數(shù)據(jù)質量日報告生成之前，成功上傳的接口單元數(shù)量與要求上傳的接口單元數(shù)量的比率?！对聪到y(tǒng)數(shù)據(jù)交換質量日報（XX系統(tǒng)）》接口準確率指與接口校驗內(nèi)容描述一致的接口單元數(shù)量與要求上傳的接口單元數(shù)量的比率?！对聪到y(tǒng)數(shù)據(jù)交換質量日報（XX系統(tǒng)）》記錄級評價指標記錄正確率正確的記錄數(shù)與全部記錄數(shù)的比值。每條記錄只要違反任一條檢查規(guī)則（例如：主鍵唯一、業(yè)務規(guī)則等），就被計入錯誤日志。每個接口單元的最大允許出錯閾值由數(shù)據(jù)質量檢查規(guī)則確定。計算公式如下：當Ec<Emax時：記錄正確率=當Ec>=Emax時：記錄正確率=0說明：Ec—出錯記錄數(shù)Et—記錄總數(shù)Emax—