數(shù)字化轉(zhuǎn)型戰(zhàn)略下的企業(yè)數(shù)據(jù)治理方法論與解決方案

數(shù)字化技術(shù)革命對組織建設(shè)與運營的影響數(shù)字化技術(shù)加速發(fā)展，成為引領(lǐng)新一輪科技革命的主導(dǎo)力量數(shù)字化客戶端/服務(wù)器主機技術(shù)發(fā)展數(shù)字化客戶端/服務(wù)器主機技術(shù)發(fā)展浪潮核心驅(qū)動技術(shù)認知新的新的商業(yè)模式算新技術(shù)驅(qū)使企業(yè)商業(yè)模式和運營方式發(fā)生變化 在開放化、服務(wù)化、生態(tài)化的企業(yè)運營模式下，數(shù)字化技術(shù)引領(lǐng)企業(yè)的商業(yè)模式發(fā)展IT時代互聯(lián)化時代計算機+軟件云服務(wù)計算機+軟件___」___」___」 ___」 一切皆服務(wù)（XaaS）、萬物互聯(lián)、敏捷企業(yè)需要引入云架構(gòu)及平臺化思想，建立創(chuàng)新敏捷的數(shù)字化生態(tài)環(huán)境，驅(qū)動并引領(lǐng)業(yè)務(wù)創(chuàng)新發(fā)展生態(tài)型企業(yè)應(yīng)用生態(tài)型企業(yè)應(yīng)用ENTDA數(shù)字化技術(shù)平臺應(yīng)用運行……G“厚平臺”?IT平臺化發(fā)展，實現(xiàn)面向互聯(lián)網(wǎng)+模式的轉(zhuǎn)型?采用全新的厚平臺微應(yīng)用架構(gòu)設(shè)計理念，從豎井式的系統(tǒng)建設(shè)向“云計算”架構(gòu)轉(zhuǎn)變?建立前店后廠敏捷的數(shù)字化架構(gòu)體系，前臺應(yīng)用敏捷化、共享化，后臺技術(shù)平臺標準化?建設(shè)數(shù)字化統(tǒng)一平臺（中臺）提供高質(zhì)量、可重用的平臺服務(wù)?通過標準化組件，模塊化快速開發(fā)部署企業(yè)業(yè)務(wù)應(yīng)用向云端遷移，企業(yè)數(shù)據(jù)架構(gòu)也要從以前以應(yīng)用為中心的架構(gòu)模式，向以分析為中心的架構(gòu)模式轉(zhuǎn)變?云模式將各個分散業(yè)務(wù)應(yīng)用的數(shù)據(jù)資源集中在一起，形成統(tǒng)一的數(shù)據(jù)資源池，為集中、高效的數(shù)據(jù)分析提供了可能，推動了企業(yè)數(shù)據(jù)架構(gòu)由以前應(yīng)用為中心的模式，向分析為中心的模式轉(zhuǎn)變從以應(yīng)用為中心到以數(shù)據(jù)分析為中心●?綜合性數(shù)據(jù)分析平臺?專業(yè)的數(shù)據(jù)分析團隊?統(tǒng)一的數(shù)據(jù)管控機制●?綜合性數(shù)據(jù)分析平臺?專業(yè)的數(shù)據(jù)分析團隊?統(tǒng)一的數(shù)據(jù)管控機制驅(qū)動力：云需要構(gòu)建集團統(tǒng)一的數(shù)據(jù)管控體系?統(tǒng)一數(shù)據(jù)平臺包含三個方面：統(tǒng)一的數(shù)據(jù)分析平臺、集中的數(shù)據(jù)管控組織、統(tǒng)一的數(shù)據(jù)管控工具，其中，統(tǒng)一的數(shù)據(jù)分析平臺是組織和工具發(fā)揮作用的基礎(chǔ)和核心經(jīng)營管理類應(yīng)用數(shù)據(jù)組織數(shù)據(jù)管控工具數(shù)據(jù)組織數(shù)據(jù)管控工具數(shù)據(jù)分析平臺……興設(shè)備預(yù)測性分析模型……...企業(yè)數(shù)據(jù)治理方法論與解決方案數(shù)據(jù)治理的范疇數(shù)據(jù)治理數(shù)據(jù)管理框架?從上至下指導(dǎo)，從下而上推進，形成一個多層次、多維度、多視角的全方位框架。數(shù)據(jù)質(zhì)量數(shù)據(jù)服務(wù)數(shù)據(jù)存儲數(shù)據(jù)分布數(shù)據(jù)質(zhì)量數(shù)據(jù)服務(wù)數(shù)據(jù)采集與清洗工具數(shù)據(jù)管理系統(tǒng)質(zhì)量檢查工具數(shù)據(jù)治理整體思路數(shù)據(jù)治理的延伸：數(shù)據(jù)管理數(shù)據(jù)治理持久化數(shù)據(jù)治理持久化重新組織數(shù)據(jù)重新組織數(shù)據(jù)?讓資產(chǎn)變得干凈，少歧義?讓資產(chǎn)變得干凈，少歧義?????數(shù)據(jù)資產(chǎn)盤點?在數(shù)據(jù)治理的實際操作中，只有先發(fā)現(xiàn)數(shù)據(jù)，對數(shù)據(jù)進行有效分類，才能避免一刀切的控制方式，也才能對數(shù)據(jù)的安全管理采用更加精細的措施，使數(shù)據(jù)在共享使用和安全使用?根據(jù)行業(yè)標準和特點對于數(shù)據(jù)資產(chǎn)?將數(shù)據(jù)資產(chǎn)劃分為公開、內(nèi)部、敏輸入、輸出?根據(jù)梳理好?梳理業(yè)務(wù)與業(yè)務(wù)之間的流程關(guān)系，業(yè)務(wù)流程本身的輸入輸出上下文情解、組件和數(shù)據(jù)沉淀；輸?shù)臉I(yè)務(wù)流程圖，轉(zhuǎn)換成統(tǒng)計進行分類，并梳理出數(shù)據(jù)的技術(shù)數(shù)據(jù)采集與清洗數(shù)據(jù)采集與清洗?如何讓數(shù)據(jù)變得干凈可用？主要從三個方向入手：數(shù)據(jù)采集與清洗、對元數(shù)據(jù)進行管理、數(shù)據(jù)標準化治理元數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)標準化治理數(shù)據(jù)標準化治理數(shù)據(jù)采集與清洗達到的效果數(shù)據(jù)同步實現(xiàn)實時、準實時的數(shù)據(jù)采集；保證數(shù)據(jù)源與目標端的數(shù)據(jù)一致性；不影響源業(yè)務(wù)系統(tǒng)；支持多種數(shù)據(jù)源的數(shù)據(jù)采集（如常用的關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)平臺等）；數(shù)據(jù)交換不同部門的數(shù)據(jù)協(xié)同，獲取到數(shù)據(jù)并完成業(yè)務(wù)邏輯；靈活地進行數(shù)據(jù)轉(zhuǎn)換規(guī)則設(shè)計；數(shù)據(jù)整合將不同來源的數(shù)據(jù)，經(jīng)過清洗轉(zhuǎn)換后變?yōu)榻y(tǒng)一格式，存儲到數(shù)據(jù)中心或者數(shù)據(jù)倉庫，用于提供數(shù)據(jù)共享、數(shù)據(jù)分析等服務(wù)；支持界面話工作流調(diào)度數(shù)據(jù)清洗、轉(zhuǎn)換數(shù)據(jù)遷移：將數(shù)據(jù)進行轉(zhuǎn)移數(shù)據(jù)同步：保持兩個同構(gòu)或者異構(gòu)庫的數(shù)據(jù)一致增強抽取：對于發(fā)生改變的數(shù)據(jù)進行更新列映射：數(shù)據(jù)類型轉(zhuǎn)換、列名變換、刪除列、增加列<—<—數(shù)據(jù)庫查找器：過濾所需數(shù)據(jù)，并且根據(jù)規(guī)則進行數(shù)據(jù)的替換自定制轉(zhuǎn)換：調(diào)用java程序執(zhí)行特殊的數(shù)據(jù)處理數(shù)據(jù)質(zhì)量檢查：專業(yè)的數(shù)據(jù)質(zhì)量分析、清洗、驗證和監(jiān)督引擎數(shù)據(jù)源數(shù)據(jù)目的元數(shù)據(jù)管理理解元數(shù)據(jù)需求?確認企業(yè)元數(shù)據(jù)管理環(huán)境、范圍、優(yōu)先級、元數(shù)據(jù)內(nèi)部標準、企業(yè)基于元數(shù)據(jù)的服務(wù)等；標準化元數(shù)據(jù)評估指標?評估指標主要應(yīng)采取定量指標，包括：元數(shù)據(jù)存儲庫的完整性、元數(shù)據(jù)的質(zhì)量、元數(shù)據(jù)的使用/引用、元數(shù)據(jù)血緣分析/影響分析等；整合元數(shù)據(jù)?把來源庫中抽取到的元數(shù)據(jù)，與相關(guān)的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)進行整合，最終存儲到元數(shù)據(jù)存儲庫中；查詢報告和分析元數(shù)據(jù)?指導(dǎo)如何使用數(shù)據(jù)資產(chǎn)，體現(xiàn)在商務(wù)智能（報表和分析）、商業(yè)決策（操作型、運營型、戰(zhàn)略型）以及業(yè)務(wù)語義方面使用。?指導(dǎo)如何管理數(shù)據(jù)資產(chǎn)：?具有前端應(yīng)用程序，并支持查詢和獲取，滿足以上各類數(shù)據(jù)資產(chǎn)管理的需要；?元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”。元數(shù)據(jù)標注、描述或者刻畫其他數(shù)據(jù)，以使檢索、解讀或使用信息更容易。對數(shù)據(jù)上下文背景、歷史和起源進行完整的記錄并管理，建立元數(shù)據(jù)標準，提升戰(zhàn)略信息（如數(shù)據(jù)倉庫、CRM等）的價值，幫助分析人員作出更有效的決策。元數(shù)據(jù)管理方法如下：開發(fā)和維護元數(shù)據(jù)標準?根據(jù)行業(yè)或共識標準，以及國際標準，再結(jié)合企業(yè)范圍共識建立元數(shù)據(jù)標準；創(chuàng)建和維護元數(shù)據(jù)?通過元數(shù)據(jù)創(chuàng)建和更新工具定期掃描和更新存儲庫；?采用審計流程驗證各項操作活動并報告異常；發(fā)布元數(shù)據(jù)?將元數(shù)據(jù)從存儲庫分發(fā)到最終用戶和其他需要使用元數(shù)據(jù)的應(yīng)用或工具；數(shù)據(jù)標準化治理>>??數(shù)據(jù)接入實施規(guī)范、編碼規(guī)范等標準規(guī)范?以此為依據(jù)進行規(guī)范化的升級、管理以及曰后的變更?主要包括數(shù)據(jù)元、數(shù)據(jù)元代碼集和信息實體等技術(shù)標準據(jù)標準化治理旨在遵循國家及本地相關(guān)標準化規(guī)范的基礎(chǔ)上，根據(jù)實際需要制訂一套完整、的標準規(guī)范體系，實現(xiàn)信息高度共享、系統(tǒng)運行高度協(xié)調(diào)的保障。管數(shù)據(jù)安全管理規(guī)范、數(shù)據(jù)共享交換管理規(guī)范重新組織數(shù)據(jù)真實世界模型數(shù)據(jù)標簽和畫像建立企業(yè)數(shù)據(jù)資產(chǎn)統(tǒng)一口徑、統(tǒng)一標準資源整合、統(tǒng)一數(shù)據(jù)，企業(yè)決策支持用戶信息標簽化，支真實世界模型數(shù)據(jù)標簽和畫像建立企業(yè)數(shù)據(jù)資產(chǎn)統(tǒng)一口徑、統(tǒng)一標準資源整合、統(tǒng)一數(shù)據(jù)，企業(yè)決策支持用戶信息標簽化，支持多場景業(yè)務(wù)應(yīng)用（如戰(zhàn)略分析、產(chǎn)品運營、用戶服務(wù)等）主數(shù)據(jù)建設(shè)從實際出發(fā)，用數(shù)據(jù)描述業(yè)務(wù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫主數(shù)據(jù)建設(shè)?建立主數(shù)據(jù)是一個龐大的工程，結(jié)合DAMA理論體系和具體實踐經(jīng)驗，提出了以下主數(shù)據(jù)建設(shè)中具體的操作流程，以及在這些流程中所需要完成的具體工作內(nèi)容：數(shù)據(jù)梳理數(shù)據(jù)問題確認數(shù)據(jù)標準定義數(shù)據(jù)管理方案管理流程確認業(yè)務(wù)系統(tǒng)接口改造結(jié)合目標數(shù)據(jù)所涉及到展現(xiàn)數(shù)據(jù)標準梳理與對系統(tǒng)與數(shù)據(jù)問題：針對梳理過程中出現(xiàn)的各種數(shù)據(jù)問題與相關(guān)業(yè)務(wù)部門與業(yè)務(wù)系統(tǒng)進行針對數(shù)據(jù)問題反饋結(jié)果，完成目標數(shù)據(jù)技術(shù)規(guī)則、業(yè)務(wù)規(guī)則、CRUD標準定針對目標數(shù)據(jù)的管理方案與管理流程完成與相針對目標數(shù)據(jù)的業(yè)務(wù)規(guī)則和技術(shù)規(guī)則，與相關(guān)業(yè)務(wù)部門和系統(tǒng)管理員真實世界模型真實實時真實世界模型360視圖模型平衡計分卡模型數(shù)據(jù)中心精益模型準確全面?“真實世界模型”建模方法論，主張從數(shù)據(jù)的角度反映真實業(yè)務(wù)的本來面目真實實時真實世界模型360視圖模型平衡計分卡模型數(shù)據(jù)中心精益模型準確全面真實世界模型?按照業(yè)務(wù)本來面目去組織、集成和交換數(shù)據(jù)?黑盒子分析方法?標的物和輸入輸出分析方法?流程、組件和資源標準化平衡積分卡模型?監(jiān)管質(zhì)量和合規(guī)性360視圖模型精益模型數(shù)據(jù)倉庫據(jù)庫構(gòu)圖：數(shù)據(jù)治理持久化數(shù)據(jù)治理工作成果日?；??超過原先治理范圍的數(shù)據(jù)，需要經(jīng)歷暗數(shù)據(jù)發(fā)現(xiàn)持久化，一次治理，永久治理。元數(shù)據(jù)和標準化治理維護更新數(shù)據(jù)治理的延伸：數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)透視主數(shù)據(jù)管理數(shù)據(jù)資產(chǎn)透視主數(shù)據(jù)管理;數(shù)據(jù)中心管理數(shù)據(jù)生命周期管理智能搜索和發(fā)現(xiàn)數(shù)據(jù)模型管理元數(shù)據(jù)更新和維護數(shù)據(jù)臺帳和審計數(shù)據(jù)治理體系架構(gòu)（示例）示例示例企業(yè)只有建立了完整的數(shù)據(jù)治理體系，保證數(shù)據(jù)內(nèi)容的質(zhì)量，才能夠真正有效地挖掘企業(yè)內(nèi)部的數(shù)據(jù)價值，對外提高競爭力?企業(yè)數(shù)據(jù)難管理無標準質(zhì)量低企業(yè)的IT系統(tǒng)經(jīng)歷了數(shù)據(jù)量高速膨脹的時期，海量的、分散在不同角落的數(shù)據(jù)導(dǎo)致了數(shù)據(jù)資源利用的復(fù)雜性和管理的高難度。企業(yè)無法從統(tǒng)一的業(yè)務(wù)視角去概覽整個企業(yè)內(nèi)部的數(shù)據(jù)信息。暴露出來的只是一個個獨立的系統(tǒng)，系統(tǒng)與系統(tǒng)之間的關(guān)系、標準數(shù)據(jù)從哪里獲取都無從知曉。?數(shù)據(jù)是企業(yè)爭奪優(yōu)質(zhì)客戶的關(guān)鍵數(shù)據(jù)是企業(yè)的生命線，誰掌握了準確的數(shù)據(jù)誰就獲得了先機。在當前競爭日益激烈的市場上，企業(yè)都在不同的細分市場上爭奪優(yōu)質(zhì)客戶。如何在在這樣的市場環(huán)境中選擇市場的經(jīng)營策略？企業(yè)每一筆資金的來源與利用、每一次經(jīng)營管理決策都必須基于準確的數(shù)據(jù)分析判斷。只有基于準確的數(shù)字，才能夠幫助企業(yè)在激烈的競爭中取得競爭優(yōu)勢。?高質(zhì)量數(shù)據(jù)是業(yè)務(wù)創(chuàng)新的基礎(chǔ)企業(yè)在市場中的競爭領(lǐng)域已經(jīng)從同一領(lǐng)域市場份額爭奪，發(fā)展到開發(fā)新競爭領(lǐng)域的創(chuàng)新性競爭階段，這從客觀上對企業(yè)的創(chuàng)新能力提出了更高的要求，現(xiàn)在企業(yè)的創(chuàng)新在很大程度上要借助科技的手段，在業(yè)務(wù)數(shù)據(jù)的開發(fā)和利用基礎(chǔ)上進行創(chuàng)新，數(shù)據(jù)為企業(yè)實施有效的創(chuàng)新提供了豐富強大的動力。企業(yè)數(shù)據(jù)管理成熟度模型評估?企業(yè)數(shù)據(jù)成熟度評估讓企業(yè)的項目目標更明確。我們的項目不是每個都從頭做起，企業(yè)對數(shù)據(jù)建設(shè)的重視程度與現(xiàn)狀都是不同的。數(shù)據(jù)治理項目會為企業(yè)評估現(xiàn)階段的企業(yè)數(shù)據(jù)發(fā)展在行業(yè)內(nèi)所處的位置。企業(yè)數(shù)據(jù)治理從影響因素等若干維度進行全面的評估。企業(yè)數(shù)據(jù)成熟度階段劃分人員組織流程制度技術(shù)支撐隨機階段?臨時人員或無人員認知階段?科技人員兼職?項目方式的臨時流程?Office文檔?數(shù)據(jù)分散存儲成長階段?有專職或兼職人員?有明確的職責(zé)?系統(tǒng)內(nèi)、部門內(nèi)固化流程?系統(tǒng)內(nèi)數(shù)據(jù)管理?數(shù)據(jù)集市?沒有或者分散的數(shù)據(jù)管理平臺成熟階段?有固定專職人員?人員分工細化?跨系統(tǒng)、跨部門的固化流程?數(shù)據(jù)倉庫?企業(yè)級數(shù)據(jù)管理平臺創(chuàng)新階段?專職組織?人員、分工常態(tài)化?數(shù)據(jù)服務(wù)常態(tài)化?優(yōu)化的企業(yè)級管理流程?優(yōu)質(zhì)數(shù)據(jù)倉庫?大數(shù)據(jù)倉庫?掌握企業(yè)數(shù)據(jù)、業(yè)務(wù)需求，聯(lián)動的、常態(tài)化的數(shù)據(jù)管理平臺找到差距、制定計劃?根據(jù)企業(yè)的現(xiàn)狀得分制定近期、中期、長期的戰(zhàn)略計劃，急用先行。l了解企業(yè)近期以及中長期在業(yè)務(wù)和技術(shù)上的策略及目標，特別是與數(shù)據(jù)治理相關(guān)的信息。l通過書面訪談和現(xiàn)場調(diào)研等方式在企業(yè)內(nèi)部營造數(shù)據(jù)治理的氛圍、讓相關(guān)人員數(shù)據(jù)治理目標普遍達成共識。l根據(jù)現(xiàn)實的差距制定計劃，制定企業(yè)未來3-5年的數(shù)據(jù)規(guī)劃。 ↓ ↓ ↓ 萬事開頭難：建立數(shù)據(jù)管理團隊1232344665管理制度是保障：制定管理辦法與認責(zé)劃分l結(jié)合企業(yè)的現(xiàn)狀，為數(shù)據(jù)治理的開展提供有據(jù)可依的管理辦法、規(guī)定數(shù)據(jù)治理的業(yè)務(wù)流程、數(shù)據(jù)治理的認責(zé)體系、人員角色和崗位職責(zé)、數(shù)據(jù)治理的支持環(huán)境和頒布數(shù)據(jù)治理的規(guī)章制度政策等。l規(guī)定了工具產(chǎn)品的使用方法與產(chǎn)品使用流程。數(shù)據(jù)需求數(shù)據(jù)需求管理辦法數(shù)據(jù)質(zhì)量管理辦法元數(shù)據(jù)管理辦法書同文、車同軌：數(shù)據(jù)標準?數(shù)據(jù)標準提供了一整套規(guī)范，目的是為了業(yè)務(wù)人員、技術(shù)人員在提到一個詞的時候有規(guī)范的含義。要適應(yīng)業(yè)務(wù)和技術(shù)的發(fā)展要求要適應(yīng)業(yè)務(wù)和技術(shù)的發(fā)展要求，優(yōu)先解決普 遍的、急需的問題：項?遵循“循序漸進、不斷完善”的原則。?可落地的數(shù)據(jù)標準產(chǎn)品。支撐完整的數(shù)據(jù)標準創(chuàng)建過程、確保每一個數(shù)據(jù)標準對應(yīng)企業(yè)的數(shù)據(jù)需求，做到數(shù)據(jù)標準有理有據(jù)。也可作為數(shù)據(jù)質(zhì)量的發(fā)現(xiàn)問題的依據(jù)。數(shù)據(jù)標準絕不孤立存在。業(yè)務(wù)與IT的橋梁：元數(shù)據(jù)數(shù)據(jù)清洗技術(shù)定義運算數(shù)據(jù)清洗技術(shù)定義運算業(yè)務(wù)定義業(yè)務(wù)定義形成報告信息使用形成報告信息使用源系統(tǒng)數(shù)據(jù)模型數(shù)據(jù)集市商務(wù)智能工具數(shù)據(jù)沿襲?追溯系統(tǒng)間信息生命周期?包括對數(shù)據(jù)進行的操作和流程?數(shù)據(jù)增長尤其重要的是滿足更新的合規(guī)性?一些廠商提供該領(lǐng)域不同的產(chǎn)品業(yè)務(wù)