數(shù)據(jù)治理與大數(shù)據(jù)平臺設(shè)計

1、數(shù)據(jù)治理大數(shù)據(jù)平臺設(shè)計議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計1數(shù)據(jù)治理背景大數(shù)據(jù)時代凸現(xiàn)數(shù)據(jù)重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)2信息孤島現(xiàn)象嚴(yán)重數(shù)據(jù)質(zhì)量問題嚴(yán)重345數(shù)據(jù)應(yīng)用未得到有效管理6數(shù)據(jù)安全問題日益嚴(yán)峻數(shù)據(jù)治理意識到了問題的嚴(yán)重1數(shù)據(jù)治理現(xiàn)狀2 “維持”代替“管理”3 歷史“包袱”沉重4 相關(guān)方利益交織，協(xié)調(diào)困難5 方案規(guī)劃容易，落地困難6 過度依賴技術(shù)工具7 對于數(shù)據(jù)沒有明確區(qū)分議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計組織組織Organization流程、活動與機(jī)制流程、活動與機(jī)制Process&

2、Activities&Mechanism計劃、制度計劃、制度與標(biāo)準(zhǔn)規(guī)范與標(biāo)準(zhǔn)規(guī)范Plan&Rule&Standards技術(shù)平臺與工具技術(shù)平臺與工具Platform&Tools數(shù)據(jù)治理要素數(shù)據(jù)治理策略獲得支持引入外援找到“痛點”確定“起點”責(zé)任到人持之以恒績效評估實事求是實事求是確定方法確定方法做好績效做好績效標(biāo)準(zhǔn)先行標(biāo)準(zhǔn)先行使用工具使用工具獎懲機(jī)制獎懲機(jī)制經(jīng)驗總結(jié)數(shù)據(jù)數(shù)據(jù)治理治理實施建議*數(shù)據(jù)質(zhì)量提升是目標(biāo)*主數(shù)據(jù)管理是關(guān)鍵*元數(shù)據(jù)管理是基礎(chǔ)議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計什么是元數(shù)據(jù) 元數(shù)據(jù)的定義 技術(shù)元數(shù)據(jù)

3、業(yè)務(wù)元數(shù)據(jù) 操作元數(shù)據(jù)為什么要進(jìn)行元數(shù)據(jù)管理Why?123456數(shù)據(jù)的參考框架解決數(shù)據(jù)模糊性可視化數(shù)據(jù)流動影響和血緣分析推進(jìn)標(biāo)準(zhǔn)化建設(shè)規(guī)范化數(shù)據(jù)審計1.2.3.4.5.6.經(jīng)驗分享標(biāo)準(zhǔn)先行全局治理盡快見效高層支持業(yè)務(wù)參與獎懲機(jī)制數(shù)據(jù)定義標(biāo)準(zhǔn)化數(shù)量月銷售量月銷售量標(biāo)準(zhǔn)單詞對象詞素詞素詞素詞素分析原屬性名(標(biāo)準(zhǔn)化對象)標(biāo)準(zhǔn)域數(shù)量類型： 數(shù)字型長度： 19，0分類詞標(biāo)準(zhǔn)用語月度銷售數(shù)量類型： 數(shù)字型長度： 19，0修飾詞標(biāo)準(zhǔn)單詞月度標(biāo)準(zhǔn)單詞銷售標(biāo)準(zhǔn)單詞數(shù)量標(biāo)準(zhǔn)單詞月度銷售數(shù)量分類詞(域)標(biāo)準(zhǔn)體系數(shù)據(jù)定義標(biāo)準(zhǔn)體系標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)域標(biāo)準(zhǔn)用語數(shù)據(jù)模型標(biāo)準(zhǔn)化結(jié)構(gòu)結(jié)構(gòu)實體、屬性、關(guān)系、主鍵，范式化等命名規(guī)則、用語

4、詞典、標(biāo)準(zhǔn)域等管理管理數(shù)據(jù)管理政策、方針等配置管理、版本管理等質(zhì)量質(zhì)量準(zhǔn)確性 、完整性、實時性、一致性應(yīng)用應(yīng)用查詢結(jié)果的準(zhǔn)確性、使用便利性、查詢結(jié)果的迅速性模型設(shè)計標(biāo)準(zhǔn)實施路線模型優(yōu)化模型診斷設(shè)計規(guī)范設(shè)計指南按照模型設(shè)計規(guī)范和指南統(tǒng)一設(shè)計企業(yè)內(nèi)部數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)元數(shù)據(jù)管理系統(tǒng)可使用可使用可管理可管理可控制可控制模型要素關(guān)系定義規(guī)則應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)注注冊冊元元數(shù)數(shù)據(jù)據(jù)庫庫腳腳本本同同步步指指導(dǎo)導(dǎo)數(shù)數(shù)據(jù)據(jù)庫庫設(shè)設(shè)計計審核、評估、發(fā)布提交反饋元元數(shù)數(shù)據(jù)據(jù)服服務(wù)務(wù)標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計）制定完善引用元數(shù)據(jù)管理工具的選擇元模型易于擴(kuò)展界面友好安全和系統(tǒng)管理配置管理發(fā)布、查詢

5、、報表功能平臺開放提前試用議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計什么是主數(shù)據(jù) 企業(yè)主數(shù)據(jù)分散存儲在企業(yè)各系統(tǒng)內(nèi)，對企業(yè)至關(guān)重要的核心業(yè)務(wù)實體的數(shù)據(jù)，比如客戶、合作伙伴、員工等 關(guān)鍵 分散 緩慢 共享主數(shù)據(jù)類型當(dāng)事人事物地域財務(wù)和組織主數(shù)據(jù)與參考數(shù)據(jù) 參考數(shù)據(jù)可以是主數(shù)據(jù)，但不一定是主數(shù)據(jù)為什么要作主數(shù)據(jù)管理數(shù)據(jù)冗余難亍應(yīng)變阻礙業(yè)務(wù)數(shù)據(jù)沖突Why?如何做好主數(shù)據(jù)管理經(jīng)常遇到的問題如何做好主數(shù)據(jù)管理識別并管理主數(shù)據(jù)相關(guān)方整理并分析主數(shù)據(jù)的生命周期識別主數(shù)據(jù)含義、上下文、類型主數(shù)據(jù)實施流程運(yùn)行維護(hù)項目實施主數(shù)據(jù)識別數(shù)據(jù)梳理項目實施要點選擇工具選擇工具定制開

6、發(fā)定制開發(fā)制定標(biāo)準(zhǔn)規(guī)范制定標(biāo)準(zhǔn)規(guī)范確定組織架構(gòu)確定組織架構(gòu)申請維護(hù)主數(shù)據(jù)管理系統(tǒng)注冊 準(zhǔn)入審批訪問服務(wù)查詢安全管理匹配查重CRM數(shù)據(jù)校驗人事管管理理流流程程組組織織機(jī)機(jī)構(gòu)構(gòu)統(tǒng)一數(shù)據(jù)共享統(tǒng)一數(shù)據(jù)共享標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)規(guī)范強(qiáng)化決策支持強(qiáng)化決策支持主主數(shù)數(shù)據(jù)據(jù) 管理體系管理體系提升數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量數(shù)據(jù)導(dǎo)入ERP數(shù)據(jù)分發(fā)版本管理財務(wù)通知廢棄議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量1、數(shù)據(jù)的值域3、數(shù)據(jù)的完整性5、業(yè)務(wù)規(guī)則7、數(shù)據(jù)轉(zhuǎn)換2、數(shù)據(jù)的定義4、數(shù)據(jù)的有效性6、結(jié)構(gòu)完整性8、數(shù)據(jù)流業(yè)務(wù)部門統(tǒng)計部門（業(yè)務(wù)部門）負(fù)責(zé)業(yè)務(wù)規(guī)則的制定，在業(yè)務(wù)層面

7、統(tǒng)管數(shù)據(jù)質(zhì)量和安全。技術(shù)主管部門技術(shù)部門負(fù)責(zé)數(shù)據(jù)集成、使用等過程中的數(shù)據(jù)質(zhì)量，并對數(shù)據(jù)質(zhì)量報告進(jìn)行定期發(fā)布。評審委員會技術(shù)部門設(shè)置評審委員會，對數(shù)據(jù)方面的變更進(jìn)行管控，具備技術(shù)方案否決權(quán)。組織架構(gòu)設(shè)計 業(yè)務(wù)與技術(shù)部門各司其職，共同做好數(shù)據(jù)質(zhì)量管理工作應(yīng)用服務(wù)數(shù)據(jù)質(zhì)量管理規(guī)范數(shù)據(jù)質(zhì)量管理規(guī)范 二級檢控數(shù)據(jù)質(zhì)量治理流程數(shù)據(jù)錄入/質(zhì)量檢查生產(chǎn)庫 后臺庫一級檢控復(fù)制數(shù)據(jù)倉庫ETL短信通知短信通知錄入修改確認(rèn)技術(shù)主管部門業(yè)務(wù)部門管理員策略Description ofthe contents方法策略和方法反面影響和正面的效果征得了領(lǐng)導(dǎo)層關(guān)注改進(jìn)工作分布實施，循序漸進(jìn)數(shù)據(jù)質(zhì)量報告定期發(fā)布應(yīng)用系統(tǒng)需求和架構(gòu)經(jīng)

8、過嚴(yán)格評審系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)變更需要進(jìn)行嚴(yán)格評估數(shù)據(jù)發(fā)生變更時，通報所有相關(guān)方Description ofthe contents技術(shù)手段從源頭改起，形成良性循環(huán)24小時監(jiān)控，及時按照預(yù)案處理問題多環(huán)節(jié)設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控功能短信及時通知相關(guān)業(yè)務(wù)人員核對問題BI系統(tǒng)不斷整合不斷改進(jìn)工具軟件最佳實踐從數(shù)據(jù)剖析（Profiling）開始盡量使用工具進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)剖析工作需要持續(xù)開展數(shù)據(jù)集成過程也需要進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)質(zhì)量評估和改進(jìn)需要被動和主動兩種方式最佳實踐得到高層的支持關(guān)鍵數(shù)據(jù)先行，漸進(jìn)開展在數(shù)據(jù)的“上游”解決質(zhì)量問題“防患于未然”優(yōu)于“后期治療”數(shù)據(jù)質(zhì)量報告要大范圍發(fā)布議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計關(guān)于大數(shù)據(jù)的