年數(shù)據(jù)庫技術(shù)大會_萬振龍：數(shù)據(jù)治理與大數(shù)據(jù)平臺設(shè)計(jì)40

1、1數(shù)據(jù)治理大數(shù)據(jù)平臺設(shè)計(jì)2議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計(jì)3數(shù)據(jù)治理背景1大數(shù)據(jù)時(shí)代凸現(xiàn)數(shù)據(jù)重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)2345信息孤島現(xiàn)象嚴(yán)重?cái)?shù)據(jù)質(zhì)量問題嚴(yán)重?cái)?shù)據(jù)應(yīng)用未得到有效管理6數(shù)據(jù)安全問題日益嚴(yán)峻數(shù)據(jù)治理4意識到了問題的嚴(yán)重1數(shù)據(jù)治理現(xiàn)狀2 “維持”代替“管理”3 歷史“包袱”沉重4 相關(guān)方利益交織，協(xié)調(diào)困難5 方案規(guī)劃容易，落地困難6 過度依賴技術(shù)工具7 對于數(shù)據(jù)沒有明確區(qū)分5議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計(jì)6數(shù)據(jù)治理要素7數(shù)據(jù)治理策略獲得支持引入外援找到“痛點(diǎn)”確定“起點(diǎn)”責(zé)任到人持

2、之以恒績效評估8經(jīng)驗(yàn)總結(jié)實(shí)事求是實(shí)事求是確定方法確定方法做好績效做好績效標(biāo)準(zhǔn)先行標(biāo)準(zhǔn)先行使用工具使用工具獎懲機(jī)制獎懲機(jī)制數(shù)據(jù)數(shù)據(jù)治理治理9實(shí)施建議*數(shù)據(jù)質(zhì)量提升是目標(biāo)*主數(shù)據(jù)管理是關(guān)鍵*元數(shù)據(jù)管理是基礎(chǔ)10議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計(jì)11什么是元數(shù)據(jù) 元數(shù)據(jù)的定義 技術(shù)元數(shù)據(jù) 業(yè)務(wù)元數(shù)據(jù) 操作元數(shù)據(jù)12為什么要進(jìn)行元數(shù)據(jù)管理Why?123456數(shù)據(jù)的參考框架解決數(shù)據(jù)模糊性可視化數(shù)據(jù)流動影響和血緣分析推進(jìn)標(biāo)準(zhǔn)化建設(shè)規(guī)范化數(shù)據(jù)審計(jì)13經(jīng)驗(yàn)分享1.2.3.4.5.6.標(biāo)準(zhǔn)先行全局治理盡快見效高層支持業(yè)務(wù)參與獎懲機(jī)制14數(shù)據(jù)定義標(biāo)準(zhǔn)化數(shù)量月銷售量月

3、銷售量標(biāo)準(zhǔn)單詞對象詞素詞素詞素詞素分析原屬性名(標(biāo)準(zhǔn)化對象)標(biāo)準(zhǔn)域數(shù)量類型： 數(shù)字型長度： 19，0分類詞月度銷售數(shù)量標(biāo)準(zhǔn)用語月度銷售數(shù)量類型： 數(shù)字型長度： 19，0修飾詞標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)單詞月度銷售數(shù)量分類詞(域)15標(biāo)準(zhǔn)體系數(shù)據(jù)定義標(biāo)準(zhǔn)體系標(biāo)準(zhǔn)單詞標(biāo)準(zhǔn)域標(biāo)準(zhǔn)用語16數(shù)據(jù)模型標(biāo)準(zhǔn)化結(jié)構(gòu)結(jié)構(gòu)管理管理實(shí)體、屬性、關(guān)系、主鍵，范式化等命名規(guī)則、用語詞典、標(biāo)準(zhǔn)域等數(shù)據(jù)管理政策、方針等配置管理、版本管理等質(zhì)量質(zhì)量準(zhǔn)確性 、完整性、實(shí)時(shí)性、一致性應(yīng)用應(yīng)用查詢結(jié)果的準(zhǔn)確性、使用便利性、查詢結(jié)果的迅速性模型設(shè)計(jì)標(biāo)準(zhǔn)17模型優(yōu)化實(shí)施路線模型診斷設(shè)計(jì)規(guī)范設(shè)計(jì)指南按照模型設(shè)計(jì)規(guī)范和指南統(tǒng)一設(shè)計(jì)企業(yè)內(nèi)

4、部數(shù)據(jù)模型18可使用可使用可管理可管理可控制可控制模型要素關(guān)系定義規(guī)則應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)注注冊冊元元數(shù)數(shù)據(jù)據(jù)庫庫腳腳本本同同步步指指導(dǎo)導(dǎo)數(shù)數(shù)據(jù)據(jù)庫庫設(shè)設(shè)計(jì)計(jì)審核、評估、發(fā)布元數(shù)據(jù)管理系統(tǒng)元數(shù)據(jù)管理系統(tǒng)提交反饋標(biāo)準(zhǔn)化體系（數(shù)據(jù)定義&模型設(shè)計(jì)）元元數(shù)數(shù)據(jù)據(jù)服服務(wù)務(wù)標(biāo)準(zhǔn)規(guī)范制定完善引用19元數(shù)據(jù)管理工具的選擇元模型易于擴(kuò)展界面友好安全和系統(tǒng)管理配置管理發(fā)布、查詢、報(bào)表功能平臺開放提前試用20議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計(jì)21什么是主數(shù)據(jù) 企業(yè)主數(shù)據(jù)分散存儲在企業(yè)各系統(tǒng)內(nèi)，對企業(yè)至關(guān)重要的核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，比如客戶、合作伙伴、員工等 關(guān)鍵 分

5、散 緩慢 共享22主數(shù)據(jù)類型當(dāng)事人事物地域財(cái)務(wù)和組織23主數(shù)據(jù)與參考數(shù)據(jù) 參考數(shù)據(jù)可以是主數(shù)據(jù)，但不一定是主數(shù)據(jù)24為什么要作主數(shù)據(jù)管理數(shù)據(jù)冗余難亍應(yīng)變數(shù)據(jù)沖突阻礙業(yè)務(wù)Why?25如何做好主數(shù)據(jù)管理經(jīng)常遇到的問題26如何做好主數(shù)據(jù)管理識別并管理主數(shù)據(jù)相關(guān)方整理并分析主數(shù)據(jù)的生命周期識別主數(shù)據(jù)含義、上下文、類型27主數(shù)據(jù)實(shí)施流程運(yùn)行維護(hù)項(xiàng)目實(shí)施主數(shù)據(jù)識別數(shù)據(jù)梳理項(xiàng)目實(shí)施要點(diǎn)選擇工具選擇工具定制開發(fā)定制開發(fā)制定標(biāo)準(zhǔn)規(guī)范制定標(biāo)準(zhǔn)規(guī)范確定組織架構(gòu)確定組織架構(gòu)28申請維護(hù)主數(shù)據(jù)管理系統(tǒng)注冊 準(zhǔn)入審批訪問服務(wù)查詢安全管理匹配查重CRM數(shù)據(jù)校驗(yàn)人事管管理理流流程程組組織織機(jī)機(jī)構(gòu)構(gòu)統(tǒng)一數(shù)據(jù)共享統(tǒng)一數(shù)據(jù)共享標(biāo)準(zhǔn)

6、規(guī)范標(biāo)準(zhǔn)規(guī)范強(qiáng)化決策支持強(qiáng)化決策支持提升數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量主主數(shù)數(shù)據(jù)據(jù) 管理體系管理體系數(shù)據(jù)導(dǎo)入ERP數(shù)據(jù)分發(fā)版本管理財(cái)務(wù)通知廢棄29議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計(jì)30數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量1、數(shù)據(jù)的值域3、數(shù)據(jù)的完整性5、業(yè)務(wù)規(guī)則7、數(shù)據(jù)轉(zhuǎn)換2、數(shù)據(jù)的定義4、數(shù)據(jù)的有效性6、結(jié)構(gòu)完整性8、數(shù)據(jù)流31業(yè)務(wù)部門統(tǒng)計(jì)部門（業(yè)務(wù)部門）負(fù)責(zé)業(yè)務(wù)規(guī)則的制定，在業(yè)務(wù)層面統(tǒng)管數(shù)據(jù)質(zhì)量和安全。技術(shù)主管部門技術(shù)部門負(fù)責(zé)數(shù)據(jù)集成、使用等過程中的數(shù)據(jù)質(zhì)量，并對數(shù)據(jù)質(zhì)量報(bào)告進(jìn)行定期發(fā)布。評審委員會技術(shù)部門設(shè)置評審委員會，對數(shù)據(jù)方面的變更進(jìn)行管控，具備技術(shù)方案否決權(quán)。

7、組織架構(gòu)設(shè)計(jì) 業(yè)務(wù)與技術(shù)部門各司其職，共同做好數(shù)據(jù)質(zhì)量管理工作32應(yīng)用服務(wù)數(shù)據(jù)質(zhì)量管理規(guī)范數(shù)據(jù)質(zhì)量管理規(guī)范 二級檢控?cái)?shù)據(jù)質(zhì)量治理流程數(shù)據(jù)錄入/質(zhì)量檢查生產(chǎn)庫 后臺庫復(fù)制數(shù)據(jù)倉庫ETL一級檢控短信通知錄入修改確認(rèn)技術(shù)主管部門短信通知業(yè)務(wù)部門管理員33策略和方法策略Description ofthe contents方法反面影響和正面的效果征得了領(lǐng)導(dǎo)層關(guān)注改進(jìn)工作分布實(shí)施，循序漸進(jìn)數(shù)據(jù)質(zhì)量報(bào)告定期發(fā)布應(yīng)用系統(tǒng)需求和架構(gòu)經(jīng)過嚴(yán)格評審系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)變更需要進(jìn)行嚴(yán)格評估數(shù)據(jù)發(fā)生變更時(shí)，通報(bào)所有相關(guān)方Description ofthe contents34技術(shù)手段從源頭改起，形成良性循環(huán)24小時(shí)監(jiān)控，及時(shí)按照預(yù)案處理問題多環(huán)節(jié)設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控功能短信及時(shí)通知相關(guān)業(yè)務(wù)人員核對問題BI系統(tǒng)不斷整合不斷改進(jìn)工具軟件35最佳實(shí)踐從數(shù)據(jù)剖析（Profiling）開始盡量使用工具進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)剖析工作需要持續(xù)開展數(shù)據(jù)集成過程也需要進(jìn)行數(shù)據(jù)剖析數(shù)據(jù)質(zhì)量評估和改進(jìn)需要被動和主動兩種方式36最佳實(shí)踐得到高層的支持關(guān)鍵數(shù)據(jù)先行，漸進(jìn)開展在數(shù)據(jù)的“上游”解決質(zhì)量問題“防患于未然”優(yōu)于“后期治療”數(shù)據(jù)質(zhì)量報(bào)告要大范圍發(fā)布37議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設(shè)計(jì)38關(guān)于大數(shù)據(jù)的幾個問題 什么是大數(shù)據(jù) 大數(shù)