-數(shù)據(jù)中臺及數(shù)據(jù)治理服務(wù)解決方案及案例

錄一、數(shù)據(jù)治理服務(wù)主數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)服務(wù)化數(shù)據(jù)質(zhì)量標準業(yè)務(wù)調(diào)研業(yè)務(wù)活動全景圖盤業(yè)務(wù)活動特性全域數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)梳理屬性邏輯實體數(shù)據(jù)模型用業(yè)務(wù)對象識別業(yè)務(wù)場景系統(tǒng)&數(shù)據(jù)系統(tǒng)調(diào)研數(shù)據(jù)標準邏輯設(shè)計主數(shù)據(jù)數(shù)據(jù)集數(shù)據(jù)服務(wù)化數(shù)據(jù)質(zhì)量標準業(yè)務(wù)調(diào)研業(yè)務(wù)活動全景圖盤業(yè)務(wù)活動特性全域數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)梳理屬性邏輯實體數(shù)據(jù)模型用業(yè)務(wù)對象識別業(yè)務(wù)場景系統(tǒng)&數(shù)據(jù)系統(tǒng)調(diào)研數(shù)據(jù)標準邏輯設(shè)計 優(yōu)化提升夯實基礎(chǔ)優(yōu)化提升夯實基礎(chǔ)治理訴求價值體現(xiàn).提升數(shù)據(jù)準備度，為業(yè)務(wù)運作提供可信的足量治理訴求價值體現(xiàn).一致的數(shù)據(jù)標準..一致的數(shù)據(jù)標準.可信數(shù)據(jù)源.實現(xiàn)業(yè)務(wù)上下游數(shù)據(jù)的快速傳遞共享，提升業(yè)務(wù)運作效率.高效的數(shù)據(jù)共享.數(shù)據(jù)質(zhì)量的持續(xù)提升減少糾錯成本，降低運營風(fēng)險，提升業(yè)務(wù)服務(wù)滿意度數(shù)據(jù)治理框架數(shù)據(jù)集成與共享數(shù)據(jù)地數(shù)據(jù)集成與共享數(shù)據(jù)地數(shù)據(jù)治理組織/流程數(shù)據(jù)質(zhì)量檢查(管理看板)(元數(shù)據(jù)-數(shù)據(jù)標數(shù)據(jù)標準核標(管理看板)數(shù)據(jù)安全(數(shù)據(jù)分類分級)數(shù)據(jù)資產(chǎn)目錄&數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量檢查(管理看板)(元數(shù)據(jù)-數(shù)據(jù)標數(shù)據(jù)標準核標(管理看板)數(shù)據(jù)安全(數(shù)據(jù)分類分級)數(shù)據(jù)資產(chǎn)目錄&數(shù)據(jù)服務(wù)(數(shù)據(jù)運營)(自上而下)(自下而上)標準層加工層數(shù)據(jù)資產(chǎn)層標準層加工層數(shù)據(jù)資產(chǎn)層這一步是數(shù)據(jù)中臺核心工作內(nèi)容，其中業(yè)務(wù)模型、數(shù)據(jù)模型也是數(shù)據(jù)中臺建設(shè)的關(guān)鍵所在。 業(yè)務(wù)流程業(yè)務(wù)架構(gòu)數(shù)據(jù)責(zé)任數(shù)據(jù)安全入湖標準架構(gòu)層業(yè)務(wù)模型業(yè)務(wù)模型數(shù)據(jù)標準數(shù)據(jù)標準元數(shù)據(jù)-數(shù)據(jù)模型數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)(數(shù)據(jù)湖)自動發(fā)布邏輯實體、屬性資產(chǎn)目錄維護數(shù)據(jù)權(quán)屬認責(zé)信息分級分類邏輯數(shù)據(jù)湖──湖側(cè)元數(shù)據(jù)自助入湖模型發(fā)布數(shù)據(jù)標準落標實時入湖模型治理運營模型驗證模型設(shè)計批量入湖元數(shù)據(jù)管理TP&AP一體化建模體系自動發(fā)布邏輯實體、屬性資產(chǎn)目錄維護數(shù)據(jù)權(quán)屬認責(zé)信息分級分類邏輯數(shù)據(jù)湖──湖側(cè)元數(shù)據(jù)自助入湖模型發(fā)布數(shù)據(jù)標準落標實時入湖模型治理運營模型驗證模型設(shè)計批量入湖元數(shù)據(jù)管理模型上線交付核標與數(shù)據(jù)質(zhì)量元數(shù)據(jù)融合數(shù)據(jù)湖數(shù)據(jù)湖數(shù)據(jù)標準落標率數(shù)據(jù)標準落標率定時/自動采集定時/自動采集模型審計模型審計技術(shù)元數(shù)據(jù)采集技術(shù)元數(shù)據(jù)采集 部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫2、數(shù)據(jù)同步3、數(shù)據(jù)建模4、連接&萃取5、應(yīng)用開發(fā)6、數(shù)據(jù)校驗業(yè)務(wù)概念模型概要設(shè)計詳細設(shè)計上線交付編碼開發(fā)需求分析運行維護系統(tǒng)測試業(yè)務(wù)概念模型概要設(shè)計詳細設(shè)計上線交付編碼開發(fā)需求分析運行維護系統(tǒng)測試元數(shù)據(jù)元數(shù)據(jù)由數(shù)據(jù)資產(chǎn)系統(tǒng)建立數(shù)據(jù)模型管理，實現(xiàn)數(shù)據(jù)模型事前-事中--事后的管理通過統(tǒng)一模型工具以及在數(shù)據(jù)資產(chǎn)管理平臺簡歷數(shù)據(jù)模型管理功能，實現(xiàn)數(shù)據(jù)模型事前-事中-事后的管理。并且實現(xiàn)了數(shù)據(jù)資產(chǎn)管理的閉環(huán)。事前事后事中事后數(shù)據(jù)數(shù)據(jù)模型數(shù)據(jù)數(shù)據(jù)標準數(shù)據(jù)資產(chǎn)的閉環(huán)，通過模型關(guān)聯(lián)元數(shù)據(jù)和標準，為數(shù)據(jù)標準落地打下基礎(chǔ)確定標注主確定標注主題邏輯模型參考通過模型工通過模型工具自動落標初期提供落標指導(dǎo)人員模型庫提供模型庫提供模型落標報告審核重點標準使用問題模型工具自模型工具自動審核提供核準通過證書模型工具自模型工具自動監(jiān)測差異發(fā)送差異報告數(shù)據(jù)標準管理模型設(shè)計模型審核模型架構(gòu)師數(shù)據(jù)標準管理數(shù)據(jù)標準審核發(fā)布NY引用數(shù)據(jù)標準使用建模工具進行模型設(shè)計引用數(shù)據(jù)標準使用建模工具進行模型設(shè)計修改模型并提交模型評審發(fā)布模型報告YNNY是否提供模型反饋意見N是否通過模型Y發(fā)布基線模型郵件通知相關(guān)負責(zé)人N是否與基線模Y是否與基線模t采集元數(shù)據(jù)數(shù)據(jù)庫上線42不同類型系統(tǒng)的落標策略.在業(yè)務(wù)系統(tǒng)建設(shè)時，.在業(yè)務(wù)系統(tǒng)建設(shè)時，執(zhí)行適用的數(shù)據(jù)標準.新建系統(tǒng)的代碼應(yīng)遵照數(shù)據(jù)標準項的代碼.不建議在沒有業(yè)務(wù)需求時，.配合已有的系統(tǒng)改造計劃，將數(shù)據(jù)標準要求作為需求執(zhí)行.可考慮在不同系統(tǒng)交互時，完成標準轉(zhuǎn)換.不強制執(zhí)行.可作為外購產(chǎn)品的評估指標.可考慮在不同系統(tǒng)交互時，完成標準轉(zhuǎn)換參考參考依據(jù)依據(jù)案)》數(shù)據(jù)分級規(guī)則數(shù)據(jù)分級規(guī)則內(nèi)部數(shù)據(jù)內(nèi)部數(shù)據(jù)重要數(shù)據(jù)核心數(shù)據(jù)涉密數(shù)據(jù)數(shù)據(jù)資產(chǎn)排查數(shù)據(jù)資產(chǎn)排查盤點數(shù)盤點數(shù)據(jù)資產(chǎn)基礎(chǔ)風(fēng)基礎(chǔ)風(fēng)險排查梳理訪賬號檢賬號檢查梳理檢查已有的數(shù)據(jù)權(quán)限情況，尤其是高危操作的以及運維人員的權(quán)限，以及在用的管控措施脫敏數(shù)據(jù)流數(shù)據(jù)資產(chǎn)和安全管理組織機構(gòu)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)治理數(shù)據(jù)庫脫敏數(shù)據(jù)流數(shù)據(jù)資產(chǎn)和安全管理組織機構(gòu)數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)治理數(shù)據(jù)庫數(shù)據(jù)自動授權(quán)體系建自動訪問體系和白名單相結(jié)合數(shù)據(jù)安全應(yīng)用數(shù)據(jù)安全訪問引擎數(shù)據(jù)安全框架數(shù)據(jù)安全框架資產(chǎn)盤點數(shù)據(jù)標準治理數(shù)據(jù)標準治理OLAPOLAP45數(shù)據(jù)分類分級驅(qū)動的數(shù)據(jù)資產(chǎn)安全管控MYSQLMYSQLOracel數(shù)據(jù)安全網(wǎng)關(guān)數(shù)據(jù)資產(chǎn)分類登記姓名姓名地區(qū)張三1512****0325北京李四1432****0452上海王五1222****1325北京安全訪問JDBC統(tǒng)一數(shù)據(jù)查詢SQL姓名地區(qū)張三1512****0325北京李四1432****0452上海王五1222****1325北京錄一、數(shù)據(jù)治理服務(wù)4647基礎(chǔ)庫建設(shè)業(yè)務(wù)信息數(shù)據(jù)數(shù)據(jù)公安口公安口記基本信息人社口人社口社會五險參保等信息質(zhì)監(jiān)口質(zhì)監(jiān)口婚姻關(guān)系雙方信息孕產(chǎn)婦及家屬信息稅務(wù)口稅務(wù)口>地名地址數(shù)據(jù)>三維數(shù)據(jù)基礎(chǔ)數(shù)據(jù)庫基礎(chǔ)庫管理應(yīng)用基礎(chǔ)庫管理應(yīng)用人口庫應(yīng)用法人庫應(yīng)用空間地理應(yīng)用務(wù)、三維服務(wù)與坐標轉(zhuǎn)換等功能服48人錄一、數(shù)據(jù)治理服務(wù)三、總結(jié)49數(shù)據(jù)中臺建設(shè)建議.總體規(guī)劃.按需搭建平臺.基于平臺敏捷實施一、數(shù)據(jù)中臺是什么、臺建設(shè)2營數(shù)據(jù)應(yīng)用一網(wǎng)通辦一網(wǎng)協(xié)同業(yè)務(wù)活動數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源業(yè)務(wù)創(chuàng)新營數(shù)據(jù)應(yīng)用一網(wǎng)通辦一網(wǎng)協(xié)同業(yè)務(wù)活動數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源業(yè)務(wù)創(chuàng)新數(shù)據(jù)化的定義數(shù)據(jù)化的定義利用政務(wù)服務(wù)過程中各部門業(yè)務(wù)系統(tǒng)產(chǎn)生的和一切擁有或者可以獲取的數(shù)據(jù)，進行整體建模和二次加工，從而產(chǎn)生新的數(shù)據(jù)，利用這些新的數(shù)據(jù)驅(qū)動政府管理效率、提升政務(wù)服務(wù)能力以及增強數(shù)據(jù)活力。這個過程稱之為數(shù)據(jù)化。數(shù)據(jù)治數(shù)據(jù)治理數(shù)據(jù)運數(shù)據(jù)運數(shù)據(jù)應(yīng)用數(shù)據(jù)資產(chǎn)數(shù)據(jù)化數(shù)據(jù)資產(chǎn)咨詢規(guī)劃數(shù)據(jù)資源數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)治理過程數(shù)據(jù)化運營組織3數(shù)據(jù)安全數(shù)據(jù)數(shù)據(jù)安全數(shù)據(jù)組織數(shù)據(jù)資產(chǎn)數(shù)據(jù)治理數(shù)據(jù)治理(數(shù)據(jù)化架構(gòu)搭建)數(shù)據(jù)標準數(shù)據(jù)質(zhì)量數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)資源數(shù)據(jù)資源數(shù)據(jù)治理：解決整體架構(gòu)問題數(shù)據(jù)資源：數(shù)據(jù)化建設(shè)的根基數(shù)據(jù)資產(chǎn)：完整、健壯、數(shù)據(jù)中臺的核心建設(shè)內(nèi)容數(shù)據(jù)應(yīng)用：業(yè)務(wù)價值的轉(zhuǎn)化關(guān)鍵點數(shù)據(jù)標準、數(shù)據(jù)組織：人的保障和標準體系數(shù)據(jù)質(zhì)量：保證加工過程中的質(zhì)量問題數(shù)據(jù)安全：保證數(shù)據(jù)正常使用不丟失和被竊取4信息化數(shù)據(jù)化背景信息化數(shù)數(shù)?財務(wù)報表?業(yè)務(wù)報表?管理駕駛艙?數(shù)據(jù)治理?數(shù)據(jù)中臺?數(shù)據(jù)智能據(jù)?數(shù)據(jù)應(yīng)用?數(shù)據(jù)中心據(jù)?數(shù)據(jù)應(yīng)用?數(shù)據(jù)中心......化數(shù)據(jù)反哺業(yè)務(wù)數(shù)據(jù)反哺業(yè)務(wù)?會計電算化?辦公自動化?大量應(yīng)用使用與部署?系統(tǒng)的大量內(nèi)部集中?信息中心SOAESB應(yīng)用中臺分布式5數(shù)據(jù)中臺?數(shù)據(jù)中臺?匯聚數(shù)據(jù)，拒絕數(shù)據(jù)煙囪?提升開發(fā)效率，發(fā)成本?統(tǒng)一建模?大數(shù)據(jù)開發(fā)平臺數(shù)據(jù)中臺指導(dǎo)數(shù)據(jù)化整體規(guī)劃----全面指導(dǎo)數(shù)據(jù)化工作；數(shù)據(jù)中臺匯聚全域數(shù)據(jù)----構(gòu)建數(shù)據(jù)應(yīng)用的基礎(chǔ)，數(shù)據(jù)資產(chǎn)管理；----縮短應(yīng)用落地實踐的時間，提升成功率；數(shù)據(jù)中臺提供數(shù)據(jù)組織規(guī)劃----組織是數(shù)據(jù)化能夠全面展開的保障。6數(shù)據(jù)中臺的定數(shù)據(jù)中臺:政務(wù)服務(wù)數(shù)據(jù)化是一個整體工作，通過數(shù)據(jù)中臺的構(gòu)建，讓其為各個部門的業(yè)務(wù)活動，各個層級提供充分業(yè)務(wù)(AP)應(yīng)用(TP)數(shù)據(jù)中臺數(shù)據(jù)中臺(數(shù)據(jù)大腦)7數(shù)據(jù)開發(fā)一站式傳統(tǒng)數(shù)倉往往將ODS、數(shù)據(jù)開發(fā)一站式傳統(tǒng)數(shù)倉往往將ODS、EDW和ETL開發(fā)切割到不同廠商工具實現(xiàn)；數(shù)據(jù)中臺則主張一站式可視化數(shù)據(jù)開發(fā)，借助分布式技術(shù)簡化數(shù)據(jù)加工處理的過程數(shù)據(jù)應(yīng)用創(chuàng)新傳統(tǒng)數(shù)倉以某個業(yè)務(wù)主題的BI報表和決策支持為主，目的性單一，煙囪式建設(shè)；數(shù)據(jù)中臺則主張全域數(shù)據(jù)、打通數(shù)據(jù)孤島，釋放業(yè)務(wù)方數(shù)據(jù)應(yīng)用創(chuàng)新的能量建設(shè)模式傳統(tǒng)數(shù)倉往往采用自頂向下的建設(shè)模式，以明確的業(yè)務(wù)分析驅(qū)動，延續(xù)性低；數(shù)據(jù)中臺采用自底向上的方式，結(jié)合業(yè)務(wù)需求變化不斷分布式數(shù)據(jù)平臺傳統(tǒng)數(shù)倉以關(guān)系型數(shù)據(jù)庫離線分析為主；數(shù)據(jù)中臺以分布式引擎架構(gòu)，同時支持離線計算/實時計算/即時計算/智能計算數(shù)據(jù)資產(chǎn)在線化傳統(tǒng)數(shù)倉的數(shù)據(jù)管理和治理，往往花費大量精力，最終形成的是離線的規(guī)范和文檔；數(shù)據(jù)中臺則強調(diào)元數(shù)據(jù)管理統(tǒng)一入口的自動化和數(shù)據(jù)資產(chǎn)管理的在線化數(shù)據(jù)資產(chǎn)在線化傳統(tǒng)數(shù)倉的數(shù)據(jù)管理和治理，往往花費大量精力，最終形成的是離線的規(guī)范和文檔；數(shù)據(jù)中臺則強調(diào)元數(shù)據(jù)管理統(tǒng)一入口的自動化和數(shù)據(jù)資產(chǎn)管理的在線化數(shù)據(jù)源豐富據(jù)、爬蟲數(shù)據(jù)、社會數(shù)據(jù)等8數(shù)據(jù)智能化數(shù)據(jù)智能化數(shù)據(jù)中臺的價數(shù)據(jù)數(shù)據(jù)服務(wù)化數(shù)據(jù)中臺是培育業(yè)務(wù)的創(chuàng)新的方法基礎(chǔ)，是利用數(shù)據(jù)促進業(yè)務(wù)創(chuàng)新的保障。通過大量智能算法訓(xùn)先洞察未來。數(shù)據(jù)數(shù)據(jù)標準化統(tǒng)一建模、統(tǒng)一視圖、統(tǒng)一管理。避免重復(fù)抽取和維護帶來的成數(shù)據(jù)數(shù)據(jù)資產(chǎn)化數(shù)據(jù)模型不斷地進化，通過對數(shù)據(jù)不斷地完一字段逐漸成長為最為寶貴的數(shù)據(jù)資產(chǎn)。9數(shù)據(jù)服務(wù)在部門之間的調(diào)用，都伴隨著數(shù)據(jù)流動數(shù)據(jù)服務(wù)在部門之間的調(diào)用，都伴隨著數(shù)據(jù)流動。重組織誰負責(zé)提煉數(shù)據(jù)(業(yè)務(wù)架構(gòu)負責(zé)人)、誰負責(zé)持續(xù)運營管理賦能讓部門的前后臺用戶深入理解價值，推廣和持續(xù)性的優(yōu)化賦能可以支撐業(yè)務(wù)，也可以輔助決策能力能力核心是部門數(shù)據(jù)提煉共享這種數(shù)據(jù)在部門間有共享的需求服務(wù)服務(wù)以服務(wù)的方式對外提供數(shù)據(jù)展示一、數(shù)據(jù)中臺是什么可對外提供數(shù)滿足企業(yè)各類型數(shù)據(jù)的采集存儲淀數(shù)據(jù)資產(chǎn)可對外提供數(shù)滿足企業(yè)各類型數(shù)據(jù)的采集存儲淀數(shù)據(jù)資產(chǎn)數(shù)據(jù)處理計算、數(shù)據(jù)分析挖掘等數(shù)據(jù)采集存儲數(shù)據(jù)治理數(shù)據(jù)服務(wù)數(shù)據(jù)組織規(guī)劃與建議3.1技術(shù)框架設(shè)計3.2數(shù)據(jù)模型設(shè)計運營能力迭代數(shù)據(jù)組織規(guī)劃與建議3.1技術(shù)框架設(shè)計3.2數(shù)據(jù)模型設(shè)計運營能力迭代組織架構(gòu)設(shè)計2.4組織架構(gòu)設(shè)計2.44.3算法類數(shù)據(jù)應(yīng)用4.2領(lǐng)導(dǎo)駕駛艙4.1報表分析類應(yīng)用2.2應(yīng)用場景梳理2.1業(yè)務(wù)模型設(shè)計2.1規(guī)劃運營組織盤點數(shù)據(jù)資產(chǎn)建設(shè)數(shù)據(jù)資產(chǎn)規(guī)劃運營組織盤點數(shù)據(jù)資產(chǎn)開發(fā)數(shù)據(jù)應(yīng)用梳理體系架構(gòu)開發(fā)數(shù)據(jù)應(yīng)用1.1現(xiàn)有數(shù)據(jù)資源盤點1.2未來數(shù)據(jù)資源規(guī)劃1.3數(shù)據(jù)資源質(zhì)量檢測梳理間接成果物作：郎豐利數(shù)據(jù)血緣關(guān)系梳理間接成果物作：郎豐利數(shù)據(jù)血緣關(guān)系數(shù)據(jù)梳理權(quán)責(zé)清單(組織架構(gòu))按編辦“三定方案”對省直部門進行職責(zé)梳理、職責(zé)對應(yīng)業(yè)務(wù)活動的的梳理、業(yè)務(wù)活動對應(yīng)業(yè)務(wù)系統(tǒng)的梳理、業(yè)務(wù)活動對應(yīng)所需材料的梳理、已經(jīng)業(yè)務(wù)活動對應(yīng)產(chǎn)生材料的梳理。梳理直接成果物1、數(shù)據(jù)責(zé)任目錄2、數(shù)據(jù)需求目錄3、數(shù)據(jù)負面目錄1、數(shù)據(jù)責(zé)任目錄2、數(shù)據(jù)需求目錄3、數(shù)據(jù)負面目錄根據(jù)數(shù)據(jù)應(yīng)用評估體系進行整體評估確定實施優(yōu)先級及行動路線按數(shù)據(jù)類型2、半結(jié)構(gòu)數(shù)據(jù)3、非機構(gòu)數(shù)據(jù)11、有哪些部門哪些處室權(quán)責(zé)下的業(yè)務(wù)活動有系統(tǒng)支撐，系統(tǒng)功能是否完全滿足部門開展相應(yīng)的業(yè)務(wù)活動的需求、系統(tǒng)產(chǎn)生的數(shù)據(jù)是2、沒有系統(tǒng)的部門處室，業(yè)務(wù)活動產(chǎn)生的數(shù)據(jù)如何采集、如何共享？3、是否存在僵死系統(tǒng)、未上云系統(tǒng)；4、系統(tǒng)的安全性、數(shù)據(jù)的安全性；等等方面梳理工作第一步、數(shù)據(jù)點 了解相應(yīng)的技術(shù)，構(gòu)建業(yè)務(wù)模型；2、基于最佳實踐知識庫；了解相應(yīng)的技術(shù)，構(gòu)建業(yè)務(wù)模型；2、基于最佳實踐知識庫；3、基于深厚的數(shù)據(jù)應(yīng)用能力及經(jīng)驗。1、結(jié)合數(shù)據(jù)資源盤點情況，確認指標支撐情況；2、通過指標關(guān)聯(lián)數(shù)據(jù)應(yīng)用場景；3、根據(jù)數(shù)據(jù)應(yīng)用評估體系進行整體評估；4、確定實施優(yōu)先級及行動路線整理制作：郎豐利1519制作時間：2023年 整理制作：郎豐利1519制作時間：2023年11、梳理業(yè)務(wù)流程2、梳理業(yè)務(wù)架構(gòu)3、梳理數(shù)據(jù)責(zé)任4、數(shù)據(jù)安全5、入湖(數(shù)據(jù)資產(chǎn))標準業(yè)務(wù)模型數(shù)據(jù)模型變更自動感知流程審批狀態(tài)管理版本管理變更自動感知流程審批狀態(tài)管理版本管理這也是跟數(shù)倉不同的核心所在在這里，構(gòu)建數(shù)據(jù)模型，也是體現(xiàn)數(shù)據(jù)中臺強調(diào)元數(shù)據(jù)管理統(tǒng)入口的自動化和數(shù)據(jù)資產(chǎn)管理的在線化。數(shù)據(jù)記錄元數(shù)據(jù)統(tǒng)一檢索元數(shù)據(jù)分布地圖元數(shù)據(jù)血緣追溯業(yè)務(wù)解釋元數(shù)據(jù)統(tǒng)一檢索元數(shù)據(jù)分布地圖元數(shù)據(jù)血緣追溯業(yè)務(wù)解釋數(shù)據(jù)定義定義新增新增導(dǎo)入抽取接口采集元數(shù)據(jù)內(nèi)容元數(shù)據(jù)管理功能三個主要工作內(nèi)容三個主要工作內(nèi)容技術(shù)驅(qū)動數(shù)據(jù)連接技術(shù)內(nèi)核工具化技術(shù)驅(qū)動數(shù)據(jù)連接技術(shù)內(nèi)核工具化業(yè)務(wù)驅(qū)動技術(shù)價值化OneData數(shù)據(jù)標準化技術(shù)內(nèi)核工具化元數(shù)據(jù)驅(qū)動智能化OneService主題式數(shù)據(jù)服務(wù)統(tǒng)一但多樣化數(shù)據(jù)服務(wù)跨源數(shù)據(jù)服務(wù)設(shè)計方法論全流程一體化全流程一體化從數(shù)據(jù)采集到數(shù)據(jù)服務(wù)全鏈路通向上多樣化賦能場景通用場景+主題場景+專題場景雙向聯(lián)動業(yè)務(wù)場景&技術(shù)協(xié)同互助向下屏蔽多計算引擎公共云+專有云+私有云概念模型設(shè)計物理模型設(shè)計概念模型設(shè)計物理模型設(shè)計整理制作：郎豐利1519制作時間：2023年睿利而行三整理制作：郎豐利1519整理制作：郎豐利1519制作時間：2023年睿利而行三數(shù)據(jù)庫模型設(shè)計確定主題確定主題域的邊界粒度層次劃分 結(jié)構(gòu)模型確認確定存儲結(jié)構(gòu)(存儲時間、存儲空間利用率和維護代價)確定索引結(jié)構(gòu)(專用的、復(fù)雜的、文檔的)確定存放位置(歸并、冗余、建立數(shù)據(jù)序列)優(yōu)化存儲分配(塊大小、緩沖區(qū)大小、個數(shù)等)20第三步、基于OneData數(shù)據(jù)模型分層設(shè)計>個性化指標加工：復(fù)雜性(指數(shù)型、比值型、排名型指標)>基于應(yīng)用的數(shù)據(jù)組裝：大寬表集市、橫表轉(zhuǎn)縱表、趨勢指標串分別是明細寬表層和公共匯總數(shù)據(jù)層>DWD：以維度模型方法基礎(chǔ)，采用維度退化手法，減少事實表和維度表的關(guān)聯(lián)>DWS：加強指標的維度退化，采取更多寬表化構(gòu)建公共指標層，提升公共指標的復(fù)用性>同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步>結(jié)構(gòu)化：非結(jié)構(gòu)化(日志)結(jié)構(gòu)化處理>累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計要求保存歷史數(shù)據(jù)、數(shù)據(jù)清洗21公共處理邏輯下沉及單一越是底層公用的處理邏輯更應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進行封裝與實現(xiàn)，不要讓公共的處理邏輯暴露給應(yīng)用層實現(xiàn)，不要讓公共邏輯在多處同時存在。開發(fā)規(guī)范成本與性能平衡公共處理邏輯下沉及單一越是底層公用的處理邏輯更應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進行封裝與實現(xiàn)，不要讓公共的處理邏輯暴露給應(yīng)用層實現(xiàn)，不要讓公共邏輯在多處同時存在。開發(fā)規(guī)范成本與性能平衡適當?shù)臄?shù)據(jù)冗余換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制。開發(fā)過程規(guī)則表命名需清晰、一致，表名需易于消費者理解和使用，相同的字段含義在不同表中字段命名必須相同，必須使用規(guī)范定義中的名稱。22高內(nèi)聚和低耦合高內(nèi)聚和低耦合主要從數(shù)據(jù)業(yè)務(wù)特性和訪問特性兩個角度來考慮：將業(yè)務(wù)相近或者相關(guān)的數(shù)據(jù)、粒度相同數(shù)據(jù)設(shè)計為一個邏輯或者物理模型；將高概率同時訪問的數(shù)據(jù)放一起，將低概率同時訪問的數(shù)據(jù)分開存儲。數(shù)據(jù)可回滾數(shù)據(jù)可回滾處理邏輯不變，在不同時間多次運行數(shù)據(jù)結(jié)果確定不變核心模型與擴展模型分離核心模型與擴展模型分離建立核心模型與擴展模型體系，核心模型包括的字段支持常用核心的業(yè)務(wù)，擴展模型包括的字段支持個性化或是少量應(yīng)用的需要，不能讓擴展字段過度侵入核心模型，破壞了核心模型的架構(gòu)簡潔性與可維護性。數(shù)據(jù)模型性能調(diào)整和優(yōu)化開發(fā)數(shù)據(jù)備份與恢復(fù)程序開發(fā)日常增量加載的程序和處理流程開發(fā)歷史數(shù)據(jù)加載的程序和處理流程歷史數(shù)據(jù)加載數(shù)據(jù)模型性能調(diào)整和優(yōu)化開發(fā)數(shù)據(jù)備份與恢復(fù)程序開發(fā)日常增量加載的程序和處理流程開發(fā)歷史數(shù)據(jù)加載的程序和處理流程歷史數(shù)據(jù)加載增量數(shù)據(jù)加載數(shù)據(jù)定時/實時同步，建立DW/OLAP分析模型針對開發(fā)后的ETL腳本進行自測和交叉測試數(shù)據(jù)模型性能優(yōu)化數(shù)據(jù)模型測試數(shù)據(jù)備份和恢復(fù)數(shù)倉開發(fā)23從業(yè)務(wù)管理目標從業(yè)務(wù)管理目標入手，探索數(shù)據(jù)應(yīng)用場景引入行業(yè)分析框架，規(guī)劃設(shè)計應(yīng)用藍圖需要建立一個相對規(guī)范的迭代機制深入業(yè)務(wù)應(yīng)用場用體驗數(shù)據(jù)校驗是數(shù)據(jù)應(yīng)用的重要環(huán)節(jié)基于主流BI工具或技術(shù)棧研發(fā)上線與試運行運維等階段；如果應(yīng)用建設(shè)中包含算法類應(yīng)用，還需預(yù)留模型效果驗證與調(diào)整的節(jié)點；●從項目整體建設(shè)角度看，數(shù)據(jù)應(yīng)用的調(diào)研和整體規(guī)劃要先于數(shù)據(jù)中臺數(shù)據(jù)模型設(shè)計，應(yīng)用開發(fā)可以與數(shù)據(jù)中臺的數(shù)據(jù)開發(fā)工作串并行；●從應(yīng)用的迭代優(yōu)化角度看，還需要建立一套規(guī)范的數(shù)據(jù)應(yīng)用迭代、優(yōu)化機制，來保證應(yīng)用上線后的穩(wěn)定。典型數(shù)據(jù)應(yīng)用的建設(shè)目的典型數(shù)據(jù)應(yīng)用的建設(shè)目的2526聯(lián)關(guān)過員通人聯(lián)關(guān)過急通應(yīng)ods_人社數(shù)據(jù)區(qū)社會綜合數(shù)據(jù)表一聯(lián)關(guān)過員通人聯(lián)關(guān)過急通應(yīng)ods_人社數(shù)據(jù)區(qū)社會綜合數(shù)據(jù)表一ods_公安數(shù)據(jù)區(qū)dwd_temp_人員氣象信息/100常監(jiān)測城市運行-常監(jiān)測城市運行-dws_信息dws_信息水文信息數(shù)據(jù)表水文信息數(shù)據(jù)表ods_水利數(shù)據(jù)區(qū)事件分布/突發(fā)公共事件告警事件分布/突發(fā)公共事件告警建筑信息數(shù)據(jù)表ods_國土數(shù)據(jù)區(qū)→dwd_temp_地點建筑物信息/3,500旅游信息數(shù)據(jù)表ods_旅游數(shù)據(jù)區(qū)dwd_temp_旅游點旅游點信息10027旅游點信息100數(shù)據(jù)技術(shù)發(fā)展的要求數(shù)據(jù)業(yè)務(wù)化的要求業(yè)務(wù)數(shù)據(jù)化的要求數(shù)據(jù)技術(shù)發(fā)展的要求數(shù)據(jù)業(yè)務(wù)化的要求業(yè)務(wù)數(shù)據(jù)化的