數(shù)據(jù)中臺與數(shù)據(jù)化工作框架建設(shè)方案（PPT）

數(shù)據(jù)中臺與數(shù)據(jù)化工作框架建設(shè)方案（PPT）整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行整理制作：郎豐利1519制作時(shí)間：2023年睿利而行知識星球：優(yōu)享智庫一、數(shù)據(jù)中臺是什么二、數(shù)據(jù)中臺建設(shè)目錄2 利用政務(wù)服務(wù)過程中各部門業(yè)務(wù)系統(tǒng)產(chǎn)生的和一切擁有或者可以獲取的數(shù)據(jù)，進(jìn)行整體建模和二次加工，從而產(chǎn)生新的數(shù)據(jù)，利用這些新的數(shù)據(jù)驅(qū)動(dòng)政府管理效率、提升政務(wù)服務(wù)能力以及增強(qiáng)數(shù)據(jù)活力。這個(gè)過程稱之為數(shù)據(jù)化。業(yè)務(wù)活動(dòng)數(shù)據(jù)運(yùn)營數(shù)據(jù)治理 數(shù)據(jù)化的定義數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源數(shù)據(jù)應(yīng)用數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)治理過程數(shù)據(jù)化運(yùn)營組織數(shù)據(jù)化咨詢規(guī)劃業(yè)務(wù)創(chuàng)新一網(wǎng)通辦一網(wǎng)協(xié)同數(shù)據(jù)應(yīng)用數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源3數(shù)據(jù)治理：解決整體架構(gòu)問題數(shù)據(jù)資源：數(shù)據(jù)化建設(shè)的根基數(shù)據(jù)資產(chǎn)：完整、健壯、數(shù)據(jù)中臺的核心建設(shè)內(nèi)容數(shù)據(jù)應(yīng)用：業(yè)務(wù)價(jià)值的轉(zhuǎn)化關(guān)鍵點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)組織：人的保障和標(biāo)準(zhǔn)體系數(shù)據(jù)質(zhì)量：保證加工過程中的質(zhì)量問題數(shù)據(jù)安全：保證數(shù)據(jù)正常使用不丟失和被竊取數(shù)據(jù)治理(數(shù)據(jù)化架構(gòu)搭建)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)組織數(shù)據(jù)安全 數(shù)據(jù)化工作框架圖數(shù)據(jù)應(yīng)用數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源4 Step1Step2Step3Step4Step4?會計(jì)電算化?辦公自動(dòng)化?大量應(yīng)用使用與部署?ERP?系統(tǒng)的大量內(nèi)部集中?信息中心?數(shù)據(jù)治理?大數(shù)據(jù)?數(shù)據(jù)中臺?數(shù)據(jù)應(yīng)用?BI分析?管理駕駛艙?數(shù)據(jù)中心?應(yīng)用中臺?分布式?自研發(fā)?財(cái)務(wù)報(bào)表?業(yè)務(wù)報(bào)表?編碼規(guī)范?AI?數(shù)據(jù)智能?...... 數(shù)據(jù)化背景SOAESBportal信息化數(shù)據(jù)化業(yè)務(wù)產(chǎn)生數(shù)據(jù)數(shù)據(jù)反哺業(yè)務(wù)Step1Step2Step3???56 數(shù)據(jù)中臺指導(dǎo)數(shù)據(jù)化整體規(guī)劃----全面指導(dǎo)數(shù)據(jù)化工作； 數(shù)據(jù)中臺匯聚全域數(shù)據(jù)----構(gòu)建數(shù)據(jù)應(yīng)用的基礎(chǔ)，數(shù)據(jù)資產(chǎn)管理； 數(shù)據(jù)中臺檢驗(yàn)數(shù)據(jù)質(zhì)量CONTENT 數(shù)據(jù)中臺支持?jǐn)?shù)據(jù)應(yīng)用高效、低成本落地----縮短應(yīng)用落地實(shí)踐的時(shí)間，提升成功率； 數(shù)據(jù)中臺提供數(shù)據(jù)組織規(guī)劃----組織是數(shù)據(jù)化能夠全面展開的保障。?數(shù)據(jù)中臺?匯聚數(shù)據(jù)，拒絕數(shù)據(jù)煙囪?提升開發(fā)效率，降低開發(fā)成本?統(tǒng)一建模?大數(shù)據(jù)開發(fā)平臺數(shù)據(jù)中臺資源盤點(diǎn)應(yīng)用規(guī)劃數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用 數(shù)據(jù)中臺與數(shù)據(jù)化的關(guān)系----檢驗(yàn)數(shù)據(jù)成果，提供高質(zhì)量數(shù)據(jù)；數(shù)據(jù)運(yùn)營組織規(guī)劃數(shù)據(jù)中臺：政務(wù)服務(wù)數(shù)據(jù)化是一個(gè)整體工作，通過數(shù)據(jù)中臺的構(gòu)建，讓其為各個(gè)部門的業(yè)務(wù)活動(dòng)，各個(gè)層級提供充分的、綜合的數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺(數(shù)據(jù)大腦) 數(shù)據(jù)中臺的定義業(yè)務(wù)(AP)應(yīng)用(TP)數(shù)據(jù)7

05

數(shù)據(jù)資產(chǎn)在線化傳統(tǒng)數(shù)倉的數(shù)據(jù)管理和治理，往往花費(fèi)大量精力，最終形成的是離線的規(guī)范和文檔；數(shù)據(jù)中臺則強(qiáng)調(diào)元數(shù)據(jù)管理統(tǒng)一入口的自動(dòng)化和數(shù)據(jù)資產(chǎn)管理的在線化 04數(shù)據(jù)應(yīng)用創(chuàng)新傳統(tǒng)數(shù)倉以某個(gè)業(yè)務(wù)主題的BI報(bào)表和決策支持為主，目的性單一，煙囪式建設(shè)；數(shù)據(jù)中臺則主張全域數(shù)據(jù)、打通數(shù)據(jù)孤島，釋放業(yè)務(wù)方數(shù)據(jù)應(yīng)用創(chuàng)新的能量建設(shè)模式傳統(tǒng)數(shù)倉往往采用自頂向下的建設(shè)模式，以明確的業(yè)務(wù)分析驅(qū)動(dòng)，延續(xù)性低；數(shù)據(jù)中臺采用自底向上的方式，結(jié)合業(yè)務(wù)需求變化不斷迭代、升級、創(chuàng)新分布式數(shù)據(jù)平臺傳統(tǒng)數(shù)倉以關(guān)系型數(shù)據(jù)庫離線分析為主；數(shù)據(jù)中臺以分布式引擎架構(gòu)，同時(shí)支持離線計(jì)算/實(shí)時(shí)計(jì)算/即時(shí)計(jì)算/智能計(jì)算數(shù)據(jù)開發(fā)一站式傳統(tǒng)數(shù)倉往往將ODS、EDW和ETL開發(fā)切割到不同廠商工具實(shí)現(xiàn)；數(shù)據(jù)中臺則主張一站式可視化數(shù)據(jù)開發(fā)，借助分布式技術(shù)簡化數(shù)據(jù)加工處理的過程數(shù)據(jù)源豐富傳統(tǒng)數(shù)倉以業(yè)務(wù)數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)為主；數(shù)據(jù)中臺涵蓋業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、行為埋點(diǎn)數(shù)據(jù)、IoT數(shù)據(jù)、爬蟲數(shù)據(jù)、社會數(shù)據(jù)等 數(shù)據(jù)中臺與傳統(tǒng)數(shù)倉的區(qū)別020103068數(shù)據(jù)智能化通過大量智能算法訓(xùn)練，形成數(shù)據(jù)大腦，產(chǎn)生智慧的力量，預(yù)先洞察未來。數(shù)據(jù)標(biāo)準(zhǔn)化統(tǒng)一建模、統(tǒng)一視圖、統(tǒng)一管理。避免重復(fù)抽取和維護(hù)帶來的成本浪費(fèi)。數(shù)據(jù)不斷的進(jìn)行補(bǔ)充，數(shù)據(jù)模型不斷地進(jìn)化，通過對數(shù)據(jù)不斷地完善，使其從最初的單一字段逐漸成長為最為寶貴的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)服務(wù)化數(shù)據(jù)資產(chǎn)化數(shù)據(jù)中臺是培育業(yè)務(wù)的創(chuàng)新的方法基礎(chǔ)，是利用數(shù)據(jù)促進(jìn)業(yè)務(wù)創(chuàng)新的保障。 數(shù)據(jù)中臺的價(jià)值9賦能讓部門的前后臺用戶深入理解價(jià)值，推廣和持續(xù)性的優(yōu)化賦能數(shù)據(jù)服務(wù)在部門之間的調(diào)用，都伴隨著數(shù)據(jù)流動(dòng)。重點(diǎn)是輸入、輸出、自身處理邏輯、沉淀數(shù)據(jù)內(nèi)容組織誰負(fù)責(zé)提煉數(shù)據(jù)(業(yè)務(wù)架構(gòu)負(fù)責(zé)人)、誰負(fù)責(zé)持續(xù)運(yùn)營管理共享這種數(shù)據(jù)在部門間有共享的需求服務(wù)以服務(wù)的方式對外提供數(shù)據(jù)展示中臺可以支撐業(yè)務(wù)，也可以輔助決策 數(shù)據(jù)中臺戰(zhàn)略的核心要素能力核心是部門數(shù)據(jù)提煉一、數(shù)據(jù)中臺是什么二、數(shù)據(jù)中臺建設(shè)目錄1112數(shù)據(jù)采集存儲數(shù)據(jù)治理數(shù)據(jù)服務(wù)數(shù)據(jù)開發(fā)滿足企業(yè)各類開展治理，沉可對外提供數(shù)支撐數(shù)倉建設(shè)、型數(shù)據(jù)的采集存儲淀數(shù)據(jù)資產(chǎn)據(jù)，實(shí)現(xiàn)共享數(shù)據(jù)處理計(jì)算、數(shù)據(jù)分析挖掘等獲取所有源數(shù)據(jù)，對數(shù)據(jù)源質(zhì)量進(jìn)行分析，并提供分析結(jié)果，推進(jìn)數(shù)據(jù)源質(zhì)量提升解決傳統(tǒng)數(shù)倉的一些技術(shù)瓶頸問題，同時(shí)將開源體系的使用門檻降低，開發(fā)效率提升。向下推動(dòng)數(shù)據(jù)治理，向上推動(dòng)數(shù)據(jù)應(yīng)用，向前推動(dòng)應(yīng)用建設(shè)和業(yè)務(wù)變革所有數(shù)據(jù)匯聚之地?cái)?shù)據(jù)應(yīng)用支撐平臺技術(shù)的革新與進(jìn)步匯聚全域數(shù)據(jù)，保證數(shù)據(jù)的完整建模和使用 數(shù)據(jù)中臺定位數(shù)據(jù)源質(zhì)量檢測推進(jìn)平臺3.32.4

組織架構(gòu)設(shè)計(jì)2.3

數(shù)據(jù)標(biāo)準(zhǔn)/標(biāo)簽/規(guī)范2.2

應(yīng)用場景梳理2.1

業(yè)務(wù)模型設(shè)計(jì)建設(shè)數(shù)據(jù)資產(chǎn)123454.3

算法類數(shù)據(jù)應(yīng)用4.2

領(lǐng)導(dǎo)駕駛艙4.1

報(bào)表分析類應(yīng)用開發(fā)數(shù)據(jù)應(yīng)用3.1技術(shù)框架設(shè)計(jì) 數(shù)據(jù)中臺建設(shè)步驟1.3數(shù)據(jù)資源質(zhì)量檢測梳理體系架構(gòu)規(guī)劃運(yùn)營組織盤點(diǎn)數(shù)據(jù)資產(chǎn)3.2數(shù)據(jù)模型設(shè)計(jì)數(shù)據(jù)組織規(guī)劃與建議未來數(shù)據(jù)資源規(guī)劃現(xiàn)有數(shù)據(jù)資源盤點(diǎn)ETL及數(shù)據(jù)開發(fā)運(yùn)營能力迭代5.21.1 5.11.213梳理內(nèi)容還包括：1、有哪些部門哪些處室權(quán)責(zé)下的業(yè)務(wù)活動(dòng)有系統(tǒng)支撐，系統(tǒng)功能是否完全滿足部門開展相應(yīng)的業(yè)務(wù)活動(dòng)的需求、系統(tǒng)產(chǎn)生的數(shù)據(jù)是否可以共享，共享情況？2、沒有系統(tǒng)的部門處室，業(yè)務(wù)活動(dòng)產(chǎn)生的數(shù)據(jù)如何采集、如何共享？3、是否存在僵死系統(tǒng)、未上云系統(tǒng)；4、系統(tǒng)的安全性、數(shù)據(jù)的安全性；等等方面梳理工作梳理權(quán)責(zé)清單(組織架構(gòu))按編辦“三定方案”對省直部門進(jìn)行職責(zé)梳理、職責(zé)對應(yīng)業(yè)務(wù)活動(dòng)的的梳理、業(yè)務(wù)活動(dòng)對應(yīng)業(yè)務(wù)系統(tǒng)的梳理、業(yè)務(wù)活動(dòng)對應(yīng)所需材料的梳理、已經(jīng)業(yè)務(wù)活動(dòng)對應(yīng)產(chǎn)生材料的梳理。梳理間接成果物1、數(shù)據(jù)責(zé)任目錄2、數(shù)據(jù)需求目錄3、數(shù)據(jù)負(fù)面目錄結(jié)合數(shù)據(jù)資源盤點(diǎn)情況，確認(rèn)指標(biāo)支撐情況通過指標(biāo)關(guān)聯(lián)數(shù)據(jù)應(yīng)用場景根據(jù)數(shù)據(jù)應(yīng)用評估體系進(jìn)行整體評估確定實(shí)施優(yōu)先級及行動(dòng)路線 第一步、數(shù)據(jù)資源盤點(diǎn)(一)梳理直接成果物1、職責(zé)目錄2、系統(tǒng)目錄3、數(shù)據(jù)目錄數(shù)據(jù)血緣關(guān)系按數(shù)據(jù)類型1、結(jié)構(gòu)化數(shù)據(jù)2、半結(jié)構(gòu)數(shù)據(jù)3、非機(jī)構(gòu)數(shù)據(jù)14梳理所有已有數(shù)據(jù)資源，提出數(shù)據(jù)資源建議，對數(shù)據(jù)資源情況做初步評價(jià)15可以用一些工具來完成數(shù)據(jù)資源盤點(diǎn)、梳理工作，一方面便于統(tǒng)計(jì)分析確定數(shù)據(jù)血緣關(guān)系，充分了解各部門有哪些數(shù)據(jù)，另一方面需要把梳理成果作為平臺下一個(gè)環(huán)節(jié)的輸入。(目前數(shù)字政府轉(zhuǎn)型用到的這種數(shù)據(jù)資源盤點(diǎn)工具很多廠家都在做；國脈也有一整套體系完整的數(shù)據(jù)資源盤點(diǎn)工具：包括部門職責(zé)、行為活動(dòng)、產(chǎn)生了哪些數(shù)據(jù)資源、承載數(shù)據(jù)的系統(tǒng)、系統(tǒng)涉及到哪些網(wǎng)絡(luò)資源、云資源等等) 第一步、數(shù)據(jù)資源盤點(diǎn)(二)CONTENT1、結(jié)合數(shù)據(jù)資源盤點(diǎn)情況，確認(rèn)指標(biāo)支撐情況；2、通過指標(biāo)關(guān)聯(lián)數(shù)據(jù)應(yīng)用場景；3、根據(jù)數(shù)據(jù)應(yīng)用評估體系進(jìn)行整體評估；4、確定實(shí)施優(yōu)先級及行動(dòng)路線1、將數(shù)據(jù)應(yīng)用場景層層拆解，細(xì)分到指標(biāo)及標(biāo)簽粒度；2、依據(jù)應(yīng)用場景標(biāo)準(zhǔn)、指標(biāo)及報(bào)表體系構(gòu)建數(shù)據(jù)模型；3、建立管理及維護(hù)機(jī)制，確保數(shù)據(jù)權(quán)威性和內(nèi)部一致性。1、了解業(yè)務(wù)流程、了解數(shù)據(jù)應(yīng)用、了解相應(yīng)的技術(shù)，構(gòu)建業(yè)務(wù)模型；2、基于最佳實(shí)踐知識庫；3、基于深厚的數(shù)據(jù)應(yīng)用能力及經(jīng)驗(yàn)。清晰描述所有業(yè)務(wù)流程，應(yīng)用場景，相互之間的關(guān)聯(lián)關(guān)系，描述數(shù)據(jù)應(yīng)用場景所需指標(biāo)、標(biāo)簽、數(shù)據(jù)API，及成本評估1、梳理業(yè)務(wù)流程2、梳理業(yè)務(wù)架構(gòu)3、梳理數(shù)據(jù)責(zé)任4、數(shù)據(jù)安全5、入湖(數(shù)據(jù)資產(chǎn))標(biāo)準(zhǔn) 第二步、數(shù)據(jù)應(yīng)用梳理規(guī)劃(一)業(yè)務(wù)架構(gòu)數(shù)據(jù)應(yīng)用場景梳理標(biāo)準(zhǔn)/指標(biāo)/標(biāo)簽體系構(gòu)建基于數(shù)據(jù)資源的實(shí)現(xiàn)路徑規(guī)劃16數(shù)據(jù)模型元數(shù)據(jù)采集接口采集 第二步，數(shù)據(jù)應(yīng)用梳理規(guī)劃(二)數(shù)據(jù)管理與應(yīng)用規(guī)則數(shù)據(jù)關(guān)系(血緣、引用)元數(shù)據(jù)標(biāo)簽數(shù)據(jù)分類/數(shù)據(jù)主題數(shù)據(jù)來源/存儲位置數(shù)據(jù)庫表業(yè)務(wù)對象/過程元數(shù)據(jù)血緣追溯元數(shù)據(jù)分布地圖元數(shù)據(jù)統(tǒng)一檢索變更自動(dòng)感知版本管理狀態(tài)管理流程審批元數(shù)據(jù)管理功能元數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)化數(shù)據(jù)定義元數(shù)據(jù)統(tǒng)一服務(wù)元數(shù)據(jù)管控業(yè)務(wù)解釋數(shù)據(jù)記錄新增抽取導(dǎo)入17三個(gè)主要工作內(nèi)容 第三步、數(shù)據(jù)資產(chǎn)平臺建設(shè)(一)數(shù)據(jù)開發(fā)數(shù)據(jù)建模數(shù)據(jù)抽取18OneService主題式數(shù)據(jù)服務(wù)主題邏輯表屏蔽復(fù)雜物理表統(tǒng)一但多樣化數(shù)據(jù)服務(wù)一般查詢+OLAP分析+在線服務(wù)跨源數(shù)據(jù)服務(wù)屏蔽多種異構(gòu)數(shù)據(jù)源19OneData數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)規(guī)范定義從源頭標(biāo)準(zhǔn)化技術(shù)內(nèi)核工具化規(guī)范定義、建模研發(fā)、調(diào)度運(yùn)維、···元數(shù)據(jù)驅(qū)動(dòng)智能化半自動(dòng)化->智能化規(guī)劃計(jì)算和存儲OneID技術(shù)驅(qū)動(dòng)數(shù)據(jù)連接基于超強(qiáng)ID識別技術(shù)連接數(shù)據(jù)技術(shù)內(nèi)核工具化超強(qiáng)ID識別、高效標(biāo)簽生產(chǎn)、···業(yè)務(wù)驅(qū)動(dòng)技術(shù)價(jià)值化孤島->高質(zhì)量->高價(jià)值 第三步、數(shù)據(jù)資產(chǎn)平臺建設(shè)(二)設(shè)計(jì)方法論全流程一體化從數(shù)據(jù)采集到數(shù)據(jù)服務(wù)全鏈路通向上多樣化賦能場景通用場景+主題場景+專題場景雙向聯(lián)動(dòng)業(yè)務(wù)場景&技術(shù)協(xié)同互助向下屏蔽多計(jì)算引擎公共云+專有云+私有云 確定存儲結(jié)構(gòu)(存儲時(shí)間、存儲空間利用率和維護(hù)代價(jià)) 確定索引結(jié)構(gòu)(專用的、復(fù)雜的、文檔的) 確定存放位置(歸并、冗余、建立數(shù)據(jù)序列) 優(yōu)化存儲分配(塊大小、緩沖區(qū)大小、個(gè)數(shù)等)邏輯模型設(shè)計(jì)物理模型設(shè)計(jì) 粒度層次劃分 事實(shí)量度確定 數(shù)據(jù)分割策略(數(shù)據(jù)量、分析的實(shí)際情況、簡單易用) 結(jié)構(gòu)模型確認(rèn) 第三步、數(shù)據(jù)資產(chǎn)平臺建設(shè)(三)數(shù)據(jù)庫模型設(shè)計(jì) 確定主題 確定主題域的邊界概念模型設(shè)計(jì)20 CDM層又細(xì)分為DWD層和DWS層，分別是明細(xì)寬表層和公共匯總數(shù)據(jù)層 DWD：以維度模型方法基礎(chǔ)，采用維度退化手法，減少事實(shí)表和維度表的關(guān)聯(lián) DWS：加強(qiáng)指標(biāo)的維度退化，采取更多寬表化構(gòu)建公共指標(biāo)層，提升公共指標(biāo)的復(fù)用性 同步：結(jié)構(gòu)化數(shù)據(jù)增量或全量同步 結(jié)構(gòu)化：非結(jié)構(gòu)化(日志)結(jié)構(gòu)化處理 累積歷史、清洗：根據(jù)數(shù)據(jù)業(yè)務(wù)需求及稽核和審計(jì)要求保存歷史數(shù)據(jù)、數(shù)據(jù)清洗 個(gè)性化指標(biāo)加工：復(fù)雜性(指數(shù)型、比值型、排名型指標(biāo)) 基于應(yīng)用的數(shù)據(jù)組裝：大寬表集市、橫表轉(zhuǎn)縱表、趨勢指標(biāo)串基于OneData數(shù)據(jù)模型分層設(shè)計(jì) 第三步、數(shù)據(jù)資產(chǎn)平臺建設(shè)(四)業(yè)務(wù)數(shù)據(jù)層(ODS)21數(shù)據(jù)融合模型層(CDM)數(shù)據(jù)應(yīng)用層(ADS)高內(nèi)聚和低耦合主要從數(shù)據(jù)業(yè)務(wù)特性和訪問特性兩個(gè)角度來考慮：將業(yè)務(wù)相近或者相關(guān)的數(shù)據(jù)、粒度相同數(shù)據(jù)設(shè)計(jì)為一個(gè)邏輯或者物理模型；將高概率同時(shí)訪問的數(shù)據(jù)放一起，將低概率同時(shí)訪問的數(shù)據(jù)分開存儲。公共處理邏輯下沉及單一越是底層公用的處理邏輯更應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公共的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，不要讓公共邏輯在多處同時(shí)存在。核心模型與擴(kuò)展模型分離建立核心模型與擴(kuò)展模型體系，核心模型包括的字段支持常用核心的業(yè)務(wù)，擴(kuò)展模型包括的字段支持個(gè)性化或是少量應(yīng)用的需要，不能讓擴(kuò)展字段過度侵入核心模型，破壞了核心模型的架構(gòu)簡潔性與可維護(hù)性。22開發(fā)過程規(guī)則表命名需清晰、一致，表名需易于消費(fèi)者理解和使用，相同的字段含義在不同表中字段命名必須相同，必須使用規(guī)范定義中的名稱。開發(fā)規(guī)范數(shù)據(jù)可回滾處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變成本與性能平衡適當(dāng)?shù)臄?shù)據(jù)冗余換取查詢和刷新性能，不宜過度冗余與數(shù)據(jù)復(fù)制。 第三步、數(shù)據(jù)資產(chǎn)平臺建設(shè)(五) 第三步、數(shù)據(jù)資產(chǎn)平臺建設(shè)(六)數(shù)倉開發(fā)數(shù)據(jù)定時(shí)/實(shí)時(shí)同步，建立DW/OLAP分析模型開發(fā)歷史數(shù)據(jù)加載的程序和處理流程開發(fā)日常增量加載的程序和處理流程針對開發(fā)后的ETL腳本進(jìn)行自測和交叉測試開發(fā)數(shù)據(jù)備份與恢復(fù)程序數(shù)據(jù)模型性能調(diào)整和優(yōu)化數(shù)據(jù)模型性能優(yōu)化數(shù)據(jù)備份和恢復(fù)增量數(shù)據(jù)加載歷史數(shù)據(jù)加載數(shù)據(jù)模型測試ETL開發(fā)23 數(shù)據(jù)應(yīng)用是數(shù)據(jù)中臺價(jià)值的延伸，是業(yè)務(wù)價(jià)值的直接體現(xiàn)； 從建設(shè)流程上來看，數(shù)據(jù)應(yīng)用建設(shè)分為業(yè)務(wù)需求調(diào)研、業(yè)務(wù)場景設(shè)計(jì)、產(chǎn)品設(shè)計(jì)、應(yīng)用開發(fā)、測試與校驗(yàn)、上線與試運(yùn)行、運(yùn)維等階段；如果應(yīng)用建設(shè)中包含算法類應(yīng)用，還需預(yù)留模型效果驗(yàn)證與調(diào)整的節(jié)點(diǎn)； 從項(xiàng)目整體建設(shè)角度看，數(shù)據(jù)應(yīng)用的調(diào)研和整體規(guī)劃要先于數(shù)據(jù)中臺數(shù)據(jù)模型設(shè)計(jì)，應(yīng)用開發(fā)可以與數(shù)據(jù)中臺的數(shù)據(jù)開發(fā)工作串并行； 從應(yīng)用的迭代優(yōu)化角度看，還需要建立一套規(guī)范的數(shù)據(jù)應(yīng)用迭代、優(yōu)化機(jī)制，來保證應(yīng)用上線后的穩(wěn)定。 第四步、數(shù)據(jù)應(yīng)用建設(shè)(一)需求調(diào)研從業(yè)務(wù)管理目標(biāo)入手，探索數(shù)據(jù)應(yīng)用場景功能設(shè)計(jì)深入業(yè)務(wù)應(yīng)用場景，滿足用戶使用體驗(yàn)場景設(shè)計(jì)引入行業(yè)分析框架，規(guī)劃設(shè)計(jì)應(yīng)用藍(lán)圖迭代與優(yōu)化需要建立一個(gè)相對規(guī)范的迭代機(jī)制應(yīng)用測試數(shù)據(jù)校驗(yàn)是數(shù)據(jù)應(yīng)用的重要環(huán)節(jié)應(yīng)用研發(fā)基于主流BI工具或技術(shù)棧研發(fā)上線與試運(yùn)行上線與試運(yùn)行 第四步、數(shù)據(jù)應(yīng)用建設(shè)(二)典型數(shù)據(jù)應(yīng)用的建設(shè)目的數(shù)據(jù)中臺價(jià)值論證數(shù)據(jù)價(jià)值的論證業(yè)務(wù)協(xié)同的磨合25洞察細(xì)節(jié)業(yè)務(wù)數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)價(jià)值化看清業(yè)務(wù)智能決策智能業(yè)務(wù)建議業(yè)務(wù)自動(dòng)運(yùn)轉(zhuǎn)數(shù)據(jù)智能 第四步、數(shù)據(jù)應(yīng)用建設(shè)(三)數(shù)據(jù)應(yīng)用三個(gè)層次數(shù)據(jù)分析數(shù)據(jù)挖掘26交通人力信息數(shù)據(jù)表社會綜合數(shù)據(jù)表交通服務(wù)數(shù)據(jù)表氣象信息數(shù)據(jù)表旅游水文信息數(shù)據(jù)表建筑信息數(shù)據(jù)表ods_國土數(shù)據(jù)區(qū)ods_水利數(shù)據(jù)區(qū)ods_人社數(shù)據(jù)區(qū)ods_公安數(shù)據(jù)區(qū)ods_交通數(shù)據(jù)區(qū)ods_氣象數(shù)據(jù)區(qū)dwd_temp_應(yīng)急dws_信息匯總tdm_標(biāo)簽分類ods_旅游數(shù)據(jù)區(qū)dwd_temp_旅游點(diǎn)dwd_temp_地點(diǎn)dwd_temp_人員水位信息/10,000建筑物信息/3,500旅游點(diǎn)信息/100旅游信息數(shù)據(jù)表 第四步、數(shù)據(jù)應(yīng)用建設(shè)(四)統(tǒng)計(jì)分析/1,000警務(wù)監(jiān)測/1,000車輛信息/500城市運(yùn)行–日常監(jiān)測事件分布/突發(fā)公共事件告警公安人社水利國土氣象整合明細(xì)層DWD日常監(jiān)測看板匯總層DWS貼源層ODS氣象信息/100集市DM數(shù)據(jù)源過員聯(lián)通人關(guān)過急聯(lián)通應(yīng)關(guān)API27隨著這些年政府?dāng)?shù)字化轉(zhuǎn)型實(shí)踐不斷深入，發(fā)現(xiàn)“運(yùn)營”比“建設(shè)”更重要，過去信息化項(xiàng)目建設(shè)的交付解決方案已經(jīng)不能滿足需求；數(shù)據(jù)業(yè)務(wù)化、業(yè)務(wù)數(shù)據(jù)化，數(shù)據(jù)化與業(yè)務(wù)活動(dòng)融為一體，要實(shí)現(xiàn)“數(shù)據(jù)業(yè)務(wù)化、業(yè)務(wù)數(shù)據(jù)化”，數(shù)據(jù)化項(xiàng)目承建單位需要成立數(shù)據(jù)化運(yùn)營的組織、機(jī)制和流程。數(shù)據(jù)化運(yùn)營 第五步，數(shù)據(jù)化運(yùn)營(一)數(shù)據(jù)技術(shù)發(fā)展的要求數(shù)據(jù)業(yè)務(wù)化的要求業(yè)務(wù)數(shù)據(jù)化的要求政府?dāng)?shù)字化轉(zhuǎn)型28規(guī)范產(chǎn)品數(shù)據(jù)治理 第五步，數(shù)據(jù)化運(yùn)營(二)數(shù)據(jù)組織的定位業(yè)務(wù)價(jià)值數(shù)據(jù)應(yīng)用數(shù)據(jù)資產(chǎn)數(shù)據(jù)資源信息化建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量數(shù)據(jù)安全組織29數(shù)據(jù)資源掌握資源情況(構(gòu)建委會體系)進(jìn)行資源規(guī)劃建議成果可視化數(shù)據(jù)資產(chǎn)數(shù)據(jù)獲取數(shù)據(jù)倉庫建模數(shù)據(jù)開發(fā)數(shù)據(jù)運(yùn)維數(shù)據(jù)應(yīng)用應(yīng)用規(guī)劃應(yīng)用設(shè)計(jì)標(biāo)簽/指標(biāo)設(shè)計(jì)應(yīng)用開發(fā)應(yīng)用運(yùn)營數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)、標(biāo)簽定義數(shù)據(jù)開發(fā)規(guī)劃數(shù)據(jù)倉庫設(shè)計(jì)規(guī)范數(shù)據(jù)質(zhì)量基礎(chǔ)數(shù)據(jù)質(zhì)量提升(主數(shù)據(jù)管理)IDMapping交易數(shù)據(jù)質(zhì)量提