數(shù)據(jù)中臺解決方案兩份資料

數(shù)據(jù)中臺解決方案目錄Contents數(shù)據(jù)中臺是數(shù)字化轉(zhuǎn)型基礎(chǔ)11“咨詢+平臺+實施”三位一體方案21.1數(shù)字化轉(zhuǎn)型已成為國家政策1.2數(shù)字化轉(zhuǎn)型的解讀迎接數(shù)字時代，激活數(shù)據(jù)要素潛能，推進(jìn)網(wǎng)絡(luò)強(qiáng)國建設(shè)，加快建設(shè)數(shù)字經(jīng)濟(jì)、數(shù)字社會、數(shù)字政府，以數(shù)字化轉(zhuǎn)型整體驅(qū)動生產(chǎn)方式、生活方式和治理方式變革。培育壯大人工智能、大數(shù)據(jù)、區(qū)塊鏈、云計算、網(wǎng)絡(luò)安全等新興數(shù)字產(chǎn)業(yè)，提升通信設(shè)備、核心電子元器件、關(guān)鍵軟件等產(chǎn)業(yè)水平……加快推動數(shù)字產(chǎn)業(yè)化12建立健全數(shù)據(jù)要素市場規(guī)則3實施“上云用數(shù)賦智”行動，推動數(shù)據(jù)賦能全產(chǎn)業(yè)鏈協(xié)同轉(zhuǎn)型。在重點行業(yè)和區(qū)域建設(shè)若干國際水準(zhǔn)的工業(yè)互聯(lián)網(wǎng)平臺和數(shù)字化轉(zhuǎn)型促進(jìn)中心，深化研發(fā)設(shè)計、生產(chǎn)制造、經(jīng)營管理、市場服務(wù)等環(huán)節(jié)的數(shù)字化應(yīng)用……統(tǒng)籌數(shù)據(jù)開發(fā)利用、隱私保護(hù)和公共安全，加快建立數(shù)據(jù)資源產(chǎn)權(quán)、交易流通、跨境傳輸和安全保護(hù)等基礎(chǔ)制度和標(biāo)準(zhǔn)規(guī)范……推進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型1.1中央人民政府:《中華人民共和國國民經(jīng)濟(jì)和社會發(fā)展第十四個五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》著力夯實數(shù)字化轉(zhuǎn)型基礎(chǔ)建設(shè)基礎(chǔ)數(shù)字技術(shù)平臺(運用云計算、人工智能、數(shù)字孿生等新一代信息技術(shù)，探索構(gòu)建適應(yīng)企業(yè)業(yè)務(wù)特點和發(fā)展需求的“數(shù)據(jù)中臺”“業(yè)務(wù)中臺”等新型IT架構(gòu)模式)建立系統(tǒng)化管理體系構(gòu)建數(shù)據(jù)治理體系（加快集團(tuán)數(shù)據(jù)治理體系建設(shè)，加強(qiáng)數(shù)據(jù)標(biāo)準(zhǔn)化、元數(shù)據(jù)和主數(shù)據(jù)管理工作，定期評估數(shù)據(jù)治理能力成熟度……）提升安全防護(hù)水平打造行業(yè)數(shù)字化轉(zhuǎn)型示范樣板加快推進(jìn)產(chǎn)業(yè)數(shù)字化創(chuàng)新多措并舉確保轉(zhuǎn)型工作順利實施推進(jìn)產(chǎn)品創(chuàng)新數(shù)字化（打造差異化、場景化、智能化的數(shù)字產(chǎn)品和服務(wù)……）推進(jìn)生產(chǎn)運營智能化（推進(jìn)物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、數(shù)字孿生等技術(shù)規(guī)?；蓱?yīng)用，實現(xiàn)作業(yè)現(xiàn)場全要素、全過程自動感知、實時分析……）推進(jìn)用戶服務(wù)敏捷化推進(jìn)產(chǎn)業(yè)體系生態(tài)化制造類企業(yè)數(shù)字化轉(zhuǎn)型示范（以智能制造為主攻方向，加快建設(shè)智能工廠、數(shù)字化車間、智能鋼廠等智能現(xiàn)場，推動裝備、生產(chǎn)線和工廠的數(shù)字化、網(wǎng)絡(luò)化和智能化改造……）能源類建筑類服務(wù)類制定數(shù)字化轉(zhuǎn)型規(guī)劃和路線圖協(xié)同推動數(shù)字化轉(zhuǎn)型工作做好數(shù)字化轉(zhuǎn)型資源保障1.1國務(wù)院國資委：《關(guān)于加快推進(jìn)國有企業(yè)數(shù)字化轉(zhuǎn)型工作的通知》數(shù)字化建設(shè)三大機(jī)會點應(yīng)用上云用數(shù)賦智產(chǎn)業(yè)互聯(lián)1.2數(shù)字化轉(zhuǎn)型解讀1.3數(shù)據(jù)中臺是一套解決方案數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)數(shù)據(jù)用起來”的機(jī)制，是一套解決方案，不僅是一個平臺。讓數(shù)據(jù)更加靈活地支撐前端業(yè)務(wù)，通過持續(xù)沉淀企業(yè)數(shù)據(jù)復(fù)用能力形成數(shù)據(jù)從采集、治理、開發(fā)到數(shù)據(jù)服務(wù)的一整套數(shù)據(jù)使用的機(jī)制。平臺能力數(shù)據(jù)采集存儲滿足企業(yè)各類型數(shù)據(jù)的采集存儲數(shù)據(jù)治理開展治理，沉淀數(shù)據(jù)資產(chǎn)數(shù)據(jù)服務(wù)可對外提供數(shù)據(jù)，實現(xiàn)共享數(shù)據(jù)開發(fā)支撐數(shù)倉建設(shè)、數(shù)據(jù)處理計算、數(shù)據(jù)分析挖掘等咨詢服務(wù)實施服務(wù)平臺搭建數(shù)據(jù)資產(chǎn)建庫數(shù)據(jù)治理數(shù)據(jù)分析應(yīng)用戰(zhàn)略與目標(biāo)數(shù)據(jù)應(yīng)用規(guī)劃數(shù)據(jù)規(guī)劃平臺規(guī)劃組織、流程、規(guī)范監(jiān)控與優(yōu)化目錄Contents數(shù)據(jù)中臺是數(shù)字化轉(zhuǎn)型基礎(chǔ)11“咨詢+平臺+實施”三位一體方案22.1數(shù)據(jù)中臺咨詢規(guī)劃2.2數(shù)據(jù)中臺軟件平臺建設(shè)2.3數(shù)據(jù)中臺實施“咨詢+平臺+實施”三位一體中臺建設(shè)方案“咨詢+軟件平臺+實施”三位一體確保數(shù)據(jù)中臺成功建設(shè)：咨詢服務(wù)：頂層設(shè)計，確定數(shù)據(jù)戰(zhàn)略和數(shù)據(jù)規(guī)劃，繪制藍(lán)圖，指導(dǎo)中臺建設(shè)實施。軟件平臺：中臺戰(zhàn)略的承接載體，實施工作的支撐工具。實施服務(wù)：數(shù)據(jù)中臺落地的關(guān)鍵保障。數(shù)據(jù)中臺咨詢規(guī)劃數(shù)據(jù)戰(zhàn)略愿景/使命/目標(biāo)組織流程制度數(shù)據(jù)架構(gòu)規(guī)劃數(shù)據(jù)標(biāo)準(zhǔn)體系平臺規(guī)劃及技術(shù)選型數(shù)據(jù)質(zhì)量體系數(shù)據(jù)服務(wù)需求分析數(shù)據(jù)安全體系數(shù)據(jù)中臺規(guī)劃的核心內(nèi)容是確定企業(yè)的數(shù)據(jù)戰(zhàn)略，以及為達(dá)成戰(zhàn)略目標(biāo)所需要的組織保障（組織、流程、制度）、數(shù)據(jù)保障（數(shù)據(jù)架構(gòu)、數(shù)據(jù)安全、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)倉庫、數(shù)據(jù)質(zhì)量、數(shù)據(jù)服務(wù)）和技術(shù)平臺保障。組織規(guī)劃數(shù)據(jù)規(guī)劃數(shù)倉分層數(shù)據(jù)模型設(shè)計指標(biāo)體系設(shè)計數(shù)倉體系數(shù)據(jù)治理體系數(shù)據(jù)服務(wù)體系數(shù)據(jù)服務(wù)規(guī)范數(shù)據(jù)服務(wù)管理制度平臺規(guī)劃數(shù)據(jù)管理能力成熟度評估數(shù)據(jù)現(xiàn)狀調(diào)研調(diào)研項調(diào)研關(guān)注點業(yè)務(wù)調(diào)研業(yè)務(wù)戰(zhàn)略、組織架構(gòu)及其職能、主價值鏈業(yè)務(wù)、業(yè)務(wù)對數(shù)據(jù)的需求數(shù)據(jù)戰(zhàn)略及數(shù)據(jù)治理調(diào)研信息化現(xiàn)狀、信息化對數(shù)據(jù)的需求、數(shù)據(jù)治理組織、數(shù)據(jù)制度數(shù)據(jù)架構(gòu)調(diào)研數(shù)據(jù)模型、數(shù)據(jù)分布、數(shù)據(jù)集成與共享（現(xiàn)狀、需求）、元數(shù)據(jù)管理數(shù)據(jù)應(yīng)用調(diào)研數(shù)據(jù)分析、數(shù)據(jù)開放共享、數(shù)據(jù)服務(wù)數(shù)據(jù)安全調(diào)研數(shù)據(jù)安全策略、數(shù)據(jù)安全管理、數(shù)據(jù)安全審計數(shù)據(jù)質(zhì)量調(diào)研數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)質(zhì)量提升數(shù)據(jù)標(biāo)準(zhǔn)調(diào)研業(yè)務(wù)術(shù)語、參考數(shù)據(jù)和主數(shù)據(jù)、數(shù)據(jù)元、指標(biāo)數(shù)據(jù)數(shù)據(jù)生存周期調(diào)研數(shù)據(jù)需求、數(shù)據(jù)設(shè)計和開發(fā)、數(shù)據(jù)運維、數(shù)據(jù)退役數(shù)據(jù)現(xiàn)狀調(diào)研報告長期目標(biāo)中期目標(biāo)短期目標(biāo)數(shù)據(jù)戰(zhàn)略數(shù)據(jù)戰(zhàn)略：與業(yè)務(wù)戰(zhàn)略保持一致長期目標(biāo)中期目標(biāo)短期目標(biāo)業(yè)務(wù)戰(zhàn)略透明化管理、業(yè)務(wù)協(xié)同、降本增效業(yè)務(wù)創(chuàng)新與轉(zhuǎn)型全球領(lǐng)先的軌道交通系統(tǒng)解決方案供應(yīng)商數(shù)據(jù)滿足基本的管理決策和業(yè)務(wù)協(xié)同需求數(shù)據(jù)促進(jìn)業(yè)務(wù)創(chuàng)新與轉(zhuǎn)型在數(shù)字化競爭生態(tài)中處于領(lǐng)軍地位CDO數(shù)據(jù)管理委員會數(shù)據(jù)管理工作組各專業(yè)業(yè)務(wù)專員IT技術(shù)支持人員數(shù)據(jù)管理監(jiān)督人員數(shù)據(jù)管理聯(lián)絡(luò)人員各部門負(fù)責(zé)人跨職能高層領(lǐng)導(dǎo)相關(guān)領(lǐng)域?qū)＜覕?shù)據(jù)管理組織整體負(fù)責(zé)數(shù)據(jù)管理工作的開展、政策的推廣和執(zhí)行，并作為數(shù)據(jù)管理問題的最終決策組織解決爭議，監(jiān)控和監(jiān)督數(shù)據(jù)管理工作的績效，并確保數(shù)據(jù)治理工作預(yù)算支持。根據(jù)數(shù)據(jù)管理領(lǐng)導(dǎo)組的戰(zhàn)略目標(biāo)，建立數(shù)據(jù)管理流程，階段目標(biāo)、計劃，制定和維護(hù)數(shù)據(jù)管理方法、總則、工具、框架，對跨部門和領(lǐng)域的數(shù)據(jù)問題和爭議進(jìn)行解決和決策。根據(jù)計劃完成數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)安全管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)倉庫管理、數(shù)據(jù)服務(wù)管理等活動。數(shù)據(jù)管理制度與流程序號數(shù)據(jù)管理領(lǐng)域制度與流程1數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)管理制度2數(shù)據(jù)標(biāo)準(zhǔn)制定需求提請流程3數(shù)據(jù)標(biāo)準(zhǔn)制定流程4數(shù)據(jù)標(biāo)準(zhǔn)修訂&停用流程5元數(shù)據(jù)元數(shù)據(jù)管理制度6元數(shù)據(jù)采集命名規(guī)范7數(shù)據(jù)元管理制度8元數(shù)據(jù)管理變更流程9企業(yè)數(shù)據(jù)分類分層維護(hù)流程10數(shù)據(jù)元維護(hù)流程11數(shù)據(jù)元使用流程12數(shù)據(jù)建模企業(yè)主題域劃分規(guī)范13企業(yè)數(shù)據(jù)模型設(shè)計規(guī)范14主題域維護(hù)流程15數(shù)據(jù)模型維護(hù)流程16主數(shù)據(jù)主數(shù)據(jù)管理辦法/規(guī)范17主數(shù)據(jù)創(chuàng)建流程18主數(shù)據(jù)變更流程19主數(shù)據(jù)停用流程20數(shù)據(jù)架構(gòu)數(shù)據(jù)架構(gòu)規(guī)范序號數(shù)據(jù)管理領(lǐng)域制度與流程21參考數(shù)據(jù)參考數(shù)據(jù)管理辦法/規(guī)范22參考數(shù)據(jù)維護(hù)流程23參考數(shù)據(jù)使用流程24指標(biāo)數(shù)據(jù)指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范25指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)體系管理規(guī)范26指標(biāo)數(shù)據(jù)分類維護(hù)流程27指標(biāo)數(shù)據(jù)字典維護(hù)流程28指標(biāo)維護(hù)流程29數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量管理辦法30數(shù)據(jù)質(zhì)量規(guī)則定義規(guī)范31數(shù)據(jù)質(zhì)量評價辦法32數(shù)據(jù)質(zhì)量改進(jìn)貢獻(xiàn)度評價考核規(guī)范33數(shù)據(jù)質(zhì)量管理流程34數(shù)據(jù)集成數(shù)據(jù)服務(wù)管理辦法35數(shù)據(jù)集成規(guī)范36數(shù)據(jù)服務(wù)上架流程37數(shù)據(jù)服務(wù)下架流程38數(shù)據(jù)安全數(shù)據(jù)安全管理辦法39數(shù)據(jù)加密標(biāo)準(zhǔn)和機(jī)制40外部供應(yīng)商的數(shù)據(jù)訪問指南序號數(shù)據(jù)管理領(lǐng)域制度與流程41數(shù)據(jù)安全通過互聯(lián)網(wǎng)的數(shù)據(jù)傳送協(xié)議42遠(yuǎn)程訪問規(guī)范43安全漏洞事件報告規(guī)程44數(shù)據(jù)采集授權(quán)流程45數(shù)據(jù)訪問授權(quán)流程46數(shù)據(jù)備份流程47數(shù)據(jù)恢復(fù)流程48數(shù)據(jù)倉庫數(shù)據(jù)倉庫建模規(guī)范49數(shù)據(jù)倉庫數(shù)據(jù)接入規(guī)范50數(shù)據(jù)倉庫數(shù)據(jù)共享規(guī)范51數(shù)據(jù)倉庫建模流程52數(shù)據(jù)倉庫數(shù)據(jù)接入流程53數(shù)據(jù)倉庫數(shù)據(jù)共享流程54數(shù)據(jù)使用及考核評價數(shù)據(jù)入湖貢獻(xiàn)度評價考核規(guī)范55數(shù)據(jù)認(rèn)責(zé)考核評價辦法56數(shù)據(jù)政策考核評價辦法57數(shù)據(jù)管控考核評價辦法58數(shù)據(jù)需求提請流程數(shù)據(jù)架構(gòu)數(shù)據(jù)架構(gòu)業(yè)務(wù)架構(gòu)業(yè)務(wù)領(lǐng)域業(yè)務(wù)職能業(yè)務(wù)流程應(yīng)用架構(gòu)主題域劃分?jǐn)?shù)據(jù)主題域數(shù)據(jù)主題數(shù)據(jù)業(yè)務(wù)視圖數(shù)據(jù)實體數(shù)據(jù)所在業(yè)務(wù)域，如：研發(fā)創(chuàng)新域、生產(chǎn)制造域、營銷銷售域等數(shù)據(jù)主題細(xì)分，如營銷銷售域可細(xì)分為：市場營銷|、客戶管理、銷售管理等業(yè)務(wù)視角的數(shù)據(jù)對象（用戶視圖），如：銷售計劃、銷售合同、銷售訂單等系統(tǒng)中實體表，如：銷售憑證頭表VBAK、銷售憑證行數(shù)據(jù)VBAP數(shù)據(jù)模型系統(tǒng)功能數(shù)據(jù)庫數(shù)據(jù)實體屬性（表字段），如：銷售憑證、憑證類型、銷售組、產(chǎn)品組、訂單數(shù)量、單價…數(shù)據(jù)分布地圖數(shù)據(jù)流向圖數(shù)據(jù)實體識別以企業(yè)業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)為輸入，規(guī)劃設(shè)計企業(yè)數(shù)據(jù)架構(gòu)，主要內(nèi)容包括數(shù)據(jù)主題域和主題劃分，數(shù)據(jù)實體識別和企業(yè)級數(shù)據(jù)模型設(shè)計，數(shù)據(jù)流向梳理和數(shù)據(jù)分布地圖繪制。數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)元數(shù)據(jù)標(biāo)準(zhǔn)業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)參考數(shù)據(jù)標(biāo)準(zhǔn)明確元數(shù)據(jù)屬性的基本組成和含義(中文名稱、英文名稱、數(shù)據(jù)類型、值域…)明確參考數(shù)據(jù)類別及其值域代碼名稱…00正?！?0試制…明確指標(biāo)數(shù)據(jù)基本信息、統(tǒng)計信息、口徑信息、管理信息的數(shù)據(jù)元及其屬性(指標(biāo)名稱、統(tǒng)計維度、歸口部門、數(shù)據(jù)來源…)對核心業(yè)務(wù)數(shù)據(jù)元的標(biāo)準(zhǔn)化(姓名、公民身份號碼、性別名稱、性別代碼…)數(shù)據(jù)質(zhì)量定義數(shù)據(jù)質(zhì)量評判規(guī)則設(shè)計數(shù)據(jù)質(zhì)量分析指標(biāo)建立數(shù)據(jù)質(zhì)量考核機(jī)制確定質(zhì)量權(quán)責(zé)和流程規(guī)范權(quán)責(zé)認(rèn)定：為前期梳理的每一類數(shù)據(jù)資產(chǎn)確認(rèn)權(quán)責(zé)部門，如：人員數(shù)據(jù)的質(zhì)量問題由人資部門牽頭處理流程規(guī)范：設(shè)計數(shù)據(jù)質(zhì)量相關(guān)問題發(fā)現(xiàn)、反饋、分析、處理、閉環(huán)驗證和質(zhì)量工作考核相關(guān)的流程規(guī)范技術(shù)規(guī)則：從數(shù)據(jù)庫存儲的物理維度定義技術(shù)規(guī)則，如數(shù)據(jù)類型，數(shù)據(jù)編碼，主鍵等業(yè)務(wù)規(guī)則：從業(yè)務(wù)維度定義業(yè)務(wù)規(guī)則，如：值域范圍、數(shù)據(jù)格式、業(yè)務(wù)關(guān)聯(lián)邏輯、計算邏輯等評估策略：確定各類數(shù)據(jù)質(zhì)量檢查頻率及范圍質(zhì)量分析指標(biāo)：明確數(shù)據(jù)質(zhì)量問題的統(tǒng)計規(guī)則，設(shè)計質(zhì)量分析維度和分析指標(biāo)，以全面、直觀展示數(shù)據(jù)質(zhì)量問題質(zhì)量預(yù)警機(jī)制：設(shè)計數(shù)據(jù)質(zhì)量預(yù)警機(jī)制，包括預(yù)警方式、預(yù)警指標(biāo)、預(yù)警值、預(yù)警信息規(guī)則等設(shè)計考核指標(biāo)：設(shè)計數(shù)據(jù)質(zhì)量考核指標(biāo)體系，對企業(yè)數(shù)據(jù)質(zhì)量治理工作進(jìn)行定量評價建立考核機(jī)制：根據(jù)考核指標(biāo)定期對企業(yè)數(shù)據(jù)質(zhì)量治理工作進(jìn)行考核，促進(jìn)企業(yè)數(shù)據(jù)質(zhì)量治理工作持續(xù)健康開展數(shù)據(jù)安全以數(shù)據(jù)安全管理組織、流程和制度為基礎(chǔ)保障，分析企業(yè)在數(shù)據(jù)全生命周期的不同階段的安全需求

，設(shè)定相應(yīng)的管控策略，確保企業(yè)數(shù)據(jù)安全管理目標(biāo)達(dá)成。安全需求分析數(shù)據(jù)安全管理組織、流程、制度企業(yè)自身業(yè)務(wù)需要利益相關(guān)方的安全需求政策、法規(guī)、監(jiān)管要求全生命周期安全管控數(shù)據(jù)采集數(shù)據(jù)傳輸安全管理策略數(shù)據(jù)分類分級數(shù)據(jù)權(quán)限體系存儲加密策略數(shù)據(jù)安全管理目標(biāo)確保適當(dāng)?shù)臄?shù)據(jù)訪問，防止不當(dāng)?shù)臄?shù)據(jù)訪問確保對隱私保護(hù)、保密制度、法規(guī)的遵從傳輸加密策略數(shù)據(jù)脫敏規(guī)則安全日志審計數(shù)據(jù)存儲數(shù)據(jù)處理滿足利益相關(guān)方的隱私和保密需求支撐企業(yè)戰(zhàn)略目標(biāo)的達(dá)成數(shù)據(jù)交換數(shù)據(jù)銷毀數(shù)倉分層設(shè)計面向業(yè)務(wù)主題的、整合的、反映歷史變化的、穩(wěn)定的明細(xì)數(shù)據(jù)面向數(shù)據(jù)來源各類異構(gòu)數(shù)據(jù)源面向分析應(yīng)用需求；高度匯總數(shù)據(jù)基于分析需求輕度匯總數(shù)據(jù)或合并企業(yè)數(shù)據(jù)倉庫DWS（單主題輕度匯總數(shù)據(jù)）DM（跨主題高度匯總數(shù)據(jù)）ODS（原始數(shù)據(jù)）結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)分析應(yīng)用DWD（業(yè)務(wù)明細(xì)數(shù)據(jù)）非結(jié)構(gòu)化數(shù)據(jù)數(shù)倉各層數(shù)據(jù)形態(tài)示例維度模型：關(guān)系型數(shù)據(jù)庫，BI統(tǒng)計分析；寬表模型：非關(guān)系型數(shù)據(jù)庫，大數(shù)據(jù)分析。關(guān)系模型：給DM打好基礎(chǔ)，保持靈活性、復(fù)用性寬表模型：直接用于展示，提高訪問效率。數(shù)倉ODS層總體規(guī)劃1、模型設(shè)計：1)模型與源頭基本保持一致；2)分類上體現(xiàn)源頭業(yè)務(wù)系統(tǒng)；3)保持?jǐn)?shù)據(jù)關(guān)系；4）增加必要的標(biāo)識屬性。2、數(shù)據(jù)處理：不做數(shù)據(jù)處理。信息系統(tǒng)產(chǎn)生數(shù)據(jù)感知設(shè)備產(chǎn)生數(shù)據(jù)ODSETL工具(定時、復(fù)制)維護(hù)界面（不定期）服務(wù)接口/ETL工具(準(zhǔn)實時)關(guān)系型數(shù)據(jù)庫/MPP數(shù)據(jù)庫/NoSQL數(shù)據(jù)庫人工采集數(shù)據(jù)PDM產(chǎn)品物料設(shè)計BOM設(shè)計更改單…ERP設(shè)備需求訂單生產(chǎn)訂單生產(chǎn)計劃…表面處理設(shè)備開關(guān)機(jī)信息加工狀態(tài)信息…線下數(shù)據(jù)維修信息故障信息客戶表揚信息…數(shù)倉DW層總體規(guī)劃DWS業(yè)務(wù)主題庫（輕度匯總層）DWD業(yè)務(wù)主題庫（明細(xì)層）ODS緩沖庫（貼源層）ERPMES外委外協(xié)供應(yīng)鏈合同線下數(shù)據(jù)…物資主題采購計劃采購訂單入庫單出庫單供應(yīng)商...生產(chǎn)主題生產(chǎn)計劃數(shù)據(jù)（生產(chǎn)預(yù)測計劃、年度生產(chǎn)大綱、主計劃（批產(chǎn)、科研、修排貫）、生產(chǎn)訂單（零件、毛坯、裝配）、月度滾動交付計劃…）生產(chǎn)保障數(shù)據(jù)（工裝工具基本信息、工裝工具領(lǐng)用記錄、工具工裝修理記錄、動能申請記錄、設(shè)備故障記錄、設(shè)備三級保養(yǎng)記錄…）生產(chǎn)執(zhí)行數(shù)據(jù)（關(guān)鍵設(shè)備安排任務(wù)表、生產(chǎn)入庫記錄、車間作業(yè)計劃、工序完成反饋、生產(chǎn)問題記錄…）…人資主題組織機(jī)構(gòu)人員…財務(wù)主題物資主題生產(chǎn)主題科研型號月度完成情況、批產(chǎn)型號月度完成情況、生產(chǎn)準(zhǔn)備月度完成情況、外委外協(xié)月度執(zhí)行情況、月度物料平衡會問題進(jìn)度情況、月度生產(chǎn)現(xiàn)場有關(guān)物料督辦問題的處理進(jìn)度情況、月度工時數(shù)量…ETL（定時、數(shù)據(jù)過濾、數(shù)據(jù)類型標(biāo)準(zhǔn)化、編碼轉(zhuǎn)換、量綱統(tǒng)一、數(shù)據(jù)去重、數(shù)據(jù)匯總等）ETL非結(jié)構(gòu)化數(shù)據(jù)服務(wù)接口（數(shù)據(jù)解析）/維護(hù)界面1、模型設(shè)計：1)數(shù)據(jù)屬性范圍；2)時間屬性；3)派生屬性；4)數(shù)據(jù)粒度；5)分離數(shù)據(jù)。2、數(shù)據(jù)處理：1)數(shù)據(jù)過濾；2)數(shù)據(jù)類型標(biāo)準(zhǔn)化;3)量綱標(biāo)準(zhǔn)化;4)去除重復(fù);5)編碼映射。數(shù)倉DW層數(shù)據(jù)模型數(shù)據(jù)模型特點：明細(xì)數(shù)據(jù)區(qū)和輕度匯總數(shù)據(jù)區(qū)。按業(yè)務(wù)分主題進(jìn)行設(shè)計。明細(xì)數(shù)據(jù)區(qū)每個實體原則上都要加相應(yīng)的時間戳。輕度匯總數(shù)據(jù)區(qū)的模型設(shè)計依賴于分析需求。數(shù)據(jù)倉庫模型是符合3NF

的帶有時間戳的關(guān)系模型。建立編碼映射表，用于進(jìn)行有關(guān)編碼轉(zhuǎn)換。數(shù)倉DM層總體規(guī)劃DM分析數(shù)據(jù)庫（高度匯總層）DWS業(yè)務(wù)主題庫（輕度匯總層）DWD業(yè)務(wù)主題庫（明細(xì)層）物資主題采購計劃采購訂單入庫單出庫單供應(yīng)商...生產(chǎn)主題生產(chǎn)計劃數(shù)據(jù)（生產(chǎn)預(yù)測計劃、年度生產(chǎn)大綱、主計劃（批產(chǎn)、科研、修排貫）、生產(chǎn)訂單（零件、毛坯、裝配）、月度滾動交付計劃…）生產(chǎn)保障數(shù)據(jù)（工裝工具基本信息、工裝工具領(lǐng)用記錄、工具工裝修理記錄、動能申請記錄、設(shè)備故障記錄、設(shè)備三級保養(yǎng)記錄…）生產(chǎn)執(zhí)行數(shù)據(jù)（關(guān)鍵設(shè)備安排任務(wù)表、生產(chǎn)入庫記錄、車間作業(yè)計劃、工序完成反饋、生產(chǎn)問題記錄…）…人資主題組織機(jī)構(gòu)人員…財務(wù)主題物資主題人資分析主題物資分析庫科研型號年度完成情況、批產(chǎn)型號年度完成情況、各系列各機(jī)型年度責(zé)任令完成情況、各軍種年度完成情況、科研任務(wù)年度總體情況以及各機(jī)型年度科研任務(wù)項完成情況、年度工時數(shù)…生產(chǎn)分析主題生產(chǎn)主題科研型號月度完成情況、批產(chǎn)型號月度完成情況、生產(chǎn)準(zhǔn)備月度完成情況、外委外協(xié)月度執(zhí)行情況、月度物料平衡會問題進(jìn)度情況、月度生產(chǎn)現(xiàn)場有關(guān)物料督辦問題的處理進(jìn)度情況、月度工時數(shù)量…ETL（數(shù)據(jù)合并、數(shù)據(jù)匯總）ETL（數(shù)據(jù)合并、數(shù)據(jù)匯總）1、模型設(shè)計：1)數(shù)據(jù)合并；2)數(shù)據(jù)匯總。2、數(shù)據(jù)處理原則：1)數(shù)據(jù)合并；2)數(shù)據(jù)匯總。數(shù)倉DM層數(shù)據(jù)模型數(shù)據(jù)模型特點：完全基于需求建立，它的主題域、主題的劃分與DW層不同；主題劃分有兩種類型：為企業(yè)主管層面服務(wù)的綜合分析類主題；為企業(yè)業(yè)務(wù)主管層面服務(wù)的專業(yè)分析類主題；數(shù)據(jù)分為兩類：一類是基于數(shù)據(jù)倉庫的細(xì)節(jié)數(shù)據(jù)或輕度匯總數(shù)據(jù)進(jìn)行的統(tǒng)計分析，另外一類數(shù)據(jù)是基于統(tǒng)計分析進(jìn)一步分析挖掘的數(shù)據(jù)；數(shù)據(jù)集市模型通常采用星形模型建模。采購?fù)瓿汕闆r日期ID物料ID采購數(shù)入庫數(shù)供應(yīng)商ID采購員ID供應(yīng)商某公司人員張三年月日201415物料分類物料緊固件螺栓維度模型跨主題寬表模型指標(biāo)體系設(shè)計指標(biāo)梳理需求來源內(nèi)部管控專題會議預(yù)測分析數(shù)據(jù)報送需求輸入公司考核KPI上級單位下發(fā)文件客戶關(guān)注/檢驗點業(yè)務(wù)域流程文件集團(tuán)考核KPI公司級例會材料專題例會材料給上級匯報材料指標(biāo)體系業(yè)務(wù)域管理主線業(yè)務(wù)域管理業(yè)務(wù)場景及受眾對象業(yè)務(wù)場景對應(yīng)關(guān)注指標(biāo)梳理各業(yè)務(wù)域的業(yè)務(wù)主線自上而下分解業(yè)務(wù)場景并梳理關(guān)注指標(biāo)自下而上關(guān)聯(lián)業(yè)務(wù)場景并提煉關(guān)注指標(biāo)設(shè)計原則名稱統(tǒng)一定義統(tǒng)一口徑統(tǒng)一來源統(tǒng)一參照統(tǒng)一設(shè)計要求提供方式以系統(tǒng)自動提供為主，手工補(bǔ)錄為過渡輔助提供時限以滿足實際業(yè)務(wù)需求為依據(jù)數(shù)據(jù)要求提供明細(xì)數(shù)據(jù)及計算公式盡可能提高指標(biāo)數(shù)據(jù)頻度指標(biāo)體系示例戰(zhàn)略管控戰(zhàn)略發(fā)展人力資源管理財務(wù)資本運營審計與風(fēng)險管理科技質(zhì)量網(wǎng)絡(luò)信息化安全重點虧損企業(yè)累計減虧率集團(tuán)公司損失風(fēng)險容限單位子公司產(chǎn)權(quán)狀況軍工項目整體預(yù)算執(zhí)行率營業(yè)收入利潤總額凈利潤營業(yè)收入利潤率人才引進(jìn)總數(shù)人才引進(jìn)學(xué)歷成分占比全員勞動生產(chǎn)率人均利潤“三供一業(yè)”分離移交補(bǔ)助”僵尸企業(yè)”處置補(bǔ)助率率特困企業(yè)治理補(bǔ)助工業(yè)企業(yè)專項獎補(bǔ)資金集團(tuán)公司風(fēng)險容限集團(tuán)領(lǐng)導(dǎo)批示的重大報告數(shù)盈利戶數(shù)資產(chǎn)負(fù)債率科技活動經(jīng)費支出總額基礎(chǔ)數(shù)字經(jīng)濟(jì)總體規(guī)模品牌價值研究投入占比…

…戰(zhàn)略規(guī)劃改革管理人才發(fā)展財務(wù)管理勞動薪酬資本運作產(chǎn)權(quán)管理審計指標(biāo)風(fēng)險管理標(biāo)準(zhǔn)化信息化…………………………集團(tuán)公司整體產(chǎn)業(yè)板塊企業(yè)清理參股主要經(jīng)營目標(biāo)資產(chǎn)及負(fù)債兩金規(guī)模虧損情況…

…人才引進(jìn)人才培養(yǎng)用工管理勞動關(guān)系產(chǎn)權(quán)增減情況產(chǎn)權(quán)存量情況資產(chǎn)證券化規(guī)模重大風(fēng)險監(jiān)控財務(wù)決算審計編制標(biāo)準(zhǔn)數(shù)量信息化投入信息化業(yè)務(wù)覆蓋度信息化資產(chǎn)…

……

……

……

……

…業(yè)務(wù)板塊業(yè)務(wù)主題業(yè)務(wù)主題評價項戰(zhàn)略管控指標(biāo)內(nèi)控指標(biāo)/報送指標(biāo)數(shù)據(jù)服務(wù)體系服務(wù)需求分析業(yè)務(wù)協(xié)同及流轉(zhuǎn)需求數(shù)據(jù)分析應(yīng)用需求數(shù)據(jù)流向內(nèi)部管控專題會議預(yù)測分析數(shù)據(jù)服務(wù)規(guī)范服務(wù)方式數(shù)據(jù)格式服務(wù)交互規(guī)范數(shù)據(jù)服務(wù)管理制度服務(wù)申請與開發(fā)流程服務(wù)授權(quán)與上線流程服務(wù)下線流程數(shù)據(jù)服務(wù)的需求來源包括業(yè)務(wù)協(xié)同和流轉(zhuǎn)需要、數(shù)據(jù)分析應(yīng)用（業(yè)務(wù)分析和優(yōu)化）需要兩個方面?；诜?wù)需求，制定相應(yīng)的服務(wù)規(guī)范和服務(wù)管理制度。DMDWSDWD數(shù)據(jù)管理能力成熟度評估GB/T36073—2018《數(shù)據(jù)管理能力成熟度評估模型》咨詢規(guī)劃服務(wù)一套企業(yè)數(shù)據(jù)架構(gòu)一套數(shù)據(jù)治理體系建設(shè)路線規(guī)劃一張數(shù)據(jù)流向圖一張數(shù)據(jù)分布地圖一套企業(yè)核心數(shù)據(jù)實體一套企業(yè)業(yè)務(wù)域一套數(shù)倉體系四大類數(shù)據(jù)標(biāo)準(zhǔn)體系30+數(shù)據(jù)管理流程30+數(shù)據(jù)管理制度一套組織架構(gòu)數(shù)據(jù)中臺建設(shè)路線規(guī)劃數(shù)據(jù)管理能力成熟度評估數(shù)據(jù)平臺選型建議書株車數(shù)據(jù)中臺軟件平臺框架規(guī)劃咨詢規(guī)劃模塊--數(shù)據(jù)架構(gòu)規(guī)劃咨詢規(guī)劃模塊數(shù)倉體系規(guī)劃規(guī)范與制度管理組織與角色管理數(shù)據(jù)管理能力成熟度評估治理實施模塊--數(shù)據(jù)標(biāo)準(zhǔn)管理對數(shù)據(jù)元標(biāo)準(zhǔn)、枚舉項標(biāo)準(zhǔn)和標(biāo)準(zhǔn)文件進(jìn)行統(tǒng)一的線上、結(jié)構(gòu)化管理與檢索；標(biāo)準(zhǔn)起草、審批、發(fā)布、修訂、廢止全生命周期管理；數(shù)據(jù)標(biāo)準(zhǔn)與實際數(shù)據(jù)對象進(jìn)行關(guān)聯(lián)，對標(biāo)準(zhǔn)的實際執(zhí)行情況進(jìn)行評估和監(jiān)控。治理實施模塊--數(shù)據(jù)標(biāo)準(zhǔn)管理治理實施模塊--元數(shù)據(jù)管理元數(shù)據(jù)管控元數(shù)據(jù)采集元數(shù)據(jù)統(tǒng)一服務(wù)新增導(dǎo)入抽取元數(shù)據(jù)統(tǒng)一檢索元數(shù)據(jù)血緣追溯元數(shù)據(jù)分布地圖版本管理狀態(tài)管理流程審批變更自動感知接口采集數(shù)據(jù)來源/存儲位置數(shù)據(jù)分類/數(shù)據(jù)主題數(shù)據(jù)模型數(shù)據(jù)關(guān)系（血緣、引用）元數(shù)據(jù)標(biāo)簽數(shù)據(jù)管理與應(yīng)用規(guī)則業(yè)務(wù)對象/過程數(shù)據(jù)庫表數(shù)據(jù)記錄業(yè)務(wù)解釋標(biāo)準(zhǔn)化數(shù)據(jù)定義元數(shù)據(jù)內(nèi)容元數(shù)據(jù)管理功能治理實施模塊--元數(shù)據(jù)管理治理實施模塊--數(shù)據(jù)質(zhì)量管理質(zhì)量評估質(zhì)量控制前置數(shù)據(jù)錄入數(shù)據(jù)導(dǎo)入集成接入已有數(shù)據(jù)不符合規(guī)則的數(shù)據(jù)不進(jìn)入平臺質(zhì)量評估評估報告臟數(shù)據(jù)明細(xì)數(shù)據(jù)自動清洗低分/異常預(yù)警質(zhì)量情況統(tǒng)計質(zhì)量問題質(zhì)量規(guī)則規(guī)則定義權(quán)重分配完整性相關(guān)性唯一性一致性及時性準(zhǔn)確性真實性......根據(jù)業(yè)務(wù)需要自定義數(shù)據(jù)質(zhì)量規(guī)則，對數(shù)據(jù)進(jìn)行前置質(zhì)量校驗以及周期性質(zhì)量稽查，自動發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，生成質(zhì)量分析報告，并進(jìn)行針對性清洗和整改，解決用戶明知數(shù)據(jù)質(zhì)量差卻不知從何下手治理的困境。幫助企業(yè)沉淀高質(zhì)量的數(shù)據(jù)資產(chǎn)，支撐數(shù)據(jù)價值變現(xiàn)。數(shù)據(jù)存儲數(shù)據(jù)存儲導(dǎo)出數(shù)據(jù)時靜態(tài)脫敏訪問數(shù)據(jù)時動態(tài)脫敏、三員管理、系統(tǒng)口令認(rèn)證、數(shù)據(jù)設(shè)定密級、用戶設(shè)定密級、權(quán)限控制、審計日志記錄存儲數(shù)據(jù)時進(jìn)行敏感數(shù)據(jù)加密數(shù)據(jù)消費者傳輸數(shù)據(jù)時進(jìn)行敏感數(shù)據(jù)加密、接口授權(quán)按照備份策略進(jìn)行數(shù)據(jù)備份及恢復(fù)驗證治理實施模塊--數(shù)據(jù)安全管理治理實施模塊--數(shù)據(jù)安全管理敏感發(fā)現(xiàn)敏感標(biāo)簽智能掃描敏感推薦元數(shù)據(jù)數(shù)據(jù)文件敏感信息涉密信息密級管控數(shù)據(jù)密級文件密級人員密級數(shù)據(jù)加密加密存儲加密傳輸數(shù)據(jù)脫敏脫敏查看脫敏傳輸密級應(yīng)用密級過濾密級匹配安全監(jiān)控敏感信息分布敏感數(shù)據(jù)訪問情況敏感信息處理情況數(shù)據(jù)權(quán)限體系（庫、分類、表、列、行等全方位數(shù)據(jù)權(quán)限管控）三員管理（三員權(quán)限隔離，數(shù)據(jù)安全審計）治理實施模塊--數(shù)據(jù)安全管理治理實施模塊--數(shù)據(jù)地圖顯性化、全方位、多維度展現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)積累、分布和運營管理情況，包括資產(chǎn)大盤、元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)交換、數(shù)據(jù)安全等維度的監(jiān)控與統(tǒng)計分析。企業(yè)數(shù)據(jù)資產(chǎn)運營情況一望可知。數(shù)倉實施模塊--基于數(shù)倉的指標(biāo)加工過程ERPBWMAKTMARATSPATJESTAUFKAFPOods_sap_makt_diods_sap_mara_diods_sap_tspat_dfods_sap_afpo_diods_sap_aufk_diods_sap_jest_diods_bw_zppt_werks_zrbm_dfdwd_org_man_dep_dfdwd_temp_mat_spart_dfdwd_prd_pp_order_del_dfdws_prd_finishquan_month_dftdm_prd_scddzx_mtrend_dsERPERPERPERPERPdwd_sap_afpo_df物料描述/2,889,255物料主數(shù)據(jù)/2,884,915產(chǎn)品組描述/29,106生產(chǎn)訂單狀態(tài)/2,144,937,805生產(chǎn)訂單主數(shù)據(jù)/21,730,430生產(chǎn)訂單行項目/21,721,351工廠與責(zé)任部門對照表/124,886訂單明細(xì)表物料主數(shù)據(jù)表明細(xì)表API生產(chǎn)訂單行項目生產(chǎn)訂單執(zhí)行情況明細(xì)表ZPPT_WERKS_ZRBM數(shù)據(jù)源貼源層ODS整合明細(xì)層DWD匯總層DWS集市DM應(yīng)用需求生產(chǎn)訂單執(zhí)行情況工廠與責(zé)任部門對照表月度生產(chǎn)訂單執(zhí)行情況表通過物料關(guān)聯(lián)通過訂單號關(guān)聯(lián)指標(biāo)與維度數(shù)倉實施模塊--數(shù)據(jù)采集與加工web端拖拽式、可視化的數(shù)據(jù)開發(fā)工具，擺脫數(shù)據(jù)庫SQL腳本、ETL工具、EXCEL公式函數(shù)等復(fù)雜、繁瑣、技術(shù)難度高、難維護(hù)的數(shù)據(jù)處理方式。業(yè)務(wù)人員也可輕松玩轉(zhuǎn)數(shù)據(jù)，激活數(shù)據(jù)價值自由探索通道。指標(biāo)數(shù)據(jù)源數(shù)據(jù)庫數(shù)據(jù)采集庫表接入配套準(zhǔn)時率出貨目標(biāo)達(dá)成率新增訂貨計劃值質(zhì)量問題閉環(huán)率數(shù)據(jù)血緣影響分析全鏈分析血緣分析接口數(shù)據(jù)線下數(shù)據(jù)接口接入線下補(bǔ)錄數(shù)據(jù)加工數(shù)據(jù)輸入數(shù)據(jù)處理（連接、過濾、合并、拆分、聚合、轉(zhuǎn)化、賦值等）數(shù)據(jù)輸出……數(shù)據(jù)服務(wù)模塊--數(shù)據(jù)資產(chǎn)目錄數(shù)據(jù)開放共享的窗口，用戶可基于資產(chǎn)目錄進(jìn)行全局?jǐn)?shù)據(jù)檢索訪問、數(shù)據(jù)訂閱以及API服務(wù)接口申請。改變企業(yè)數(shù)據(jù)沉積在數(shù)據(jù)庫底層不可見、難管理、難獲取、難理解、難使用的現(xiàn)狀，激發(fā)用戶發(fā)掘數(shù)據(jù)價值的積極性和效率。元數(shù)據(jù)管理數(shù)據(jù)管理文件管理數(shù)據(jù)主題管理主題定義數(shù)據(jù)目錄管理資源關(guān)聯(lián)目錄自動生成目錄屬性補(bǔ)錄數(shù)據(jù)資產(chǎn)目錄資產(chǎn)檢索數(shù)據(jù)查看

數(shù)據(jù)結(jié)構(gòu)查看數(shù)據(jù)訂閱數(shù)據(jù)標(biāo)簽業(yè)務(wù)系統(tǒng)數(shù)據(jù)流向地圖數(shù)據(jù)服務(wù)模塊--數(shù)據(jù)交換服務(wù)BI可視化生產(chǎn)計劃大屏質(zhì)量保障大屏數(shù)據(jù)倉庫生產(chǎn)計劃主題分析售后服務(wù)主題分析質(zhì)量保障主題分析研發(fā)計劃主題分析生產(chǎn)計劃完成率生產(chǎn)計劃延遲率服務(wù)保障及時性售后服務(wù)滿意度質(zhì)量合格率質(zhì)量改進(jìn)趨勢研發(fā)任務(wù)完成率研發(fā)改進(jìn)計劃執(zhí)行率數(shù)據(jù)服務(wù)發(fā)起訂閱申請訂閱審批服務(wù)封裝與授權(quán)服務(wù)發(fā)布服務(wù)監(jiān)控采購訂單獲取接口MBOM接口庫存臺賬接口物資采購訂單接口設(shè)備采購單接口設(shè)備檢驗臺賬接口生產(chǎn)計劃完成率指標(biāo)接口采購及時率指標(biāo)接口產(chǎn)品質(zhì)量合格率指標(biāo)接口質(zhì)量改進(jìn)趨勢指標(biāo)接口售后服務(wù)滿意度指標(biāo)接口客戶投訴統(tǒng)計指標(biāo)接口……接口ERP設(shè)備管理系統(tǒng)……系統(tǒng)調(diào)用接口獲取數(shù)據(jù)數(shù)據(jù)服務(wù)模塊--數(shù)據(jù)服務(wù)數(shù)據(jù)分析應(yīng)用模塊--數(shù)據(jù)可視化企業(yè)報告DM（高度匯總層）DWS（輕度匯總層）DWD（明細(xì)層）人資分析主題物資分析庫ETLETL人資主題生產(chǎn)主題物資主題人資主題生產(chǎn)主題物資主題生產(chǎn)分析主題領(lǐng)導(dǎo)駕駛艙主題分析明細(xì)報表數(shù)據(jù)分析應(yīng)用模塊--數(shù)據(jù)可視化從數(shù)據(jù)源添加數(shù)據(jù)數(shù)據(jù)預(yù)處理場景發(fā)布場景實現(xiàn)②①③④數(shù)據(jù)分析應(yīng)用模塊--數(shù)據(jù)挖掘分析數(shù)據(jù)處理分析成果數(shù)據(jù)門戶業(yè)務(wù)應(yīng)用模型倉庫隨機(jī)抽樣缺失值處理表轉(zhuǎn)置異常值檢測機(jī)器學(xué)習(xí)統(tǒng)計分析文本分析深度分析多維分析可視化分析數(shù)據(jù)分析場景故事模型經(jīng)營管理領(lǐng)導(dǎo)駕駛艙專題分析專項問題分析業(yè)務(wù)實時監(jiān)測……科研生產(chǎn)產(chǎn)品性能優(yōu)化工藝改進(jìn)質(zhì)量改進(jìn)產(chǎn)能提升……運維服務(wù)預(yù)防性維修遠(yuǎn)程運維設(shè)備壽命預(yù)測……數(shù)據(jù)倉庫實時數(shù)據(jù)接入……DM（高度匯總層）DWS（輕度匯總層）DWD（明細(xì)層）人資分析主題安全庫存專題ETLETL人資主題生產(chǎn)主題物資主題生產(chǎn)分析主題人資主題生產(chǎn)主題物資主題數(shù)據(jù)分析應(yīng)用模塊--數(shù)據(jù)挖掘分析分類算法決策樹SVM隨機(jī)森林自動分類回歸算法線性回歸神經(jīng)網(wǎng)絡(luò)保序回歸自動回歸聚類算法KMeans層次聚類視覺聚類自動聚類關(guān)聯(lián)規(guī)則AprioriFPGrowth序列協(xié)同過濾時間序列ARIMAX12指數(shù)平滑自動時序綜合評價熵值法層次分析Topsis模糊綜評文本分析分詞情感分析信息抽取主旨主題統(tǒng)計分析數(shù)據(jù)分布相關(guān)系數(shù)典型相關(guān)方差分析深度學(xué)習(xí)DNNRNNLSTMTensorFlow集成學(xué)習(xí)BaggingXGBoostGBDTVoting分布式算法

文本算法算法類型獨創(chuàng)算法實施服務(wù)買軟件？認(rèn)為建設(shè)數(shù)據(jù)中臺就是買一套軟件產(chǎn)品。數(shù)據(jù)治理與數(shù)據(jù)中臺是兩件事？數(shù)據(jù)中臺建設(shè)也包括數(shù)據(jù)治理開展。中臺=數(shù)字化？認(rèn)為建設(shè)數(shù)據(jù)中臺就具備了數(shù)字化轉(zhuǎn)型的能力，什么能力并不明確。名詞陷阱數(shù)據(jù)中臺？數(shù)據(jù)湖？數(shù)據(jù)中心？數(shù)據(jù)倉庫？數(shù)據(jù)中臺建設(shè)遇到的典型誤區(qū)數(shù)據(jù)中臺建設(shè)建議堅持“業(yè)務(wù)牽引，咨詢、平臺、實施三位一體推進(jìn)”原則以滿足相關(guān)業(yè)務(wù)應(yīng)用需求為目標(biāo)總體規(guī)劃按需搭建平臺基于平臺敏捷實施遵循“橫向規(guī)劃，縱向切入”建設(shè)模式規(guī)劃必須全盤考慮，打通企業(yè)的所有業(yè)務(wù)板塊數(shù)據(jù)中臺建設(shè)不可能一蹴而就，需要從業(yè)務(wù)應(yīng)用出發(fā)倒推數(shù)據(jù)需求圍繞單個業(yè)務(wù)場景的閉環(huán)快速搭建起數(shù)據(jù)中臺的各種能力按照全景規(guī)劃依次迭代，逐步實現(xiàn)全局?jǐn)?shù)據(jù)中臺謝謝聆聽Thanksa四川電信數(shù)據(jù)湖+數(shù)據(jù)中臺實施方案企業(yè)信息化部2021年2月數(shù)據(jù)驅(qū)動數(shù)據(jù)湖數(shù)據(jù)資產(chǎn)數(shù)據(jù)治理23451回顧理解2數(shù)據(jù)驅(qū)動構(gòu)建數(shù)據(jù)驅(qū)動能力構(gòu)建數(shù)據(jù)驅(qū)動場景構(gòu)建原子事件庫設(shè)計態(tài)能力策略庫調(diào)用生成事件ID及描述配置事件屬性和目錄樹位置原子事件規(guī)格發(fā)布原子事件測試原子事件上線事件調(diào)用說明業(yè)務(wù)場景庫調(diào)用事件發(fā)布事件源配置：基于成熟事件源系統(tǒng)、基于數(shù)據(jù)資產(chǎn)的事件配置、基于解釋器的事件配置解析、計算、判斷規(guī)則：通過計算規(guī)則配置，解析事件源數(shù)據(jù)及計算結(jié)果是否滿足編排事件封裝規(guī)則：包含事件出入?yún)ⅰ⒄{(diào)用形式、周期、失效時間、其他限制條件等調(diào)用規(guī)則事件模板調(diào)用1.事件注冊-生成事件2.事件編排-數(shù)據(jù)源及加工配置3.事件發(fā)布-提供交互目錄樹事件生效并掛目錄樹支持業(yè)務(wù)場景庫和策略庫調(diào)用原子事件目錄樹更新事件目錄樹原子事件庫設(shè)計態(tài)根據(jù)業(yè)務(wù)需求的輸入及分析，整合包含業(yè)務(wù)系統(tǒng)和數(shù)據(jù)中臺的多事件源數(shù)據(jù)，在原子事件庫中完成原子事件的注冊、編排和發(fā)布全流程能力，強(qiáng)化事件管理、編排、開放等多種能力，構(gòu)建數(shù)據(jù)驅(qū)動的統(tǒng)一事件支撐管理能力庫，提供標(biāo)準(zhǔn)化的數(shù)智能力，助力數(shù)據(jù)中臺能力提升和價值演進(jìn)根據(jù)業(yè)務(wù)需求注冊事件原子事件ID原子事件描述原子事件目錄樹歸屬原子事件創(chuàng)建時間原子事件類型根據(jù)原子事件業(yè)務(wù)規(guī)格進(jìn)行事件編排原子事件所需數(shù)據(jù)業(yè)務(wù)系統(tǒng)數(shù)據(jù)資產(chǎn)數(shù)據(jù)中臺數(shù)據(jù)模型數(shù)據(jù)調(diào)度……數(shù)據(jù)獲取配置數(shù)據(jù)加工編排配置事件解析器基于SQL解析配置基于業(yè)務(wù)描述配置原子事件編排事件源解析規(guī)則事件源配置原子事件狀態(tài)…事件計算規(guī)則事件判斷規(guī)則事件封裝規(guī)則業(yè)務(wù)需求輸入原子事件運行態(tài)事件編排邏輯觸發(fā)數(shù)據(jù)資產(chǎn)注冊源數(shù)據(jù)跨多系統(tǒng)數(shù)據(jù)源事件源系統(tǒng)事件源數(shù)據(jù)事件編排信息業(yè)務(wù)系統(tǒng)已有事件事件要素齊備系統(tǒng)事件觸發(fā)事件解析2 事件模型事件調(diào)度4

事件分析事件判斷而隨著135……數(shù)據(jù)目錄運算數(shù)據(jù)模型生成調(diào)度規(guī)則注冊數(shù)據(jù)資產(chǎn)標(biāo)簽庫事件編排運行查事件進(jìn)程查事件信息查事件接口事件所需數(shù)據(jù)匯聚事件ID事件類型事件對象事件參數(shù)1…基于原子事件的偵測事件所需數(shù)據(jù)用戶行為2 業(yè)務(wù)信息擴(kuò)展信息4

事件增強(qiáng)..135……APIkafka消息隊列…一站式事件數(shù)據(jù)匯聚：持續(xù)整合事件所需的數(shù)據(jù)；實時事件偵測：依托事件數(shù)據(jù)實時匯聚能力，高實效監(jiān)測事件觸發(fā)和執(zhí)行；編排事件執(zhí)行：依托數(shù)據(jù)中心現(xiàn)有能力，高效實現(xiàn)事件編排內(nèi)容，擴(kuò)大數(shù)據(jù)驅(qū)動范圍和時效性；事件模板實例化事件推送/調(diào)用根據(jù)時間編排邏輯監(jiān)測事件并整合數(shù)據(jù)源大數(shù)據(jù)平臺支撐事件實例化：講設(shè)計態(tài)中的事件模板進(jìn)行實例化，封裝實例數(shù)據(jù)事件推送/調(diào)用：通過事件目錄樹實現(xiàn)事件調(diào)用響應(yīng)和主動推送能力策略平臺調(diào)用推送停機(jī)客戶自主聯(lián)系智能客服實現(xiàn)業(yè)務(wù)實時高效的查詢和開通事件驅(qū)動-停復(fù)機(jī)場景支撐策略匹配事件偵測消息隊列事件推送根據(jù)時間編排邏輯監(jiān)測事件數(shù)據(jù)驅(qū)動1、用戶停機(jī)，撥打10000號緊急復(fù)機(jī)10000號等客服平臺用戶緊急開機(jī)清單（事件id、賬戶ID、信用額度、用戶信用等級、地市、用戶狀態(tài)）匹配事件事件解析事件分析事件判斷偵測事件數(shù)據(jù)中臺kafka事件模版實例化策略引擎動作執(zhí)行策略1：用戶信用度是否為0計費平臺啟停信用度接口復(fù)機(jī)接口是否策略2：查詢欠費計費平臺欠費查詢接口返回欠費詳情策略3:用戶信用額度>用戶欠費<用戶信用等級*50元計費平臺臨時授信接口復(fù)機(jī)接口策略4：復(fù)機(jī)是否成功CRM系統(tǒng)查詢用戶狀態(tài)接口返回是否復(fù)機(jī)成功策略平臺策略平臺事件中心將原子事件解析為業(yè)務(wù)事件，供協(xié)同中心進(jìn)行策略規(guī)則解析，生成工單任務(wù)信息，推動給觸點系統(tǒng)觸點系統(tǒng)觸點系統(tǒng)接收工單任務(wù)信息后，進(jìn)行相應(yīng)的任務(wù)執(zhí)行，并將執(zhí)行結(jié)果反饋給策略平臺，供策略平臺進(jìn)行二次策略協(xié)同派單和執(zhí)行信息共享1事件流程驅(qū)動2345電話、短信、微信渠道（IVR,NGCC,公眾號...）能力開放和注智客戶停復(fù)機(jī)場景事件捕捉客戶停復(fù)機(jī)相關(guān)數(shù)據(jù)整合分析智能偵測停機(jī)客戶復(fù)機(jī)訴求數(shù)據(jù)驅(qū)動服務(wù)能力數(shù)字化智能服務(wù)前臺場景判斷和策略匹配查詢業(yè)務(wù)系統(tǒng)執(zhí)行結(jié)果和封裝策略執(zhí)行并調(diào)用能力中心能力服務(wù)前臺實時查詢停復(fù)機(jī)策略接口數(shù)據(jù)驅(qū)動停復(fù)機(jī)場景支撐能力打造以數(shù)據(jù)中臺為底座事件源采集3數(shù)據(jù)湖構(gòu)建數(shù)據(jù)湖構(gòu)建數(shù)據(jù)湖入湖能力構(gòu)建數(shù)據(jù)湖的分析開發(fā)能力構(gòu)建數(shù)據(jù)服務(wù)體系構(gòu)建權(quán)限安全體系總述數(shù)據(jù)湖是一套針對混搭數(shù)據(jù)庫架構(gòu)，具備數(shù)據(jù)采集、數(shù)據(jù)計算、數(shù)據(jù)訪問、數(shù)據(jù)管理的技術(shù)架構(gòu)；通過企業(yè)級數(shù)據(jù)資產(chǎn)，數(shù)據(jù)湖和數(shù)據(jù)中臺，為不同級別的使用對象提供數(shù)據(jù)分析、開發(fā)的原子能力。數(shù)據(jù)匯聚數(shù)據(jù)湖：原生數(shù)據(jù)，采集、同步形成，或直接存儲在生產(chǎn)系統(tǒng)數(shù)據(jù)中臺：具備共享性的整合、加工數(shù)據(jù)數(shù)據(jù)探索數(shù)據(jù)資產(chǎn)統(tǒng)一納管；提供基于數(shù)據(jù)湖、數(shù)據(jù)中臺的數(shù)據(jù)探索數(shù)據(jù)生產(chǎn)提供多套計算引擎和場景開發(fā)，滿足實時大規(guī)模數(shù)據(jù)預(yù)測、大寬表數(shù)據(jù)加工、大數(shù)據(jù)信息掃描等生產(chǎn)需求。數(shù)據(jù)服務(wù)提供統(tǒng)一的元數(shù)據(jù)管理，通過直接讀取本地化的元數(shù)據(jù)信息，即可實現(xiàn)同源異構(gòu)、異源異構(gòu)和異源同構(gòu)的數(shù)據(jù)訪問。典型場景統(tǒng)一采集入湖營服實時數(shù)據(jù)入湖人臉圖片數(shù)據(jù)入湖綜合告警典型場景：跨域業(yè)務(wù)的探索分析網(wǎng)絡(luò)動態(tài)資源樹原子能力平臺典型場景：volte實時數(shù)據(jù)分析廳店實時數(shù)據(jù)分析多維實時指標(biāo)典型場景：一站式檢索IDE實時分析工具基于數(shù)據(jù)湖+數(shù)據(jù)中心的新一代數(shù)據(jù)中臺實施舉措序號關(guān)鍵能力建設(shè)內(nèi)容1構(gòu)建數(shù)據(jù)湖構(gòu)建適應(yīng)于不同類型數(shù)據(jù)的存儲能力，支持?jǐn)?shù)據(jù)入湖基于全域數(shù)據(jù)資產(chǎn)目錄，構(gòu)建生產(chǎn)系統(tǒng)數(shù)據(jù)快速采集的存儲配置策略、數(shù)據(jù)落地規(guī)則初步形成數(shù)據(jù)湖成果構(gòu)建數(shù)據(jù)湖的視圖，清晰數(shù)據(jù)湖構(gòu)成和數(shù)據(jù)分布（在數(shù)據(jù)資產(chǎn)管理中落地）2構(gòu)建數(shù)據(jù)入湖能力構(gòu)建生產(chǎn)區(qū)到原生區(qū)數(shù)據(jù)的按需同步能力支持按資產(chǎn)目錄驅(qū)動的數(shù)據(jù)入湖流程管理構(gòu)建多種異構(gòu)數(shù)據(jù)源的接入能力構(gòu)建多樣化的入湖開發(fā)模板，如：引導(dǎo)式、場景式等多種入湖能力3構(gòu)建全域數(shù)據(jù)的開發(fā)能力構(gòu)建統(tǒng)一的IDE分析開發(fā)工具，支持對多種異構(gòu)數(shù)據(jù)資源的支撐能力構(gòu)建支持即席分析探索能力，屏蔽底層物理存儲4構(gòu)建數(shù)據(jù)服務(wù)體系構(gòu)建統(tǒng)一的數(shù)據(jù)服務(wù)框架，按場景驅(qū)動服務(wù)開發(fā)構(gòu)建數(shù)據(jù)從注冊、開發(fā)、上線、授權(quán)的全生命周期管理構(gòu)建基于實時計算框架的數(shù)據(jù)服務(wù)，賦能實時業(yè)務(wù)場景5構(gòu)建權(quán)限安全體系構(gòu)建邏輯租戶、團(tuán)隊、用戶模型體系構(gòu)建數(shù)據(jù)資源的租戶權(quán)限管理體系構(gòu)建集群資源分配、任務(wù)動態(tài)策略管理能力結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)湖數(shù)據(jù)架構(gòu)入湖標(biāo)準(zhǔn)明確數(shù)據(jù)屬主數(shù)據(jù)標(biāo)準(zhǔn)細(xì)則入湖方式注冊元數(shù)據(jù)數(shù)據(jù)源規(guī)范認(rèn)證物理入湖虛擬入湖離線實時邏輯數(shù)據(jù)湖物理表虛擬表賬務(wù)域事件域參與人地域域管理域營銷域計費域賬務(wù)域管理域資源域客戶域網(wǎng)絡(luò)域PULL（拉）+PUSH（推）產(chǎn)品域資源域其他域財務(wù)域安全域其他域邏輯統(tǒng)一數(shù)據(jù)類型、業(yè)務(wù)分策略存儲統(tǒng)一元數(shù)據(jù)語義定義、拉通、管理類型多樣結(jié)構(gòu)化：IT業(yè)務(wù)交易、流程、管理非結(jié)構(gòu)化：網(wǎng)絡(luò)設(shè)備產(chǎn)生文本、流數(shù)據(jù)原始記錄湖內(nèi)數(shù)據(jù)不轉(zhuǎn)換、清洗，保留最原始特征，提供更多分析可能入湖標(biāo)準(zhǔn)明確數(shù)據(jù)屬主執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量評估元數(shù)據(jù)注冊從業(yè)務(wù)出發(fā)，以用促建、急用先行的建設(shè)策略，數(shù)據(jù)中心統(tǒng)一規(guī)劃，各領(lǐng)域配合執(zhí)行，明確入湖的數(shù)據(jù)責(zé)任方，遵循安全、負(fù)責(zé)、易用的原則構(gòu)建整個數(shù)據(jù)湖體系。數(shù)據(jù)源內(nèi)部數(shù)據(jù)外部數(shù)據(jù)BSSOSSMSS網(wǎng)絡(luò)專業(yè)···網(wǎng)絡(luò)社交···

數(shù)據(jù)湖目標(biāo)入湖標(biāo)準(zhǔn)要求數(shù)據(jù)湖存儲架構(gòu)-構(gòu)建低存儲成本的數(shù)據(jù)湖統(tǒng)一存儲統(tǒng)一計算MPP（AntDB）RDBMS（TelePG）流數(shù)據(jù)統(tǒng)一采集流處理交互式查詢微批處理批處理多維分析文本搜索數(shù)據(jù)湖流數(shù)據(jù)處理網(wǎng)絡(luò)爬蟲流式采集批量采集CDC采集HDFSKafkaHBaseKylinES結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)時序查詢歸檔Tidb/時序數(shù)據(jù)庫多維分析復(fù)雜分析，時序數(shù)據(jù)分析全文檢索以HDFS為核心構(gòu)建大數(shù)據(jù)湖，以廉價成本（糾刪碼）將數(shù)據(jù)進(jìn)行持久化，數(shù)據(jù)采集進(jìn)來后由HDFS存儲原始數(shù)據(jù)，其他數(shù)據(jù)存儲按需采用HDFS、Redis、MPP（AntDB）等技術(shù)。二階段一階段基于數(shù)據(jù)湖的整體能力架構(gòu)開發(fā)能力檢索同步采集賦權(quán)解析掃描計算消息安全管理能力賬號管理租戶管理鑒權(quán)服務(wù)調(diào)用服務(wù)開放引擎服務(wù)調(diào)用服務(wù)訂閱服務(wù)治理服務(wù)鑒權(quán)對外服務(wù)引擎數(shù)據(jù)監(jiān)控服務(wù)監(jiān)控質(zhì)量監(jiān)控文件類大數(shù)據(jù)基礎(chǔ)平臺paas平臺分析類圖片類人臉庫指標(biāo)庫爬蟲數(shù)據(jù)行業(yè)數(shù)據(jù)地市報表證件庫基礎(chǔ)能力sparkMRTezFlinkiceberghbaseAlluxioredis計算類存儲類數(shù)據(jù)服務(wù)引擎企業(yè)內(nèi)部應(yīng)用集團(tuán)dcoos外部應(yīng)用請求監(jiān)控服務(wù)開放引擎提供界面化服務(wù)訂閱、服務(wù)發(fā)布、服務(wù)治理開發(fā)能力提供基于組件化的采集、開發(fā)、查詢、交換、分析能力基礎(chǔ)能力提供實時、離線、批流一體的底層計算存儲組件的服務(wù)封裝能力安全管理中心實現(xiàn)不同資源存儲租戶間數(shù)據(jù)訪問的統(tǒng)一權(quán)限管理運營監(jiān)控提供不同環(huán)節(jié)處理的任務(wù)、過程、操作日志和狀態(tài)監(jiān)控數(shù)據(jù)共享基于數(shù)據(jù)湖的混搭數(shù)據(jù)庫架構(gòu)設(shè)計，通過服務(wù)提供的形式，用于解決數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)共享、數(shù)據(jù)預(yù)測等業(yè)務(wù)需求。

數(shù)據(jù)湖整體能力支撐運營監(jiān)控基于數(shù)據(jù)湖的開發(fā)管理組織規(guī)劃數(shù)據(jù)使用開發(fā)參與對象開發(fā)者開發(fā)者開發(fā)者開發(fā)者數(shù)據(jù)分析者數(shù)據(jù)分析角色數(shù)據(jù)運營角色數(shù)據(jù)開發(fā)角色數(shù)據(jù)分析角色：根據(jù)需求場景及個人業(yè)務(wù)理解，產(chǎn)生需求使用系統(tǒng)，提供數(shù)據(jù)目錄檢索、資產(chǎn)詳情查看、IDE數(shù)據(jù)分析探索生成分析結(jié)果數(shù)據(jù)開發(fā)角色：對接需求分析師，拿到需求和制定開發(fā)計劃對需要數(shù)據(jù)發(fā)起入湖流程入湖任務(wù)監(jiān)控，數(shù)據(jù)問題處理反饋數(shù)據(jù)分析者開發(fā)者數(shù)據(jù)分析者運營者運營者運營者運營者團(tuán)隊1團(tuán)隊2數(shù)據(jù)分析者平臺管理者平臺管理者數(shù)據(jù)運營角色：查看數(shù)據(jù)湖的整體資產(chǎn)情況查看數(shù)據(jù)入湖的任務(wù)執(zhí)行監(jiān)控查看數(shù)據(jù)湖抽樣數(shù)據(jù)的存儲情況查看各自團(tuán)隊數(shù)據(jù)安全權(quán)限分配和入湖處理平臺管理角色合理的角色分工清晰的流程處理平臺管理角色：負(fù)責(zé)分配用戶的系統(tǒng)資源負(fù)責(zé)創(chuàng)建平臺賬號負(fù)責(zé)分配平臺工具的使用權(quán)限負(fù)責(zé)保障平臺的穩(wěn)定運行數(shù)據(jù)入湖能力-即時數(shù)據(jù)自助探索分析

數(shù)據(jù)湖區(qū)（私有租戶）1、查找需要模型3、獲取樣例數(shù)據(jù)4、數(shù)據(jù)開發(fā)5、數(shù)據(jù)洞察&分析2、查看資產(chǎn)詳情對接安全管理平臺數(shù)據(jù)同步/異步傳輸機(jī)制數(shù)據(jù)抽樣標(biāo)準(zhǔn)元數(shù)據(jù)資產(chǎn)檢索元數(shù)據(jù)檢索（模型名、字段名、口徑描述）

開發(fā)IDE模型目錄一鍵集成開發(fā)IDE基于數(shù)據(jù)內(nèi)容的檢索（抽樣數(shù)據(jù)、ES存儲）高效分析查詢基于數(shù)據(jù)開發(fā)結(jié)果對接可視化組件快速完成分析提供保存分析結(jié)果歷史，方便持續(xù)性的趨勢洞察關(guān)鍵能力資產(chǎn)目錄基于數(shù)據(jù)湖中全域的數(shù)據(jù)資產(chǎn)目錄，提供便捷數(shù)據(jù)分析入口，引導(dǎo)式發(fā)起即時數(shù)據(jù)分析的全場景，完成自助數(shù)據(jù)探索分析。資產(chǎn)詳情資產(chǎn)詳情可視IDE業(yè)務(wù)元數(shù)據(jù)（業(yè)務(wù)口徑、頻率、全量、來源系統(tǒng)、存儲周期等）技術(shù)元數(shù)據(jù)（數(shù)據(jù)源、字段、類型、長度、分區(qū)等）管理元數(shù)據(jù)（五性）文件/表同步方式支持多樣數(shù)據(jù)庫類型數(shù)據(jù)分析人員運營要求要求安全平臺滿足實時抽取同步響應(yīng)及時要求各域數(shù)據(jù)運營人員抽樣數(shù)據(jù)安全性需要權(quán)限管控

要求平臺使用人員嚴(yán)格執(zhí)行入湖流程標(biāo)準(zhǔn)

抽樣數(shù)據(jù)直采效率更高，可探索嘗試

入湖模版推薦數(shù)據(jù)入湖能力-支撐按需快速入湖的自助流程現(xiàn)狀：目前存在兩套采集平臺，兩次采集的問題，數(shù)據(jù)延遲，數(shù)據(jù)同步差異不可控，問題定位復(fù)雜，采集數(shù)據(jù)門檻高。目標(biāo)：實現(xiàn)多種異構(gòu)數(shù)據(jù)源的直接采集，提供簡單高效的入湖能力，提升原生區(qū)數(shù)據(jù)的可靠性，將這些異構(gòu)數(shù)據(jù)同步到數(shù)據(jù)湖中統(tǒng)一存儲，提供多樣化的入湖開發(fā)模板，如：引導(dǎo)式、場景式等舉措：資產(chǎn)目錄驅(qū)動：通過資產(chǎn)目錄檢索，定位到需要采集的生產(chǎn)區(qū)元數(shù)據(jù)，選擇資產(chǎn)自動注冊服務(wù)能力，一鍵注冊到原生區(qū)，然后選擇需要的采集原子能力，完成配置后，數(shù)據(jù)一鍵入湖入湖模板：支撐流程驅(qū)動的引導(dǎo)式開發(fā)和場景化的業(yè)務(wù)模板異構(gòu)數(shù)據(jù)源支撐：RDBMS、MPP、文件、消息等。自定義入湖策略：模型的數(shù)據(jù)來源、頻度、增全量、定責(zé)以邏輯集中，物理分散為原則，以實現(xiàn)數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理為目的，打造標(biāo)準(zhǔn)化的入湖能力，實現(xiàn)企業(yè)級數(shù)據(jù)湖。屏蔽數(shù)據(jù)源異構(gòu)技術(shù)差異，實現(xiàn)透明、可編排的采集開發(fā)能力，快速實現(xiàn)業(yè)務(wù)按需入湖。典型應(yīng)用場景：快速按需完成產(chǎn)品設(shè)計場景數(shù)據(jù)入湖企業(yè)數(shù)據(jù)目錄P1：通過數(shù)據(jù)目錄定位需要的模型數(shù)據(jù)數(shù)據(jù)資產(chǎn)詳情P2：查看模型數(shù)據(jù)的詳情，包括：業(yè)務(wù)口徑、管理口徑、血緣依賴信息等，確認(rèn)數(shù)據(jù)使用場景P4：調(diào)整實際的入湖策略，如數(shù)據(jù)來源、頻度、全量或增量等，完成最終任務(wù)的發(fā)布上線策略調(diào)整并上線入湖數(shù)據(jù)確認(rèn)P5：通過IDE探索平臺確認(rèn)數(shù)據(jù)查看業(yè)務(wù)含義按需調(diào)整策略分析入湖數(shù)據(jù)P3：基于模型的元數(shù)據(jù)信息，自動推薦適合該場景的數(shù)據(jù)入湖模版并加載構(gòu)建入湖場景低代碼快速開發(fā)入湖組件指標(biāo)注冊指標(biāo)服務(wù)開放FTP組件指標(biāo)標(biāo)準(zhǔn)腳本組件消息組件自定義組件大數(shù)據(jù)組件MPP組件統(tǒng)一IDE編排組件關(guān)系型組件數(shù)據(jù)開發(fā)角色運營要求要求安全平臺滿足即時采集策略的流程配置及實效性要求具備直采條件的建議直接拉數(shù)據(jù)，源系統(tǒng)分配安全賬號數(shù)據(jù)湖開發(fā)分析能力-可視化IDE工作臺搭建統(tǒng)一IDE開發(fā)平臺，管理底層混搭的數(shù)據(jù)存儲架構(gòu)，屏蔽底層差異性，通過SQL編寫、參數(shù)配置、流程調(diào)度，實現(xiàn)跨平臺、跨數(shù)據(jù)源的在線數(shù)據(jù)分析工具，通過可視化界面操作、資產(chǎn)全文檢索能力和內(nèi)置工具，實現(xiàn)快速找數(shù)據(jù)、即時分析數(shù)據(jù)。數(shù)據(jù)注冊管理提供統(tǒng)一的多種異構(gòu)數(shù)據(jù)源的元數(shù)據(jù)采集能力，支持主流的RDBMS、HIVE、ES數(shù)據(jù)源的管理；根據(jù)采集上來的數(shù)據(jù)源類型進(jìn)行數(shù)據(jù)訪問封裝，形成統(tǒng)一IDE查詢能力；支持對指定數(shù)據(jù)源數(shù)據(jù)的分析探索能力。數(shù)據(jù)開發(fā)處理消息管理：提供離線和實時可視化開發(fā)平臺封裝開發(fā)函數(shù)組件，屏蔽底層細(xì)節(jié)，降低開發(fā)門檻，提高開發(fā)效率；豐富的組件可以支持多種數(shù)據(jù)開發(fā)分析的場景，通過編排可快速實現(xiàn)業(yè)務(wù)場景數(shù)據(jù)訪問日志記錄開發(fā)者詳細(xì)查詢、開發(fā)操作軌跡日志；開發(fā)者可以查詢歷史訪問信息。智能SQL

IDE標(biāo)準(zhǔn)SQL語法Hdfs組件Hive組件Sql通用組件文件組件腳本組件命令組件控制組件函數(shù)組件質(zhì)量組件數(shù)據(jù)訪問適配器豐富開發(fā)組件庫hdfshivemysqlhbase數(shù)據(jù)開發(fā)&數(shù)據(jù)分析角色①數(shù)據(jù)需求想法②檢索湖數(shù)據(jù)和探索分析③分析結(jié)果呈現(xiàn)或應(yīng)用數(shù)據(jù)湖的數(shù)據(jù)開發(fā)能力-雙集群研發(fā)工作區(qū)建設(shè)在數(shù)據(jù)湖+數(shù)據(jù)中臺核心能力基礎(chǔ)上，基于數(shù)據(jù)統(tǒng)一存儲統(tǒng)一管理的原則，構(gòu)建多處理平臺工作區(qū)環(huán)境，支持?jǐn)?shù)據(jù)研發(fā)測試、探索開發(fā)場景。1、提供數(shù)據(jù)中臺研發(fā)環(huán)境開發(fā)學(xué)習(xí)能力作為數(shù)據(jù)中臺的工作區(qū)開發(fā)環(huán)境，具備敏捷開發(fā)功能，快速實現(xiàn)模型開發(fā)、數(shù)據(jù)開發(fā)、作業(yè)調(diào)度和一鍵發(fā)布能力，并增加JOB及HQL語意審核，上線發(fā)布前試運行效率評估。

作為關(guān)鍵基礎(chǔ)業(yè)務(wù)數(shù)據(jù)備份，支撐極端場景下生產(chǎn)環(huán)境業(yè)務(wù)數(shù)據(jù)的恢復(fù)。作為大數(shù)據(jù)學(xué)習(xí)平臺，提供操作系統(tǒng)、大數(shù)據(jù)組件、數(shù)據(jù)實例的學(xué)習(xí)環(huán)境。2、提供跨區(qū)訪問、跨區(qū)讀取探索開發(fā)能力可提供跨區(qū)訪問數(shù)據(jù)中臺產(chǎn)品區(qū)、數(shù)據(jù)湖原生區(qū)的開發(fā)能力；可提供跨區(qū)實時讀取數(shù)據(jù)中臺產(chǎn)品區(qū)、數(shù)據(jù)湖原生區(qū)數(shù)據(jù)能力提供敏捷開發(fā)能力，通過一鍵發(fā)布實現(xiàn)工作區(qū)研發(fā)成果發(fā)布到產(chǎn)品區(qū)。3、提供半結(jié)構(gòu)化數(shù)據(jù)探索開發(fā)能力，實現(xiàn)抽樣分析工作區(qū)原生區(qū)歷史庫采集類數(shù)據(jù)同步庫/復(fù)制庫虛擬數(shù)據(jù)對象類數(shù)據(jù)語音庫/人臉庫流式數(shù)據(jù)產(chǎn)品區(qū)關(guān)聯(lián)數(shù)據(jù)標(biāo)簽指標(biāo)整合數(shù)據(jù)經(jīng)營類關(guān)聯(lián)數(shù)據(jù)預(yù)測分析整合數(shù)據(jù)注智類生產(chǎn)區(qū)資產(chǎn)信息資產(chǎn)檢索跨區(qū)訪問跨區(qū)讀取發(fā)起入湖需求探索開發(fā)敏捷開發(fā)數(shù)據(jù)采樣、測試資產(chǎn)注冊任務(wù)調(diào)度一鍵發(fā)布探索學(xué)習(xí)系統(tǒng)類學(xué)習(xí)數(shù)據(jù)類探索組件類學(xué)習(xí)智能類探索數(shù)據(jù)湖的數(shù)據(jù)服務(wù)能力-高效安全的服務(wù)開放共享文件服務(wù)API服務(wù)消息服務(wù)

在數(shù)據(jù)湖+數(shù)據(jù)中臺核心能力基礎(chǔ)上，基于全域數(shù)據(jù)湖資產(chǎn)目錄，提供快速對湖內(nèi)數(shù)據(jù)進(jìn)行數(shù)據(jù)開放能力，統(tǒng)一服務(wù)創(chuàng)建和發(fā)布流程，數(shù)據(jù)開放安全可控。數(shù)據(jù)服務(wù)引擎統(tǒng)一配置統(tǒng)一管理統(tǒng)一監(jiān)管統(tǒng)一運營集團(tuán)上傳驅(qū)動集團(tuán)實時業(yè)務(wù)驅(qū)動生產(chǎn)運營業(yè)務(wù)驅(qū)動資產(chǎn)目錄資源注冊資源發(fā)現(xiàn)原生區(qū)產(chǎn)品區(qū)場景驅(qū)動數(shù)據(jù)服務(wù)管理提供統(tǒng)一的API創(chuàng)建、測試、發(fā)布、下線生命周期管理；支持Mysql、Hbase、Oracle、Redis、Http、文件多種數(shù)據(jù)源的數(shù)據(jù)開放能力；提供統(tǒng)一服務(wù)不同的安全訪問策略，如：字段個數(shù)、不同字段脫敏；提供API的調(diào)用管控，如：流量控制、調(diào)用次數(shù)等熔斷控制；提供應(yīng)用訪問的APPKEY申請管理能力，保障服務(wù)安全接入數(shù)據(jù)服務(wù)運營提供整體API的整體概覽：上線總數(shù)、調(diào)用次數(shù)、成功次數(shù)、服務(wù)調(diào)用排行等；提供對API冷熱度分析評估，指導(dǎo)不常用服務(wù)下線處理，對調(diào)用次數(shù)較高服務(wù)進(jìn)行重點服務(wù)保障提供全面的服務(wù)調(diào)用日志審計，對每類應(yīng)用、每個接口的調(diào)用分組統(tǒng)計和分析調(diào)用趨勢，指導(dǎo)資源優(yōu)化數(shù)據(jù)服務(wù)開放目標(biāo)：統(tǒng)一服務(wù)開放平臺數(shù)據(jù)湖的數(shù)據(jù)服務(wù)能力：資產(chǎn)一站式檢索Parquet樣例數(shù)據(jù)非/半結(jié)構(gòu)化文本HDFS文件消息圖片/音視頻混搭數(shù)據(jù)存儲圖文本/音頻文本資產(chǎn)目錄數(shù)據(jù)服務(wù)引擎資源管理結(jié)構(gòu)化文本產(chǎn)品區(qū)生產(chǎn)區(qū)元數(shù)據(jù)原生區(qū)檢索查詢結(jié)果顯示結(jié)果返回搭建全文數(shù)據(jù)檢索引擎，將完整的信息，包括資產(chǎn)、位置、數(shù)據(jù)、索引全部轉(zhuǎn)化為計算機(jī)可以識別、處理的信息單元，存儲到提速引擎中，形成資產(chǎn)路由，以實現(xiàn)一站式的全文檢索。檢索引擎多維檢索數(shù)據(jù)元數(shù)據(jù)（表、字段、業(yè)務(wù)口徑）血緣緯度查詢基于業(yè)務(wù)過程緯度查詢（梳理業(yè)務(wù)過程，定義業(yè)務(wù)過程中保護(hù)的實體模型進(jìn)行建模）；高級檢索存儲引擎：基于抽樣數(shù)據(jù)（結(jié)構(gòu)、非結(jié)構(gòu)）進(jìn)行模型與數(shù)據(jù)的索引構(gòu)建，內(nèi)存存儲；快速檢索：屏蔽底層底層數(shù)據(jù)差異性，構(gòu)建統(tǒng)一搜索引擎，完成數(shù)據(jù)的檢索呈現(xiàn)；

資產(chǎn)快速檢索數(shù)據(jù)快速檢索索引緩存數(shù)據(jù)湖資源安全體系-靈活的團(tuán)隊管理模型目標(biāo)：支持多團(tuán)隊、多廠商使用，構(gòu)建團(tuán)隊、租戶、賬號的權(quán)限資源管控體系支持不同團(tuán)隊下計算存儲資源的配額管控，解決集群內(nèi)資源的高效使用舉措：團(tuán)隊賬號管理：梳理現(xiàn)有系統(tǒng)賬號、組織機(jī)構(gòu)、角色、權(quán)限管理，引入新的團(tuán)隊賬號體系管理，構(gòu)建多租戶模式的工作空間管理體系租戶資源管理：建立邏輯租戶的資源管理體系，管理團(tuán)隊租戶下集群賬戶、用戶、角色、權(quán)限，明確各角色職責(zé)和開通流程統(tǒng)一租戶模型集群資源用戶用戶用戶用戶資源實例資源實例資源實例資源實例YARN計算資源隊列隊列隊列團(tuán)隊租戶團(tuán)隊租戶以開發(fā)團(tuán)隊申請入住為例，需要申請租戶并綁定集群資源獲取數(shù)據(jù)和開發(fā)。創(chuàng)建團(tuán)隊并綁定用戶，以團(tuán)隊為單位配置該團(tuán)隊集群資源配額（vcore、mem、存儲）。創(chuàng)建租戶，租戶綁定數(shù)據(jù)資源實例，可以針對應(yīng)用場景綁定需要的存儲計算資源。給團(tuán)隊用戶分配對應(yīng)租戶資源，一個用戶可以擁有多個租戶資源的權(quán)限申請。開發(fā)用戶對模型的訪問權(quán)限通過統(tǒng)一數(shù)據(jù)訪問權(quán)限控制。實現(xiàn)集群統(tǒng)一的資源管理，以租戶為對象實現(xiàn)集群資源的按需分配，并且需要根據(jù)運營體系實現(xiàn)資源的授權(quán)管理。支持租戶的角色定義及用戶授權(quán)，滿足對租戶管理的訴求。實現(xiàn)集群資源的配額管控，更合理的使用集群資源。100vcore1024M2T團(tuán)隊1150vcore1024M1T團(tuán)隊2數(shù)據(jù)湖資源安全體系-跨平臺用戶權(quán)限統(tǒng)一管理租戶開通賬號開通資源分配數(shù)據(jù)授權(quán)資源信息管理大數(shù)據(jù)基礎(chǔ)平臺paas平臺分析類圖片類人臉庫指標(biāo)庫爬蟲數(shù)據(jù)行業(yè)數(shù)據(jù)地市報表證件庫文件類用戶權(quán)限統(tǒng)一管理服務(wù)引擎（servicebroker）資源注冊租戶創(chuàng)建賬號綁定租戶資源分配數(shù)據(jù)授權(quán)租戶同步賬號開通資源分配數(shù)據(jù)授權(quán)12345圖例資源租戶統(tǒng)一管理提供統(tǒng)一的資源管理模塊，將原生區(qū)和產(chǎn)品區(qū)資源管理和租戶管理納入統(tǒng)一的管理。將集群資源注冊，租戶開通，資源分配，服務(wù)分配，數(shù)據(jù)授權(quán)等能力進(jìn)行統(tǒng)一的可視化管理。并采用服務(wù)調(diào)用的形式管理paas平臺和大數(shù)據(jù)基礎(chǔ)平臺的底層混搭的數(shù)據(jù)庫架構(gòu)。

租戶同步改變傳統(tǒng)的通過后臺分配租戶、數(shù)據(jù)訪問權(quán)限等操作，采用可視化操作。通過實時和離線兩種方式保證產(chǎn)品和集群租戶一致，實時，通過服務(wù)注冊的方式，通知平臺完成租戶創(chuàng)建；離線，平臺定期同步租戶到本地產(chǎn)品租戶庫，產(chǎn)品自動完成增補(bǔ)全租戶注冊。

服務(wù)引擎設(shè)計權(quán)限服務(wù)引擎，管理底層混搭數(shù)據(jù)的權(quán)限開通、停用，提供統(tǒng)一權(quán)限申請流程，替換現(xiàn)在線上申請，線下賦權(quán)的流程。同時記錄操作日志，對違規(guī)操作進(jìn)行審計，提高了系統(tǒng)運維的安全性。資源信息注冊數(shù)據(jù)架構(gòu)優(yōu)化基于數(shù)據(jù)湖的場景支撐---升級對象存儲引擎，持續(xù)強(qiáng)化賦能一線的數(shù)據(jù)能力數(shù)據(jù)中臺提供多種對象存儲能力，支撐結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的入湖，便捷的數(shù)據(jù)存儲服務(wù)及在線分析查詢能力，快速賦能生產(chǎn)運營，釋放中臺能力價值，提升客戶辦理感知。①營業(yè)廳改套餐②人臉掃描認(rèn)證③實時存儲計算分析④認(rèn)證結(jié)果服務(wù)能力數(shù)據(jù)中臺緩存索引圖像處理服務(wù)文檔處理服務(wù)音頻處理服務(wù)日志處理服務(wù)大數(shù)據(jù)集群對象存儲（Ceph）HDFS/HBASE結(jié)構(gòu)化處理服務(wù)其他處理服務(wù)半結(jié)構(gòu)化結(jié)構(gòu)化大文件圖像文檔音/視頻統(tǒng)一數(shù)據(jù)服務(wù)圖像數(shù)據(jù)服務(wù)賦能業(yè)務(wù)受理，助力人臉識別業(yè)務(wù)場景。留存全省用戶圖像及人臉歷史庫提供低延遲的圖像數(shù)據(jù)服務(wù)賦能更多的智能業(yè)務(wù)受理場景基于數(shù)據(jù)湖的場景支撐---加強(qiáng)實時計算分析能力，提升VoLTE客戶服務(wù)感知實時流處理引擎HadoopHDFS大數(shù)據(jù)海量存儲網(wǎng)絡(luò)信息設(shè)備信息位置信息感知分析/告警隨著數(shù)據(jù)中臺各種計算引擎能力的構(gòu)建和升級，基于批量實時流計算引擎能力賦能業(yè)務(wù)處理的場景越來越重要，通過快速采集實時事件結(jié)合歷史數(shù)據(jù)分析，提前分析問題原因及預(yù)知風(fēng)險，協(xié)助客服解決通話質(zhì)量投訴問題，避免客戶流失，提升用戶通話和服務(wù)感知。感知內(nèi)容:故障率高的網(wǎng)絡(luò)設(shè)備型號分布通話質(zhì)量差的位置區(qū)域分布投訴用戶的地區(qū)熱點分布投訴反饋的時間段、時長分布投訴用戶的通話設(shè)備型號排行···FlinkSQLKafkaconnector用戶信息4數(shù)據(jù)資產(chǎn)存量資產(chǎn)管理生產(chǎn)區(qū)資產(chǎn)管理原生區(qū)資產(chǎn)管理資產(chǎn)目錄管理資產(chǎn)管理現(xiàn)狀和目標(biāo)2020年建立DAMS至今，已經(jīng)基本構(gòu)建完成核心功能，包括資產(chǎn)自動掃描采集入庫通道、信息補(bǔ)全、數(shù)據(jù)稽核、信息檢索、資產(chǎn)視圖等，后續(xù)將持續(xù)優(yōu)化打造適用于數(shù)據(jù)湖+數(shù)據(jù)中臺的數(shù)據(jù)資產(chǎn)管理體系。數(shù)據(jù)入湖標(biāo)準(zhǔn)化打造企業(yè)資產(chǎn)目錄提升數(shù)據(jù)采集準(zhǔn)確性采集入湖自動化制定資產(chǎn)和數(shù)據(jù)入湖標(biāo)準(zhǔn)，并納入上云管控流程，從源頭保證資產(chǎn)標(biāo)準(zhǔn)化；并統(tǒng)一數(shù)據(jù)湖和數(shù)據(jù)中臺的資產(chǎn)注冊規(guī)范。參考集團(tuán)《中國電信數(shù)據(jù)資產(chǎn)目錄管理辦法》，融合數(shù)據(jù)湖+中臺各區(qū)資產(chǎn)，重構(gòu)建設(shè)省級資產(chǎn)統(tǒng)一目錄。統(tǒng)一數(shù)據(jù)湖+數(shù)據(jù)中臺系統(tǒng)標(biāo)志，根據(jù)標(biāo)準(zhǔn)規(guī)范，實現(xiàn)協(xié)議自動注冊、自動采集入湖，和資產(chǎn)的前后臺到開發(fā)貫穿管控，保證數(shù)據(jù)采集的唯一性、采集路徑的合理性。自動掃描實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的注冊，通過接口協(xié)議自動實現(xiàn)采集入湖；對非結(jié)構(gòu)化和對象型數(shù)據(jù)打造統(tǒng)一入湖能力?，F(xiàn)狀目標(biāo)目前安全平臺自動掃描工具接入系統(tǒng)43個，數(shù)據(jù)庫95個，還需推進(jìn)全面掃描工作；自動掃描結(jié)果數(shù)據(jù)合規(guī)率較低，需要補(bǔ)齊和修正；缺少非結(jié)構(gòu)化和對象型資產(chǎn)統(tǒng)一注冊能力；缺少非結(jié)構(gòu)化和對象型采集入湖能力；數(shù)據(jù)源采集路徑多，交互效率低；

缺少統(tǒng)一融合的數(shù)據(jù)資產(chǎn)目錄。實施舉措序號關(guān)鍵能力建設(shè)內(nèi)容1構(gòu)建全域數(shù)據(jù)資產(chǎn)視圖基于資產(chǎn)盤點成果（含數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資產(chǎn)標(biāo)注信息），結(jié)合中臺數(shù)據(jù)資產(chǎn)，融合形成全域數(shù)據(jù)資產(chǎn)視圖增量數(shù)據(jù)資產(chǎn)自動掃描（細(xì)分職責(zé)、明確困難或問題）2系統(tǒng)上云優(yōu)化資產(chǎn)入湖開發(fā)者門戶、安全管理平臺、CMDB、DAMS各自建設(shè)入湖標(biāo)準(zhǔn)管控能力、分段負(fù)責(zé)管理層面：形成稽核-派單-反饋-考核的管理機(jī)制制定入湖標(biāo)準(zhǔn)文檔，包括：上云規(guī)范、數(shù)據(jù)資產(chǎn)稽核細(xì)則規(guī)范、考核機(jī)制；3數(shù)據(jù)湖資產(chǎn)管理數(shù)據(jù)湖目錄管理資產(chǎn)自動注冊能力4全域數(shù)據(jù)資產(chǎn)服務(wù)能力構(gòu)建多維度的資產(chǎn)目錄視圖，支持不同業(yè)務(wù)視角的數(shù)據(jù)使用需求優(yōu)化數(shù)據(jù)資產(chǎn)檢索能力：基于場景、NLP、熱點、個人關(guān)注等構(gòu)建資產(chǎn)標(biāo)注能力，實現(xiàn)資產(chǎn)的多業(yè)務(wù)標(biāo)簽體系構(gòu)建資產(chǎn)平臺和OA集成能力，提升使用便捷性數(shù)據(jù)資產(chǎn)的管理成果01隨著盤點工作的開展，持續(xù)對存量資產(chǎn)的梳理，系統(tǒng)總數(shù)508個，目前通過稽核并成功收錄的系統(tǒng)達(dá)304個完成全面盤數(shù)據(jù)資產(chǎn)梳理02搭建CMDB、安全平臺和DAMS的數(shù)據(jù)資產(chǎn)自動化識別流程，目前接入系統(tǒng)43個，數(shù)據(jù)庫95個，表110643個，字段1460883個具備資產(chǎn)自動化注冊能力03定位數(shù)據(jù)采集源，避免重復(fù)采集分析數(shù)據(jù)分布圖，開展安全審計開展數(shù)據(jù)評價，促進(jìn)數(shù)據(jù)價值提升初具數(shù)據(jù)資產(chǎn)應(yīng)用能力04提供接口全視圖、優(yōu)化數(shù)據(jù)稽核能力，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控，目前數(shù)據(jù)中臺重點支撐業(yè)務(wù)27個，涉及70個來源系統(tǒng)的563個模型，共配置稽核任務(wù)3061個深度部署重點數(shù)據(jù)治理埋點05提供資產(chǎn)全景視圖，建立接口采集標(biāo)準(zhǔn)，優(yōu)化采集開發(fā)流程，實現(xiàn)數(shù)據(jù)按需采集的標(biāo)準(zhǔn)化需求管理，2020年采集類需求116條，接口協(xié)議1068條數(shù)據(jù)采集需求標(biāo)準(zhǔn)化管理持續(xù)優(yōu)化資產(chǎn)管理能力、構(gòu)建全域數(shù)據(jù)資產(chǎn)采集管理展示管理視角開發(fā)視角業(yè)務(wù)目錄一級視圖二級視圖應(yīng)用目錄一級視圖資產(chǎn)自動注冊界面錄入自動補(bǔ)齊資產(chǎn)變動通知變更流程變更申請發(fā)起工單稽核工具規(guī)則管理規(guī)則檢查問題管理源系統(tǒng)1源系統(tǒng)2源系統(tǒng)N程序主動掃描標(biāo)準(zhǔn)模板采集指定數(shù)據(jù)表讀取二級視圖存量204個系統(tǒng)未注冊到DAMS存量472個系統(tǒng)未在安全平臺掃描存量4500個DAMS資產(chǎn)與數(shù)據(jù)中臺數(shù)據(jù)未建立聯(lián)系DAMS對注冊后的資產(chǎn)進(jìn)行定期抽審，并將審核結(jié)果納入考核實現(xiàn)存量資產(chǎn)全面納管CMDB、安全平臺、DAMS協(xié)同統(tǒng)一系統(tǒng)信息、維度編碼；DAMS協(xié)助開發(fā)者門戶梳理系統(tǒng)IP，完善系統(tǒng)信息管理DAMS督促NOC、天虎云商、無線等部門完善系統(tǒng)納管DAMS完善資產(chǎn)注冊標(biāo)準(zhǔn)，并持續(xù)更新完善資產(chǎn)發(fā)現(xiàn)注冊能力建立數(shù)據(jù)評價規(guī)則及評價結(jié)果應(yīng)用機(jī)制建立數(shù)據(jù)標(biāo)注體系便于資產(chǎn)的分類管理建立樣本數(shù)據(jù)庫服務(wù)于及時的在線分析融合數(shù)據(jù)中臺與DAMS資產(chǎn)目錄，構(gòu)建全域數(shù)據(jù)資產(chǎn)目錄打造數(shù)據(jù)資產(chǎn)服務(wù)能力樣本數(shù)據(jù)采集運營視角數(shù)據(jù)評價視圖資產(chǎn)打標(biāo)視圖具備優(yōu)化新建運營要求通過數(shù)據(jù)安全管理平臺的數(shù)據(jù)抽樣能力獲取抽樣數(shù)據(jù)由于數(shù)據(jù)庫版本適配、網(wǎng)絡(luò)不通等原因?qū)е碌脑聪到y(tǒng)無法被自動化掃描的問題，是由源系統(tǒng)負(fù)責(zé)解決技術(shù)問題或進(jìn)行改造，還是沿用樣例數(shù)據(jù)導(dǎo)入借助上云契機(jī)，嚴(yán)格管控增量數(shù)據(jù)資產(chǎn)入湖標(biāo)準(zhǔn)落地與安全專業(yè)、IT運維專業(yè)聯(lián)合工作，形成CMDB+安全管理平臺+DAMS的數(shù)據(jù)資產(chǎn)管理體系，并嵌入到系統(tǒng)上云審核環(huán)節(jié)，實現(xiàn)數(shù)據(jù)資產(chǎn)盤點自動化，避免手工盤點前清后亂的風(fēng)險。IT安全集中運維掃描：負(fù)責(zé)對源系統(tǒng)的系統(tǒng)信息錄入，系統(tǒng)IP掃描。CMDB平臺：負(fù)責(zé)對源系統(tǒng)的系統(tǒng)主數(shù)據(jù)管理數(shù)據(jù)安全管理平臺：負(fù)責(zé)資產(chǎn)掃描、掃描任務(wù)管理，元數(shù)據(jù)管理。DAMS：對數(shù)據(jù)資產(chǎn)信息進(jìn)行二次稽核，數(shù)據(jù)再加工，繪制資產(chǎn)全景視圖等，并按照集團(tuán)規(guī)范要求將數(shù)據(jù)資產(chǎn)卡片自動上傳到集團(tuán)運營管理系統(tǒng)。數(shù)據(jù)安全管理平臺DAMSCMDB平臺系統(tǒng)注冊源系統(tǒng)數(shù)據(jù)掃描資產(chǎn)注冊系統(tǒng)上云流程（統(tǒng)一PaaS平臺）資產(chǎn)合規(guī)性審核報告管理舉措：制定paas上云流程制定平臺接口規(guī)范、稽核指標(biāo)規(guī)范完善資產(chǎn)審核和數(shù)據(jù)掃描能力附后：《四川電信數(shù)據(jù)資產(chǎn)入湖標(biāo)準(zhǔn)》試運行預(yù)備案申請資源正式備案設(shè)計評審開發(fā)管控初驗終驗系統(tǒng)上線驗收流程中審核《資產(chǎn)稽核報告》《企業(yè)IT系統(tǒng)上云管理規(guī)范》《盤點稽核指標(biāo)計算細(xì)則》簽字審核IT安全集中運維平臺系統(tǒng)IP掃描運營要求建立不同類型的數(shù)據(jù)資產(chǎn)管理模式的長效機(jī)制目標(biāo)：從源頭控制，形成全域數(shù)據(jù)資產(chǎn)自動接入、完整覆蓋，提升數(shù)據(jù)資產(chǎn)服務(wù)能力。資產(chǎn)目錄南-北向接口需求3網(wǎng)絡(luò)側(cè)資產(chǎn)注冊服務(wù)Kafak需求2TOPIC配置資產(chǎn)注冊服務(wù)匯聚庫/生產(chǎn)系統(tǒng)1安全管理平臺資產(chǎn)自動注冊服務(wù)接入流程注冊流程：①采集類需求：采集流程優(yōu)化，資產(chǎn)自動注冊匯聚庫類數(shù)據(jù)，通過安全管理平臺掃描資產(chǎn)自動注冊（原生區(qū)）需求管理人員接到增量數(shù)據(jù)采集需求，通過DAMS生產(chǎn)區(qū)資產(chǎn)目錄檢索，定位到系統(tǒng)表，調(diào)用資產(chǎn)自動注冊能力，完成資產(chǎn)注冊在DAMS未定位源系統(tǒng)表時，通知源系統(tǒng)在安全管理平臺完善資產(chǎn)信息，完善后方能發(fā)起采集需求，反向推動數(shù)據(jù)湖資產(chǎn)補(bǔ)全②③需求納入統(tǒng)一管理，提供南北向接口資產(chǎn)注冊服務(wù)，形成資產(chǎn)全面管理DAMS提供資產(chǎn)注冊服務(wù)給統(tǒng)一采集平臺，將統(tǒng)一采集平臺產(chǎn)生的文件類資產(chǎn)統(tǒng)一管理DAMS提供資產(chǎn)注冊服務(wù)給PaaS平臺，將流式數(shù)據(jù)kafka類資產(chǎn)統(tǒng)一管理網(wǎng)絡(luò)側(cè)數(shù)據(jù)無法通過安全管理平臺注冊，需要提供注冊服務(wù)構(gòu)建清晰易用的全域資產(chǎn)目錄，提升數(shù)據(jù)湖數(shù)據(jù)服務(wù)能力多維視圖提供多維視圖按業(yè)務(wù)，展現(xiàn)企業(yè)核心資產(chǎn)；按部門，展現(xiàn)數(shù)據(jù)管理歸屬；按需求，展現(xiàn)數(shù)據(jù)支撐業(yè)務(wù)；按場景，引導(dǎo)式場景數(shù)據(jù)推薦；資產(chǎn)關(guān)聯(lián)強(qiáng)化資產(chǎn)關(guān)聯(lián)建立不同區(qū)域資產(chǎn)血緣關(guān)系；建立不同類別資產(chǎn)血緣關(guān)系；建立不同區(qū)域資產(chǎn)的一致性結(jié)果；服務(wù)開放能力集成資產(chǎn)訂閱、收藏、評價資產(chǎn)檢索在線分析數(shù)據(jù)服務(wù)現(xiàn)狀設(shè)計數(shù)據(jù)中心資產(chǎn)目錄現(xiàn)狀：不完整：數(shù)據(jù)湖的數(shù)據(jù)資產(chǎn)未融合開放性不夠：主要為專業(yè)數(shù)據(jù)開發(fā)人員使用，技術(shù)門檻較高，數(shù)據(jù)共享的支持性需要加強(qiáng)清理不及時：資產(chǎn)清理不及時，老舊數(shù)據(jù)資產(chǎn)、冷數(shù)據(jù)無標(biāo)識標(biāo)準(zhǔn)不完善，管控不強(qiáng)硬：不合理的數(shù)據(jù)依賴關(guān)系依然存在資產(chǎn)標(biāo)注完善資產(chǎn)五者關(guān)系，有助于問題處理；明確部門管控關(guān)系，有助于責(zé)任劃分；數(shù)據(jù)打標(biāo)資產(chǎn)打標(biāo)資產(chǎn)運營構(gòu)建統(tǒng)一的服務(wù)目錄視圖，梳理并建立標(biāo)準(zhǔn)化的后臺原子服務(wù)目錄。5數(shù)據(jù)治理數(shù)據(jù)治理總述構(gòu)建貫穿數(shù)據(jù)生產(chǎn)服務(wù)鏈全生命周期數(shù)據(jù)治理體系，讓數(shù)據(jù)中臺更好用、更好監(jiān)控和更好管控，進(jìn)行持續(xù)的改進(jìn)。通過TOC、PDCA以及精益思想理論，圈定資產(chǎn)、質(zhì)量、使用和評價4個模塊作為重點治理對象，通過機(jī)制、規(guī)范、監(jiān)測和評估實現(xiàn)中臺的精益治理。數(shù)據(jù)資產(chǎn)針對資產(chǎn)是否全面完整、資產(chǎn)是否可用和資產(chǎn)是否多余進(jìn)行數(shù)據(jù)資產(chǎn)關(guān)聯(lián)對比、資產(chǎn)標(biāo)準(zhǔn)化和資產(chǎn)下線管理資產(chǎn)關(guān)聯(lián)管理通過CMDB、安全管理平臺以及DAMS三方對比確認(rèn)資產(chǎn)完整性資產(chǎn)標(biāo)準(zhǔn)化建立資產(chǎn)標(biāo)準(zhǔn)庫，識別資產(chǎn)是否標(biāo)準(zhǔn)，嚴(yán)控資產(chǎn)質(zhì)量資產(chǎn)清理發(fā)現(xiàn)低值、未用資產(chǎn)，通過血緣和下線清理策略評估，進(jìn)行系統(tǒng)下線和遷移后歷史資產(chǎn)的處理。數(shù)據(jù)質(zhì)量新建數(shù)據(jù)湖需要更明確的機(jī)制、流程以及管控工具來進(jìn)行監(jiān)控。數(shù)據(jù)運營針對客戶使用情況，真實直面的反饋數(shù)據(jù)、系統(tǒng)、能力的使用情況，創(chuàng)建交互通道，嵌入到數(shù)據(jù)運營的各個階段中進(jìn)行埋點管理咨詢、問題搜集通道埋點能力數(shù)據(jù)評價建立評價模型和指標(biāo)，合理利用集群資源,注智開發(fā)、運營、服務(wù)和管理管理強(qiáng)化生產(chǎn)區(qū)納湖，新建原生區(qū)，多集群存儲和多管理部門協(xié)作的五者邊界的劃分和流程確認(rèn)結(jié)合質(zhì)量考核辦法進(jìn)行管理能力優(yōu)化根據(jù)能力成熟度模型，逐步創(chuàng)建從人工入湖、半自動入湖、自動入湖能力，運維上創(chuàng)建執(zhí)行稽核動態(tài)上下線，實現(xiàn)湖內(nèi)資產(chǎn)數(shù)據(jù)一體化管控質(zhì)量稽核著重半結(jié)構(gòu)化和非機(jī)構(gòu)化數(shù)據(jù)治理，創(chuàng)建抽樣監(jiān)測、定制專項業(yè)務(wù)稽核以及生產(chǎn)系統(tǒng)提供稽核校驗文件形式保障數(shù)據(jù)可用性為數(shù)據(jù)使用人員提供問答式互動通道，填寫關(guān)于數(shù)據(jù)、平臺使用的意見反饋、知識經(jīng)驗共享、交流學(xué)習(xí)等；數(shù)據(jù)生產(chǎn)到使用的各個階段，創(chuàng)建埋點，收集客戶使用行為，客戶使用意見、評論等;結(jié)合上云嵌入插件能力，觀測數(shù)據(jù)、接口、模型、字段使用情況質(zhì)量評價感知評價資產(chǎn)評價成本評價價值評價主要針對運維過程中出問題情況進(jìn)行評價針對客戶使用感知進(jìn)行評價隨著DAMS的提出，資產(chǎn)合規(guī)性等很重要，進(jìn)行資產(chǎn)評價針對存儲、使用資源等評估針對重要程度，使用頻率等進(jìn)行價值評價統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)庫勞動競賽/積分模型開展勞動競賽，建立共管支持能力，深化數(shù)據(jù)資產(chǎn)運營智慧運維運維對象數(shù)字化，提升可用性，降低運維成本實施舉措序號關(guān)鍵能力建設(shè)內(nèi)容1數(shù)據(jù)資產(chǎn)治理1、完善標(biāo)準(zhǔn)庫：系統(tǒng)上云、資產(chǎn)入湖、數(shù)據(jù)使用2、資產(chǎn)關(guān)聯(lián)稽核管理：生產(chǎn)區(qū)、原生區(qū)、產(chǎn)品區(qū)資產(chǎn)一致性稽核能力、異常資產(chǎn)在數(shù)據(jù)資產(chǎn)視圖中的標(biāo)注和提示能力（細(xì)分職責(zé)）3、基于數(shù)據(jù)評價，支持?jǐn)?shù)據(jù)中臺數(shù)據(jù)自動預(yù)警、定期下線或回退到原生區(qū)2數(shù)據(jù)質(zhì)量治理1、質(zhì)量體系完善：將現(xiàn)有中臺的稽核方式，以質(zhì)量評估模型+知識庫形式進(jìn)行有效組織和設(shè)計，以系統(tǒng)化方式實現(xiàn)從人工到自動化的迭代演進(jìn)2、能力優(yōu)化：優(yōu)化稽核效率，制定調(diào)度任務(wù)評估模型動態(tài)調(diào)整執(zhí)行策略（任務(wù)完成度、指標(biāo)使用頻率、血緣依賴度）3、管理強(qiáng)化：新建原生區(qū)，多集群存儲和多管理部門協(xié)作的五者邊界的劃分和流程確認(rèn)，結(jié)合質(zhì)量考核辦法進(jìn)行管理3數(shù)據(jù)運營1、交互式問答平臺：為數(shù)據(jù)使用人員提供問答式互動通道，填寫關(guān)于數(shù)據(jù)、平臺使用的意見反饋、知識經(jīng)驗共享、交流學(xué)習(xí)等；2、嵌入式點評留言：用戶直接可以根據(jù)使用情況進(jìn)行評價和反饋。精確反饋功能模塊使用情況3、應(yīng)用埋點：將類插件方式埋點到指定應(yīng)用查看數(shù)據(jù)使用情況和價值4、資產(chǎn)標(biāo)注：對資產(chǎn)進(jìn)行業(yè)務(wù)標(biāo)注，提升檢索和管理能力5、勞動競賽：鼓勵全員參與，建立賽道，全員自主自愿參與業(yè)務(wù)數(shù)據(jù)打標(biāo)、數(shù)據(jù)治理賽道競賽6、積分模型：設(shè)置積分獎勵制度和獎勵辦法4數(shù)