數(shù)字化轉(zhuǎn)型中數(shù)據(jù)底座湖倉一體化

數(shù)字化轉(zhuǎn)型中數(shù)據(jù)底座湖倉一體化一數(shù)據(jù)是數(shù)字化轉(zhuǎn)型的基礎(chǔ)和引擎數(shù)據(jù)湖是支撐企業(yè)數(shù)字化轉(zhuǎn)型的數(shù)據(jù)底座，是提供數(shù)據(jù)驅(qū)動、精準(zhǔn)決策的全方位技術(shù)支撐。數(shù)據(jù)價值將經(jīng)歷數(shù)據(jù)統(tǒng)一化、數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)業(yè)務(wù)化、數(shù)據(jù)生態(tài)化四個階段。二數(shù)據(jù)底座的新架構(gòu)1.數(shù)據(jù)倉庫通常是業(yè)務(wù)發(fā)展到一定規(guī)模后，業(yè)務(wù)分析師、CIO、決策者們，希望從大量的應(yīng)用系統(tǒng)、業(yè)務(wù)數(shù)據(jù)中進(jìn)行關(guān)聯(lián)分析，最終得到“干貨”出來。比如為啥利潤會下滑？為啥庫存周轉(zhuǎn)變慢了？向數(shù)據(jù)要答案，生成報告、圖表出來給決策層匯報，輔助經(jīng)營決策。可是，數(shù)據(jù)庫“腦容量不足”，擅長事務(wù)性工作，不擅長分析型的工作，于是就產(chǎn)生了數(shù)據(jù)倉庫。數(shù)據(jù)倉庫相當(dāng)于一個集成化數(shù)據(jù)管理的平臺，從多個數(shù)據(jù)源抽取有價值的數(shù)據(jù)，在倉庫內(nèi)轉(zhuǎn)換和流動，并提供給BI等分析工具來輸出干貨。2.數(shù)據(jù)湖數(shù)據(jù)湖（DataLake）是一個存儲企業(yè)的各種各樣原始數(shù)據(jù)的大型倉庫，其中的數(shù)據(jù)可供存取、處理、分析及傳輸。數(shù)據(jù)湖的本質(zhì)是由“?數(shù)據(jù)存儲架構(gòu)+?數(shù)據(jù)處理工具”組成的解決方案。一類工具，解決的問題是如何把數(shù)據(jù)“搬到”湖里，包括定義數(shù)據(jù)源、制定數(shù)據(jù)訪問策略和安全策略，并移動數(shù)據(jù)、編制數(shù)據(jù)目錄等等。一類工具，就是要從湖里的海量數(shù)據(jù)中“淘金”。數(shù)據(jù)并不是存進(jìn)數(shù)據(jù)湖里就萬事大吉，要對數(shù)據(jù)進(jìn)行分析、挖掘、利用，比如要對湖里的數(shù)據(jù)進(jìn)行查詢，同時要把數(shù)據(jù)提供給機器學(xué)習(xí)、數(shù)據(jù)科學(xué)類的業(yè)務(wù)，便于“點石成金”數(shù)據(jù)倉庫可以是獨立的標(biāo)準(zhǔn)化產(chǎn)品，數(shù)據(jù)湖則是一種架構(gòu)，通常是圍繞對象存儲為“湖底座”的大數(shù)據(jù)管理方案組合。3.湖倉一體湖倉一體架構(gòu)最重要的一點，是實現(xiàn)“湖里”和“倉里”的數(shù)據(jù)/元數(shù)據(jù)能夠無縫打通，并且“自由”流動。湖里的“新鮮”數(shù)據(jù)可以流到倉里，甚至可以直接被數(shù)倉使用，而倉里的“不新鮮”數(shù)據(jù)，也可以流到湖里，低成本長久保存，供未來的數(shù)據(jù)挖掘使用。4.數(shù)據(jù)中臺數(shù)據(jù)中臺：數(shù)據(jù)中臺是聚合跨域數(shù)據(jù)，對數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、整合，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、集成化、標(biāo)簽化，沉淀共性數(shù)據(jù)服務(wù)能力，以快速響應(yīng)業(yè)務(wù)需求，支撐數(shù)據(jù)融通共享、分析挖掘和數(shù)據(jù)運營，創(chuàng)造業(yè)務(wù)價值。中臺戰(zhàn)略核心是數(shù)據(jù)服務(wù)的共享。數(shù)據(jù)中臺是圍繞向上層應(yīng)用提供數(shù)據(jù)服務(wù)構(gòu)建的，中臺戰(zhàn)略讓數(shù)據(jù)在數(shù)據(jù)平臺和業(yè)務(wù)系統(tǒng)之間形成了一個良性的閉環(huán)，也就是實現(xiàn)應(yīng)用與數(shù)據(jù)之間解藕，并實現(xiàn)緊密交互。數(shù)據(jù)中臺建立后，會形成數(shù)據(jù)API，為企業(yè)和客戶提供高效各種數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺整體技術(shù)架構(gòu)上采用云計算架構(gòu)模式，將數(shù)據(jù)資源、計算資源、存儲資源充分云化，并通過多租戶技術(shù)進(jìn)行資源打包整合，并進(jìn)行開放，為用戶提供“一站式”數(shù)據(jù)服務(wù)。數(shù)據(jù)中臺不是一套軟件，也不是一個信息系統(tǒng)，而是一系列數(shù)據(jù)組件的集合，企業(yè)基于自身的信息化建設(shè)基礎(chǔ)、數(shù)據(jù)基礎(chǔ)以及業(yè)務(wù)特點對數(shù)據(jù)中臺的能力進(jìn)行定義，基于能力定義利用數(shù)據(jù)組件搭建自己的數(shù)據(jù)中臺。三數(shù)據(jù)底座設(shè)計1.數(shù)據(jù)湖功能架構(gòu)2.數(shù)據(jù)流轉(zhuǎn)架構(gòu)由統(tǒng)一的租戶（企業(yè)集團(tuán)層面）進(jìn)行數(shù)據(jù)的歸集，并加工成標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)集或指標(biāo)?；谧鈶魴?quán)限自動將數(shù)據(jù)分發(fā)給相應(yīng)的租戶。各租戶無需重復(fù)進(jìn)行數(shù)據(jù)集成和加工，一般是1+N模式的企業(yè)組織架構(gòu)，如一個集團(tuán)，N個不同地域但相同業(yè)務(wù)屬性的子公司。1+N數(shù)據(jù)湖體系：1個數(shù)據(jù)湖，N個租戶、N個數(shù)據(jù)倉庫、N個數(shù)據(jù)集市、N個數(shù)據(jù)創(chuàng)新實驗室。3.數(shù)據(jù)入湖流程四數(shù)據(jù)底座的數(shù)據(jù)治理聚焦“戰(zhàn)略指導(dǎo)、組織機制、專項能力、技術(shù)支撐”四層建設(shè)，為企業(yè)數(shù)字化轉(zhuǎn)型提供穩(wěn)定數(shù)據(jù)保障基礎(chǔ)。1.統(tǒng)一的數(shù)據(jù)管控平臺數(shù)據(jù)管控管控服務(wù)，集成數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等全方位數(shù)據(jù)治理能力。主要能力：數(shù)據(jù)標(biāo)準(zhǔn)：數(shù)據(jù)標(biāo)準(zhǔn)編目、錄入、發(fā)布、貫標(biāo)、落標(biāo)全方位能力提供。落標(biāo)檢查：通過貫標(biāo)流程，執(zhí)行標(biāo)準(zhǔn)落標(biāo)檢查，賦能數(shù)據(jù)標(biāo)準(zhǔn)落地，實現(xiàn)貫標(biāo)成果。數(shù)據(jù)質(zhì)量：以SQL形式靈活構(gòu)建數(shù)據(jù)質(zhì)量檢查規(guī)則，高效檢測數(shù)據(jù)質(zhì)量缺陷。質(zhì)量模板：參數(shù)化的模板形式，復(fù)用質(zhì)量規(guī)則，解決質(zhì)量規(guī)則構(gòu)建低效、繁雜的痛點。質(zhì)量報告：可視化展示數(shù)據(jù)質(zhì)量檢查結(jié)果，多維度展示質(zhì)量問題。數(shù)據(jù)權(quán)限：以最細(xì)粒度管控至行列級權(quán)限的全方位數(shù)據(jù)權(quán)限管控，保證數(shù)據(jù)使用安全。數(shù)據(jù)保護(hù)：結(jié)合智能化手段和咨詢方法論，妥善處理敏感數(shù)據(jù)，保護(hù)數(shù)據(jù)隱私。2.數(shù)據(jù)資產(chǎn)目錄統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄，實現(xiàn)全局?jǐn)?shù)據(jù)資產(chǎn)統(tǒng)管，對外提供數(shù)據(jù)資產(chǎn)服務(wù)。主要能力：元數(shù)據(jù)：自動化采集多元異構(gòu)數(shù)據(jù)庫資源列表詳情，提供全局元數(shù)據(jù)服務(wù)。數(shù)據(jù)血緣：自動化采集數(shù)據(jù)血緣關(guān)系，提效數(shù)據(jù)溯源和故障定位。數(shù)據(jù)特征：分析數(shù)據(jù)資產(chǎn)全方位信息視圖，賦能用戶高效數(shù)據(jù)探查。數(shù)據(jù)推薦：通過協(xié)同過濾算法，精準(zhǔn)推薦用戶需要的數(shù)據(jù)資產(chǎn)。相似性分析：基于數(shù)據(jù)相似性來實現(xiàn)數(shù)據(jù)資產(chǎn)的智能匹配，賦能自動標(biāo)簽、自動落標(biāo)數(shù)據(jù)地圖：數(shù)據(jù)地圖門戶，支持可視化、層級化展現(xiàn)全局?jǐn)?shù)據(jù)資產(chǎn)，根據(jù)數(shù)據(jù)探查需求進(jìn)行下鉆、分析。數(shù)據(jù)搜索：提供高性能全局?jǐn)?shù)據(jù)資產(chǎn)搜索，幫助用戶快速獲取目標(biāo)數(shù)據(jù)資產(chǎn)。資產(chǎn)關(guān)聯(lián)：提供標(biāo)簽、描述、關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)和其他數(shù)據(jù)資產(chǎn)的方式豐富資產(chǎn)視圖。3.數(shù)據(jù)安全《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》提出：加強數(shù)據(jù)資源整合和安全保護(hù)。探索建立統(tǒng)一規(guī)范的數(shù)據(jù)管理制度，提高數(shù)據(jù)質(zhì)量和規(guī)范性，豐富數(shù)據(jù)產(chǎn)品。研究根據(jù)數(shù)據(jù)性質(zhì)完善產(chǎn)權(quán)性質(zhì)。制定數(shù)據(jù)隱私保護(hù)制度和安全審查制度。推動完善適用于大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分類分級安全保護(hù)制度，加強對政務(wù)數(shù)據(jù)、企業(yè)商業(yè)秘密和個人數(shù)據(jù)的保護(hù)。隱私計算使數(shù)據(jù)在加密狀態(tài)下可以計算，安全性和準(zhǔn)確性由數(shù)學(xué)理論保證，無需提供可信第三方、平臺硬件以及操作系統(tǒng)。五、數(shù)據(jù)服務(wù)能力1.能力構(gòu)成(1)數(shù)據(jù)API通過API為各個應(yīng)用提供數(shù)據(jù)接口，打通應(yīng)用之間的數(shù)據(jù)流轉(zhuǎn)，構(gòu)建新型應(yīng)用。(2)數(shù)據(jù)標(biāo)簽平臺為業(yè)務(wù)部門直接提供有業(yè)務(wù)語義的高質(zhì)量數(shù)據(jù)生產(chǎn)資料。(3)數(shù)據(jù)交換共享平臺為各個不同的部分提供有業(yè)務(wù)語義的數(shù)據(jù)搜索與共享能力，打通數(shù)據(jù)孤島，構(gòu)建業(yè)務(wù)協(xié)同效應(yīng)。(4)數(shù)據(jù)報表平臺提供可視化報表的開發(fā)與分享能力，從數(shù)據(jù)統(tǒng)計中發(fā)現(xiàn)數(shù)據(jù)價值。(5)數(shù)據(jù)科學(xué)平臺提供數(shù)據(jù)建模、模型運行、模型服務(wù)發(fā)布等能力，幫助數(shù)據(jù)分析師構(gòu)建端到端的機器學(xué)習(xí)開發(fā)與運行能力。數(shù)據(jù)API服務(wù)開發(fā)、發(fā)布、調(diào)用管理與監(jiān)控統(tǒng)計的數(shù)據(jù)服務(wù)平臺；將多樣的數(shù)據(jù)轉(zhuǎn)換為業(yè)務(wù)應(yīng)用直接使用的數(shù)據(jù)資產(chǎn)，打通數(shù)據(jù)與業(yè)務(wù)，完善企業(yè)數(shù)據(jù)中臺建設(shè)；數(shù)據(jù)API服務(wù)開發(fā)、發(fā)布、管控。標(biāo)簽建設(shè)開發(fā)、生命周期管理、標(biāo)簽應(yīng)用為一體，支撐企業(yè)差異化的標(biāo)簽畫像服務(wù)和運營需求；通過標(biāo)簽開發(fā)、管理、更新、監(jiān)控、用戶畫像賦能企業(yè)更好的洞察客戶需求、防控業(yè)務(wù)風(fēng)險、提高服務(wù)質(zhì)量和效率。數(shù)據(jù)