湖倉一體技術(shù)與產(chǎn)業(yè)研究報告

倉一體技術(shù)與產(chǎn)業(yè)CCSATC601大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會023年6月版權(quán)聲明本報告版權(quán)屬于CCSATC601大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報告文字或者觀點的，應(yīng)注明“來源：CCSATC601大數(shù)據(jù)技編制說明支持和幫助，數(shù)科技有限公司。前言數(shù)據(jù)平臺是能夠為企業(yè)提供數(shù)據(jù)分析能力、支撐上層數(shù)據(jù)應(yīng)用、倉庫、數(shù)據(jù)湖三個階段?；钪С謱τ诙喾N類型數(shù)據(jù)的高效取用，。。新型的技術(shù)受到了前所未有的關(guān)注，越來越多的企業(yè)視“湖倉一體”的參考。iuyanmeicaictaccn據(jù)平臺發(fā)展的重要趨勢 1(一)數(shù)據(jù)平臺的發(fā)展歷程 1(二)數(shù)據(jù)湖、數(shù)據(jù)倉庫特性分析 3(三)湖+倉混合業(yè)務(wù)架構(gòu)存在四大痛點 4(四)湖倉一體技術(shù)應(yīng)運而生 6實踐路徑 10(一)湖上建倉 11(二)倉外掛湖 13用現(xiàn)狀 14(一)湖倉一體主要廠商和代表產(chǎn)品 15(二)湖倉一體在互聯(lián)網(wǎng)、電信、金融等信息化程度高的領(lǐng)域應(yīng)用程度高 17 圖目錄 表目錄 湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)1一、湖倉一體是數(shù)據(jù)平臺發(fā)展的重要趨勢(一)數(shù)據(jù)平臺的發(fā)展歷程。湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)2倉庫是為解決單個關(guān)系型數(shù)據(jù)庫架構(gòu)無法支撐龐大數(shù)據(jù)量的數(shù)據(jù)存關(guān)系型數(shù)據(jù)庫中。數(shù)據(jù)倉庫多為MPP(MassivelyParallelProcessor)HadoopHDFS存儲、開放的湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)3各種類型數(shù)據(jù)的統(tǒng)一存儲。數(shù)據(jù)分析則以讀取型Schema(schemaon開源大數(shù)據(jù)平臺EMR，華為云-FusionInsightMRS云原生數(shù)據(jù)湖、DataArtsStudio數(shù)據(jù)治理中心，騰訊云-數(shù)據(jù)湖計算服務(wù)DLC、數(shù)據(jù)(二)數(shù)據(jù)湖、數(shù)據(jù)倉庫特性分析數(shù)據(jù)倉庫主要用于解決單個關(guān)系型數(shù)據(jù)庫架構(gòu)無法支撐龐大數(shù)湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)4據(jù)報表及低，使用運維成不夠靈活、成本高數(shù)據(jù)，數(shù)據(jù)可按需(三)湖+倉混合業(yè)務(wù)架構(gòu)存在四大痛點湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)5構(gòu)并存，其中數(shù)據(jù)湖和數(shù)據(jù)倉庫通過ETL進(jìn)行數(shù)據(jù)交換。數(shù)據(jù)湖和數(shù)據(jù)倉庫是兩套獨立的體系，其中數(shù)據(jù)湖基于Hadoop技術(shù)生態(tài)、非結(jié)統(tǒng)數(shù)據(jù)倉庫在海量數(shù)據(jù)下加載慢、p湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)6本高。(四)湖倉一體技術(shù)應(yīng)運而生并不是真正意義的湖倉一體平臺。2020年Databricks提出“湖倉一融合，采用存算分離架構(gòu)，1.湖倉一體概念湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)7靈活性。2.湖倉一體基本能力大數(shù)據(jù)研究所依托中國通信標(biāo)準(zhǔn)化協(xié)會大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會助大數(shù)據(jù)產(chǎn)品供應(yīng)商及用戶方評估湖倉一體數(shù)據(jù)平臺的技術(shù)能力和湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)8湖倉數(shù)據(jù)集成能力倉的數(shù)據(jù)管理對象進(jìn)行數(shù)據(jù)和權(quán)限管理(升倉)，同時支持?jǐn)?shù)倉內(nèi)價湖倉存儲能力湖倉存儲能力包括(1)具備數(shù)據(jù)存儲和計算資源獨立部署，以及動湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)9式，且實現(xiàn)事務(wù)支持處理能力,支持模式(schema)在線調(diào)整。(4)數(shù)據(jù)緩存加速能力，支持配置多種緩存策略的存儲加速能力。(5)湖倉湖倉計算能力資源彈性擴縮容，且能夠?qū)椥再Y源的使用情況進(jìn)行監(jiān)控。(5)對湖湖倉數(shù)據(jù)治理能力、生命周期有清晰描述的統(tǒng)一湖倉血緣能力。(5)支持?jǐn)?shù)據(jù)質(zhì)量的規(guī)則設(shè)置、校驗以及質(zhì)量管理。(6)可在湖倉異構(gòu)訪問過程中對敏感數(shù)據(jù)湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)湖倉其他能力r紛紛推出湖倉一體產(chǎn)品，如AWS智能湖倉、Databricks-Lakehouse云原生智能數(shù)據(jù)湖。限湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)(Hadoop體系)ID性能提升兼性問題分離6.彈性伸縮(MPP體系)結(jié)構(gòu)開放性查詢引擎分離5.彈性伸縮(一)湖上建倉gDeltaLake等。湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)引擎能力。性能瓶頸問題。儲。HDFS實現(xiàn)存算湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)計算資源。(二)倉外掛湖MPP數(shù)據(jù)庫技術(shù)體系，從關(guān)系型數(shù)據(jù)庫演進(jìn)而來，對事務(wù)一致臺之間透明流動。倉外掛湖路徑目前主要是將對接外部存儲如湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)四是存算分離。倉外掛湖需進(jìn)行存算分離架構(gòu)改造，而傳統(tǒng)的產(chǎn)品實現(xiàn)了根據(jù)業(yè)務(wù)負(fù)載自動彈性伸縮計算資源。三、湖倉一體產(chǎn)業(yè)及應(yīng)用現(xiàn)狀0029296%282%29.2%30.0%29.9%29.5%29.2%239%025CAGR0%0%0%0%0%%1820192020202120222023e2024e2025e市場規(guī)模(億元)增長率(一)湖倉一體主要廠商和代表產(chǎn)品MaxCompute/Hologres湖倉一體FusionInsightMRS生數(shù)據(jù)湖ataLakehouseHC洲融合集成&數(shù)據(jù)運營平臺企業(yè)級數(shù)據(jù)湖(BELAKE)ataaCloudousePlatformehouse72%72%湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)(二)湖倉一體在互聯(lián)網(wǎng)、電信、金融等信息化程度高的領(lǐng)域應(yīng)用程度高存儲等能力。%%20%%17.90%14.20%透率。需求及現(xiàn)狀互聯(lián)網(wǎng)企業(yè)不斷產(chǎn)生各種新應(yīng)用，數(shù)據(jù)來源多樣，導(dǎo)致需要從海量數(shù)據(jù)中分析得到有價值的信息數(shù)據(jù)，進(jìn)而輔助企業(yè)決策。湖倉一體平臺可加快挖掘價值數(shù)據(jù)的速度，減少數(shù)據(jù)存湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)儲成本，支撐業(yè)務(wù)快速迭代發(fā)展。電信行業(yè)擁有龐大的個人位置數(shù)據(jù)，有精準(zhǔn)營銷、信用評估等應(yīng)用訴求。目前采用的傳統(tǒng)數(shù)據(jù)架構(gòu)，存在數(shù)據(jù)質(zhì)量不高、實時性不夠、靈活性不足、存儲應(yīng)用相互制約等問題。湖倉一體平臺實現(xiàn)了可規(guī)?；⒌统杀敬鎯?，同時可根據(jù)應(yīng)用按需建模，推動了行業(yè)的垂直應(yīng)用。金融金融行業(yè)數(shù)據(jù)資產(chǎn)化更為成熟，信息化建設(shè)起步早、資金投入巨大，數(shù)據(jù)標(biāo)準(zhǔn)化程度高，且技術(shù)實力強。目前依賴的傳統(tǒng)數(shù)據(jù)基礎(chǔ)設(shè)施無法處理金融機構(gòu)目前收集的各種海量數(shù)據(jù)，而且個性化客戶參與和降低風(fēng)險的需求日益增長。湖倉一體平臺實現(xiàn)了統(tǒng)一存儲、大規(guī)模分析等能力，滿足創(chuàng)新業(yè)務(wù)需求，提升用戶體驗。零售家細(xì)分和基于客戶行為的實時體驗需求不售渠道的涌現(xiàn)，線下門店、自有臺等渠道也帶來大量碎片化的數(shù)而實現(xiàn)智能化分析。政府在政策的驅(qū)動下，政府部門的信息化建設(shè)投入不斷加大，基礎(chǔ)設(shè)施建設(shè)已經(jīng)趨于成熟。目前以智慧城市/政務(wù)為中心的信息化建設(shè)正在加速推進(jìn)，需解決政務(wù)服務(wù)業(yè)務(wù)創(chuàng)新速度落后于社會需求的問題，推動數(shù)據(jù)與業(yè)務(wù)的融合，提升服務(wù)型政府供給側(cè)能力。工業(yè)工業(yè)數(shù)據(jù)價值高，標(biāo)準(zhǔn)與治理痛點突出，處于數(shù)字化轉(zhuǎn)型的關(guān)鍵時期，由于工業(yè)生產(chǎn)制造流程復(fù)雜且專業(yè)性強，而且目前數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)薄弱，湖倉一體平臺可幫助工業(yè)進(jìn)行數(shù)據(jù)統(tǒng)一治理，未來在工業(yè)領(lǐng)域仍有較大的發(fā)展空間。通交通行業(yè)處于數(shù)字化轉(zhuǎn)型的起步階段，其業(yè)務(wù)特性決定了具有較高的智能化應(yīng)用潛力。目前部分業(yè)務(wù)環(huán)境(如智能交通、智慧機場等)應(yīng)用了數(shù)據(jù)平臺，緩解交通擁堵、改善城湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)市交通狀況，提升交通智慧化水平和運營效率。醫(yī)療數(shù)據(jù)大多是非結(jié)構(gòu)化數(shù)據(jù)，醫(yī)生、醫(yī)院、患者等各方面都極為重視醫(yī)療數(shù)據(jù)的安全存儲能力，傳統(tǒng)數(shù)據(jù)庫已無法滿足醫(yī)療行業(yè)臨床業(yè)務(wù)的數(shù)據(jù)管理及存儲需求。目前也在不斷作數(shù)字化轉(zhuǎn)型嘗試，比如用于處方、診斷等醫(yī)學(xué)信息的自動理解與提取，幫助醫(yī)療人員進(jìn)行信息整合。能源行業(yè)信息化建設(shè)起步較晚，前期主要支撐各業(yè)務(wù)系統(tǒng)運行，隨著企業(yè)對數(shù)據(jù)管理和應(yīng)用的重視，其數(shù)字化進(jìn)程也在不斷加快。、湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)蔽得更高效的支持，即可一站式滿足企業(yè)實時分析、二是利用云原生概念實現(xiàn)湖倉一體無服務(wù)器化部署。Serverlesss湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)(一)山東移動：湖倉一體大數(shù)據(jù)平臺建設(shè)實踐1.案例背景經(jīng)營分析系統(tǒng)和大數(shù)據(jù)專題分析平臺的建設(shè)將圍繞經(jīng)營決策工作數(shù)據(jù)量和業(yè)務(wù)量。2.擬解決的痛點、難點面：一致；e3.解決方案分大數(shù)據(jù)平臺為基礎(chǔ)提供統(tǒng)一元數(shù)據(jù)管理，實時/非實時統(tǒng)一入湖、湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)高，。4.價值與效果源爭搶等問題，通過引入基于存算分離的湖倉一體架構(gòu)，實現(xiàn)融合(二)威海銀行：傳統(tǒng)數(shù)據(jù)倉庫到湖倉一體建設(shè)實踐1.案例背景據(jù)倉庫)，按需實現(xiàn)數(shù)據(jù)集中接入和應(yīng)用系統(tǒng)數(shù)據(jù)供給，支撐全行共加快，2.擬解決的痛點、難點提升開發(fā)運維效率2)提高系統(tǒng)計算性能湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)3)提升數(shù)據(jù)服務(wù)能力3.解決方案統(tǒng)一數(shù)據(jù)架構(gòu)，試點支撐數(shù)字化轉(zhuǎn)型項目數(shù)據(jù)服務(wù)需求。截至2022系統(tǒng)用數(shù)需求。湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)4.價值與效果湖倉一體技術(shù)與產(chǎn)業(yè)研究報告(2023年)(三)阿里云：國內(nèi)某互聯(lián)網(wǎng)金融客戶湖倉一體建設(shè)實踐1.案例背景力金融科技創(chuàng)新實力公司”獎。從國外某廠商遷移到阿里云后，持續(xù)客戶對數(shù)倉基礎(chǔ)功能、安全、Serverless云原生能力都有較高要棧的多套業(yè)務(wù)系統(tǒng)，也有基于OSS存儲，上面多套開源引擎共享數(shù)2.擬解決的痛點、難點板。2)客戶認(rèn)為湖的能力不滿足數(shù)倉要求，于是引入云原生數(shù)倉MaxCompute構(gòu)建數(shù)據(jù)中臺，MC與原有開源體系異構(gòu)，如果不能融一個組件，可能帶來存儲冗余、元數(shù)據(jù)