怎么理解數(shù)據(jù)湖？（深度長文）

2022/10/1414:16 2022/10/1414:16 怎ikSW就湖？(SjKKX)/s/YhEdKpFJfcO2RD25tY6bNw /s/YhEdKpFJfcO2RD25tY6bNw #/39圖24.數(shù)據(jù)湖數(shù)據(jù)流向示意圖如圖24所示，在需要數(shù)據(jù)湖具備模式一的處理能力時，還是應(yīng)該引入類Kafka中間件，作為數(shù)據(jù)轉(zhuǎn)發(fā)的基礎(chǔ)設(shè)施。完整的數(shù)據(jù)湖解決方案方案應(yīng)該提供將原始數(shù)據(jù)導(dǎo)流至Kafka的能力。流式引擎具備從類Kafka組件中讀取數(shù)據(jù)的能力。流式計(jì)算引擎在處理數(shù)據(jù)過后，根據(jù)需要，可以將結(jié)果寫入OSS/RDBMS/NoSQL/DW,供應(yīng)用訪問。某種意義上，模式一的流計(jì)算引擎并非一定要作為數(shù)據(jù)湖不可分割的一部分存在，只需要在應(yīng)用需要時，能夠方便的引入即可。但是，這里需要指出的是：-流式引擎依然需要能夠很方便的讀取數(shù)據(jù)湖的元數(shù)據(jù)；-流式引擎任務(wù)也需要統(tǒng)一的納入數(shù)據(jù)湖的任務(wù)管理；-流式處理任務(wù)依然需要納入到統(tǒng)一的權(quán)限管理中。對于模式二，本質(zhì)上更接近于批處理?，F(xiàn)在許多經(jīng)典的大數(shù)據(jù)組件已經(jīng)提供了支持方式，如HUDI/lceBerg/Delta等,均支持Spark、Presto等經(jīng)典的計(jì)算引擎。以HUDI為例，通過支持特殊類型的表（COW/MOR）,提供訪問快照數(shù)據(jù)（指定版本）、增量數(shù)據(jù)、準(zhǔn)實(shí)時數(shù)據(jù)的能力。目前AWS、騰訊等已經(jīng)將HUDI集成到了其EMR服務(wù)中，阿里云的DLA也正在計(jì)劃推出DLAonHUDI的能力。讓我們再回到本文開頭的第一章，我們說過，數(shù)據(jù)湖的主要用戶是數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師，探索式分析和機(jī)器學(xué)習(xí)是這類人群的常見操作；流式計(jì)算（實(shí)時模式）多用于在線業(yè)務(wù)，嚴(yán)格來看，并非數(shù)據(jù)湖目標(biāo)用戶的剛需。但是，流式計(jì)算（實(shí)時模式）是目前大多數(shù)互聯(lián)網(wǎng)公司在線業(yè)務(wù)的重要組成部分，而數(shù)據(jù)湖作為企業(yè)/組織內(nèi)部的數(shù)據(jù)集中存放地，需要在架構(gòu)上保持一定的擴(kuò)展能力，可以很方便的進(jìn)行擴(kuò)展，整合流式計(jì)算能力。5、業(yè)務(wù)支撐。雖然大多數(shù)數(shù)據(jù)湖解決方案都對外提供標(biāo)準(zhǔn)的訪問接口，如JDBC,市面上流行的各類BI報表工具、大屏工具也都可以直接訪問數(shù)據(jù)湖中的數(shù)據(jù)。但是在實(shí)際的應(yīng)用中，我們還是建議將數(shù)據(jù)湖處理好的數(shù)據(jù)推送到對應(yīng)的各類支持在線業(yè)務(wù)的數(shù)據(jù)引擎中去，能夠讓應(yīng)用有更好的體驗(yàn)?！?—總結(jié)數(shù)據(jù)湖作為新一代大數(shù)據(jù)分析處理的基礎(chǔ)設(shè)施，需要超越傳統(tǒng)的大數(shù)據(jù)平臺。個人認(rèn)為目前在以下方面，是數(shù)據(jù)湖解決方案未來可能的發(fā)展方向。云原生架構(gòu)。關(guān)于什么是云原生架構(gòu)，眾說紛紜，很難找到統(tǒng)一的定義。但是具體到數(shù)據(jù)湖這個場景，個人認(rèn)為就是以下三點(diǎn)特征：1.存儲和計(jì)算分離，計(jì)算能力和存儲能力均可獨(dú)立擴(kuò)展；多模態(tài)計(jì)算引擎支持，SQL、批處理、流式計(jì)算、機(jī)器學(xué)習(xí)等；提供Serverless態(tài)服務(wù)，確保足夠的彈性以及支持按需付費(fèi)。足夠用的數(shù)據(jù)管理能力。數(shù)據(jù)湖需要提供更為強(qiáng)大的數(shù)據(jù)管理能力，包括但不限于數(shù)據(jù)源管理、數(shù)據(jù)類目管理、處理流程編排、任務(wù)調(diào)度、數(shù)據(jù)溯源、數(shù)據(jù)治理、質(zhì)量管理、權(quán)限管理等。大數(shù)據(jù)的能力，數(shù)據(jù)庫的體驗(yàn)。目前絕大多數(shù)數(shù)據(jù)分析人員都只有數(shù)據(jù)庫的使用經(jīng)驗(yàn)，大數(shù)據(jù)平臺的能力雖強(qiáng)，但是對于用戶來說并不友好，數(shù)據(jù)科學(xué)家和數(shù)據(jù)數(shù)據(jù)分析師應(yīng)該關(guān)注數(shù)據(jù)、算法、模型及其與業(yè)務(wù)場景的適配，而不是花大量的時間精力去學(xué)習(xí)大數(shù)據(jù)平臺的開發(fā)。數(shù)據(jù)湖要想快速發(fā)展，如何為用戶提供良好的使用體驗(yàn)是關(guān)鍵?；赟QL的數(shù)據(jù)庫應(yīng)用開發(fā)已經(jīng)深入人心，如何將數(shù)據(jù)湖的能力通過SQL的形式釋放出來，是未來的一個主要方向。完善的數(shù)據(jù)集成與數(shù)據(jù)開發(fā)能力。對各種異構(gòu)數(shù)據(jù)源的管理與支持，對異構(gòu)數(shù)據(jù)的全量/增量遷移支持，對各種數(shù)據(jù)格式的支持都是需要不斷完善的方向。同時，需要具備一個完備的、可視化的、可擴(kuò)展的集成開發(fā)環(huán)境。與業(yè)務(wù)的深度融合與集成。典型數(shù)據(jù)湖架構(gòu)的構(gòu)成基本已經(jīng)成為了業(yè)界共識：分布式對象存儲+多模態(tài)計(jì)算引擎+數(shù)據(jù)管理。決定數(shù)據(jù)湖方案是否勝出的關(guān)鍵恰恰在于數(shù)據(jù)管理，無論是原始數(shù)據(jù)的管理、數(shù)據(jù)類目的管理、數(shù)據(jù)模型的管理、數(shù)據(jù)權(quán)限的管理還是處理任務(wù)的管理，都離不開與業(yè)務(wù)的適配和集成；未來，會有越來越多的行業(yè)數(shù)據(jù)湖解決方案涌現(xiàn)出來，與數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師形成良性發(fā)展