基于湖倉一體構(gòu)建數(shù)據(jù)中臺架構(gòu)課件

1、基于湖倉一體構(gòu)建數(shù)據(jù)中臺架構(gòu)技術(shù)創(chuàng)新，變革未來目錄一、數(shù)據(jù)湖、數(shù)據(jù)倉庫與數(shù)據(jù)中臺二、湖倉一體的架構(gòu)介紹三、湖倉一體上數(shù)據(jù)中臺的探索與實(shí)踐什么是數(shù)據(jù)湖？AWS的定義：A data lake is a centralized repository that allows you to store all your structured and unstructured data at any scale. You can store your data as-is, without having to first structure the data, and run different type

2、s of analyticsfrom dashboards and visualizations to big data processing, real-time analytics, and machine learning to guide better decisions.數(shù)據(jù)湖是一個集中式存儲庫，允許您以仸意規(guī)模存儲所有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。您可以按原樣存儲數(shù)據(jù)（無需先對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理），幵運(yùn)行不同類型的分析 從控制面板和可視化到大數(shù)據(jù)處理、實(shí)時分 析和機(jī)器學(xué)習(xí)，以指導(dǎo)做出更好的決策。什么是數(shù)據(jù)倉庫？AWS的定義：A data warehouse is a central rep

3、ository of information that can be analyzed to make more informed decisions. Data flows into a data warehouse from transactional systems, relational databases, and other sources, typically on a regular cadence. Business analysts, data engineers, data scientists, and decision makers access the data t

4、hrough business intelligence (BI) tools, SQL clients, and other analytics applications.Data and analytics have become indispensable to businesses to stay competitive. Business users rely on reports, dashboards, and analytics tools to extract insights from their data, monitor business performance, an

5、d support decision making. Data warehouses power these reports, dashboards, and analytics tools by storing data efficiently to minimize the input and output (I/O) of data and deliver query results quickly to hundreds and thousands of users concurrently.數(shù)據(jù)倉庫是信息（對其進(jìn)行分析可做出更明智的決策）的中央存儲庫。通常，數(shù)據(jù)定期從事務(wù)系統(tǒng)、關(guān)系數(shù)

6、據(jù)庫和其他來源流入數(shù)據(jù)倉庫。業(yè)務(wù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和決策者通過商業(yè)智能 (BI) 工具、SQL 客戶端和其他分析應(yīng)用程序訪問數(shù)據(jù)。數(shù)據(jù)和分析已然成為各大企業(yè)保持競爭力所不可或缺的部分。企業(yè)用戶依靠報告、控制面板和分析工具從其數(shù)據(jù)中獲得洞察力、監(jiān)控企 業(yè)績效以及更明智地決策。數(shù)據(jù)倉庫通過高效地存儲數(shù)據(jù)以便最大限度地減少數(shù)據(jù)輸入和輸出(I/O)，幵快速地同時向成千上萬的用戶 提供查詢結(jié)果，為這些報告、控制面板和分析工具 由數(shù)據(jù)倉庫提供支持。數(shù)據(jù)湖與數(shù)據(jù)倉庫的區(qū)別與協(xié)作關(guān)系？特性數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)來自事務(wù)系統(tǒng)，運(yùn)營數(shù)據(jù)庫和業(yè)務(wù)線應(yīng)用程序的非關(guān)系數(shù)據(jù)所有數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化

7、Schema通常在數(shù)據(jù)倉庫實(shí)施之前設(shè)計，但是也可以在分析時編寫（寫入型 Schema 或讀取型 Schema）寫入在分析時（讀取型 Schema）性價比使用本地存儲獲得最快的查詢結(jié)果更快地獲得查詢結(jié)果，存儲成本低，計算和存儲分離數(shù)據(jù)質(zhì)量可作為重要事實(shí)依據(jù)的高度監(jiān)管數(shù)據(jù)仸何可以或無法進(jìn)行監(jiān)管的數(shù)據(jù)（例如原始數(shù)據(jù)）用戶業(yè)務(wù)分析師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)開發(fā)人員業(yè)務(wù)分析師（使用監(jiān)管數(shù)據(jù)）、數(shù)據(jù)科學(xué)家、數(shù)據(jù)開發(fā)人員、數(shù)據(jù) 工程師和數(shù)據(jù)架構(gòu)師分析批處理報告、BI 和 可視化機(jī)器學(xué)習(xí)、探索性分析、數(shù)據(jù)發(fā)現(xiàn)、流處理、運(yùn)營分析、大數(shù)據(jù)和特征分析什么是數(shù)據(jù)中臺？數(shù)據(jù)應(yīng)用(前臺)數(shù)據(jù)中臺(交換、開發(fā)、治理、服務(wù)) 于基

8、礎(chǔ)設(shè)施(后臺)數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機(jī)制，是一種戰(zhàn)略選擇和組織形式，是依據(jù) 企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)，通過有形的產(chǎn)品和實(shí)施方法論支撐，構(gòu)建的一套持續(xù)不斷把 數(shù)據(jù)變成資產(chǎn)幵服務(wù)于業(yè)務(wù)的機(jī)制。數(shù)據(jù)湖、數(shù)據(jù)倉庫與數(shù)據(jù)中臺能否融合？數(shù)據(jù)湖數(shù)據(jù)倉庫數(shù)據(jù)中臺數(shù)據(jù)湖、數(shù)據(jù)倉庫與數(shù)據(jù)中臺能否融合？數(shù)據(jù)湖數(shù)據(jù)倉庫數(shù)據(jù)中臺原始數(shù)據(jù)與格式，主要負(fù)責(zé)集中式數(shù)據(jù)存儲Golden Data，解析后的高價值數(shù)據(jù)，提供存儲、加工、分析能力關(guān)注數(shù)據(jù)價值、數(shù)據(jù)業(yè)務(wù)、組織架構(gòu)、效能等目錄一、數(shù)據(jù)湖、數(shù)據(jù)倉庫與數(shù)據(jù)中臺二、湖倉一體的架構(gòu)介紹三、湖倉一體上數(shù)據(jù)中臺的探索與實(shí)踐數(shù)據(jù)平臺架構(gòu)的演進(jìn)第一代數(shù)倉平臺第

9、二代兩層的湖倉一體的平臺第三代LakeHouse湖倉一體的平臺Snowflake湖倉一體最成功的商業(yè)案例HOT!Snowflake設(shè)計思想解讀Shared-Nothing 架構(gòu) - Shared-Data 架構(gòu)存儲計算分離：統(tǒng)一存儲、彈性計算數(shù)倉即服務(wù)：SaaS化體驗(yàn)，共享存儲基礎(chǔ)設(shè)施，計算多租戶持續(xù)高可用：在線升級，失敗容錯結(jié)構(gòu)化延伸到半結(jié)構(gòu)化數(shù)據(jù)的處理支持Shared-nothing架構(gòu)(優(yōu)勢)Table 被跨節(jié)點(diǎn)進(jìn)行水平分區(qū)每個節(jié)點(diǎn)有自己的本地存儲每個節(jié)點(diǎn)只處理自己本地表分區(qū)的數(shù)據(jù)清晰簡潔的處理機(jī)制對于“星型”模型有良好的擴(kuò)展性數(shù)倉領(lǐng)域的典型架構(gòu)NetworkCPUMemoryDiskW

10、ork NodeShared-nothing架構(gòu)(劣勢)耦合了計算與存儲資源彈性集群擴(kuò)縮容需要重“分布”很多數(shù)據(jù)沒法簡單卸載不用的計算資源受限的可用性角色變化(失敗、升級) 影響性能幵可能導(dǎo)致服務(wù)整體不可用同構(gòu)的資源 VS 異構(gòu)的負(fù)載批量加載、報表、探索與分析NetworkCPUMemoryDisk第三代真正湖倉一體的架構(gòu)LakeHouse可靠性數(shù)據(jù)新鮮度高級分析能力的支持?jǐn)?shù)據(jù)歸屬的成本LakeHouse的核心設(shè)計要素可靠的湖上數(shù)據(jù)管理支持機(jī)器學(xué)習(xí)與數(shù)據(jù)科學(xué)高性能的SQL引擎T3出行湖倉一體的架構(gòu)Data Lake StorageData Lake ManagerCacheAd-HocCach

11、eOLAPCacheWarehouseCacheMLMetadataInfrastructure ManagerSecurityQueryManagerAPIServiceAuthentication & access control所有的數(shù)據(jù)存于一處虧補(bǔ)依賴獨(dú)立擴(kuò)展的存儲與計算即開即用，隨時關(guān)閉的“計算”每個集群(理論上)可以訪問全部數(shù)據(jù)目錄一、數(shù)據(jù)湖、數(shù)據(jù)倉庫與數(shù)據(jù)中臺二、湖倉一體的架構(gòu)介紹三、湖倉一體上數(shù)據(jù)中臺的探索與實(shí)踐企業(yè)數(shù)據(jù)的幾個應(yīng)用場景有銀彈吒？H y b r i dTr a n s a c t i o n / A n a l y t i c s P ro c e s s i n

12、 g( H TA P )數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)（TP）需要事務(wù)機(jī)制保證ACID需要保證TP和AP的一致性（數(shù)據(jù)、模 型，大量同步）適合模型簡單，簡單分析場景，以TP 模型解決AP的問題一個系統(tǒng)，兩種查詢場景（分 析、服務(wù)）無事務(wù)開銷（鎖、同步）行為數(shù)據(jù)、日志數(shù)據(jù)，比TP高數(shù) 量級，高嚇吐寫入以數(shù)倉模型（抽象、復(fù)用、標(biāo)準(zhǔn)）解決數(shù)據(jù)服務(wù)的問題Transaction隨機(jī)讀寫、支持事務(wù)ACID、鎖、面向DBAServing高幵發(fā)、查詢簡單、快速，面向 在線應(yīng)用（to C）大規(guī)模數(shù)據(jù)掃描、過濾、匯總，語義層，分 布式，列式存儲，面向分析師AnalyticsH y b r i dS e r v i n g /

13、 A n a l y t i c s Pro c e s s in g （HSAP ）數(shù)據(jù)中臺涵蓋的主要數(shù)據(jù)場景Serving(應(yīng)用)OLAP數(shù) 據(jù) 中 臺T3數(shù)據(jù)中臺的探索：HSAP的理念HSAP：Hybrid Serving &Analytical Processing數(shù)據(jù)報告(Analytics)數(shù)據(jù)看板(S&A)在線應(yīng)用(Serving)數(shù)據(jù)應(yīng)用前臺OLAPServing湖倉一體的后臺架構(gòu)數(shù)據(jù)中臺對HSAP有怎樣的期望？豐富生態(tài)兼容主流的大數(shù)據(jù)計算框架兼容主流的大數(shù)據(jù)查詢分析框架分析服務(wù)一體化Point Query(用于API 服務(wù)， 類Hbase、Redis場景)OLAP Query

14、(PB級復(fù)雜查詢， 秒級/亞秒級交虧式分析， 類 Presto、Impala、Druid、 ClickHouse、Kylin場景)支持流批讀寫的設(shè)計支持實(shí)時寫入、實(shí)時更新、寫入即可查Flink、Spark超高導(dǎo)入性能計算存儲分離于原生架構(gòu)，彈性擴(kuò)縮容，成本更低兼容傳統(tǒng)的Hadoop生態(tài)統(tǒng)一存儲至數(shù)據(jù)服務(wù)誰是開源界最適合構(gòu)建HSAP的核心框架？Hudi: Hadoop Upserts Deletes and Incrementals管理DFS/于上超大規(guī)模(上百PB)分析數(shù)據(jù)集支持揑入、更新、刪除的增量數(shù)據(jù)湖處理框架2019年1月加入Apache孵化器，2020年5月畢業(yè)為TLP對所有于服務(wù)(A

15、WS/Tencent Cloud/Aliyun)都開箱即用已在Uber線上穩(wěn)定運(yùn)行近4年事務(wù)性(ACID)存儲管理時間旅行增量處理HSAP: 分析服務(wù)一體化之于HudiServingOLAP兼容Hive支持主流查詢分析引擎KylinSpark SQLPresto準(zhǔn)實(shí)時的upsert支持支持揑件化的主鍵索引Java native client:寫(已支持)讀(待支持)HSAP: 支持流批讀寫的設(shè)計之于Hudi批量數(shù)據(jù)流式數(shù)據(jù)全量DeltaStreamer微批流式批/微批流式HSAP: 計算與存儲分離之于HudiPluggable Index (Bloom/HBase)Pluggable Data format (Avro, Parquet)TimelineMetadataHivePrestoSpark寫入讀取存儲類型查詢/視圖Impala化讀優(yōu)增量快照COWMORPluggable Storage(HDFS, OSS, S3)JavaFlinkSparkPython存儲計算HSAP: 開源生態(tài)之于Hudi湖倉一體的技術(shù)架構(gòu)圖Aliyun OSSYARN存儲格式存儲層數(shù)據(jù)湖存