一文讀懂選擇數(shù)據(jù)湖還是數(shù)據(jù)倉(cāng)庫(kù)

一文讀懂選擇數(shù)據(jù)湖還是數(shù)據(jù)倉(cāng)庫(kù)

目錄

編者按..........................................................................1

1.數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖的概念和區(qū)別...............................................2

1.1.數(shù)據(jù)倉(cāng)庫(kù)................................................................2

1.1.1.數(shù)據(jù)倉(cāng)庫(kù)概念.......................................................2

1.1.2.數(shù)據(jù)倉(cāng)庫(kù)特點(diǎn)........................................................2

1.1.3.OLTP與OLAP................................................................................................................3

1.1.4.數(shù)據(jù)倉(cāng)庫(kù)的作用.....................................................4

1.2.數(shù)據(jù)湖...................................................................8

1.2.1.數(shù)據(jù)湖概念.........................................................8

1.2.2.數(shù)據(jù)湖內(nèi)容.......................................................10

1.2.3.數(shù)據(jù)湖的特點(diǎn).......................................................10

1.3.對(duì)比..................................................................11

1.4.小結(jié)...................................................................12

2.揭穿關(guān)于數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的三大神話(huà).........................................12

2.1.只需要數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)中的一個(gè)........................................13

2.2.數(shù)據(jù)湖是流行趨勢(shì)，數(shù)據(jù)倉(cāng)庫(kù)不是人工智能...............................13

2.3.數(shù)據(jù)倉(cāng)庫(kù)易于使用，而數(shù)據(jù)湖很復(fù)雜....................................13

3.數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)：用例....................................................14

4.未來(lái)該如何選擇............................................................14

編者按

今天，每秒都在生成TB和PB的數(shù)據(jù)，為這些海量數(shù)據(jù)集尋找存儲(chǔ)解

決方案至關(guān)重要。復(fù)雜的機(jī)器和技術(shù)現(xiàn)在收集了令人難以置信的廣泛數(shù)據(jù)一一

每天超過(guò)2.5萬(wàn)億字節(jié)！一來(lái)自設(shè)備傳感器、日志、用戶(hù)、消費(fèi)者和其他地

方。數(shù)據(jù)存儲(chǔ)并不像以前看起來(lái)那么簡(jiǎn)單。在管理和存儲(chǔ)數(shù)據(jù)時(shí)，數(shù)據(jù)管理者

需要考慮使用數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)作為存儲(chǔ)庫(kù)。隨著數(shù)據(jù)量、速度和種類(lèi)的增

加，選擇合適的數(shù)據(jù)平臺(tái)來(lái)管理數(shù)據(jù)從未像現(xiàn)在這樣重要。它應(yīng)該是迄今為止

滿(mǎn)足我們需求的古老數(shù)據(jù)倉(cāng)庫(kù)，還是應(yīng)該是承諾支持任何類(lèi)型工作負(fù)載的任何

類(lèi)型數(shù)據(jù)的數(shù)據(jù)湖？在這里，我們深入探討了這兩個(gè)平臺(tái)。

第1頁(yè)共15頁(yè)

1.數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖的概念和區(qū)別

1.1.數(shù)據(jù)倉(cāng)庫(kù)

1.1.1.數(shù)據(jù)倉(cāng)庫(kù)概念

數(shù)據(jù)倉(cāng)庫(kù)由比爾?恩門(mén)(BiDInmon,數(shù)據(jù)倉(cāng)庫(kù)之父)于1990年提出，主要功

能是將企業(yè)系統(tǒng)聯(lián)機(jī)事務(wù)處理(OLTP)長(zhǎng)期壁壘的大量數(shù)據(jù)，通過(guò)數(shù)據(jù)倉(cāng)庫(kù)理論

支持所持有的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，做有系統(tǒng)的分析整理。

記錄事實(shí)，林

的娥一版本

七

并行數(shù)據(jù)*

數(shù)據(jù)倉(cāng)陣

I理

二二.

-

隨著企業(yè)的發(fā)展，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)不斷激增，這些存儲(chǔ)在企業(yè)業(yè)務(wù)數(shù)據(jù)庫(kù)

中(也就是關(guān)系型數(shù)據(jù)庫(kù)Oracle,MicrosoftSQLSever,MySQL等)數(shù)據(jù)會(huì)隨著

時(shí)間的積累越來(lái)越多，會(huì)使業(yè)務(wù)數(shù)據(jù)庫(kù)會(huì)有一定的負(fù)載，導(dǎo)致業(yè)務(wù)系統(tǒng)的運(yùn)行

效率低，且這些數(shù)據(jù)中有很大一部分是冷數(shù)據(jù)，而我們業(yè)務(wù)系統(tǒng)一般對(duì)我們近

期的數(shù)據(jù)，也就是熱數(shù)據(jù)調(diào)用的比較頻繁，對(duì)冷數(shù)據(jù)使用頻率較低。

同時(shí)隨著企業(yè)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)概念的興起，企業(yè)需要將各業(yè)務(wù)部門(mén)的業(yè)務(wù)數(shù)

據(jù)提取出來(lái)進(jìn)行數(shù)據(jù)分析與挖掘，輔助高層進(jìn)行分析與決策，但各部門(mén)需求的

數(shù)據(jù)種類(lèi)千差萬(wàn)別，接口錯(cuò)綜復(fù)雜，過(guò)多的數(shù)據(jù)查詢(xún)腳本以及接口的接入導(dǎo)致

業(yè)務(wù)數(shù)據(jù)庫(kù)的穩(wěn)定性降低。

為了避免冷數(shù)據(jù)與歷史數(shù)據(jù)的積壓對(duì)我們業(yè)務(wù)數(shù)據(jù)庫(kù)效能產(chǎn)生影響，企業(yè)

需要定期將冷數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫(kù)中轉(zhuǎn)移出來(lái)存儲(chǔ)到一個(gè)專(zhuān)門(mén)存放歷史數(shù)據(jù)的倉(cāng)

庫(kù)里面，各部門(mén)可以根據(jù)自身業(yè)務(wù)特性對(duì)外提供統(tǒng)一的數(shù)據(jù)服務(wù)，這個(gè)倉(cāng)庫(kù)就

是數(shù)據(jù)倉(cāng)庫(kù)。

1.1.2.數(shù)據(jù)倉(cāng)庫(kù)特點(diǎn)

數(shù)據(jù)倉(cāng)庫(kù)(DataWarehoese)的特點(diǎn)：面向主題的、集成的、穩(wěn)定的、反映

第2頁(yè)共15頁(yè)

歷史數(shù)據(jù)變化的。

面向主題的：數(shù)據(jù)倉(cāng)庫(kù)是用來(lái)分析特點(diǎn)主題域的，所以說(shuō)數(shù)據(jù)倉(cāng)庫(kù)是面向

主題的。例如，電商行業(yè)的主題域通常分為交易域、會(huì)員域、商品域等。集成

的：數(shù)據(jù)倉(cāng)庫(kù)集成了多個(gè)數(shù)據(jù)源，同一主題或產(chǎn)品相關(guān)數(shù)據(jù)可能來(lái)自不同的系

統(tǒng)不同類(lèi)型的數(shù)據(jù)庫(kù)，日志文件等。穩(wěn)定的：數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，則不可

改變。數(shù)據(jù)倉(cāng)庫(kù)的歷史數(shù)據(jù)是不應(yīng)該被更新的，同時(shí)存儲(chǔ)穩(wěn)定性較強(qiáng)反映歷史

數(shù)據(jù)變化的：數(shù)據(jù)倉(cāng)庫(kù)保存了長(zhǎng)期的歷史數(shù)據(jù)，這點(diǎn)相對(duì)OLTP的數(shù)據(jù)庫(kù)而

言。因?yàn)樾阅芸紤]后者統(tǒng)籌保存近期的熱數(shù)據(jù)。

1.1.3.OLTP與OLAP

1JOLTP與OLAP概念

數(shù)據(jù)處理大致可以分成兩大類(lèi)：聯(lián)機(jī)事務(wù)處理OLTP(on-linetransaction

聯(lián)機(jī)分析處理

processing)>OLAP(On-LineAnalyticalProcessing)o

OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處

理，例如銀行交易。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操

作，側(cè)重決策支持，并且提供直觀(guān)易懂的查詢(xún)結(jié)果。

OLTP(On-lineIransactionProcessing)

實(shí)時(shí)系統(tǒng)(RealtimeSystem)人機(jī)交互的應(yīng)用系統(tǒng)對(duì)用戶(hù)操作快速響應(yīng)

系統(tǒng)請(qǐng)求響應(yīng)性能數(shù)據(jù)總是保持在最新?tīng)顟B(tài)數(shù)據(jù)量級(jí)小(100M-GB)

■1.：,一?,1.?;',

軟件技術(shù)基于數(shù)倉(cāng)多維模型面向分析的操作深入理解數(shù)據(jù)

數(shù)據(jù)量級(jí)較大(100GB-TB)

:斛F就都巖空靜會(huì)魅

2JOLTP與OLAP區(qū)別

第3頁(yè)共15頁(yè)

|OLTPlOLAP

用戶(hù)操作人員，底層管理人員決SAM,mssxs

功能分析決策

DB設(shè)計(jì)面向應(yīng)用面向主題

旌當(dāng)前的,最新的細(xì)節(jié)的，立的歷史的,聚集的,多維的集成的,統(tǒng)f)

詢(xún)讀/寫(xiě)數(shù)十條記錄讀上百萬(wàn)條記錄

工作單位簡(jiǎn)單的事務(wù)

用戶(hù)數(shù)上千個(gè)上百萬(wàn)個(gè)

DB大小100MB-GB100BG-TB

時(shí)間要求具有實(shí)時(shí)性帆瞄要求不嚴(yán)格

主要應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)

OLTP系統(tǒng)強(qiáng)調(diào)數(shù)據(jù)庫(kù)內(nèi)存效率，強(qiáng)調(diào)內(nèi)存各種指標(biāo)的命令率，綁定變

量，并發(fā)操作等。OLAP系統(tǒng)則強(qiáng)調(diào)數(shù)據(jù)分析，強(qiáng)調(diào)SQL執(zhí)行市場(chǎng)，磁盤(pán)

I/O,分區(qū)等。

3)OLAP與數(shù)據(jù)倉(cāng)庫(kù)的聯(lián)系

OLAP和數(shù)倉(cāng)的關(guān)系是依賴(lài)互補(bǔ)的，一般以數(shù)據(jù)倉(cāng)庫(kù)作為基礎(chǔ)，既從數(shù)據(jù)

倉(cāng)庫(kù)中抽取出詳細(xì)數(shù)據(jù)的一個(gè)子集并經(jīng)過(guò)必要的聚集存儲(chǔ)到OLAP存儲(chǔ)中供數(shù)

據(jù)分析工具讀取。

1.1.4.數(shù)據(jù)倉(cāng)庫(kù)的作用

數(shù)據(jù)倉(cāng)庫(kù)將來(lái)自不同來(lái)源的結(jié)構(gòu)化數(shù)據(jù)聚合起來(lái)，用于業(yè)務(wù)智能領(lǐng)域的比

較和分析，數(shù)據(jù)倉(cāng)庫(kù)是包含多種數(shù)據(jù)的存儲(chǔ)庫(kù)，并且是高度建模的。

如下圖所示：各個(gè)系統(tǒng)的元數(shù)據(jù)通過(guò)ETL同步到操作性數(shù)據(jù)倉(cāng)庫(kù)ODS

中，對(duì)ODS數(shù)據(jù)進(jìn)行面向主題域建模形成DW(數(shù)據(jù)倉(cāng)庫(kù))，DM是針對(duì)某一個(gè)

第4頁(yè)共15頁(yè)

什么是ETL?（extraction-transformation-load抽取-轉(zhuǎn)換-加載）

傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)集成處理架構(gòu)是ETL,利用ETL平臺(tái)的能力，￡=從源數(shù)據(jù)

庫(kù)抽取數(shù)據(jù)，L=將數(shù)據(jù)清洗（不符合規(guī)則的數(shù)據(jù)）、轉(zhuǎn)化（對(duì)表按照業(yè)務(wù)需求進(jìn)行

不同維度、不同顆粒度、不同業(yè)務(wù)規(guī)則計(jì)算進(jìn)行統(tǒng)計(jì)），T=將加工好的表以增

量、全量、不同時(shí)間加載到數(shù)據(jù)倉(cāng)庫(kù)。

n

Sources

什么是ELT?（extraction-load-transformation抽取-加載-轉(zhuǎn)換）

大數(shù)據(jù)背景下的架構(gòu)體系是ELT結(jié)構(gòu)，其根據(jù)上層的應(yīng)用需求，隨時(shí)從數(shù)

據(jù)中臺(tái)中抽取想要的原始數(shù)據(jù)進(jìn)行建模分析。

ELT是利用數(shù)據(jù)庫(kù)的處理能力，￡=從源數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，L=把數(shù)據(jù)加載到

目標(biāo)庫(kù)的臨時(shí)表中，T=對(duì)臨時(shí)表中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，然后加載到目標(biāo)庫(kù)目標(biāo)表

中。

第5頁(yè)共15頁(yè)

Extract&Load?■Transform-

DataWarehouse

Transform

yCloudSources<

ELT對(duì)比ETL的優(yōu)勢(shì)：

資源利用率的提升：ELT主要通過(guò)數(shù)據(jù)庫(kù)引擎來(lái)實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展性（尤其

是當(dāng)數(shù)據(jù)加工過(guò)程在晚上時(shí)，可以充分利用數(shù)據(jù)庫(kù)引擎的資源）。任務(wù)運(yùn)行效

率的提升：ELT可以保持所有的數(shù)據(jù)始終在數(shù)據(jù)庫(kù)當(dāng)中，避免數(shù)據(jù)的加載和導(dǎo)

出，從而保證效率，提高系統(tǒng)的可監(jiān)控性。并行處理優(yōu)化：ELT可以根據(jù)數(shù)據(jù)

的分布情況進(jìn)行并行處理優(yōu)化，并可以利用數(shù)據(jù)庫(kù)的固有功能優(yōu)化磁盤(pán)1/00

可擴(kuò)展性增強(qiáng)：ELT的可擴(kuò)展性取決于數(shù)據(jù)庫(kù)引擎和其硬件服務(wù)器的可擴(kuò)展

性。性能優(yōu)化：通過(guò)對(duì)相關(guān)數(shù)據(jù)庫(kù)進(jìn)行性能調(diào)優(yōu)，ETL過(guò)程獲得3到4倍的效

率提升一般不是特別困難。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的作用能實(shí)現(xiàn)跨業(yè)務(wù)條線(xiàn)、跨系統(tǒng)的

數(shù)據(jù)整合，為管理分析和業(yè)務(wù)決策提供統(tǒng)一的數(shù)據(jù)支持。數(shù)據(jù)倉(cāng)庫(kù)能夠從根本

上幫助你把公司的運(yùn)營(yíng)數(shù)據(jù)轉(zhuǎn)化成為高價(jià)值的可以獲取的信息（或知識(shí)），并且

在恰當(dāng)?shù)臅r(shí)候通過(guò)恰當(dāng)?shù)姆绞桨亚‘?dāng)?shù)男畔鬟f給恰當(dāng)?shù)娜恕Ｒ韵聢D為例：

第6頁(yè)共15頁(yè)

簡(jiǎn)單例子：一個(gè)顧客

操作型原子/數(shù)據(jù)倉(cāng)庫(kù)部門(mén)/數(shù)據(jù)集市個(gè)體

按月的顧客

JJones

1989-prcs

123MainSi

信用度-AA

我們吸引越來(lái)越多我更少也呼.戶(hù)

J.Jones的信用q

J.Jones現(xiàn)在的或趣來(lái)越少的客戶(hù)？，;理靠籌舞廣出

信用度是多少？歷史如何？

數(shù)據(jù)倉(cāng)庫(kù)的作用主要體現(xiàn)在企業(yè)決策、分析、計(jì)劃和響應(yīng)以下幾個(gè)方面:

決策分析

分析企業(yè)盈利的價(jià)值組所在；分

從企業(yè)數(shù)以萬(wàn)計(jì)的數(shù)據(jù)找出有價(jià)

析企業(yè)內(nèi)部運(yùn)營(yíng)的狀況和風(fēng)險(xiǎn);

值的信息,用于管理和分析人員

分析企業(yè)外包的市場(chǎng)變化；

及時(shí)精確的做出分析報(bào)告.

計(jì)劃響應(yīng)

監(jiān)控時(shí)間和計(jì)量標(biāo)準(zhǔn)；事件溯源

獲取與分析計(jì)朗于實(shí)際情況做對(duì)

與關(guān)聯(lián)分析；制定及時(shí)的應(yīng)對(duì)策

比信息；進(jìn)行預(yù)賽和趨勢(shì)分析；

略；船輾第翻癱

預(yù)估策略中的潛在變化風(fēng)除.k

數(shù)據(jù)倉(cāng)庫(kù)針對(duì)實(shí)時(shí)數(shù)據(jù)處理和非結(jié)構(gòu)化數(shù)據(jù)處理能力較弱，以及在業(yè)務(wù)在

預(yù)警預(yù)測(cè)等方面應(yīng)用有一定的限制。

第7頁(yè)共15頁(yè)

報(bào)表展示即席查詢(xún)數(shù)據(jù)分析數(shù)據(jù)挖堀

(Report)(Ad-hoc)(DataAnalysis)(DataMining)

聚合數(shù)據(jù)多維數(shù)據(jù)模型*務(wù)模型

(Summary)(OLAP)(BusinessModel)

倉(cāng)庫(kù)

細(xì)節(jié)數(shù)據(jù)(DetailData)

點(diǎn)擊流日志

(ClickStream)

1.2.數(shù)據(jù)湖

1.2.1.數(shù)據(jù)湖概念

數(shù)據(jù)倉(cāng)庫(kù)發(fā)明于1980年底，專(zhuān)為業(yè)務(wù)應(yīng)用程序生成的高度結(jié)構(gòu)化數(shù)據(jù)而

設(shè)計(jì)。它將組織的所有數(shù)據(jù)集中在一起并以結(jié)構(gòu)化方式存儲(chǔ)。它通常用于連接

和分析來(lái)自異構(gòu)來(lái)源的數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)依賴(lài)于數(shù)據(jù)結(jié)構(gòu)來(lái)支持高性能的SQL(結(jié)構(gòu)化查詢(xún)語(yǔ)言)操

作。數(shù)據(jù)倉(cāng)庫(kù)是專(zhuān)門(mén)為基于SQL的訪(fǎng)問(wèn)而構(gòu)建和優(yōu)化的，以支持商業(yè)智能，

但為流分析和機(jī)器學(xué)習(xí)提供有限的功能。它們受到ETL要求的限制，需要在

存儲(chǔ)數(shù)據(jù)之前對(duì)其進(jìn)行預(yù)處理。數(shù)據(jù)倉(cāng)庫(kù)在數(shù)據(jù)用于分析之前需要順序ETL

攝取和轉(zhuǎn)換數(shù)據(jù)，因此它們對(duì)于流式分析效率低下。一些數(shù)據(jù)倉(cāng)庫(kù)支持"微批

處理”以經(jīng)常以小增量收集數(shù)據(jù)。它支持順序ETL操作，其中數(shù)據(jù)以瀑布模型

從原始數(shù)據(jù)格式流向完全轉(zhuǎn)換的集合，并針對(duì)快速性能進(jìn)行了優(yōu)化。數(shù)據(jù)倉(cāng)庫(kù)

以專(zhuān)有格式存儲(chǔ)數(shù)據(jù)。一旦數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，對(duì)該數(shù)據(jù)的訪(fǎng)問(wèn)僅限于

SQL和數(shù)據(jù)倉(cāng)庫(kù)提供的自定義驅(qū)動(dòng)程序。一些較新的數(shù)據(jù)倉(cāng)庫(kù)支持半結(jié)構(gòu)化數(shù)

據(jù)，例如JSON、Parquet和XML文件；與結(jié)構(gòu)化數(shù)據(jù)集相比，它們對(duì)此類(lèi)

數(shù)據(jù)集的支持有限且性能下降。數(shù)據(jù)倉(cāng)庫(kù)不能完全支持存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。數(shù)

據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)之間的區(qū)別數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能工具支持歷史數(shù)據(jù)的報(bào)告和分

析，而數(shù)據(jù)湖支持利用數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)、預(yù)測(cè)和實(shí)時(shí)分析的新用例。

第8頁(yè)共15頁(yè)

LearnfromthePastUnderstandthepresentPredicttheFuture

▼

BusinessIntelligenceDataDiscoveryandAnalyticsAlandML

HistoricDataRealtimeandStreamingDataPastandCurrentData

雖然一些數(shù)據(jù)倉(cāng)庫(kù)擴(kuò)展了基于SQL的訪(fǎng)問(wèn)以提供機(jī)器學(xué)習(xí)功能，但它們

不提供原生支持來(lái)運(yùn)行廣泛可用的程序化數(shù)據(jù)處理框架，例如ApacheSpark.

Tensorflow等。相比之下，數(shù)據(jù)湖是機(jī)器學(xué)習(xí)用例的理想選擇。它們不僅提

供基于SQL的數(shù)據(jù)訪(fǎng)問(wèn)，還通過(guò)Python>Scala>Java等語(yǔ)言為Apache

Spark和Tensorflow等編程分布式數(shù)據(jù)處理框架提供原生支持。數(shù)據(jù)倉(cāng)庫(kù)需

要在數(shù)據(jù)用于分析之前順序ETL攝取和轉(zhuǎn)換數(shù)據(jù)，因此它們對(duì)于流式分析效

率低下。一些數(shù)據(jù)倉(cāng)庫(kù)支持“微批處理”以經(jīng)常以小增量收集數(shù)據(jù)。這種流到批

處理的轉(zhuǎn)換增加了數(shù)據(jù)到達(dá)與用于分析之間的時(shí)間，使得數(shù)據(jù)倉(cāng)庫(kù)不適用于多

種形式的流分析。

DATALAKEvsDATAWAREHOUSE

DataDataUsersUsecases

???，V施察團(tuán)

RawRefined

LargeSmaller

DMIMnlorutnV4Mannumof■?Zor(tawofpmbytnD?U“vfioutetcrOxd6or***>

Sine*th*dMurntoctnfformorjmouMiofd?UdMflfenM*?ndoftf*DM*muuX

im<nMn??d<UUcjnX?or*d?nd?npranwetb?tar?tn?ntrnnp?r*odKputyngUataMtcMry

t>?nh>mMKlm(n?

UndefinedRelational

1htttancandrritorutwchM

gMantanbauwdfor4Mratyof

tranMcutntyownknp?tMKMW”

MM*MfarwIasirfww.\tndAl

數(shù)據(jù)湖支持本地流式傳輸，其中數(shù)據(jù)流在到達(dá)時(shí)被處理并可供分析。數(shù)據(jù)

管道在從數(shù)據(jù)流接收數(shù)據(jù)時(shí)轉(zhuǎn)換數(shù)據(jù)，并觸發(fā)分析所需的計(jì)算。數(shù)據(jù)湖的原生

流式傳輸特性使其非常適合流式分析。數(shù)據(jù)倉(cāng)庫(kù)支持順序ETL操作，其中數(shù)

據(jù)以瀑布模型從原始數(shù)據(jù)格式流向完全轉(zhuǎn)換的集合，并針對(duì)快速性能進(jìn)行了優(yōu)

化。相比之下，對(duì)于需要持續(xù)數(shù)據(jù)工程的用例，數(shù)據(jù)湖異常強(qiáng)大。在數(shù)據(jù)湖

中，ETL的瀑布方法被迭代和連續(xù)的數(shù)據(jù)工程所取代。可以通過(guò)SQL和編程

接口迭代地訪(fǎng)問(wèn)和轉(zhuǎn)換數(shù)據(jù)湖中的原始數(shù)據(jù)，以滿(mǎn)足用例不斷變化的需求。這

第9頁(yè)共15頁(yè)

種對(duì)持續(xù)數(shù)據(jù)工程的支持對(duì)于交互式分析和機(jī)器學(xué)習(xí)至關(guān)重要。

1.2.2.數(shù)據(jù)湖內(nèi)容

數(shù)據(jù)湖中包括來(lái)自于關(guān)系型數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)（行和列）、半結(jié)構(gòu)化數(shù)

據(jù)（如CSV、日志、XML、JSON）、非結(jié)構(gòu)化數(shù)據(jù)（如email,文檔、PDF等）和

二進(jìn)制數(shù)據(jù)（如圖像、音頻、視頻）。

1.2.3.數(shù)據(jù)湖的特點(diǎn)

統(tǒng)一的數(shù)據(jù)存儲(chǔ)，存放原始的數(shù)據(jù)。支持任意結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)，包括結(jié)構(gòu)

化、半結(jié)構(gòu)化、非結(jié)構(gòu)化。支持多種計(jì)算分析，適用多種應(yīng)用場(chǎng)景。支持任意

規(guī)模的數(shù)據(jù)存儲(chǔ)與計(jì)算能力。目標(biāo)都是為了更好，更快的發(fā)現(xiàn)數(shù)據(jù)價(jià)值。4.數(shù)

據(jù)湖能夠解決的問(wèn)題

1）數(shù)據(jù)湖整體架構(gòu)

!Spar^?Fiink嗓PEo%

Formal

DELTALAKEICEBERG^<^）hUdl

SixagoCactiftlAtuxb/JIYUFS）

MS$3AltyvnOSS

最底下是分布式文件系統(tǒng)；

第二層是數(shù)據(jù)加速層。數(shù)據(jù)湖架構(gòu)是一個(gè)存儲(chǔ)計(jì)算徹底分離的架構(gòu)，如果

所有的數(shù)據(jù)訪(fǎng)問(wèn)都遠(yuǎn)程讀取文件系統(tǒng)上的數(shù)據(jù)，那么性能和成本開(kāi)銷(xiāo)都很大。

如果能把經(jīng)常訪(fǎng)問(wèn)到的一些熱點(diǎn)數(shù)據(jù)緩存在計(jì)算節(jié)點(diǎn)本地，這就非常自然的實(shí)

現(xiàn)了冷熱分離，一方面能收獲到不錯(cuò)的本地讀取性能，另一方面還節(jié)省了遠(yuǎn)程

訪(fǎng)問(wèn)的帶寬。

第三層就是Tableformat層，主要是把一批數(shù)據(jù)文件封裝成一個(gè)有業(yè)務(wù)

意義的table,提供ACID、snapshot、schema>partition等表級(jí)別的語(yǔ)義。

最上層就是不同計(jì)算場(chǎng)景的計(jì)算引擎了。開(kāi)源的一般有Spark、Flink、

Hive、Presto、HiveMR等，這一批計(jì)算引擎是可以同時(shí)訪(fǎng)問(wèn)同一張數(shù)據(jù)湖的

表的。

第10頁(yè)共15頁(yè)

2）數(shù)據(jù)湖能解決哪類(lèi)問(wèn)題

數(shù)據(jù)分散，存儲(chǔ)散亂，形成數(shù)據(jù)孤島，無(wú)法聯(lián)合數(shù)據(jù)發(fā)現(xiàn)更多價(jià)值。

這方面來(lái)講，其實(shí)數(shù)據(jù)湖要解決的與數(shù)據(jù)倉(cāng)庫(kù)是類(lèi)似的問(wèn)題，但又有所不

同，因?yàn)樗亩x里支持對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的管理。而傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)

僅能解決結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一管理。

在這個(gè)萬(wàn)物互聯(lián)的時(shí)代，數(shù)據(jù)的來(lái)源多種多樣，隨著不同應(yīng)用場(chǎng)景，產(chǎn)出

的數(shù)據(jù)格式也是越來(lái)越豐富，不能再僅僅局限于結(jié)構(gòu)化數(shù)據(jù)。如何統(tǒng)一存儲(chǔ)這

些數(shù)據(jù)，就是迫切需要解決的問(wèn)題。

3）存儲(chǔ)成本

數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ)受限于實(shí)現(xiàn)原理及硬件條件，導(dǎo)致存儲(chǔ)海量數(shù)據(jù)

時(shí)成本過(guò)高，而為了解決這類(lèi)問(wèn)題就有了HDFS/對(duì)象存儲(chǔ)這類(lèi)技術(shù)方案。數(shù)據(jù)

湖場(chǎng)景下如果使用這類(lèi)存儲(chǔ)成本較低的技術(shù)架構(gòu)，將會(huì)為企業(yè)大大節(jié)省成本。

結(jié)合生命周期管理的能力，可以更好的為湖內(nèi)數(shù)據(jù)分層（冷溫?zé)岽娣旁诓煌?/p>

存儲(chǔ)介質(zhì)：HDD、SSD、MEM）,不用糾結(jié)在是保留數(shù)據(jù)還是刪除數(shù)據(jù)節(jié)省成本

的問(wèn)題。

4JSQL已經(jīng)無(wú)法滿(mǎn)足的分析需求

越來(lái)越多種類(lèi)的數(shù)據(jù)，意味著越來(lái)越多的分析方式，傳統(tǒng)的SQL方式已

經(jīng)無(wú)法滿(mǎn)足分析的需求，如何通過(guò)各種語(yǔ)言自定義貼近自己業(yè)務(wù)的代碼，如何

通過(guò)機(jī)器學(xué)習(xí)挖掘更多的數(shù)據(jù)價(jià)值。

5）存儲(chǔ)/計(jì)算擴(kuò)展性不足

傳統(tǒng)數(shù)據(jù)庫(kù)等在海量數(shù)據(jù)下，如規(guī)模到PB級(jí)別，因?yàn)榧夹g(shù)架構(gòu)的原因，

已經(jīng)無(wú)法滿(mǎn)足擴(kuò)展的要求或者擴(kuò)展成本極高，而這種情況下通過(guò)數(shù)據(jù)湖架構(gòu)下

的擴(kuò)展技術(shù)能力，實(shí)現(xiàn)成本為0,硬件成本也可控。業(yè)務(wù)模型不定，無(wú)法預(yù)先

建模。

傳統(tǒng)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)，都是Schema-on-Write的模式，需要提前定義

Schema信息。而在數(shù)據(jù)湖場(chǎng)景下，可以先保存數(shù)據(jù)，后續(xù)待分析時(shí)，再發(fā)現(xiàn)

Schema,也就是Schema-on-Read＜）

1.3.對(duì)比

第11頁(yè)共15頁(yè)

哧數(shù)據(jù)倉(cāng)庫(kù)（自建）敷據(jù)中臺(tái)（自建）敷據(jù)湖（自?）

健設(shè)成本中離極高

建設(shè)難度中高極高

建設(shè)思想以數(shù)據(jù)驅(qū)動(dòng)，自下而上以業(yè)務(wù)驅(qū)動(dòng),自上而下以技術(shù)和業(yè)務(wù)驅(qū)動(dòng)，自上而下

業(yè)務(wù)距離用于支持管理決策分析，距離業(yè)務(wù)加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價(jià)值的轉(zhuǎn)變加速企業(yè)從甥B到業(yè)務(wù)價(jià)值的轉(zhuǎn)變

遠(yuǎn),無(wú)法直接體現(xiàn)業(yè)務(wù)價(jià)值過(guò)程,一定程度上體現(xiàn)業(yè)務(wù)價(jià)值過(guò)程，一定期上的值

資源成本傳統(tǒng)：存儲(chǔ)計(jì)算綁定，成本高傳猊：存儲(chǔ)計(jì)算綁定,使用成本高，存儲(chǔ)計(jì)算分寓，數(shù)據(jù)冷熱分層，使

云原生：Serverless化，成本低運(yùn)維成本高用成本低，運(yùn)維成本低

云原生：Serverless化,成本低

數(shù)據(jù)格式封閉、專(zhuān)屬開(kāi)放、通用開(kāi)放、通用

數(shù)據(jù)內(nèi)容數(shù)據(jù)類(lèi)型單一：結(jié)構(gòu)化和部分半結(jié)數(shù)據(jù)類(lèi)型豐富：結(jié)構(gòu)化、半結(jié)構(gòu)化、數(shù)據(jù)類(lèi)型豐富：結(jié)構(gòu)化、半結(jié)構(gòu)化、

非結(jié)構(gòu)化非結(jié)構(gòu)化

數(shù)據(jù)訪(fǎng)問(wèn)方式主SQL,少量支持AP[開(kāi)放API,支持SQL等開(kāi)放API,直接讀取數(shù)據(jù)SQL

Python.R等

數(shù)據(jù)服務(wù)方式分析報(bào)表眠服務(wù)API既f(wàn)ig務(wù)原始數(shù)據(jù)既服務(wù)

百存儲(chǔ)計(jì)算深度優(yōu)化，性班高通過(guò)緩存、素引、分布等方式優(yōu)化，通過(guò)緩存、索引、分布等方式優(yōu)化,

性能高

擴(kuò)展性擴(kuò)展性一般，擴(kuò)履成本高擴(kuò)展性一般,持展成本高《班本,高擴(kuò)展性

靈活度^55t31模，Schmema-on-Write,預(yù)橫，Schmema-on-Write,無(wú)需提前建模，Schmema-on-

靈活度低靈活度低Read廓舌酬

ETL^ELT結(jié)構(gòu)■

使用場(chǎng)景BLSQU5上用和報(bào)袤等有限場(chǎng)景數(shù)據(jù)檜索、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)科學(xué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、

BI等豐富場(chǎng)景81等豐富場(chǎng)景

高高不

1.4.小結(jié)

根據(jù)以上數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖概念論述和對(duì)比，我們進(jìn)行如下總

結(jié)：

1）數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖沒(méi)有直接的關(guān)系；

2）數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖在某個(gè)維度上為業(yè)務(wù)產(chǎn)生價(jià)值的形式有不同的側(cè)重；

3）數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的邏輯概念，用于支持管理決策分析，為業(yè)務(wù)

提供服務(wù)的主要方式是報(bào)表；

4）數(shù)據(jù)湖是企業(yè)級(jí)的技術(shù)邏輯概念，體現(xiàn)企業(yè)級(jí)數(shù)據(jù)湖架構(gòu)加速數(shù)據(jù)向業(yè)

務(wù)價(jià)值轉(zhuǎn)化的能力，為業(yè)務(wù)提供服務(wù)的主要方式是原始數(shù)據(jù)；

5）數(shù)據(jù)湖距離業(yè)務(wù)更近，能夠更快速的響應(yīng)業(yè)務(wù)和應(yīng)用開(kāi)發(fā)需求，從而為

業(yè)務(wù)提供速度更快的服務(wù)。

2.揭穿關(guān)于數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的三大神話(huà)

讓我們解決一些關(guān)于兩種流行的數(shù)據(jù)存儲(chǔ)類(lèi)型的常見(jiàn)誤解：

第12頁(yè)共15頁(yè)

2.1.只需要數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)中的一個(gè)

如今，經(jīng)常聽(tīng)到人們談?wù)摂?shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)，好像企業(yè)必須選擇其中一

個(gè)。但現(xiàn)實(shí)情況是，數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)服務(wù)于不同的目的。雖然兩者都提供數(shù)

據(jù)存儲(chǔ)，但它們使用不同的結(jié)構(gòu)，支持不同的格式，并針對(duì)不同的用途進(jìn)行了

優(yōu)化。通常，公司可能會(huì)從使用數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖中受益。數(shù)據(jù)倉(cāng)庫(kù)最適合希

望為商業(yè)智能分析操作系統(tǒng)數(shù)據(jù)的企業(yè)。數(shù)據(jù)倉(cāng)庫(kù)在這方面工作得很好，因?yàn)?/p>

存儲(chǔ)的數(shù)據(jù)是結(jié)構(gòu)化、清理和準(zhǔn)備分析的。同時(shí)，數(shù)據(jù)湖允許企業(yè)以任何格式

存儲(chǔ)數(shù)據(jù)以用于幾乎任何用途，包括機(jī)器學(xué)習(xí)（ML）模型和大數(shù)據(jù)分析。

2.2.數(shù)據(jù)湖是流行趨勢(shì)，數(shù)據(jù)倉(cāng)庫(kù)不是人工智能

（AI）和ML代表了一些增長(zhǎng)最快的云工作負(fù)載，組織越來(lái)越多地轉(zhuǎn)向數(shù)

據(jù)湖來(lái)幫助確保這些項(xiàng)目的成功。由于數(shù)據(jù)湖允許存儲(chǔ)幾乎任何類(lèi)型的數(shù)據(jù)

（結(jié)構(gòu)化和非結(jié)構(gòu)化）而無(wú)需事先準(zhǔn)備或清理，因此組織