數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)湖數(shù)據(jù)中臺(tái)這些概念

數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)湖數(shù)據(jù)中臺(tái)這些概念

這幾年的數(shù)據(jù)領(lǐng)域出現(xiàn)好多的概念，例如：人工智能、物聯(lián)網(wǎng)、邊緣計(jì)算、

數(shù)據(jù)治理、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)……可謂是"百花齊放"！一時(shí)間大家都在提新概

念，但卻不是所有人都清楚到底意味著什么。

"人家都數(shù)據(jù)中臺(tái)了，你還在做數(shù)據(jù)報(bào)表""人家都數(shù)據(jù)湖了，你還

在搞數(shù)據(jù)倉庫""阿里"拆中臺(tái)"了，中臺(tái)難道不香T"..?…

到底為什么要做數(shù)據(jù)湖/數(shù)據(jù)中臺(tái)，有什么價(jià)值呢？孰優(yōu)孰劣？究竟我的公司

是不是也要做數(shù)據(jù)中臺(tái)/數(shù)據(jù)湖嗎，這是隨之而來的問題。

事物總是在不斷演化的，唯一不變的就是變化。今天就和大家展開討論數(shù)據(jù)

倉庫、數(shù)據(jù)湖和數(shù)據(jù)中臺(tái)這幾個(gè)概念之間的藕斷絲連。

01數(shù)據(jù)倉庫

1988年，為解決企業(yè)的數(shù)據(jù)集成問題，IBM的兩位研究員創(chuàng)造性地提出了一

個(gè)新的術(shù)語：數(shù)據(jù)倉庫(DataWarehouse)。到了1992年，后來被譽(yù)為“數(shù)

據(jù)倉庫之父”的比爾?恩門給出了數(shù)據(jù)倉庫的定義，二十多年后的今天他的

定義依然沒有被時(shí)代淘汰。我們來看看他是怎么定義的：

數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化

的數(shù)據(jù)集合，用于支持管理中的決策制定。

對(duì)于數(shù)據(jù)倉庫的概念我們可以從兩個(gè)層次予以理解:

首先，數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的

操作型數(shù)據(jù)庫;

其次，數(shù)據(jù)倉庫是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重

組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。

簡單的理解，其實(shí)就是為了進(jìn)行OLAP,把分布在各個(gè)散落獨(dú)立的數(shù)據(jù)庫孤島

整合在了一個(gè)數(shù)據(jù)結(jié)構(gòu)里面，稱之為數(shù)據(jù)倉庫。

A數(shù)據(jù)倉庫邏輯架構(gòu)

原來各個(gè)數(shù)據(jù)孤島中的數(shù)據(jù)，可能會(huì)在物理位置（比如沃爾瑪在各個(gè)州可能

都仃臼己的數(shù)據(jù)中心）、存儲(chǔ)格式（比如月份是數(shù)值類型，但但大氣7能是

字符類型）、商業(yè)平臺(tái)（不同數(shù)據(jù)庫可能用的是0rac1e數(shù)據(jù)庫，有的是微軟

SQLServer數(shù)據(jù)庫）、編寫的語言（Java或者Scale等）等等各個(gè)方面完全

不同，數(shù)據(jù)倉庫要做的工作就是將他們按照所需要的格式提取出來，再進(jìn)行

必要的轉(zhuǎn)換（統(tǒng)一數(shù)據(jù)格式）、清洗（去掉無效或者不需要的數(shù)據(jù)）等，最

后裝載進(jìn)數(shù)據(jù)倉庫。

自從數(shù)據(jù)倉庫出現(xiàn)之后，信息產(chǎn)業(yè)就開始從以關(guān)系型數(shù)據(jù)庫為基礎(chǔ)的運(yùn)營式

系統(tǒng)慢慢向決策支持系統(tǒng)發(fā)展。這個(gè)決策支持系統(tǒng)，其實(shí)就是我們現(xiàn)在說的

商務(wù)智能即BI?？梢赃@么說，數(shù)據(jù)倉庫為OLAP解決了數(shù)據(jù)來源問題，數(shù)據(jù)

倉庫和OLAP互相促進(jìn)發(fā)展，進(jìn)一步驅(qū)動(dòng)了商務(wù)智能的成熟。

數(shù)據(jù)倉庫是一個(gè)功能概念，是將企業(yè)的各業(yè)務(wù)系統(tǒng)產(chǎn)生的基礎(chǔ)數(shù)據(jù)，通過維度建

模的方式，將業(yè)務(wù)數(shù)據(jù)劃分為多個(gè)主題（集市）統(tǒng)一存儲(chǔ)，統(tǒng)一管理。

應(yīng)用場景:一般都是作為商業(yè)智能系統(tǒng)、數(shù)據(jù)儀表盤等可視化報(bào)表服務(wù)的數(shù)據(jù)源。

02數(shù)據(jù)集市

數(shù)據(jù)倉庫之父比爾?恩門說過一句話叫“IT經(jīng)理們面對(duì)最重要的問題就是到底

先建立數(shù)據(jù)倉庫還是先建立數(shù)據(jù)集市”，足以說明搞清楚這兩者之間的關(guān)系是

十分重要而迫切的。通常在考慮建立數(shù)據(jù)倉庫之前，會(huì)涉及到如下一些問題：

采取自上而下還是自下而上的設(shè)計(jì)方法

企業(yè)范圍還是部門范圍

先建立數(shù)據(jù)倉庫還是數(shù)據(jù)集市

建立領(lǐng)航系統(tǒng)還是直接實(shí)施

數(shù)據(jù)集市是杳相互獨(dú)立

數(shù)據(jù)集市可以理解為是一種〃小型數(shù)據(jù)倉庫”，它只包含單個(gè)主題，且關(guān)注范

圍也非全局。數(shù)據(jù)集市可以分為兩種：

一種是獨(dú)立數(shù)據(jù)集市，這類數(shù)據(jù)集市有自己的源數(shù)據(jù)庫和ETL架構(gòu)；

另一種是非獨(dú)立數(shù)據(jù)集市，這種數(shù)據(jù)集市沒有自己的源系統(tǒng)，它的數(shù)

據(jù)來自數(shù)據(jù)倉庫。當(dāng)用戶或者應(yīng)用程序不需要/不必要/不允許用到整個(gè)數(shù)據(jù)

倉庫的數(shù)據(jù)時(shí)，非獨(dú)立數(shù)據(jù)集市就可以簡單為用戶提供一個(gè)數(shù)據(jù)倉庫的子集。

數(shù)據(jù)集市是一個(gè)結(jié)構(gòu)概念，它是企業(yè)級(jí)數(shù)據(jù)倉庫的一個(gè)子集，主要面向部門級(jí)業(yè)

務(wù)，并且只面向某個(gè)特定的主題。

應(yīng)用場景：數(shù)據(jù)集市是數(shù)倉之上更聚焦的業(yè)務(wù)主題合集，更偏向于應(yīng)對(duì)業(yè)務(wù)數(shù)據(jù)

快速高效應(yīng)用的需求，一般用于商業(yè)智能系統(tǒng)中探索式和交互式數(shù)據(jù)分析應(yīng)用

03數(shù)據(jù)湖

2010年，Pentaho首席技術(shù)官JamesDixon創(chuàng)造了“數(shù)據(jù)湖”一詞。他把數(shù)

據(jù)集市描述成一瓶清洗過的、包裝過的和結(jié)構(gòu)化易于使用的水。而數(shù)據(jù)湖更

像是在自然狀態(tài)下的水，數(shù)據(jù)流從源系統(tǒng)流向這個(gè)湖。用戶可以在數(shù)據(jù)湖里

校驗(yàn)，取樣或完全的使用數(shù)據(jù)。

這個(gè)也是一個(gè)不精確的定義。數(shù)據(jù)湖還有以下特點(diǎn)：

從源系統(tǒng)導(dǎo)入所有的數(shù)據(jù)，沒有數(shù)據(jù)流失。

數(shù)據(jù)存儲(chǔ)時(shí)沒有經(jīng)過轉(zhuǎn)換或只是簡單的處理。

數(shù)據(jù)轉(zhuǎn)換和定義schema用于滿足分析需求。

數(shù)據(jù)湖能給企業(yè)帶來多種能力，例如，能實(shí)現(xiàn)數(shù)據(jù)的集中式管理，在此之上,

企業(yè)能挖掘出很多之前所不具備的能力。

另外，數(shù)據(jù)湖結(jié)合先進(jìn)的數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)技術(shù)，能幫助企業(yè)構(gòu)建更多優(yōu)

化后的運(yùn)營模型，也能為企業(yè)提供其他能力，如預(yù)測(cè)分析、推薦模型等，這

些模型能刺激企業(yè)能力的后續(xù)增長。

未經(jīng)處理和包裝的原生狀態(tài)"水庫"

A數(shù)據(jù)湖示意圖

數(shù)據(jù)湖是一種數(shù)據(jù)存儲(chǔ)理念，存儲(chǔ)企業(yè)各種各樣的原始數(shù)據(jù)的大型倉庫，包括結(jié)

構(gòu)化、非結(jié)構(gòu)、二進(jìn)制圖像、音頻、視頻等等。

應(yīng)用場景：以大數(shù)據(jù)技術(shù)為基礎(chǔ)有多樣化數(shù)據(jù)結(jié)構(gòu)海量大數(shù)據(jù)存儲(chǔ)需求，也可作

為數(shù)據(jù)倉庫或者數(shù)據(jù)集市的數(shù)據(jù)源。

04數(shù)據(jù)中臺(tái)

數(shù)據(jù)中臺(tái)是指通過企業(yè)內(nèi)外部多源異構(gòu)的數(shù)據(jù)采集、治理、建模、分析，應(yīng)

用，使數(shù)據(jù)對(duì)內(nèi)優(yōu)化管理提高業(yè)務(wù)，對(duì)外可以數(shù)據(jù)合作價(jià)值釋放，成為企業(yè)

數(shù)據(jù)資產(chǎn)管理中樞。數(shù)據(jù)中臺(tái)建立后，會(huì)形成數(shù)據(jù)API,為企業(yè)和客戶提供

高效各種數(shù)據(jù)服務(wù)。

數(shù)據(jù)服務(wù)(DataAPI)

數(shù)據(jù)目錄數(shù)據(jù)標(biāo)簽數(shù)據(jù)分析數(shù)據(jù)開放

數(shù)據(jù)計(jì)算數(shù)據(jù)存儲(chǔ)

批量離線計(jì)算傳統(tǒng)數(shù)據(jù)倉庫

內(nèi)存計(jì)算一分布式關(guān)系數(shù)據(jù)庫

在線流式計(jì)算分布式NoSQL數(shù)據(jù)庫

機(jī)器學(xué)習(xí)模型訓(xùn)練分布式文件系統(tǒng)

數(shù)據(jù)采集

即t數(shù)據(jù)

ERPMES實(shí)時(shí)數(shù)據(jù)文檔圖戶

△數(shù)據(jù)中臺(tái)架構(gòu)圖

數(shù)據(jù)中臺(tái)整體技術(shù)架構(gòu)上采用云計(jì)算架構(gòu)模式，將數(shù)據(jù)資源、計(jì)算資源、存

儲(chǔ)資源充分云化，并通過多租戶技術(shù)進(jìn)行資源打包整合，并進(jìn)行開放，為用

戶提供“一站式”數(shù)據(jù)服務(wù)。

利用大數(shù)據(jù)技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)一采集、計(jì)算、存儲(chǔ)，并使用統(tǒng)一的數(shù)

據(jù)規(guī)范進(jìn)行管理，將企業(yè)內(nèi)部所有數(shù)據(jù)統(tǒng)一處理形成標(biāo)準(zhǔn)化數(shù)據(jù)，挖掘出對(duì)

企業(yè)最有價(jià)值的數(shù)據(jù)，構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫，提供一致的、高可用大數(shù)據(jù)服

務(wù)。

數(shù)據(jù)中臺(tái)不是一套軟件，也不是一個(gè)信息系統(tǒng)，而是一系列數(shù)據(jù)組件的集合，

企業(yè)基于自身的信息化建設(shè)基礎(chǔ)、數(shù)據(jù)基礎(chǔ)以及業(yè)務(wù)特點(diǎn)對(duì)數(shù)據(jù)中臺(tái)的能力

進(jìn)行定義，基于能力定義利用數(shù)據(jù)組件搭建自己的數(shù)據(jù)中臺(tái)。

數(shù)據(jù)中臺(tái)是一個(gè)邏輯概念，為業(yè)務(wù)提供服務(wù)的主要方式是數(shù)據(jù)API,它包括了數(shù)

據(jù)倉庫，大數(shù)據(jù)、數(shù)據(jù)治理領(lǐng)域的內(nèi)容。

應(yīng)用場景：是將數(shù)據(jù)服務(wù)化提供給業(yè)務(wù)系統(tǒng)，目的是將數(shù)據(jù)能力滲透到業(yè)務(wù)各個(gè)

環(huán)節(jié)，不限于決策分析。

05各種概念對(duì)比

ODSVS數(shù)據(jù)倉庫VS數(shù)據(jù)集市

操作型數(shù)據(jù)庫（ODS）、數(shù)據(jù)倉庫（DW或EDW）、數(shù)據(jù)集市（DM）是目

前標(biāo)準(zhǔn)數(shù)倉結(jié)構(gòu)的三個(gè)核心組件。

對(duì)比項(xiàng)ODSEDW

核心目的數(shù)據(jù)集中數(shù)據(jù)存儲(chǔ)

保留源系統(tǒng)業(yè)務(wù)邏輯的前數(shù)據(jù)整合重定義，1

提下，將上游數(shù)據(jù)的數(shù)據(jù)源造成定義不統(tǒng)一

主要工作內(nèi)容

格式按數(shù)倉要求統(tǒng)一，并業(yè)務(wù)規(guī)則統(tǒng)一，消1

作簡單的數(shù)據(jù)清洗統(tǒng)間壁壘；

剔除數(shù)據(jù)冗余，提

與檢索性能

服務(wù)對(duì)象EDW全局

數(shù)據(jù)有效性

主要關(guān)注點(diǎn)數(shù)據(jù)全面性

數(shù)據(jù)精確性

數(shù)據(jù)有效周期永久永久或長期

三范式規(guī)則

數(shù)據(jù)設(shè)計(jì)規(guī)則沿用源系統(tǒng)規(guī)則法律法規(guī)、行業(yè)規(guī):

觀業(yè)務(wù)規(guī)則

ODS用作所有原始數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)域，這些數(shù)據(jù)即將進(jìn)入數(shù)據(jù)倉庫進(jìn)行數(shù)

據(jù)處理。我們可以將其想象成倉庫裝卸碼頭，貨物在此處交付、檢查和驗(yàn)證。

在ODS中，數(shù)據(jù)在進(jìn)入倉庫前可以被清理、檢查（因?yàn)槿哂嗄康模部蓹z查

是否符合業(yè)務(wù)規(guī)則。在ODS中，我們可以對(duì)數(shù)據(jù)進(jìn)行查詢，但是數(shù)據(jù)是臨時(shí)

的，因此它僅提供簡單信息查詢，例如正在進(jìn)行的客戶訂單狀態(tài)。

數(shù)據(jù)集市通常是數(shù)據(jù)倉庫的子集；它的數(shù)據(jù)通常來自數(shù)據(jù)倉庫，盡管還可以

來自其他來源。數(shù)據(jù)集市的數(shù)據(jù)專門針對(duì)特定的用戶（例如銷售團(tuán)隊(duì)），以便

他們能夠快速找到所需的數(shù)據(jù)。通常，數(shù)據(jù)保存在那里用于特定用途，例如

財(cái)務(wù)分析。

數(shù)據(jù)集市也比數(shù)據(jù)倉庫小得多，它們可以容納數(shù)十千兆字節(jié)，相比之下，數(shù)

據(jù)倉庫可以存儲(chǔ)數(shù)百千兆字節(jié)到PB級(jí)數(shù)據(jù)，并可用于數(shù)據(jù)處理。數(shù)據(jù)集市可

從現(xiàn)有數(shù)據(jù)倉庫或其他數(shù)據(jù)源系統(tǒng)構(gòu)建，你只需設(shè)計(jì)和構(gòu)建數(shù)據(jù)庫表，使用

相關(guān)數(shù)據(jù)填充數(shù)據(jù)庫表并決定誰可以訪問數(shù)據(jù)集即可。

數(shù)據(jù)倉庫VS數(shù)據(jù)湖

數(shù)據(jù)倉庫與數(shù)據(jù)湖從存儲(chǔ)對(duì)象上來講，主要區(qū)別在于：

數(shù)據(jù)倉庫則用于存儲(chǔ)來自多個(gè)來源的結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)湖的不同之處在于它可存儲(chǔ)非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)倉庫

能處理所有

主要處理歷史的、結(jié)構(gòu)化的數(shù)據(jù)，而且這些數(shù)

構(gòu)化數(shù)據(jù)，

據(jù)必須與數(shù)據(jù)倉庫事先定義的模型吻合。

于數(shù)據(jù)源系

處理結(jié)構(gòu)化數(shù)據(jù)，將它們或者轉(zhuǎn)化為多維數(shù)擁有足夠強(qiáng)

據(jù)，或者轉(zhuǎn)換為報(bào)表，以滿足后續(xù)的高級(jí)報(bào)表型的數(shù)據(jù)，

及數(shù)據(jù)分析需求。使用。

數(shù)據(jù)倉庫通常用于存儲(chǔ)和維護(hù)長期數(shù)據(jù)，因此數(shù)據(jù)湖通常

數(shù)據(jù)可以按需訪問。有很高概率

的運(yùn)營需求

數(shù)據(jù)倉庫vs數(shù)據(jù)湖vs數(shù)據(jù)中臺(tái)

大數(shù)據(jù)時(shí)代，數(shù)據(jù)量越來越多，數(shù)據(jù)形式日益復(fù)雜，而以數(shù)據(jù)倉庫為代表的、

現(xiàn)有的數(shù)據(jù)存儲(chǔ)和處理技術(shù)無法滿足海量、多樣的數(shù)據(jù)處理需求的背景下產(chǎn)

生的。"數(shù)據(jù)湖”是將復(fù)雜的事物具象化，偏技術(shù)一些，以一個(gè)形象的名字，

反應(yīng)了它在大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理方面的優(yōu)勢(shì)和能力。

數(shù)據(jù)湖作為一個(gè)集中的存儲(chǔ)庫，可以在其中存儲(chǔ)任何形式（結(jié)構(gòu)化和非結(jié)構(gòu)

化）、任意規(guī)模的數(shù)據(jù)。在數(shù)據(jù)湖中，可以不對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，只

有在使用數(shù)據(jù)的時(shí)候，再利用數(shù)據(jù)湖強(qiáng)大的大數(shù)據(jù)查詢、處理、分析等組件

對(duì)數(shù)據(jù)進(jìn)行處理和應(yīng)用。因此，數(shù)據(jù)湖具備運(yùn)行不同類型數(shù)據(jù)分析的能力。

數(shù)據(jù)中臺(tái)從技術(shù)的層面承接了數(shù)據(jù)湖的技術(shù)，通過數(shù)據(jù)技術(shù)，對(duì)海量、多源、

多樣的數(shù)據(jù)進(jìn)行采集、處理、存儲(chǔ)、計(jì)算，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑，把數(shù)據(jù)統(tǒng)

一之后，以標(biāo)準(zhǔn)形式存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，以滿足前臺(tái)數(shù)據(jù)分析和應(yīng)用

的需求。

數(shù)據(jù)中臺(tái)更強(qiáng)調(diào)應(yīng)用，離業(yè)務(wù)更近，強(qiáng)調(diào)服務(wù)于前臺(tái)的能力，實(shí)現(xiàn)邏輯、算

法、標(biāo)簽、模型、數(shù)據(jù)資產(chǎn)的沉淀和復(fù)用，能更快速的相應(yīng)業(yè)務(wù)和應(yīng)用開發(fā)

的需求，可追溯，更精準(zhǔn)。

對(duì)比項(xiàng)數(shù)據(jù)倉庫數(shù)據(jù)中

存儲(chǔ)結(jié)構(gòu)主題式