1了解數(shù)據(jù)庫(kù)及其管理系統(tǒng)的相關(guān)概念

學(xué)習(xí)目標(biāo)

?

了解數(shù)據(jù)庫(kù)及其管理系統(tǒng)的相關(guān)概念

?

熟悉數(shù)據(jù)倉(cāng)庫(kù)的定義和特征

?

熟悉數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)、OLTP的主要區(qū)別

?

熟悉數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程及開(kāi)發(fā)過(guò)程中應(yīng)該注意

?

學(xué)會(huì)分析思考如何構(gòu)建基于數(shù)據(jù)倉(cāng)庫(kù)的DSS

淘寶網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目投資的

決策

?

假如說(shuō)你現(xiàn)在就是淘寶網(wǎng)的財(cái)務(wù)總監(jiān)，當(dāng)時(shí)該項(xiàng)目方案的

申請(qǐng)

和投資工作由你來(lái)負(fù)責(zé)。結(jié)合淘寶網(wǎng)的案例資料

和你對(duì)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)的理解，

該項(xiàng)目前的決策思考重點(diǎn)。

你在

決定投資

解讀亞馬遜成功三法則改

戶數(shù)據(jù)

?

結(jié)合亞馬遜公司業(yè)務(wù)特點(diǎn)和給定的案例資料，

亞

馬遜公司對(duì)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)的要求，以及在構(gòu)建數(shù)據(jù)庫(kù)

和數(shù)據(jù)倉(cāng)庫(kù)時(shí)的決策思考重點(diǎn)。

Sybase數(shù)據(jù)倉(cāng)庫(kù)解決方案招商

應(yīng)用案例

為什么要應(yīng)用Sybase數(shù)據(jù)倉(cāng)庫(kù)？

?

招商

Sybase數(shù)據(jù)倉(cāng)庫(kù)主要應(yīng)用于招商

?

業(yè)務(wù)的哪些方面？

?

?

招商

對(duì)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用系統(tǒng)的需求主要集中哪些方面？

Sybase數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用設(shè)計(jì)方案

簡(jiǎn)單介紹招商

?

招商

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)實(shí)現(xiàn)了哪些功能？

數(shù)據(jù)庫(kù)術(shù)語(yǔ)

1．

2．表

?

?

?

?

?

?

數(shù)據(jù)庫(kù)

列和數(shù)據(jù)類型

行

主鍵

查詢和索引

查詢是人們用各種SQL指令構(gòu)造出來(lái)的，SQL指令負(fù)責(zé)具體完成篩選和提取結(jié)果數(shù)據(jù)的工作。

索引（index）是一種輔助性的數(shù)據(jù)表，它們只包含一種信

息：原始數(shù)據(jù)

的排序情況。

數(shù)據(jù)庫(kù)系統(tǒng)

?

數(shù)據(jù)庫(kù)系統(tǒng)是一個(gè)實(shí)際可運(yùn)行的

、

和應(yīng)用系

統(tǒng)提供數(shù)據(jù)的

理系統(tǒng)的集合體。

系統(tǒng)，是

介質(zhì)、處理對(duì)象和管

?

它通常由

、數(shù)據(jù)庫(kù)和數(shù)據(jù)管理員組成。

主要包括操作系統(tǒng)、各種宿主語(yǔ)言、實(shí)用程序以及數(shù)據(jù)

庫(kù)管理系統(tǒng)。

數(shù)據(jù)庫(kù)由數(shù)據(jù)庫(kù)管理系統(tǒng)

管理，數(shù)據(jù)的

、修改和檢

索均要通過(guò)數(shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行。

數(shù)據(jù)管理員負(fù)責(zé)創(chuàng)建、

和

整個(gè)數(shù)據(jù)庫(kù)，使數(shù)據(jù)能被

任何

使用的人有效使用。

數(shù)據(jù)庫(kù)管理系統(tǒng)

數(shù)據(jù)庫(kù)管理系統(tǒng)(DatabaseManagementSystem)是一

?

種

和管理數(shù)據(jù)庫(kù)的大型

數(shù)據(jù)庫(kù)，簡(jiǎn)稱DBMS。

，是用于建立、使用和

?

對(duì)數(shù)據(jù)庫(kù)進(jìn)行

的管理和控制，以保證數(shù)據(jù)庫(kù)的安全

性和完整性。用戶通過(guò)DBMS

數(shù)據(jù)庫(kù)中的數(shù)據(jù)，數(shù)

據(jù)庫(kù)管理員也通過(guò)DBMS進(jìn)行數(shù)據(jù)庫(kù)的

工作。

?

提供多種功能，可使多個(gè)應(yīng)用程序和用戶用不同的方法

在同時(shí)或不同時(shí)刻去建立，修改和詢問(wèn)數(shù)據(jù)庫(kù)。

數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生

?

隨著數(shù)據(jù)庫(kù)和信息系統(tǒng)的應(yīng)用，企業(yè)的日常經(jīng)營(yíng)運(yùn)轉(zhuǎn)越來(lái)

越依賴于信息系統(tǒng)中收集的數(shù)據(jù)和信息，大多數(shù)公司目前

的系統(tǒng)都收集了海量的業(yè)務(wù)數(shù)據(jù)，在一定時(shí)間后，這些歷

史數(shù)據(jù)也被從業(yè)務(wù)數(shù)據(jù)庫(kù)中轉(zhuǎn)移到了備份系統(tǒng)中，但是，

這些數(shù)據(jù)并不便于用戶進(jìn)行深入的數(shù)據(jù)分析，難以支持用

戶做出有效的決策。

一些新的需求也隨之產(chǎn)生。從大量數(shù)據(jù)中提取(檢索、查詢

?

等)制定市場(chǎng)策略的信息就顯得越來(lái)越重要了。

數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生

這種需求既要求聯(lián)機(jī)服務(wù)，又涉及大量用于決策的數(shù)據(jù)，

?

傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)已

這種需求。

1歷史數(shù)據(jù)量很大。

2輔助決策信息涉及許多部門(mén)的數(shù)據(jù),而不同系統(tǒng)的數(shù)據(jù)難以集成。

3由于

降。

數(shù)據(jù)的能力

，它對(duì)大量數(shù)據(jù)的

性能明顯下

?

為了更好的管理數(shù)據(jù)，保持?jǐn)?shù)據(jù)的一致性，從企業(yè)整體的

角度分析使用數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)的概念被提了出來(lái)。

為什么要構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)的目的是為了收集盡可能多的信息，用作公司的決策支持。

數(shù)據(jù)倉(cāng)庫(kù)是一種把收集的數(shù)據(jù)轉(zhuǎn)變成有意義信息的技術(shù)，

?

?

采用特定工具進(jìn)行

放在數(shù)據(jù)倉(cāng)庫(kù)中。

后的數(shù)據(jù)往往以一種特定的格式存

?

數(shù)據(jù)倉(cāng)庫(kù)通過(guò)使用多部進(jìn)程來(lái)執(zhí)行，這些進(jìn)程包括收集數(shù)

據(jù)、過(guò)濾數(shù)據(jù)和

告應(yīng)用程序中。

數(shù)據(jù)，以便把這些數(shù)據(jù)用在分析和報(bào)

?

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)可以來(lái)源于不同的數(shù)據(jù)源，如不同的數(shù)

據(jù)庫(kù)、不同的操作系統(tǒng)。

數(shù)據(jù)倉(cāng)庫(kù)的概念

W.H.

on的定義為：數(shù)據(jù)倉(cāng)

?

數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的

庫(kù)是支持管理決策過(guò)程的、面向

的、集成的、時(shí)

變的、非易失的數(shù)據(jù)集合。

（1）面向

（2）集成(

(SubjectOriented)的數(shù)據(jù)集合

egrated)的數(shù)據(jù)集合

時(shí)變(TimeVariant)的數(shù)據(jù)集合

非易失(Nonvolatile)的數(shù)據(jù)集合

數(shù)據(jù)倉(cāng)庫(kù)的特性

?

1.面向

：以用戶需要的方式組織

不同于面向功能的各種應(yīng)用程序，數(shù)據(jù)倉(cāng)庫(kù)面向與決策支持

只需要考慮數(shù)據(jù)建模以及數(shù)據(jù)庫(kù)的設(shè)計(jì)，無(wú)需顧及過(guò)程的設(shè)計(jì)

數(shù)據(jù)之間相互聯(lián)系

數(shù)據(jù)倉(cāng)庫(kù)的特性

?

2.數(shù)據(jù)集成：所有的名稱和

都進(jìn)行了

數(shù)據(jù)倉(cāng)庫(kù)中所有的數(shù)據(jù)都是整合的，是通過(guò)管理命名、度量屬性、

精確度和一般集合體的一致性

來(lái)的

涉及應(yīng)用程序的時(shí)候，對(duì)變量

名是

的，但是，一旦那些

與應(yīng)用程序相聯(lián)系的數(shù)據(jù)庫(kù)裝載入數(shù)據(jù)倉(cāng)庫(kù)時(shí)，采用什么命名方

式就必須進(jìn)行確定了，需要使用

名方式進(jìn)行轉(zhuǎn)換

數(shù)據(jù)整合的另一個(gè)結(jié)果是對(duì)于不同數(shù)據(jù)庫(kù)中相似的數(shù)據(jù)建立

的

，不僅僅要對(duì)裝入的數(shù)據(jù)進(jìn)行

，而且還要對(duì)最終

數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)的特性

?

3.時(shí)變——時(shí)間變量：不是當(dāng)前的數(shù)據(jù)，而是時(shí)間序列

數(shù)據(jù)

數(shù)據(jù)的時(shí)間變量有不同的表示方法

數(shù)據(jù)的時(shí)間跨度比較長(zhǎng)（5-10年），應(yīng)用系統(tǒng)中的時(shí)間跨度是當(dāng)前的或80-90天內(nèi)

另一個(gè)顯示時(shí)間變量的地方是

顯式或隱式的包含時(shí)間變量

的主鍵，每個(gè)主鍵或

數(shù)據(jù)一旦被

，將不可更改和變化

數(shù)據(jù)倉(cāng)庫(kù)的特性

?

4.非易失——即穩(wěn)定、不可變性：只以只讀的方式存

儲(chǔ)，不隨時(shí)間變化

在數(shù)據(jù)倉(cāng)庫(kù)中只有兩種數(shù)據(jù)操作方法：數(shù)據(jù)裝載和數(shù)據(jù)

，以保證數(shù)據(jù)不可更改和更新

應(yīng)用設(shè)計(jì)，第三范式要求，無(wú)需

所有可能的數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)，

著很多操作數(shù)據(jù)中沒(méi)有的計(jì)算結(jié)果和概括

信息，非常有用

數(shù)據(jù)倉(cāng)庫(kù)的特性

?

5.綜合的：操作型數(shù)據(jù)

為制定決策可以使用的格式

?

6.海量的：時(shí)間序列數(shù)據(jù)集一般數(shù)據(jù)量很大

?

7.元數(shù)據(jù)：關(guān)于數(shù)據(jù)

的數(shù)據(jù)

?

8.數(shù)據(jù)源：數(shù)據(jù)來(lái)自

和外部的

過(guò)整合的操作

型系統(tǒng)

數(shù)據(jù)倉(cāng)庫(kù)的類型

?

企業(yè)數(shù)據(jù)倉(cāng)庫(kù)為通用數(shù)據(jù)倉(cāng)庫(kù)，它既

詳細(xì)的數(shù)

據(jù)，也

累贅的或

的數(shù)據(jù)，這些數(shù)據(jù)具有不

易改變性和面向歷史性。

?

操作型數(shù)據(jù)庫(kù)

與企業(yè)數(shù)據(jù)倉(cāng)庫(kù)EDW相比較，ODS有下列特點(diǎn)：ODS是

向

和面向綜合的；ODS是易變的；ODS僅僅含有目前的、

詳細(xì)的數(shù)據(jù)，不含有累計(jì)的、歷史性的數(shù)據(jù)。

?

數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的一種具體化，它可以包含輕度累

計(jì)、歷史的部門(mén)數(shù)據(jù)，適合特定企業(yè)中某個(gè)部門(mén)的需要。

幾組數(shù)據(jù)集市可以組成一個(gè)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)。

面

數(shù)據(jù)倉(cāng)庫(kù)環(huán)境

組織的遺留系統(tǒng)和系統(tǒng)外部相關(guān)數(shù)據(jù)的主要數(shù)據(jù)來(lái)源。

?

是數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市

?

數(shù)據(jù)在不同數(shù)據(jù)

中傳輸?shù)臅r(shí)候，進(jìn)行一個(gè)

和轉(zhuǎn)化的過(guò)

程，從而

整合到數(shù)據(jù)倉(cāng)庫(kù)中。

?

系統(tǒng)還收集元數(shù)據(jù)，并與數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)相關(guān)聯(lián)，使?jié)撛诘挠脩?/p>

能夠知道數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的來(lái)源和特性。

?

從數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中產(chǎn)生一個(gè)或多個(gè)個(gè)人數(shù)據(jù)倉(cāng)庫(kù)，應(yīng)用于

獨(dú)立分析。

?

元數(shù)據(jù)：數(shù)據(jù)的數(shù)據(jù)，描述數(shù)據(jù)倉(cāng)庫(kù)中

了什么樣的數(shù)據(jù)、存

儲(chǔ)的位置，如何獲得數(shù)據(jù)等燈方面的內(nèi)容。

?

元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的

，它用于

數(shù)據(jù)模型和定義數(shù)據(jù)結(jié)構(gòu)、

轉(zhuǎn)換規(guī)劃、倉(cāng)庫(kù)結(jié)構(gòu)、控制信息等。

數(shù)據(jù)倉(cāng)庫(kù)環(huán)境

操作型數(shù)據(jù)

?

(ODS)

數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中最基本的組成部分

每天

各種應(yīng)用程序的數(shù)據(jù)

為數(shù)據(jù)倉(cāng)庫(kù)提供必需的原始數(shù)據(jù)

數(shù)據(jù)組織形式是面

象的（顧客、產(chǎn)品、訂單、政策

等）、易變的、近期的

ODS通常來(lái)源于一個(gè)或多個(gè)遺留系統(tǒng)

遺留系統(tǒng)在企業(yè)中廣泛存在，主要是指那些過(guò)時(shí)或存在問(wèn)題的計(jì)算機(jī)系統(tǒng)

為了能夠用于分析，都必須進(jìn)一步整合到數(shù)據(jù)倉(cāng)庫(kù)中

數(shù)據(jù)集市

?

以數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)的決策支持環(huán)境，要求數(shù)據(jù)倉(cāng)庫(kù)能夠滿足所有最終用戶的

需求。然而，

不同最終用戶的需求側(cè)重點(diǎn)是不同的，這就要求數(shù)據(jù)倉(cāng)庫(kù)

的數(shù)據(jù)要具有充

分的靈活性，以能夠適應(yīng)各類用戶的查詢和分析；

最終用戶對(duì)信息檢索要求是高性能—越快越好。但是，對(duì)數(shù)據(jù)倉(cāng)庫(kù)而言，靈活

體—要保障靈活性以滿足盡可能多用戶的查詢需

性和性能（速度）是一對(duì)

求會(huì)影響整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的性能

?

為了解決靈活性和性能之間的

，數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中增加了數(shù)據(jù)集市一

種小型的部門(mén)或工作組級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)。

?

數(shù)據(jù)集市

為特定用戶預(yù)先計(jì)算好的數(shù)據(jù)，從而滿足用戶對(duì)性能的需求。

數(shù)據(jù)集市

適用于各個(gè)公司的、小型的、低成本的數(shù)據(jù)倉(cāng)庫(kù)

?

?

常被視為開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的

法，直接向一個(gè)獨(dú)立

的數(shù)據(jù)使用者提供數(shù)據(jù)更為容易

?

不能夠從企業(yè)的范

個(gè)信息孤島

內(nèi)進(jìn)行規(guī)劃，數(shù)據(jù)集市成為一個(gè)

?

如果在整個(gè)企業(yè)的層次上構(gòu)筑，可以提供低成本的數(shù)

據(jù)

并不斷擴(kuò)大發(fā)展成為整個(gè)的數(shù)據(jù)倉(cāng)庫(kù)環(huán)境

圍

元數(shù)據(jù)——數(shù)據(jù)的數(shù)據(jù)

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的簡(jiǎn)單數(shù)據(jù)，也就是說(shuō)，是關(guān)于數(shù)據(jù)

?

倉(cāng)庫(kù)的信息，而不是數(shù)據(jù)倉(cāng)庫(kù)內(nèi)

的信息

?

元數(shù)據(jù)是

明的抽象

次的數(shù)據(jù)，為

提供對(duì)低層次數(shù)據(jù)的簡(jiǎn)

?

數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)不論是不是元數(shù)據(jù)都是不可更新的。

數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的每一次增加，元數(shù)據(jù)都會(huì)進(jìn)行擴(kuò)展

為了描述數(shù)據(jù)倉(cāng)庫(kù)中大量的元素，元數(shù)據(jù)必須組織為精確的、前后對(duì)照的方式

?

元數(shù)據(jù)——數(shù)據(jù)的數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)中存了什么表、屬性和鍵

?

?

?

?

?

?

?

?

每一個(gè)數(shù)據(jù)集合的來(lái)源是什么

在數(shù)據(jù)裝載入庫(kù)時(shí)使用的什么轉(zhuǎn)換邏輯

元數(shù)據(jù)如何隨時(shí)間變化

數(shù)據(jù)的別名是什么以及數(shù)據(jù)之間的關(guān)系如何

技術(shù)和業(yè)務(wù)過(guò)程的關(guān)聯(lián)是什么

數(shù)據(jù)重載的頻率是多少

數(shù)據(jù)倉(cāng)庫(kù)

有多少數(shù)據(jù)元素

數(shù)據(jù)倉(cāng)庫(kù)的其他重要概念

?

數(shù)據(jù)倉(cāng)庫(kù)的邏輯結(jié)構(gòu)和物理結(jié)構(gòu)

邏輯結(jié)構(gòu)數(shù)據(jù)由3層到4層數(shù)據(jù)組成，它們均由元數(shù)據(jù)

(MetaData)組織而成。

數(shù)據(jù)庫(kù)組織形式(空間超立方體形式)

物理

形式有

和基于關(guān)系數(shù)據(jù)庫(kù)組織形式(由關(guān)系型事實(shí)表和維表組成)。

數(shù)據(jù)倉(cāng)庫(kù)的其他重要概念

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(DWS)由數(shù)據(jù)倉(cāng)庫(kù)、倉(cāng)庫(kù)管理和分析工具三部分組成。

（1）數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源于多個(gè)數(shù)據(jù)源,包括企業(yè)

?

?

數(shù)據(jù)、市場(chǎng)

及各種文檔之類的外部數(shù)據(jù)。

（2）倉(cāng)庫(kù)管理：在確定數(shù)據(jù)倉(cāng)庫(kù)信息需求后，首先進(jìn)行數(shù)據(jù)建模，

?

然后確定從數(shù)據(jù)源到數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取、

和轉(zhuǎn)換過(guò)程，最后

劃分維數(shù)及確定數(shù)據(jù)倉(cāng)庫(kù)的物理

結(jié)構(gòu)。倉(cāng)庫(kù)管理包括對(duì)數(shù)據(jù)的

、恢復(fù)等工作,這些工作需要利

安全、歸檔、備份、

用數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)的功能。

（3）分析工具：用于完成實(shí)際決策問(wèn)題所需的各種查詢檢索工具、數(shù)據(jù)的OLAP分析工具、數(shù)據(jù)開(kāi)采DM工具等，以實(shí)現(xiàn)決策支持

系統(tǒng)的各種要求。

?

數(shù)據(jù)倉(cāng)庫(kù)的其他重要概念

數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的C/S結(jié)構(gòu)形式

?

兩層結(jié)構(gòu)：客戶端的工作包括客戶交互、格式化查詢及

結(jié)果和報(bào)表生成等，服務(wù)器端完成各種輔助決策的SQL查

詢、復(fù)雜的計(jì)算和各類綜合功能等。

三層結(jié)構(gòu)：在客戶與服務(wù)器之間增加一個(gè)

數(shù)據(jù)分析服

務(wù)器。該服務(wù)器能加強(qiáng)和規(guī)范決策支持的服務(wù)工作，集中

和簡(jiǎn)化原客戶端和DW服務(wù)器的部分工作，降低系統(tǒng)數(shù)據(jù)傳輸量，因此工作效率更高。

數(shù)據(jù)倉(cāng)庫(kù)體系的組成

數(shù)據(jù)倉(cāng)庫(kù)體系的組成

?

操作和外部數(shù)據(jù)庫(kù)層：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源，用戶不必考慮

數(shù)

據(jù)庫(kù)的操作

應(yīng)用的執(zhí)行過(guò)程

?

信息

層：直接與最終用戶打交道的一層，最終用戶用來(lái)提取

和分析數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的工具

?

數(shù)據(jù)

層：連接操作型信息

層與數(shù)據(jù)倉(cāng)庫(kù)本身的一個(gè)接

，包括數(shù)據(jù)倉(cāng)庫(kù)所涉及的不同的數(shù)據(jù)庫(kù)，為數(shù)據(jù)倉(cāng)庫(kù)用戶

數(shù)據(jù)提供方便

?

元數(shù)據(jù)層：為實(shí)現(xiàn)通用的數(shù)據(jù)

服務(wù)

口

型

數(shù)據(jù)倉(cāng)庫(kù)體系的組成

過(guò)程管理層：主要著重于調(diào)度數(shù)據(jù)倉(cāng)庫(kù)的建立以及元數(shù)據(jù)的所必需的各種任務(wù)

?

?

應(yīng)用消息發(fā)送層：

用于在計(jì)算機(jī)網(wǎng)絡(luò)中傳遞信息

不僅包括網(wǎng)絡(luò)協(xié)議和請(qǐng)求路由的功能，還可以使得操作和信息的

應(yīng)用于數(shù)據(jù)的格式相

可視作數(shù)據(jù)倉(cāng)庫(kù)底層的傳輸系統(tǒng)

?

物理數(shù)據(jù)倉(cāng)庫(kù)層：數(shù)據(jù)實(shí)際

據(jù)

的地方，包括虛擬的和本地的數(shù)

?

數(shù)據(jù)分段

層：包括選擇、編輯、小結(jié)、合并以及從操作性和

/或外部數(shù)據(jù)庫(kù)中裝載數(shù)據(jù)倉(cāng)庫(kù)和信息

數(shù)據(jù)的所有過(guò)程

數(shù)據(jù)庫(kù)、OLTP和數(shù)據(jù)倉(cāng)庫(kù)

?

數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)在

別

以

業(yè)務(wù)為例。數(shù)據(jù)庫(kù)是事務(wù)系統(tǒng)的數(shù)據(jù)

，客戶在

做的每筆交易都會(huì)寫(xiě)入數(shù)據(jù)庫(kù)，被

下來(lái)，這里，可以簡(jiǎn)單

地理解為用數(shù)據(jù)庫(kù)記賬。數(shù)據(jù)倉(cāng)庫(kù)是分析系統(tǒng)的數(shù)據(jù)

，它

從事務(wù)系統(tǒng)獲取數(shù)據(jù)，并做匯總、加工，為決策者提供決策的

依據(jù)。比如，分析某

當(dāng)前存款余額是多少。

OLTP與數(shù)據(jù)倉(cāng)庫(kù)

某分行一個(gè)月發(fā)生多少交易，該分行

?

程序大部分都屬于不是很復(fù)雜的數(shù)據(jù)庫(kù)，但是完全可以

將其看作一個(gè)在單用戶環(huán)境下的OLTP（

事務(wù)處理系統(tǒng)）

數(shù)據(jù)的操作CRUD（創(chuàng)建、

簡(jiǎn)單示例。它使用了所有的所謂

、更新、刪除）。當(dāng)數(shù)據(jù)會(huì)幾乎保持不變，因?yàn)榭梢詮?/p>

達(dá)到一定量的時(shí)候，規(guī)模就

中刪除過(guò)期數(shù)據(jù)。

區(qū)

數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)

數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)流程

?

啟動(dòng)工程

建立技術(shù)環(huán)境

確定

進(jìn)行數(shù)據(jù)建模

設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)庫(kù)

數(shù)據(jù)轉(zhuǎn)換程序管理元數(shù)據(jù)

開(kāi)發(fā)用戶決策的數(shù)據(jù)分析工具

管理數(shù)據(jù)倉(cāng)庫(kù)環(huán)境

數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)

數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)工具

?

1．?dāng)?shù)據(jù)

一般的數(shù)據(jù)庫(kù)系統(tǒng)中有可能存在著大量的噪聲數(shù)據(jù),引起的主要原

因有

縮寫(xiě)詞、慣用語(yǔ)、數(shù)據(jù)輸入錯(cuò)誤、重復(fù)

、丟失值、拼

寫(xiě)變化等等。

為了清除噪聲數(shù)據(jù)，必須對(duì)數(shù)據(jù)庫(kù)系統(tǒng)中的相關(guān)數(shù)據(jù)進(jìn)行

。

2．ETL工具

ETL是指數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transform）、裝載

（Load）的過(guò)程，它是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。

整個(gè)ETL過(guò)程基本是通過(guò)控制用SQL語(yǔ)句編寫(xiě)的

過(guò)程和函數(shù)的

方式來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的直接操作，SQL語(yǔ)句的效率將直接影響到數(shù)據(jù)

倉(cāng)庫(kù)

的性能。

數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)

在實(shí)施數(shù)據(jù)倉(cāng)庫(kù)過(guò)程中應(yīng)避免的11個(gè)錯(cuò)誤

?

1．錯(cuò)誤的項(xiàng)目發(fā)起

2、制訂了不可能完成的目標(biāo)

3、犯政治幼稚病

4、把所有能找到的數(shù)據(jù)全都放到數(shù)據(jù)倉(cāng)庫(kù)中

5、認(rèn)為設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)就是設(shè)計(jì)事務(wù)數(shù)據(jù)庫(kù)

6、選擇一個(gè)面向技術(shù)的而不是面向用戶的人做數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目經(jīng)理

7、只專注傳統(tǒng)的

關(guān)系型數(shù)據(jù)，而忽略外部數(shù)據(jù)、文本、圖像、甚

至聲音、

數(shù)據(jù)

8、用交疊的或

的數(shù)據(jù)定義交付數(shù)據(jù)

9、相信軟硬件供應(yīng)商對(duì)性能、能力和可擴(kuò)展性的承諾

10、相信一旦數(shù)據(jù)倉(cāng)庫(kù)建立起來(lái)并開(kāi)始運(yùn)行，你的任務(wù)就完成了

11、專注于動(dòng)態(tài)生成查詢、數(shù)據(jù)挖掘和定期生成報(bào)表

構(gòu)建基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)

DSS的

?

（1）DDS使用的數(shù)據(jù)庫(kù)（DB）只能對(duì)原始數(shù)據(jù)進(jìn)行一般的

，難以滿足DDS的需要。

加工和匯總，致使決策所需信息

（2）由于決策本身的動(dòng)態(tài)性和復(fù)雜性，針對(duì)不同的情況應(yīng)有不同的處理方法，而模型庫(kù)提供的分析能力有限，它所提供的模型獨(dú)立于環(huán)境之外，決策者和模型交互很少，模型參數(shù)固定不變，不符合決策要求，DDS作出的決策常被有經(jīng)驗(yàn)

的決策者一口否定，使決策者對(duì)DDS產(chǎn)生不信任感。

（3）在實(shí)際開(kāi)發(fā)DDS過(guò)程中，人機(jī)接口

占整個(gè)DDS開(kāi)

發(fā)工作量的一半，人的任何意圖及系統(tǒng)對(duì)人的任何支持都要

通過(guò)人機(jī)接口才能最終實(shí)現(xiàn)?，F(xiàn)在人機(jī)接口開(kāi)發(fā)得不理想，可以說(shuō)是DDS實(shí)施中的一個(gè)瓶頸。

構(gòu)建基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)

DSS因數(shù)據(jù)倉(cāng)庫(kù)而實(shí)現(xiàn)了突破

?

一般決策所需的數(shù)據(jù)總是與一些維數(shù)（每一維代表對(duì)數(shù)據(jù)的

一個(gè)特定的觀察視角，如地區(qū)、時(shí)間等）和不同級(jí)別（如部

門(mén)、

的

、地區(qū)和國(guó)家）的統(tǒng)計(jì)和計(jì)算有關(guān)，以

數(shù)據(jù)分析是決策的主要內(nèi)容。

數(shù)據(jù)為

特征滿足DDS對(duì)數(shù)據(jù)的分析要求，并且克服

數(shù)據(jù)倉(cāng)庫(kù)的

數(shù)據(jù)庫(kù)的數(shù)據(jù)組織性差、利用率低的缺點(diǎn)。

構(gòu)建基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)

如何建立數(shù)據(jù)倉(cāng)庫(kù)

?

建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)需要經(jīng)過(guò)以下幾個(gè)處理過(guò)程：數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、

數(shù)據(jù)抽取、數(shù)據(jù)管理。

1．?dāng)?shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

（1）根據(jù)決策

設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，一般采用星型模型和雪花

模型設(shè)計(jì)其數(shù)據(jù)模型，在設(shè)計(jì)過(guò)程中應(yīng)保證數(shù)據(jù)倉(cāng)庫(kù)的規(guī)范化和體系各元素的必要聯(lián)系。主要有以下3個(gè)步驟：

（1）定義該

所需各數(shù)據(jù)源的詳細(xì)情況，包括所在計(jì)算機(jī)

、

擁有者、數(shù)據(jù)結(jié)構(gòu)、使用該數(shù)據(jù)源的處理過(guò)程、倉(cāng)庫(kù)更新計(jì)劃等。

（2）定義數(shù)據(jù)抽取原則，以便從每個(gè)數(shù)據(jù)源中抽取所需數(shù)據(jù)；定

義數(shù)據(jù)如何轉(zhuǎn)換、裝載到

的哪個(gè)數(shù)據(jù)表中。

（3）將一個(gè)

細(xì)化為多個(gè)業(yè)務(wù)

，形成

表，據(jù)此從數(shù)據(jù)

倉(cāng)庫(kù)中選出多個(gè)數(shù)據(jù)子集，即數(shù)據(jù)集市。數(shù)據(jù)集市通常針對(duì)部門(mén)級(jí)的決策或某個(gè)特定業(yè)務(wù)需求，它開(kāi)發(fā)