第十七課--數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市

1、Copyright 2007 創(chuàng)智新程數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市Copyright2007-2009 創(chuàng)智新程Copyright 2007 創(chuàng)智新程數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市y目標(biāo)目標(biāo)0什么是數(shù)據(jù)倉(cāng)庫(kù)0數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)0操作數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別0維度建模的相關(guān)概念0維度建模的基本步驟0數(shù)據(jù)集市Copyright 2007 創(chuàng)智新程數(shù)據(jù)倉(cāng)庫(kù)的定義數(shù)據(jù)倉(cāng)庫(kù)的定義數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）是一個(gè)面向主題的（Subject Oriented）、集成的（Integrated）、相對(duì)穩(wěn)定的（Non-Volation）、反映歷史變化（Time Variant）的集合數(shù)

2、據(jù)，用于支持管理決策和信息的全局共享。-W.H.InmonCopyright 2007 創(chuàng)智新程面向主題的面向主題的y數(shù)據(jù)倉(cāng)庫(kù)是面向不同的主題域進(jìn)行組織。一個(gè)主題通數(shù)據(jù)倉(cāng)庫(kù)是面向不同的主題域進(jìn)行組織。一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)常與多個(gè)操作型信息系統(tǒng)相關(guān)。Copyright 2007 創(chuàng)智新程集成的集成的y數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)

3、于整個(gè)企業(yè)的一致的全局信息。信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。Copyright 2007 創(chuàng)智新程相對(duì)穩(wěn)定的相對(duì)穩(wěn)定的y數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢(xún)操作，但修改和刪除操數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢(xún)操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。作很少，通常只需要定期的加載、刷新。Copyright 2007 創(chuàng)智新程反映歷史變化的反映歷史變化的y數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過(guò)去某一時(shí)點(diǎn)（如開(kāi)始應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)的時(shí)點(diǎn)）到業(yè)從過(guò)去某一時(shí)點(diǎn)（如開(kāi)始應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)的時(shí)點(diǎn)）到目前的各個(gè)階段的信息，通過(guò)這些信息，可以對(duì)企業(yè)目前的各個(gè)階段

4、的信息，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。Copyright 2007 創(chuàng)智新程數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)Copyright 2007 創(chuàng)智新程數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)y數(shù)據(jù)源數(shù)據(jù)源y數(shù)據(jù)存儲(chǔ)及管理數(shù)據(jù)存儲(chǔ)及管理yOLAPOLAP引擎引擎y前端工具前端工具Copyright 2007 創(chuàng)智新程操作數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別操作數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別y操作數(shù)據(jù)庫(kù)系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理操作數(shù)據(jù)庫(kù)系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP。y數(shù)據(jù)倉(cāng)庫(kù)在數(shù)據(jù)分析和決策方面為用戶(hù)提供服務(wù)數(shù)據(jù)倉(cāng)庫(kù)在數(shù)據(jù)分析和決

5、策方面為用戶(hù)提供服務(wù),這這種系統(tǒng)稱(chēng)為聯(lián)機(jī)分析處理種系統(tǒng)稱(chēng)為聯(lián)機(jī)分析處理OLAP。Copyright 2007 創(chuàng)智新程維度建模的相關(guān)概念維度建模的相關(guān)概念y數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)y數(shù)據(jù)集市數(shù)據(jù)集市y事實(shí)事實(shí)y維度維度y數(shù)據(jù)挖掘數(shù)據(jù)挖掘Copyright 2007 創(chuàng)智新程維度建模的相關(guān)概念維度建模的相關(guān)概念y分析空間分析空間0數(shù)據(jù)倉(cāng)庫(kù)中一定量的數(shù)據(jù)，用于進(jìn)行數(shù)據(jù)挖掘以發(fā)現(xiàn)新信息同時(shí)支持管理決策。y切片切片0一種用來(lái)在數(shù)據(jù)倉(cāng)庫(kù)中將多個(gè)維度中的分析空間限制為數(shù)據(jù)子集的技術(shù)。y星型模型星型模型0一種使用關(guān)系數(shù)據(jù)庫(kù)實(shí)現(xiàn)多維分析空間的模型。y雪花模型雪花模型0不管什么原因，當(dāng)星型模型的維度需要進(jìn)行規(guī)范化時(shí)，星

6、型模型就演化為雪花模型。Copyright 2007 創(chuàng)智新程多維數(shù)據(jù)模型多維數(shù)據(jù)模型y一種非規(guī)范化的關(guān)系模型。一種非規(guī)范化的關(guān)系模型。0由一組屬性構(gòu)成的表所組成。0表跟表之間的關(guān)系通過(guò)關(guān)鍵字和外鍵來(lái)定義。y以良好的可理解性和方便的產(chǎn)生報(bào)表來(lái)進(jìn)行數(shù)據(jù)組織，以良好的可理解性和方便的產(chǎn)生報(bào)表來(lái)進(jìn)行數(shù)據(jù)組織，很少考慮修改的性能。很少考慮修改的性能。y通過(guò)通過(guò)SQLSQL或者相關(guān)的工具實(shí)現(xiàn)數(shù)據(jù)的查詢(xún)和維護(hù)?；蛘呦嚓P(guān)的工具實(shí)現(xiàn)數(shù)據(jù)的查詢(xún)和維護(hù)。Copyright 2007 創(chuàng)智新程多維數(shù)據(jù)模型多維數(shù)據(jù)模型y數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)和OLAPOLAP工具基于多維數(shù)據(jù)模型工具基于多維數(shù)據(jù)模型, ,該模型將數(shù)該模型

7、將數(shù)據(jù)看作數(shù)據(jù)立方體形式。據(jù)看作數(shù)據(jù)立方體形式。y數(shù)據(jù)立方體允許以多維對(duì)數(shù)據(jù)建模和觀察。數(shù)據(jù)立方體允許以多維對(duì)數(shù)據(jù)建模和觀察。一個(gè)具有一個(gè)具有 x、y、z 維度的方塊維度的方塊Copyright 2007 創(chuàng)智新程多維數(shù)據(jù)模型的組成多維數(shù)據(jù)模型的組成y維維y事實(shí)事實(shí)y數(shù)據(jù)立方體數(shù)據(jù)立方體Copyright 2007 創(chuàng)智新程多維數(shù)據(jù)模型舉例多維數(shù)據(jù)模型舉例y關(guān)系表與多維關(guān)系表與多維CubeCubeCopyright 2007 創(chuàng)智新程多維建模技術(shù)多維建模技術(shù)y星型和雪花模式是主要的存在形式。星型和雪花模式是主要的存在形式。0星型模式包含一個(gè)大的包含大批數(shù)據(jù)的事實(shí)表和一系列維表。0雪花模式是星型

8、模式的變種,不同的是將某些維表規(guī)范化。Copyright 2007 創(chuàng)智新程定單號(hào).日期標(biāo)識(shí).定單號(hào)定貨日期日期標(biāo)識(shí)日月事實(shí)表定貨表日期表星型模式星型模式Copyright 2007 創(chuàng)智新程維表進(jìn)一步層次化，改善查詢(xún)性能，增加表數(shù)量，增加查詢(xún)復(fù)雜性。定單號(hào).日期標(biāo)識(shí).定單號(hào)定貨日期日期標(biāo)識(shí)日月事實(shí)表定貨表日期表月年年雪花模式雪花模式Copyright 2007 創(chuàng)智新程事實(shí)表事實(shí)表y每一個(gè)事實(shí)表通常包含了處理所關(guān)心的一系列的度量每一個(gè)事實(shí)表通常包含了處理所關(guān)心的一系列的度量值。值。y每一個(gè)事實(shí)表的行包括：每一個(gè)事實(shí)表的行包括：0具有可加性的數(shù)值型的度量值。文本事實(shí)通常具有不可預(yù)見(jiàn)的內(nèi)容，很難

9、進(jìn)行分析。0與維表相連接的外鍵。通常具有兩個(gè)和兩個(gè)以外的外鍵。外鍵之間表示維表之間多對(duì)多的關(guān)系。Copyright 2007 創(chuàng)智新程事實(shí)表事實(shí)表y事實(shí)表的特征事實(shí)表的特征0非常大包含幾百幾千條甚至幾萬(wàn)、幾十萬(wàn)的記錄。0內(nèi)容相對(duì)的窄列數(shù)較少0經(jīng)常發(fā)生變化現(xiàn)實(shí)世界中新事件的發(fā)生-事實(shí)表中增加一條記錄。典型情況下，僅僅是數(shù)據(jù)的追加。y事實(shí)表的使用事實(shí)表的使用0各類(lèi)度量值的聚類(lèi)計(jì)算Copyright 2007 創(chuàng)智新程維表維表y每一張維表對(duì)應(yīng)現(xiàn)實(shí)世界中的一個(gè)對(duì)象或者概念。每一張維表對(duì)應(yīng)現(xiàn)實(shí)世界中的一個(gè)對(duì)象或者概念。0例如：客戶(hù)、產(chǎn)品、日期、地區(qū)、商場(chǎng)y維表的特征維表的特征0包含了眾多描述性的列維表的

10、范圍很寬（具有多個(gè)屬性）0通常情況下，跟事實(shí)表相比，行數(shù)相對(duì)較少通常10萬(wàn)條0內(nèi)容相對(duì)固定幾乎就是一類(lèi)查找表Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y解題步驟解題步驟0定義OLAP的數(shù)據(jù)集市：包括使用星型模型或雪花模型。0事實(shí)的選擇：通過(guò)事實(shí)表的共有特性及四種常見(jiàn)樣式來(lái)選擇適當(dāng)?shù)氖聦?shí)種類(lèi)。四種常見(jiàn)的事實(shí)樣式為：事務(wù)事實(shí)、快照事實(shí)、線性項(xiàng)目事實(shí)、事件/狀態(tài)事實(shí)。0維的創(chuàng)建。0聚合體的設(shè)計(jì)。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)

11、的星型模型y設(shè)計(jì)分析設(shè)計(jì)分析0OLAP數(shù)據(jù)來(lái)源：Northwind數(shù)據(jù)庫(kù)共有8個(gè)表，分別是Orders、OrderDetails、Customers、Products、Categories、Employees、Shippers及Suppliers。0Time_Dim時(shí)間維Northwind銷(xiāo)售系統(tǒng)的日期以O(shè)rders的出貨日為事實(shí)的時(shí)間，因此產(chǎn)生一個(gè)Time_Dim。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)分析設(shè)計(jì)分析0事實(shí)表的主軸： Orders和OrderDetails兩個(gè)表的連接。OrderD

12、etails中包括了數(shù)值字段：UnitPrice、Quantity及Discount?？梢酝扑愠鍪聦?shí)所需要的度量值：運(yùn)費(fèi)、銷(xiāo)售金額、銷(xiāo)售數(shù)量和折扣。0四個(gè)維表Customer_Dim、Product_Dim、Employee_Dim及Shipper_Dim的確定。Orders及OrderDetails兩個(gè)表中的外部鍵有CustomerID、ProductID、EmployeeID及ShipperID。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)分析設(shè)計(jì)分析0Product_Dim具有一個(gè)分層結(jié)構(gòu)：產(chǎn)品類(lèi)

13、別，并且采用的是合并維分層結(jié)構(gòu)。Northwind數(shù)據(jù)庫(kù)Categories的CategoriesID與Products的CategoriesID是一對(duì)多的關(guān)系，因此可以通過(guò)連接將Categories的CategoriesName合并到Product_Dim中。Northwind數(shù)據(jù)庫(kù)Suppliers的SupplierID與Products的SupplierID是一對(duì)多的關(guān)系，因此可以通過(guò)連接將Suppliers的CompanyName合并到Product_Dim的供應(yīng)商中。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)

14、庫(kù)的星型模型y設(shè)計(jì)實(shí)施設(shè)計(jì)實(shí)施0建立Sales_Fact事實(shí)表0主鍵是由時(shí)間序號(hào)、客戶(hù)序號(hào)、發(fā)貨人序號(hào)、產(chǎn)品序號(hào)及員工序號(hào)共同組成一個(gè)多值鍵，并且這幾個(gè)字段的值都是來(lái)自維表的外部鍵。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)實(shí)施設(shè)計(jì)實(shí)施0建立Time_Dim維表。0時(shí)間序號(hào)，是一個(gè)由標(biāo)識(shí)(Identity)生成的代理鍵。0出貨日，即Orders的ShippedDate。0幾乎所有的數(shù)據(jù)倉(cāng)庫(kù)中均包含時(shí)間維。數(shù)據(jù)倉(cāng)庫(kù)是反映歷史變化的允許針對(duì)歷史的數(shù)據(jù)進(jìn)行分析0典型的粒度：each row = 1 dayC

15、opyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)實(shí)施設(shè)計(jì)實(shí)施0建立Customer_Dim維表客戶(hù)序號(hào)，是一個(gè)由標(biāo)識(shí)生成的代理鍵。其他字段都是由Customers這個(gè)表來(lái)產(chǎn)生。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)實(shí)施設(shè)計(jì)實(shí)施0建立Product_Dim維表。產(chǎn)品序號(hào)，是一個(gè)由標(biāo)識(shí)生成的代理鍵。Product_Dim有一個(gè)分層結(jié)構(gòu)：產(chǎn)品類(lèi)別，并且采用的是合并維分層結(jié)構(gòu)。所以產(chǎn)品類(lèi)別這個(gè)字段從Categories的

16、ProductID與Products的ProductID連接而來(lái)。其他字段都是由Products這個(gè)表來(lái)產(chǎn)生。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)實(shí)施設(shè)計(jì)實(shí)施0建立Employee_Dim維表。員工序號(hào)，是一個(gè)由標(biāo)識(shí)生成的代理鍵。員工姓名：由DTS的ActiveX Script將Northwind數(shù)據(jù)庫(kù)中的Employees這個(gè)表的lastname與firstname合并而成。年齡及年薪由Employees這個(gè)表的BirthDate、HireDate產(chǎn)生。年齡層及年薪層是基于分析便利而產(chǎn)生的統(tǒng)計(jì)

17、組，當(dāng)數(shù)據(jù)由OLTP轉(zhuǎn)換到OLAP時(shí)，由DTS的ActiveX Script來(lái)負(fù)責(zé)做建立分組的動(dòng)作。其他字段都是由Employees這個(gè)表來(lái)產(chǎn)生。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y設(shè)計(jì)實(shí)施設(shè)計(jì)實(shí)施0建立ShipperDim這個(gè)維表發(fā)貨人序號(hào)，是一個(gè)由標(biāo)識(shí)生成的代理鍵。其他字段都是由Shippers這個(gè)表來(lái)產(chǎn)生。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)NorthwindNorthwind數(shù)據(jù)庫(kù)的星型模型數(shù)據(jù)庫(kù)的星型模型y將五個(gè)維表將五個(gè)維表Time_Dim、Customer_Dim、Product_Dim、Employee_Dim及及Shipper_Dim與事實(shí)與事實(shí)表表Sales_Fact作關(guān)聯(lián)。作關(guān)聯(lián)。Copyright 2007 創(chuàng)智新程任務(wù)一：設(shè)計(jì)任務(wù)一：設(shè)計(jì)No