第十七課--數(shù)據(jù)倉庫和數(shù)據(jù)集市.ppt

Copyright2007創(chuàng)智新程,數(shù)據(jù)倉庫和數(shù)據(jù)集市,Copyright2007-2009創(chuàng)智新程,Copyright2007創(chuàng)智新程,數(shù)據(jù)倉庫和數(shù)據(jù)集市,目標(biāo)什么是數(shù)據(jù)倉庫數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別維度建模的相關(guān)概念維度建模的基本步驟數(shù)據(jù)集市,Copyright2007創(chuàng)智新程,數(shù)據(jù)倉庫的定義,數(shù)據(jù)倉庫（DataWarehouse）是一個面向主題的（SubjectOriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volation）、反映歷史變化（TimeVariant）的集合數(shù)據(jù)，用于支持管理決策和信息的全局共享。-W.H.Inmon,Copyright2007創(chuàng)智新程,面向主題的,數(shù)據(jù)倉庫是面向不同的主題域進行組織。一個主題通常與多個操作型信息系統(tǒng)相關(guān)。,Copyright2007創(chuàng)智新程,集成的,數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。,Copyright2007創(chuàng)智新程,相對穩(wěn)定的,數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。,Copyright2007創(chuàng)智新程,反映歷史變化的,數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點（如開始應(yīng)用數(shù)據(jù)倉庫的時點）到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。,Copyright2007創(chuàng)智新程,數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu),Copyright2007創(chuàng)智新程,數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu),數(shù)據(jù)源數(shù)據(jù)存儲及管理OLAP引擎前端工具,Copyright2007創(chuàng)智新程,操作數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別,操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處理OLTP。數(shù)據(jù)倉庫在數(shù)據(jù)分析和決策方面為用戶提供服務(wù),這種系統(tǒng)稱為聯(lián)機分析處理OLAP。,Copyright2007創(chuàng)智新程,維度建模的相關(guān)概念,數(shù)據(jù)倉庫數(shù)據(jù)集市事實維度數(shù)據(jù)挖掘,Copyright2007創(chuàng)智新程,維度建模的相關(guān)概念,分析空間數(shù)據(jù)倉庫中一定量的數(shù)據(jù)，用于進行數(shù)據(jù)挖掘以發(fā)現(xiàn)新信息同時支持管理決策。切片一種用來在數(shù)據(jù)倉庫中將多個維度中的分析空間限制為數(shù)據(jù)子集的技術(shù)。星型模型一種使用關(guān)系數(shù)據(jù)庫實現(xiàn)多維分析空間的模型。雪花模型不管什么原因，當(dāng)星型模型的維度需要進行規(guī)范化時，星型模型就演化為雪花模型。,Copyright2007創(chuàng)智新程,多維數(shù)據(jù)模型,一種非規(guī)范化的關(guān)系模型。由一組屬性構(gòu)成的表所組成。表跟表之間的關(guān)系通過關(guān)鍵字和外鍵來定義。以良好的可理解性和方便的產(chǎn)生報表來進行數(shù)據(jù)組織，很少考慮修改的性能。通過SQL或者相關(guān)的工具實現(xiàn)數(shù)據(jù)的查詢和維護。,Copyright2007創(chuàng)智新程,多維數(shù)據(jù)模型,數(shù)據(jù)倉庫和OLAP工具基于多維數(shù)據(jù)模型,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式。數(shù)據(jù)立方體允許以多維對數(shù)據(jù)建模和觀察。,一個具有x、y、z維度的方塊,Copyright2007創(chuàng)智新程,多維數(shù)據(jù)模型的組成,維事實數(shù)據(jù)立方體,Copyright2007創(chuàng)智新程,多維數(shù)據(jù)模型舉例,關(guān)系表與多維Cube,Copyright2007創(chuàng)智新程,多維建模技術(shù),星型和雪花模式是主要的存在形式。星型模式包含一個大的包含大批數(shù)據(jù)的事實表和一系列維表。雪花模式是星型模式的變種,不同的是將某些維表規(guī)范化。,Copyright2007創(chuàng)智新程,星型模式,Copyright2007創(chuàng)智新程,維表進一步層次化，改善查詢性能，增加表數(shù)量，增加查詢復(fù)雜性。,雪花模式,Copyright2007創(chuàng)智新程,事實表,每一個事實表通常包含了處理所關(guān)心的一系列的度量值。每一個事實表的行包括：具有可加性的數(shù)值型的度量值。文本事實通常具有不可預(yù)見的內(nèi)容，很難進行分析。與維表相連接的外鍵。通常具有兩個和兩個以外的外鍵。外鍵之間表示維表之間多對多的關(guān)系。,Copyright2007創(chuàng)智新程,事實表,事實表的特征非常大包含幾百幾千條甚至幾萬、幾十萬的記錄。內(nèi)容相對的窄列數(shù)較少經(jīng)常發(fā)生變化現(xiàn)實世界中新事件的發(fā)生-事實表中增加一條記錄。典型情況下，僅僅是數(shù)據(jù)的追加。事實表的使用各類度量值的聚類計算,Copyright2007創(chuàng)智新程,維表,每一張維表對應(yīng)現(xiàn)實世界中的一個對象或者概念。例如：客戶、產(chǎn)品、日期、地區(qū)、商場維表的特征包含了眾多描述性的列維表的范圍很寬（具有多個屬性）通常情況下，跟事實表相比，行數(shù)相對較少通常10萬條內(nèi)容相對固定幾乎就是一類查找表,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,解題步驟定義OLAP的數(shù)據(jù)集市：包括使用星型模型或雪花模型。事實的選擇：通過事實表的共有特性及四種常見樣式來選擇適當(dāng)?shù)氖聦嵎N類。四種常見的事實樣式為：事務(wù)事實、快照事實、線性項目事實、事件/狀態(tài)事實。維的創(chuàng)建。聚合體的設(shè)計。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計分析OLAP數(shù)據(jù)來源：Northwind數(shù)據(jù)庫共有8個表，分別是Orders、OrderDetails、Customers、Products、Categories、Employees、Shippers及Suppliers。Time_Dim時間維Northwind銷售系統(tǒng)的日期以O(shè)rders的出貨日為事實的時間，因此產(chǎn)生一個Time_Dim。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計分析事實表的主軸：Orders和OrderDetails兩個表的連接。OrderDetails中包括了數(shù)值字段：UnitPrice、Quantity及Discount?？梢酝扑愠鍪聦嵥枰亩攘恐担哼\費、銷售金額、銷售數(shù)量和折扣。四個維表Customer_Dim、Product_Dim、Employee_Dim及Shipper_Dim的確定。Orders及OrderDetails兩個表中的外部鍵有CustomerID、ProductID、EmployeeID及ShipperID。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計分析Product_Dim具有一個分層結(jié)構(gòu)：產(chǎn)品類別，并且采用的是合并維分層結(jié)構(gòu)。Northwind數(shù)據(jù)庫Categories的CategoriesID與Products的CategoriesID是一對多的關(guān)系，因此可以通過連接將Categories的CategoriesName合并到Product_Dim中。Northwind數(shù)據(jù)庫Suppliers的SupplierID與Products的SupplierID是一對多的關(guān)系，因此可以通過連接將Suppliers的CompanyName合并到Product_Dim的供應(yīng)商中。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計實施建立Sales_Fact事實表主鍵是由時間序號、客戶序號、發(fā)貨人序號、產(chǎn)品序號及員工序號共同組成一個多值鍵，并且這幾個字段的值都是來自維表的外部鍵。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計實施建立Time_Dim維表。時間序號，是一個由標(biāo)識(Identity)生成的代理鍵。出貨日，即Orders的ShippedDate。幾乎所有的數(shù)據(jù)倉庫中均包含時間維。數(shù)據(jù)倉庫是反映歷史變化的允許針對歷史的數(shù)據(jù)進行分析典型的粒度：eachrow=1day,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計實施建立Customer_Dim維表客戶序號，是一個由標(biāo)識生成的代理鍵。其他字段都是由Customers這個表來產(chǎn)生。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計實施建立Product_Dim維表。產(chǎn)品序號，是一個由標(biāo)識生成的代理鍵。Product_Dim有一個分層結(jié)構(gòu)：產(chǎn)品類別，并且采用的是合并維分層結(jié)構(gòu)。所以產(chǎn)品類別這個字段從Categories的ProductID與Products的ProductID連接而來。其他字段都是由Products這個表來產(chǎn)生。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計實施建立Employee_Dim維表。員工序號，是一個由標(biāo)識生成的代理鍵。員工姓名：由DTS的ActiveXScript將Northwind數(shù)據(jù)庫中的Employees這個表的lastname與firstname合并而成。年齡及年薪由Employees這個表的BirthDate、HireDate產(chǎn)生。年齡層及年薪層是基于分析便利而產(chǎn)生的統(tǒng)計組，當(dāng)數(shù)據(jù)由OLTP轉(zhuǎn)換到OLAP時，由DTS的ActiveXScript來負(fù)責(zé)做建立分組的動作。其他字段都是由Employees這個表來產(chǎn)生。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,設(shè)計實施建立ShipperDim這個維表發(fā)貨人序號，是一個由標(biāo)識生成的代理鍵。其他字段都是由Shippers這個表來產(chǎn)生。,Copyright2007創(chuàng)智新程,任務(wù)一：設(shè)計Northwind數(shù)據(jù)庫的星型模型,將五個維表Time_Dim、Customer_Dim、Product_Dim、Employee_Dim及Shipper_Dim與事實表Sales_Fact作