數(shù)據(jù)倉(cāng)庫(kù)多維數(shù)據(jù)庫(kù)模型

數(shù)據(jù)倉(cāng)庫(kù)多維數(shù)據(jù)庫(kù)模型第1頁(yè)，共30頁(yè)，2023年，2月20日，星期六何謂數(shù)據(jù)倉(cāng)庫(kù)？

一種面向分析的環(huán)境；一種把相關(guān)的各種數(shù)據(jù)轉(zhuǎn)換成有商業(yè)價(jià)值的信息的技術(shù)。第2頁(yè)，共30頁(yè)，2023年，2月20日，星期六1、從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)系統(tǒng)能夠很好的用于事務(wù)處理，但它對(duì)分析處理的支持一直不能令人滿意。特別是當(dāng)以業(yè)務(wù)處理為主的聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用和以分析處理為主的DSS應(yīng)用共存于一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，就會(huì)產(chǎn)生許多問(wèn)題。例如，事務(wù)處理應(yīng)用一般需要的是當(dāng)前數(shù)據(jù)，主要考慮較短的響應(yīng)時(shí)間；而分析處理應(yīng)用需要是歷史的、綜合的、集成的數(shù)據(jù)，它的分析處理過(guò)程可能持續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。第3頁(yè)，共30頁(yè)，2023年，2月20日，星期六

人們逐漸認(rèn)識(shí)到直接用事務(wù)處理環(huán)境來(lái)支持DSS是行不通的。要提高分析和決策的有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來(lái)，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)。第4頁(yè)，共30頁(yè)，2023年，2月20日，星期六操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)確的代表過(guò)去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一個(gè)單元一個(gè)時(shí)刻操作一個(gè)集合事物驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理需求第5頁(yè)，共30頁(yè)，2023年，2月20日，星期六數(shù)據(jù)倉(cāng)庫(kù)與決策支持系統(tǒng)（DSS）用戶在進(jìn)行決策制定時(shí)需要得到企業(yè)各方面的信息，因此用戶一般首先根據(jù)各個(gè)業(yè)務(wù)部門數(shù)據(jù)庫(kù)中的數(shù)據(jù)，創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)，存儲(chǔ)各種歷史信息和匯總信息。對(duì)數(shù)據(jù)倉(cāng)庫(kù)的進(jìn)一步應(yīng)用由功能強(qiáng)大的分析工具來(lái)實(shí)現(xiàn)?，F(xiàn)在主要有三類分析工具可用于決策支持。第一類能夠支持涉及分組和聚集查詢，并能夠?qū)Ω鞣N復(fù)雜的布爾條件、統(tǒng)計(jì)函數(shù)和時(shí)間序列分析提供支持的系統(tǒng)。主要由上述查詢組成的應(yīng)用稱為聯(lián)機(jī)分析處理，即OLAP。在支持OLAP查詢的系統(tǒng)中，數(shù)據(jù)最好看成是一個(gè)多維數(shù)組。第6頁(yè)，共30頁(yè)，2023年，2月20日，星期六

第二類系統(tǒng)仍為支持傳統(tǒng)SQL查詢的DBMS，但為了有效地執(zhí)行OLAP查詢而進(jìn)行了特殊的設(shè)計(jì)。這些系統(tǒng)可以看作是為決策支持應(yīng)用進(jìn)行了優(yōu)化的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)。許多關(guān)系數(shù)據(jù)庫(kù)廠商對(duì)他們的產(chǎn)品進(jìn)行了擴(kuò)展，并且隨著時(shí)間的推移，專門的OLAP系統(tǒng)和支持決策支持的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)之間的差別將逐漸取消。第7頁(yè)，共30頁(yè)，2023年，2月20日，星期六

第三類的分析工具可用于在大量的數(shù)據(jù)集合中，找到有意義的數(shù)據(jù)趨勢(shì)或者模式，而不是上面提到的復(fù)雜數(shù)據(jù)查詢。在數(shù)據(jù)分析過(guò)程中，盡管分析者能夠判定得到的數(shù)據(jù)模式是否有意義，但是生成查詢來(lái)得到有意義的模式還是很困難的。例如，分析者查看信用卡使用記錄，希望從中找出不正常的信用卡使用行為，以表明是被濫用的丟失的信用卡；商人希望通過(guò)查看客戶記錄找出潛在的客戶來(lái)提高收益。許多應(yīng)用涉及的數(shù)據(jù)量很大，很難用人工分析或者傳統(tǒng)的統(tǒng)計(jì)分析方法進(jìn)行分析，數(shù)據(jù)挖掘的目的就是對(duì)這種大量數(shù)據(jù)的分析提供支持。第8頁(yè)，共30頁(yè)，2023年，2月20日，星期六2、數(shù)據(jù)倉(cāng)庫(kù)的定義及特征數(shù)據(jù)倉(cāng)庫(kù)理論的創(chuàng)始人W.H.Inmon在其《BuildingtheDataWarehouse》一書(shū)中，給出了數(shù)據(jù)倉(cāng)庫(kù)的四個(gè)基本特征：面向主題，數(shù)據(jù)是集成的，數(shù)據(jù)是不可更新的，數(shù)據(jù)是隨時(shí)間不斷變化的。第9頁(yè)，共30頁(yè)，2023年，2月20日，星期六采購(gòu)子系統(tǒng):

訂單（訂單號(hào)，供應(yīng)商號(hào)，商品號(hào)，類別，單價(jià)。數(shù)量，總金額，日期，…

）供應(yīng)商（供應(yīng)商號(hào)，供應(yīng)商名，地址，電話，…）銷售子系統(tǒng)：客戶（客戶號(hào)，姓名，地址，電話，…

）銷售（客戶號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期，…

）庫(kù)存子系統(tǒng)：進(jìn)庫(kù)單（編號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期，…

）出庫(kù)單（編號(hào)，商品號(hào)，數(shù)量，單價(jià)，日期，…

）庫(kù)存（商品號(hào)，庫(kù)房號(hào)，類別，單價(jià)，庫(kù)存數(shù)量，總金額，日期，…

）第10頁(yè)，共30頁(yè)，2023年，2月20日，星期六

商品固有信息：商品號(hào)，類別，單價(jià)，顏色，…

商品采購(gòu)信息：商品號(hào)，類別，供應(yīng)商號(hào)，供應(yīng)日期，單價(jià)，數(shù)量，…

商品銷售信息：商品號(hào)，客戶號(hào)，數(shù)量，單價(jià)，銷售日期，…

商品庫(kù)存信息：商品號(hào)，庫(kù)房號(hào)，庫(kù)存數(shù)量，日期，…

）商品主題域：采購(gòu)子系統(tǒng)銷售子系統(tǒng)庫(kù)存子系統(tǒng)第11頁(yè)，共30頁(yè)，2023年，2月20日，星期六3、數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)分為四個(gè)級(jí)別：早期細(xì)節(jié)級(jí)，當(dāng)前細(xì)節(jié)級(jí)，輕度綜合級(jí)，高度綜合級(jí)。1985~1998年銷售明細(xì)表1998~2003年銷售明細(xì)表1998~2003年每月銷售表1998~2003年每季度銷售表第12頁(yè)，共30頁(yè)，2023年，2月20日，星期六DW中還有一類重要的數(shù)據(jù)：元數(shù)據(jù)（metedata）。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”（RDBMS中的數(shù)據(jù)字典就是一種元數(shù)據(jù)）。數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù)描述了數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容、索引、碼、數(shù)據(jù)轉(zhuǎn)換規(guī)則、粒度定義等。第13頁(yè)，共30頁(yè)，2023年，2月20日，星期六4、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)結(jié)構(gòu)RDBMS數(shù)據(jù)文件其他

綜合數(shù)據(jù)

當(dāng)前數(shù)據(jù)

歷史數(shù)據(jù)

元數(shù)據(jù)抽取、轉(zhuǎn)換、裝載數(shù)據(jù)倉(cāng)庫(kù)OLAP工具DM工具

查詢工具分析工具第14頁(yè)，共30頁(yè)，2023年，2月20日，星期六二、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)分為如下三個(gè)階段：

數(shù)據(jù)倉(cāng)庫(kù)建模

分析主題域確定粒度層次確定數(shù)據(jù)分割策略

構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)與存儲(chǔ)策略

DSS應(yīng)用編程

第15頁(yè)，共30頁(yè)，2023年，2月20日，星期六三、操作數(shù)據(jù)存儲(chǔ)（ODS）在許多情況下，DB-DW的兩層體系結(jié)構(gòu)并不適合企業(yè)的數(shù)據(jù)處理要求。因?yàn)?，雖然可以粗略地把數(shù)據(jù)處理分成操作型和分析型，但這兩種處理處理并不是涇渭分明的。

ODS（OperationalDataStore）作為一個(gè)中間層次，一方面，它包含企業(yè)全局一致的、細(xì)節(jié)的、當(dāng)前的或接近當(dāng)前的數(shù)據(jù)，另一方面，它又是一個(gè)面向主題、集成的數(shù)據(jù)環(huán)境，適合完成日常決策的分析處理。第16頁(yè)，共30頁(yè)，2023年，2月20日，星期六四、數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的工具主要有：數(shù)據(jù)預(yù)處理工具，數(shù)據(jù)分析（OLAP）工具，數(shù)據(jù)挖掘工具，OLAP服務(wù)器。第17頁(yè)，共30頁(yè)，2023年，2月20日，星期六

數(shù)據(jù)倉(cāng)庫(kù)和OLAP工具基于多維數(shù)據(jù)模型（在數(shù)據(jù)倉(cāng)庫(kù)中，通常以多維方式來(lái)存儲(chǔ)數(shù)據(jù)。）?；靖拍?/p>

維：人們觀察數(shù)據(jù)的特定角度。

維的層次：人們觀察數(shù)據(jù)的特定角度可能存在細(xì)節(jié)程度不同的多個(gè)描述方面，我們稱其為維的層次。多維分析的基本動(dòng)作上卷:匯總數(shù)據(jù)

下鉆：明細(xì)數(shù)據(jù)

切片，旋轉(zhuǎn)，。第18頁(yè)，共30頁(yè)，2023年，2月20日，星期六Salesvolumeasafunctionofproduct,month,andregionProductRegionMonthDimensions:Product,Location,TimeHierarchicalsummarizationpathsIndustryRegionYearCategoryCountryQuarterProductCityMonthWeekOfficeDay第19頁(yè)，共30頁(yè)，2023年，2月20日，星期六TotalannualsalesofTVinU.S.A.DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum第20頁(yè)，共30頁(yè)，2023年，2月20日，星期六

產(chǎn)品銷售情況某年某月產(chǎn)品銷售情況選定兩個(gè)維：產(chǎn)品維和地區(qū)維時(shí)間維數(shù)據(jù)切片產(chǎn)品維地區(qū)維產(chǎn)品維地區(qū)維第21頁(yè)，共30頁(yè)，2023年，2月20日，星期六基于RDBMS的數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)

關(guān)系數(shù)據(jù)庫(kù)將多維數(shù)據(jù)庫(kù)中的多維結(jié)構(gòu)分為兩類：一類是事實(shí)表，用來(lái)存儲(chǔ)事實(shí)的度量值以及各個(gè)維的碼值；另一類是維表。

數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)模型有：星型模式，雪花模式，混合模式

數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)也可以理解為面向OLAP的數(shù)據(jù)庫(kù)設(shè)計(jì)。第22頁(yè)，共30頁(yè)，2023年，2月20日，星期六

在星型模式中，主要數(shù)據(jù)存儲(chǔ)在事實(shí)表中，沒(méi)有冗余，并符合3NF或BCNF。維值信息存儲(chǔ)在維表中。維表一般不需要規(guī)范化。主要原因是維表是靜態(tài)的，是否會(huì)產(chǎn)生因更新而導(dǎo)致異常也就不重要了。ProductsPidpnamecategorypriceLocationsLocidcitystatecountryPidtimeidlocidsalesTimeiddatemonthquarteryearholiday_flagTimesSales第23頁(yè)，共30頁(yè)，2023年，2月20日，星期六定單號(hào)銷售員號(hào)客戶號(hào)產(chǎn)品號(hào)日期標(biāo)識(shí)地區(qū)名稱數(shù)量總價(jià)定單號(hào)定貨日期客戶號(hào)客戶名稱客戶地址銷售員號(hào)姓名城市產(chǎn)品號(hào)產(chǎn)品名稱單價(jià)日期標(biāo)識(shí)日月年地區(qū)名稱省事實(shí)表星型模式第24頁(yè)，共30頁(yè)，2023年，2月20日，星期六定單號(hào)銷售員號(hào)客戶號(hào)產(chǎn)品號(hào)日期標(biāo)識(shí)地區(qū)名稱數(shù)量總價(jià)定單號(hào)定貨日期客戶號(hào)客戶名稱客戶地址銷售員號(hào)姓名城市產(chǎn)品號(hào)產(chǎn)品名稱單價(jià)日期標(biāo)識(shí)日月年地區(qū)名稱省事實(shí)表雪花模式產(chǎn)品號(hào)公司代碼公司代碼公司名稱地址第25頁(yè)，共30頁(yè)，2023年，2月20日，星期六五、SQLServer2000數(shù)據(jù)倉(cāng)庫(kù)工具數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)

用于向數(shù)據(jù)倉(cāng)庫(kù)中加載數(shù)據(jù)數(shù)據(jù)復(fù)制用于分布式數(shù)據(jù)倉(cāng)庫(kù)分布和加載數(shù)據(jù)OLEDB

提供應(yīng)用程序與數(shù)據(jù)源的接口APIAnalysisService

用于采集和分析數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)EnglishQuery

提供使用英語(yǔ)語(yǔ)言查詢數(shù)據(jù)倉(cāng)庫(kù)MetaDataService

瀏覽數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù)PivotTable服務(wù)用于定制操作多維數(shù)據(jù)的客戶端接口第26頁(yè)，共30頁(yè)，2023年，2月20日，星期六

在數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)市場(chǎng)中的信息可以由聯(lián)機(jī)分析(OLAP)處理，OLAP可以有效地以由維度和度量組成的立方體方式查看數(shù)據(jù)。然而，存在著這種問(wèn)題：雖然OLAP合計(jì)是在數(shù)據(jù)倉(cāng)庫(kù)中可以達(dá)到的查詢性能的關(guān)鍵因素，但是存儲(chǔ)這些合計(jì)數(shù)據(jù)的成本是磁盤(pán)存儲(chǔ)量。事實(shí)上，合計(jì)數(shù)據(jù)量可以輕易地超過(guò)原有的數(shù)據(jù)量。另外，當(dāng)維度和合計(jì)量提高時(shí)，所要求的OLAP數(shù)據(jù)存儲(chǔ)量也大大地提高。這種對(duì)存儲(chǔ)量的極大要求一般稱為數(shù)據(jù)爆炸。OLAP描述的是一種多維數(shù)據(jù)服務(wù)，這種服務(wù)的設(shè)計(jì)目的是保證分析員、經(jīng)理和決策者針對(duì)特定的問(wèn)題，通過(guò)快速、一致、交互式的實(shí)時(shí)數(shù)據(jù)訪問(wèn)和分析，獲得有創(chuàng)意的發(fā)現(xiàn)。第27頁(yè)，共30頁(yè)，2023年，2月20日，星期六

在SQLServer2000中，有3種用于存儲(chǔ)數(shù)據(jù)