數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā)

數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā)3.1數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā)概述建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟數(shù)據(jù)倉庫系統(tǒng)的生命周期創(chuàng)建數(shù)據(jù)倉庫系統(tǒng)的兩種思維模式數(shù)據(jù)倉庫數(shù)據(jù)庫的設(shè)計步驟第2頁,共32頁，星期六，2024年，5月建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟數(shù)據(jù)倉庫系統(tǒng)的建立是一個復(fù)雜而漫長的過程。涉及到：源數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫對應(yīng)的數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)分析與報表工具……第3頁,共32頁，星期六，2024年，5月建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟收集和分析業(yè)務(wù)需求步驟建立數(shù)據(jù)模型和數(shù)據(jù)倉庫的物理設(shè)計定義數(shù)據(jù)源選擇數(shù)據(jù)倉庫技術(shù)和平臺從操作型數(shù)據(jù)庫中抽取、清洗及轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉庫選擇訪問和報表工具，選擇數(shù)據(jù)庫連接軟件，選擇數(shù)據(jù)分析和數(shù)據(jù)展示軟件更新數(shù)據(jù)倉庫第4頁,共32頁，星期六，2024年，5月數(shù)據(jù)倉庫系統(tǒng)的生命開發(fā)周期數(shù)據(jù)倉庫系統(tǒng)的開發(fā)與設(shè)計是一個動態(tài)的反饋和循環(huán)過程。一個數(shù)據(jù)倉庫系統(tǒng)包括：數(shù)據(jù)倉庫數(shù)據(jù)庫數(shù)據(jù)分析應(yīng)用系統(tǒng)第5頁,共32頁，星期六，2024年，5月數(shù)據(jù)倉庫系統(tǒng)的生命開發(fā)周期第6頁,共32頁，星期六，2024年，5月建立數(shù)據(jù)倉庫系統(tǒng)的兩種思維模式自頂向下（Top-down）將數(shù)據(jù)通過ETL匯集到數(shù)據(jù)倉庫中，然后再把數(shù)據(jù)通過復(fù)制的方式存入各個數(shù)據(jù)集市中。自底向上（Bottom-Up）

通過ETL將數(shù)據(jù)匯集到數(shù)據(jù)集市中，再將數(shù)據(jù)匯集到數(shù)據(jù)倉庫中。第7頁,共32頁，星期六，2024年，5月數(shù)據(jù)倉庫數(shù)據(jù)庫的設(shè)計步驟第8頁,共32頁，星期六，2024年，5月3.2基于SQLServer的數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計過程詳解SQLServer2005介紹集成了三個服務(wù)。SQLServer2005的數(shù)據(jù)倉庫架構(gòu)第9頁,共32頁，星期六，2024年，5月MSSQLServer2005的數(shù)據(jù)倉庫架構(gòu)

第10頁,共32頁，星期六，2024年，5月3.2基于SQLServer的數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計過程詳解包括以下步驟：分析組織的業(yè)務(wù)狀況及數(shù)據(jù)源結(jié)構(gòu)組織需求調(diào)研，收集業(yè)務(wù)需求采用信息包圖法進(jìn)行數(shù)據(jù)倉庫的概念模型設(shè)計利用星形圖進(jìn)行數(shù)據(jù)倉庫的邏輯模型設(shè)計數(shù)據(jù)倉庫的物理模型設(shè)計第11頁,共32頁，星期六，2024年，5月分析組織的業(yè)務(wù)狀況及數(shù)據(jù)源結(jié)構(gòu)以SQLServer2005實例數(shù)據(jù)庫AdventureWorksDW中所描述AdventureWorksCycles公司的用戶需求為例。公司概況業(yè)務(wù)系統(tǒng)流程介紹對數(shù)據(jù)源結(jié)構(gòu)的分析與理解第12頁,共32頁，星期六，2024年，5月組織需求調(diào)研，收集業(yè)務(wù)需求堅持?jǐn)?shù)據(jù)驅(qū)動+用戶（需求）驅(qū)動的設(shè)計理體念，因此需要充分了解用戶的需求，進(jìn)而對需求進(jìn)行分析。關(guān)于用戶需求的調(diào)研（確定主題域）對用戶需求調(diào)研結(jié)果的分析（確定度量指標(biāo)和維度）第13頁,共32頁，星期六，2024年，5月物理模型

星型、雪花模型

物理數(shù)據(jù)模型概念模型邏輯模型面向用戶的需求細(xì)化層次更詳細(xì)的技術(shù)細(xì)節(jié)信息包圖采用信息包圖法進(jìn)行概念模型設(shè)計第14頁,共32頁，星期六，2024年，5月信息包圖：是數(shù)據(jù)倉庫的數(shù)據(jù)模型的第一層或最高層。由于大多數(shù)商務(wù)數(shù)據(jù)是多維的，但傳統(tǒng)的數(shù)據(jù)模型表示三維以上的數(shù)據(jù)有一定困難。而信息包圖簡化了這一過程并且允許用戶設(shè)計多維信息包并與開發(fā)者和其他用戶建立聯(lián)系。這種模型集中在用戶對信息包的需要，信息包提供了分析人員思維模式的可視化表示。信息包圖法簡介第15頁,共32頁，星期六，2024年，5月工作：確定系統(tǒng)邊界：決策類型、需要的信息、原始信息確定主題域及其內(nèi)容：主題域的公共鍵碼、聯(lián)系、屬性組確定維度：如時間維、銷售位置維、產(chǎn)品維、組別維等確定類別：相應(yīng)維的詳細(xì)類別確定指標(biāo)和事實：用于進(jìn)行分析的數(shù)值化信息第16頁,共32頁，星期六，2024年，5月信息包圖的建立信息包：

維度類別

空白信息包圖樣式指標(biāo)和事實第17頁,共32頁，星期六，2024年，5月〖例〗試畫出銷售分析的信息包圖。解：首先根據(jù)銷售分析的實際需求，確定信息包的維度、類別和指標(biāo)與事實：（1）維度：包括日期維、區(qū)域維、產(chǎn)品維、客戶維、廣告維（待用）等。（2）類別：確定各維的詳細(xì)類別，如：日期維包括年（5）、季度（20）、月（60）、日（1800），括號中的數(shù)字分別指出各類別的數(shù)量；區(qū)域維包括國家（10）、省州（100）、城市（500）、銷售點（8000），括號中的數(shù)字同樣分別指出各類別的數(shù)量；類似地，可以確定產(chǎn)品維、客戶維、廣告維等的詳細(xì)類別。（3）指標(biāo)和事實：確定用于進(jìn)行分析的數(shù)值化信息，包括實際銷售額、計劃銷售額和計劃完成率。第18頁,共32頁，星期六，2024年，5月銷售分析的信息包圖日期維區(qū)域維產(chǎn)品維客戶維廣告維（待用）年度(5)國家(10)產(chǎn)品類別(500)年齡分組(7)廣告費(fèi)分組(2)季度(20)省州(100)產(chǎn)品名稱(9000)收入分組（8）月(60)城市(500)信用組（2）日（1800）銷售點(8000)指標(biāo)和事實:實際銷售額、計劃銷售額、計劃完成率信息包：銷售分析 維度類別第19頁,共32頁，星期六，2024年，5月設(shè)計基于主題域的概念模型供應(yīng)商ID相關(guān)信息有關(guān)信息商品信息供應(yīng)商供應(yīng)商主題顧客顧客ID顧客主題商品商品ID商品主題第20頁,共32頁，星期六，2024年，5月利用星形圖進(jìn)行數(shù)據(jù)倉庫的邏輯模型設(shè)計

根據(jù)分析需求與信息包圖制作星形圖銷售分析客戶廣告區(qū)域時間產(chǎn)品第21頁,共32頁，星期六，2024年，5月根據(jù)分析需求與信息包圖制作雪花圖

銷售分析客戶廣告區(qū)域時間產(chǎn)品產(chǎn)品類別雪花模型對星型模型的維度表進(jìn)一步標(biāo)準(zhǔn)化，對星型模型中的維度表進(jìn)行了規(guī)范化處理。

第22頁,共32頁，星期六，2024年，5月確定主題的屬性組主題名公共鍵碼屬性組商品商品號基本信息：商品號、商品名、類型和顏色等采購信息：商品號、供應(yīng)商號、供應(yīng)價、供應(yīng)日期和供應(yīng)量等庫存信息：商品號、庫房號、庫存量和日期等銷售銷售單號基本信息：銷售單號、銷售地址等銷售信息：客戶號、商品號、銷售價、銷售量和銷售時間等客戶客戶號第23頁,共32頁，星期六，2024年，5月事實表及其特征度量是客戶發(fā)生事件或動作的事實記錄，如客戶打電話，可能選擇的度量有通話時長、通話次數(shù)和通話費(fèi)用等?？蛻糍徺I商品，可能選擇的度量有購買的次數(shù)、購買商品的金額和購買商品的數(shù)量等。事實表則是在星型模型或雪花模型中用來記錄業(yè)務(wù)事實，并作相應(yīng)指標(biāo)統(tǒng)計的表。事實表的特征有：記錄數(shù)量情況維度表情況第24頁,共32頁，星期六，2024年，5月事實表的類型與設(shè)計事實是一種度量，所以事實表中的這種指標(biāo)往往需要具有數(shù)值化和可加性的特征。即：要考慮決策分析的需要（必要的數(shù)據(jù)）要考慮系統(tǒng)運(yùn)行的需要（派生的數(shù)據(jù)）第25頁,共32頁，星期六，2024年，5月粒度的選擇與設(shè)計步驟根據(jù)需求和系統(tǒng)運(yùn)行情況確定粒度：粒度的不同選擇導(dǎo)致邏輯模型的差異粒度的不同選擇導(dǎo)致數(shù)據(jù)存儲容量的差異粒度的設(shè)計步驟：粗略估計數(shù)據(jù)量確定粒度的級別粒度設(shè)計實例：第26頁,共32頁，星期六，2024年，5月關(guān)于數(shù)據(jù)倉庫的聚合模型數(shù)據(jù)的分割處理星形圖中的維度表簡介常用維度的設(shè)計模式第27頁,共32頁，星期六，2024年，5月事實表及其特征事實表的類型與設(shè)計粒度的選擇與設(shè)計步驟關(guān)于數(shù)據(jù)倉庫的聚合模型與數(shù)據(jù)的分割處理星形圖中的維度表簡介常用維度的設(shè)計模式第28頁,共32頁，星期六，2024年，5月數(shù)據(jù)倉庫的物理模型設(shè)計物理模型設(shè)計的主要工作物理存儲結(jié)構(gòu)設(shè)計的原則數(shù)據(jù)倉庫索引設(shè)計的特殊性存儲優(yōu)化與存儲策略第29頁,共32頁，星期六，2024年，5月3.3使用SQLServer2005建立多維數(shù)據(jù)模型

SQLServer2005示例數(shù)據(jù)倉庫環(huán)境的配置與使用基于SQLServer2005示例數(shù)據(jù)庫的多維數(shù)據(jù)模型的建立與應(yīng)用。第30頁,共32頁，星期六，2024年，5月

3.3使用SQLServer2005建立多維數(shù)據(jù)模型在SQLServer2005數(shù)據(jù)庫環(huán)境中安裝數(shù)據(jù)倉庫組件、示例和工具利用示例數(shù)據(jù)倉庫（Adve