數(shù)據(jù)倉庫設(shè)計jk教程課件

1、數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫設(shè)計方法概述DW設(shè)計與DB設(shè)計DW設(shè)計的三級數(shù)據(jù)模型性能問題數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫設(shè)計步驟概念模型設(shè)計邏輯模型設(shè)計物理模型設(shè)計數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫的使用和維護DW設(shè)計與DB設(shè)計方法比較處理類型不同DB : 操作型數(shù)據(jù)環(huán)境，面向業(yè)務(wù)DW: 面向主題的分析型數(shù)據(jù)環(huán)境，面向分析，從基本主題開始，不斷發(fā)展新主題面向需求不同DB : 一組較確定的應(yīng)用(業(yè)務(wù)處理)需求;較確定的數(shù)據(jù)流DW: 需求不確切(定);分析處理需求靈活;沒有固定模式；用戶對分析處理需求不甚明了；其設(shè)計很難以需求為基礎(chǔ)DW設(shè)計與DB設(shè)計方法比較（續(xù)）設(shè)計目標不同DB : 事務(wù)處理的性能（OLTP），

2、支持多用戶并發(fā)訪問，高效的增、刪、改操作DW: 建立DSS的數(shù)據(jù)環(huán)境，全局的分析環(huán)境，支持用戶快速的分析和查詢數(shù)據(jù)來源不同DB : 企業(yè)的業(yè)務(wù)流程中產(chǎn)生的數(shù)據(jù)DW: 系統(tǒng)內(nèi)部，主要從OLTP系統(tǒng)中獲取，經(jīng)過轉(zhuǎn)換、重組、綜合; 同時包括部分外部信息DW設(shè)計與DB設(shè)計方法比較（續(xù)）設(shè)計方法不同DB : SDLC(System Development Life Cycle) 應(yīng)用需求驅(qū)動DW: CLDS 數(shù)據(jù)驅(qū)動需求驅(qū)動Inmon: SDLC與CLDS方法比較SDLC與CLDS方法比較第1天到第n天現(xiàn)象在數(shù)據(jù)倉庫建設(shè)過程中明確需求數(shù)據(jù)倉庫建造過程中，如果開發(fā)者等完全明確需求之后開始工作，那么這個倉庫

3、永遠建不起來開發(fā)人員與DSS分析員的反饋循環(huán)十分重要數(shù)據(jù)倉庫設(shè)計的原則堅持“以數(shù)據(jù)驅(qū)動為中心，數(shù)據(jù)驅(qū)動和需求驅(qū)動相結(jié)合”的原則。數(shù)據(jù)驅(qū)動是指根據(jù)當前數(shù)據(jù)基礎(chǔ)和質(zhì)量等情況，進行數(shù)據(jù)源分析。需求驅(qū)動是指根據(jù)業(yè)務(wù)方向性需求、業(yè)務(wù)問題等，確定系統(tǒng)范圍和需求框架。在實際工程中的設(shè)計方法（續(xù)I）確定范圍與項目定義主要任務(wù)系統(tǒng)邊界的界定定義并描述項目步驟了解用戶方向性需求，發(fā)現(xiàn)業(yè)務(wù)問題，確定范圍；對業(yè)務(wù)問題進行排序，選擇高優(yōu)先級業(yè)務(wù)問題，界定系統(tǒng)邊界；定義和識別項目的目的、范圍、前景、價值、約束、風險、障礙等，制定質(zhì)量管理、配置管理等計劃，形成項目定義文檔；確定主題域，建立概念模型。數(shù)據(jù)驅(qū)動系統(tǒng)設(shè)計方法的基

4、本思路從源數(shù)據(jù)出發(fā)，分析數(shù)據(jù)，為新應(yīng)用（分析處理）所用根據(jù)分析處理的特點重新考察數(shù)據(jù)間聯(lián)系，重組數(shù)據(jù)數(shù)據(jù)（結(jié)構(gòu)）具有相對的穩(wěn)定性，而處理變化很快，強調(diào)數(shù)據(jù)模型的作用，支持識別DB 與DW 中的數(shù)據(jù)的“共同性”DW設(shè)計的三級數(shù)據(jù)模型數(shù)據(jù)模型：對現(xiàn)實世界的抽象不同的抽象程度對應(yīng)不同級別的數(shù)據(jù)模型DW與DB的三級數(shù)據(jù)模型的區(qū)別：DW的數(shù)據(jù)模型中擴充了碼結(jié)構(gòu)，包含時間元素DW的數(shù)據(jù)模型中不包含純操作型數(shù)據(jù)；但包含一些導出數(shù)據(jù)過程模型與數(shù)據(jù)模型建模的不同層次間的關(guān)系穩(wěn)定性分析零件表 很少更改 不時更改 經(jīng)常更改DW設(shè)計的三級數(shù)據(jù)模型概念模型:“信息世界”中的信息結(jié)構(gòu)用ER方法，以主題替代實體邏輯模型:

5、一般采用關(guān)系模型物理模型: 物理存儲結(jié)構(gòu)、存儲方法如：建立數(shù)據(jù)分片、合并表，建立包括廣義索引在內(nèi)的各種索引機制，引入冗余，生成導出數(shù)據(jù)等Inmon的三級數(shù)據(jù)模型高級數(shù)據(jù)模型：采用ER方法中級數(shù)據(jù)模型：稱為dis（Data Item Set）一個dis與ER中的一個主題域（實體）對應(yīng)低級數(shù)據(jù)模型：物理模型確定集成范圍集成范圍：定義數(shù)據(jù)模型的邊界，確定實體屬于或不屬于模型范圍集成范圍需要在建模之前進行定義集成范圍由系統(tǒng)的建模者、管理人員和最終用戶共同確定確定集成范圍（續(xù)）企業(yè)ER企業(yè)ER圖是由反映不同用戶觀點的ER圖構(gòu)造而成的ER圖與DISER圖Er圖中每個實體都由與其對應(yīng)的dis進一步定義DIS

6、的基本結(jié)構(gòu)其中：基本數(shù)據(jù)組：應(yīng)包括主題的碼和屬性，一個主題只存在一個基本數(shù)據(jù)組。如：“顧客”主題中的顧客號、顧客名、性別等。聯(lián)接數(shù)據(jù)組：反映主題之間的聯(lián)系，往往是一個主題的公共碼鍵。二級數(shù)據(jù)組：相對穩(wěn)定的數(shù)據(jù)組。如：顧客的地址、電話、文化程度等。 類型數(shù)據(jù)組：頻繁變動的數(shù)據(jù)組。如：顧客的購物記錄。穩(wěn)定性：基本數(shù)據(jù)組 二級數(shù)據(jù)組 類型數(shù)據(jù)組基本數(shù)據(jù)組聯(lián)接數(shù)據(jù)組地址在ER圖中標明的關(guān)系在DIS中由聯(lián)接數(shù)據(jù)組體現(xiàn)擴展的DIS地址一個擴展的DIS，表明銀行可提供的不同貸款類型貸款 住宅性能問題提高系統(tǒng)性能, 主要是要提高系統(tǒng)的物理I/O性能。在數(shù)據(jù)倉庫的設(shè)計中，應(yīng)盡量減少每次查詢處理要求的I/O次數(shù),

7、 而使每次I/O又能返回盡量多的記錄。提高數(shù)據(jù)倉庫性能的主要途徑：粒度劃分數(shù)據(jù)分片選擇冗余進一步分離數(shù)據(jù)導出數(shù)據(jù)粒度劃分粒度：數(shù)據(jù)倉庫中數(shù)據(jù)單元的細節(jié)程度或綜合程度的級別。例如：細節(jié)輕度綜合高度綜合有關(guān)專家認為，如果數(shù)據(jù)量只有10000行時，不考慮粒度，如果有一千萬行時，需要考慮粒度級別。粒度的劃分，主要考慮是行數(shù)。因為按行組織索引，索引依賴于行數(shù)，索引大小直接影響I/O次數(shù)?？臻g/行數(shù)計算粒度設(shè)計過程中的一個參考提高數(shù)據(jù)粒度的方法當源數(shù)據(jù)放入數(shù)據(jù)倉庫時，對它進行匯總當源數(shù)據(jù)放入數(shù)據(jù)倉庫時，對它求平均或進行計算把最大/最小的一組值放入數(shù)據(jù)倉庫只把顯然需要的數(shù)據(jù)放入數(shù)據(jù)倉庫用條件邏輯選取記錄的一

8、個子集放入數(shù)據(jù)倉庫粒度劃分舉例：銀行業(yè)（I）銀行環(huán)境中的雙重粒度輕度綜合粒度長達10年的每月帳戶記錄檔案級銀行業(yè)（II）銀行環(huán)境中雙重粒度的另一種形式上個月的顧客文件過去十年的連續(xù)顧客記錄粒度劃分舉例：粒度劃分舉例：制造業(yè)制造業(yè)環(huán)境中的粒度級別輕度綜合級檔案級粒度劃分舉例：保險業(yè)保險業(yè)環(huán)境中保險金的粒度級別保險金支付記錄數(shù)量很少，沒必要用雙重粒度保險金記帳有規(guī)律，可以創(chuàng)建數(shù)據(jù)數(shù)組數(shù)據(jù)分片分片：把邏輯上統(tǒng)一的數(shù)據(jù)分割成較小的、可以獨立管理的物理單元（分片）進行存儲?？砂磿r間、按地區(qū)、按業(yè)務(wù)類型進行數(shù)據(jù)分片商品銷售數(shù)據(jù)的分割為什么需要數(shù)據(jù)分片在OLTP環(huán)境中，修改操作較為頻繁，采用數(shù)據(jù)分片技術(shù)容易

9、導致記錄在分片之間的轉(zhuǎn)移，轉(zhuǎn)移代價較高；在OLAP環(huán)境中，數(shù)據(jù)極少更新，利用數(shù)據(jù)分片技術(shù)可以大大提高性能。減少內(nèi)存的使用空間：系統(tǒng)僅需要將用戶查詢所涉及的數(shù)據(jù)調(diào)入內(nèi)存數(shù)據(jù)分片后，可以利用并行操作提升查詢的效率數(shù)據(jù)分片：選擇分片的標準選擇分片的標準數(shù)據(jù)量的大?。ǘ怯涗浶袛?shù)）數(shù)據(jù)分片處理的對象的特征以及屬性之間的相關(guān)性例如：商品按類和時間作為分片的標準 供應(yīng)商按地區(qū)和時間作為分片的標準易于實現(xiàn)（實施） 例如：按時間、業(yè)務(wù)類型與粒度劃分策略統(tǒng)一起來 例如：按時間與商品類對銷售數(shù)據(jù)進行綜合（粒度劃分）每一粒度再按時間與商品類進行分片，分片后仍便于做高度綜合。引入冗余一項數(shù)據(jù)屬性（主外碼不算此類）存在

10、于多個關(guān)系模式中例如：在采購表/銷售表中增加商品名稱、商品類型等提高了性能，省去了Join操作引入冗余：例盡管描述信息冗余，但很少更新，提高了查詢性能導出數(shù)據(jù)事先在源數(shù)據(jù)基礎(chǔ)上，進行匯總或計算，生成導出數(shù)據(jù)導出數(shù)據(jù)，只計算一次就可以永久使用了分離數(shù)據(jù)根據(jù)訪問概率的巨大差異進一步分離數(shù)據(jù)數(shù)據(jù)倉庫中的索引技術(shù)位圖索引多級索引廣義索引將部分或全部索引裝入內(nèi)存對索引項進行壓縮創(chuàng)建選擇索引或范圍索引數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫設(shè)計方法概述DW設(shè)計與DB設(shè)計DW設(shè)計的三級數(shù)據(jù)模型性能問題數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫設(shè)計步驟概念模型設(shè)計邏輯模型設(shè)計物理模型設(shè)計數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫的使用和維護數(shù)據(jù)倉庫中的元數(shù)據(jù)元數(shù)據(jù)：

11、關(guān)于數(shù)據(jù)的數(shù)據(jù)；描述數(shù)據(jù)結(jié)構(gòu)、內(nèi)容、碼、索引等信息。數(shù)據(jù)倉庫元數(shù)據(jù)的內(nèi)容源數(shù)據(jù)的描述：數(shù)據(jù)源名，存儲地點，存儲內(nèi)容簡述記錄系統(tǒng)定義：主題名，屬性名，源表名，源屬性名數(shù)據(jù)倉庫中數(shù)據(jù)的描述主題描述：主題名，主題的公共碼鍵, 有關(guān)描述信息等邏輯模型的定義；關(guān)系名，屬性1，屬性2，。，屬性n粒度的定義數(shù)據(jù)分片的定義數(shù)據(jù)轉(zhuǎn)換的描述數(shù)據(jù)進入數(shù)據(jù)倉庫的轉(zhuǎn)換規(guī)則元數(shù)據(jù)的重要性管理人員做分析時，往往先從元數(shù)據(jù)入手。支持數(shù)據(jù)轉(zhuǎn)換：DB環(huán)境的數(shù)據(jù) DW環(huán)境的數(shù)據(jù)元數(shù)據(jù)描述“轉(zhuǎn)換”；元數(shù)據(jù)本身具有良好的靈活性，適應(yīng)變化。支持對數(shù)據(jù)倉庫中數(shù)據(jù)的理解例如：結(jié)構(gòu)、粒度層次、分片策略、索引等數(shù)據(jù)倉庫設(shè)計數(shù)據(jù)倉庫設(shè)計方法概述D

12、W設(shè)計與DB設(shè)計DW設(shè)計的三級數(shù)據(jù)模型性能問題數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫設(shè)計步驟概念模型設(shè)計邏輯模型設(shè)計物理模型設(shè)計數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫的使用和維護數(shù)據(jù)倉庫的設(shè)計步驟基本思路：數(shù)據(jù)驅(qū)動從現(xiàn)存數(shù)據(jù)庫系統(tǒng)基礎(chǔ)上進行開發(fā)：抽取、綜合、集成服務(wù)于管理決策分析原型法不斷反饋、循環(huán)、理解需求，使系統(tǒng)增長、完善步驟是大體上的，不是絕對的順序決策人員的參與極其重要數(shù)據(jù)倉庫設(shè)計的基本步驟概念模型設(shè)計任務(wù)確定系統(tǒng)邊界確定主題域及其內(nèi)容確定系統(tǒng)邊界深入了解目前擁有的操作型數(shù)據(jù)了解方向性需求。如：決策類型；決策者感興趣的問題。確定信息需求，確定數(shù)據(jù)覆蓋范圍。了解源數(shù)據(jù)（DB系統(tǒng)）的狀況例如“涉及的信息”包含DB中的哪

13、些部分確定主題域確定系統(tǒng)所包含的主題域確定主題域的內(nèi)容：公共碼鍵，代表主題的屬性組主題域之間的聯(lián)系商場DW的概念模型設(shè)計: 確定系統(tǒng)邊界確定系統(tǒng)邊界了解方向性需求：把握商場的商品采購情況和銷售情況分析：顧客的購買趨勢；商品供應(yīng)市場的變化趨勢；供應(yīng)商信用等級所涉及的信息：商品銷售數(shù)據(jù)、采購數(shù)據(jù)、庫存數(shù)據(jù)、顧客信息、供應(yīng)商信息了解源數(shù)據(jù)（DB系統(tǒng)）的狀況：采購、庫存、銷售、人事等子系統(tǒng)，前三個子系統(tǒng)的數(shù)據(jù)集合為系統(tǒng)邊界商場DW的概念模型設(shè)計：確定主題域確定主題域確定三個主題：商品、顧客、供應(yīng)商每個主題域的內(nèi)容主題域之間的聯(lián)系所涉及的信息:商品銷售數(shù)據(jù)、采購數(shù)據(jù)、庫存數(shù)據(jù)、顧客信息、供應(yīng)商信息商場D

14、W的概念模型設(shè)計：每個主題的內(nèi)容商場DW的概念模型設(shè)計：主題域之間的聯(lián)系邏輯模型設(shè)計任務(wù)對主題域中所包含的內(nèi)容進行進一步的細化，每一個主題域包含若干個數(shù)據(jù)組（表）；消除純粹是操作型的數(shù)據(jù)：如操作人員、校對人員、客戶電話號碼等對主題域之間的關(guān)系進一步細化為表與表之間的關(guān)系，對多對多的關(guān)系進行有效分解；增加時間屬性：數(shù)據(jù)倉庫中的數(shù)據(jù)反映歷史變化的過程，它是一定時間的數(shù)據(jù)快照，因此必須包含時間主鍵；邏輯模型設(shè)計：分析主題域分析主題域?qū)Γ‥R）概念模型中的主題進行選取，選取當前實施的主題域。由于開發(fā)的過程是逐步完成的，DW中的主題可逐步增加所選主題域大小合適大：足以建立一個可應(yīng)用系統(tǒng)?。簩嵤┛?、方便例

15、如：實施“商品”主題大：可以滿足經(jīng)營決策者的初始要求?。褐挥幸粋€主題邏輯模型設(shè)計：粒度層次劃分粒度層次的劃分（以商場DW為例）數(shù)據(jù)量很大，宜采用多重粒度 商品上千種；商品來源也許多，每月銷售數(shù)據(jù)更多 對商品銷售記錄：進行銷售分析及銷售趨勢分析銷售數(shù)據(jù)：主要關(guān)心銷售額、銷售量 粒度層次：商品（商品號、商品子類、商品大類） 時間段（周、月、季、年）邏輯模型設(shè)計：數(shù)據(jù)分片策略數(shù)據(jù)分片策略數(shù)據(jù)量（不是記錄行數(shù)）大小數(shù)據(jù)分析處理要求：與分析處理的對象有關(guān)分片標準：盡量自然、易實施 例如：按時間、按地區(qū)、按業(yè)務(wù)類型與粒度層次劃分相適應(yīng)邏輯模型設(shè)計：引入冗余將包含在多個表中的有關(guān)數(shù)據(jù)進行合理合并數(shù)據(jù)通常一起

16、被查詢提高查詢效率減少Join操作邏輯模型設(shè)計：增加導出數(shù)據(jù)增加導出數(shù)據(jù)：對于用戶經(jīng)常需要分析的數(shù)據(jù)，或者為了提供系統(tǒng)訪問的效率，可以適當增加導出數(shù)據(jù)；（以商場數(shù)據(jù)為例）簡要記錄把操作型數(shù)據(jù)中許多不同的、詳細記錄組合在一起以聚集形式代表許多條操作型記錄簡要記錄（續(xù)）優(yōu)點為最終用戶的訪問和分析提供了一種緊湊方便的數(shù)據(jù)組織形式使數(shù)據(jù)量降低23個數(shù)量級缺點信息的細節(jié)程度降低邏輯模型設(shè)計：關(guān)系模式定義關(guān)系模式定義由多個表來實現(xiàn)主題（組織主題域的數(shù)據(jù)）各表之間依靠公共碼鍵相聯(lián)系表的劃分，各個表的關(guān)系模式細節(jié)數(shù)據(jù)用表來組織；綜合數(shù)據(jù)也用表來組織例：“商品”主題各個表的關(guān)系模式公共碼鍵: 商品號(1).商品

17、固有信息：商品表(商品號, 商品名, 類型, 顏色) /* 細節(jié)級*/(2).商品采購信息: 采購表1(商品號, 供應(yīng)商號, 供應(yīng)日期, 供應(yīng)價, 供應(yīng)數(shù)量, ) /*細節(jié)級*/ 采購表2(商品號, 時間段1, 采購總量,) 采購表n(商品號, 時間段n, 采購總量,) /* 時間段不等的綜合表*/(3).商品銷售信息: 銷售表1(商品號, 顧客號, 銷售日期, 售價, 銷售量, ) /* 細節(jié)級*/銷售表2(商品號, 時間段1, 銷售總量, )銷售表n(商品號, 時間段n, 銷售總量, ) /* 時間段不等的綜合表*/(4).商品庫存信息: 庫存表1(商品號, 庫房號, 庫存量, 日期, )

18、 /* 細節(jié)級*/庫存表3(商品號, 庫房號, 庫存量, 月份, )庫存表n(商品號, 庫房號, 庫存量, 年份, ) /* 樣本數(shù)據(jù)粒度形式*/(5). 其它導出數(shù)據(jù): 其它邏輯模型設(shè)計：定義記錄系統(tǒng)（I）定義記錄系統(tǒng)根據(jù)DW中多個表的關(guān)系模式，從源數(shù)據(jù)中選擇最合適的數(shù)據(jù)作為記錄系統(tǒng)所選數(shù)據(jù)所在表的關(guān)系模式最接近DW中多個表的關(guān)系模式記錄系統(tǒng)定義，記入DW的元數(shù)據(jù)中定義記錄系統(tǒng)（II）表述數(shù)據(jù)模型的最好數(shù)據(jù)最實時最準確最完備與輸入現(xiàn)存系統(tǒng)環(huán)境的數(shù)據(jù)源最近最具有結(jié)構(gòu)兼容性現(xiàn)存系統(tǒng)環(huán)境例：“商品”主題定義記錄系統(tǒng)從原有的采購子系統(tǒng)、庫存子系統(tǒng)、銷售子系統(tǒng)中選擇合適的數(shù)據(jù)：采購子系統(tǒng)：商品號、類別、供應(yīng)商號、供價、進貨日期、進貨數(shù)量;庫存子系統(tǒng)：商品號、商品名、類別、庫存量、時間、庫房號等;銷售子系統(tǒng)：商品號、類別、顧客號、銷售價、銷售量、銷售日期等記錄系統(tǒng)定義在元數(shù)據(jù)中的描述定義記錄系統(tǒng)策略方面的考慮由于以下“變化動因”，操作型環(huán)境處于一種“混亂”狀態(tài)系統(tǒng)老化技術(shù)老化組織上的巨變大幅改變了需求需要重建操作型處理環(huán)境數(shù)據(jù)體系結(jié)構(gòu)設(shè)計人員得將變化動因與體系結(jié)構(gòu)的概念結(jié)合起來，實現(xiàn)操作型處理環(huán)境的重建物理模型設(shè)計任務(wù)確定數(shù)據(jù)的存儲結(jié)構(gòu)確定索引策略確定數(shù)據(jù)存放位置確定存儲分配物理模型設(shè)計：存儲結(jié)構(gòu)、索引策略確定數(shù)據(jù)的存儲結(jié)構(gòu)選擇合適的存儲結(jié)構(gòu)時應(yīng)該權(quán)