第五講數(shù)據(jù)倉庫物理設(shè)計、部署與維護課件

第五講數(shù)據(jù)倉庫的

物理設(shè)計、部署與維護第五講1第五講物理設(shè)計過程

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)數(shù)據(jù)倉庫部署

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復升級與維護監(jiān)視數(shù)據(jù)倉庫用戶培訓和支持管理數(shù)據(jù)倉庫第五講物理設(shè)計過程數(shù)據(jù)倉庫部署升級與維護2§1物理設(shè)計過程Objects明確數(shù)據(jù)倉庫的物理和邏輯設(shè)計的區(qū)別研究物理設(shè)計的過程明白物理設(shè)計需要考慮的因素及其含義掌握物理設(shè)計中存儲因素的角色考察數(shù)據(jù)倉庫環(huán)境下的索引技術(shù)總結(jié)所有提高系統(tǒng)性能的方法Contents物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程ObjectsContents3物理設(shè)計使項目組更接近于最后的實現(xiàn)和部署每個物理設(shè)計的任務(wù)是將邏輯設(shè)計推向更有意義的下一步物理設(shè)計使項目組更接近于最后的實現(xiàn)和部署4§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents5物理設(shè)計步驟建立標準建立聚集計劃確定數(shù)據(jù)分區(qū)方案建立聚簇選項：大量數(shù)據(jù)的順序訪問準備索引策略安排存儲結(jié)構(gòu)完成物理建模物理設(shè)計步驟建立標準6數(shù)據(jù)庫分區(qū)技術(shù)分區(qū)將表分離在若干不同的表空間上，用分而治之的方法來支撐無限膨脹的大表，給大表在物理一級的可管理性。將大表分割成較小的分區(qū)可以改善表的維護、備份、恢復、事務(wù)及查詢性能。數(shù)據(jù)庫分區(qū)技術(shù)分區(qū)將表分離在若干不同的表空間上，用分而治之的7數(shù)據(jù)倉庫的分區(qū)方案

分區(qū)原因：事實表太大而不得不分區(qū)，有些維度表可能也很大。方案：選擇需要分區(qū)的事實表和維度表每個表的分區(qū)類型------水平或者垂直每個表的分區(qū)個數(shù)表的分區(qū)準則（例如，按照產(chǎn)品分組）描述查詢?nèi)绾沃来嬖诜謪^(qū)數(shù)據(jù)倉庫的分區(qū)方案

分區(qū)原因：事實表太大而不得不分區(qū)，有些維8分區(qū)例子CREATETABLESPACEts_sale1999q1

DATAFILE‘/u1/oradata/sales/sales1999_q1.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q2

DATAFILE‘/u1/oradata/sales/sales1999_q2.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q3

DATAFILE‘/u1/oradata/sales/sales1999_q3.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q4

DATAFILE‘/u1/oradata/sales/sales1999_q4.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

分區(qū)例子CREATETABLESPACEts_sale19分區(qū)例子（cont.）CREATETABLEsales

(invoice_noNUMBER,

...

sale_dateDATENOTNULL)

PARTITIONBYRANGE(sale_date)

(PARTITIONsales1999_q1

VALUESLESSTHAN(TO_DATE(‘1999-04-01','YYYY-MM-DD')

TABLESPACEts_sale1999q1,

PARTITIONsales1999_q2

VALUESLESSTHAN(TO_DATE(‘1999-07-01','YYYY-MM-DD')

TABLESPACEts_sale1999q2,

PARTITIONsales1999_q3

VALUESLESSTHAN(TO_DATE(‘1999-10-01','YYYY-MM-DD')

TABLESPACEts_sale1999q3,

PARTITIONsales1999_q4

VALUESLESSTHAN(TO_DATE(‘2000-01-01','YYYY-MM-DD')

TABLESPACEts_sale1999q4);

分區(qū)例子（cont.）CREATETABLEsales10§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents11物理設(shè)計考慮的因素物理設(shè)計目標提高性能保證可伸縮性存儲管理提供簡便的管理靈活性設(shè)計物理設(shè)計考慮的因素物理設(shè)計目標12物理設(shè)計考慮的因素從邏輯模型到物理模型邏輯模型物理模型數(shù)據(jù)建模工具對象命名標準化改變屬性數(shù)據(jù)類型為鍵指定合適的數(shù)據(jù)類型為屬性指定約束定義外鍵關(guān)系考慮選擇數(shù)據(jù)庫管理系統(tǒng)有需要的時候就增加注釋物理模型意味著信息內(nèi)容更加的接近硬件層物理設(shè)計考慮的因素從邏輯模型到物理模型邏輯模型物理模型數(shù)據(jù)建13物理設(shè)計考慮的因素物理模型的組成方案子方案定義表列同義詞視圖注釋用戶角色主鍵外鍵約束索引安全特權(quán)文件/表空間數(shù)據(jù)倉庫：物理模型組件物理設(shè)計考慮的因素物理模型的組成方案表列同義詞視圖注釋用戶角14CREATESCHEMAORDER_ANALYSISAUTHORIZATIONSAMUEL_JOHNSON……………….CREATETABLEPRODUCT(PRODUCT_KEYCHARACTER(8)

PRIMARYKEY,PRODUCT_NAMECHARACTER(25),PRODUCT_SKUCHARACTER(20),PRODUCT_BRANDCHARACTER(25),CREATETABLESALESPERSON(SALPERS_KEYCHARACTER(8) PRIMARYKEY,SALPERS_NAMECHARACTER(30),TERRITORYCHARACTER(20),REGIONCHARACTER(20))CREATETABLEORDER_FACT(

PRODUCT_REFCHARACTER(8)PRIMARYKEY,SALPERS_REFCHARACTER(8),PRIMARYKEY,ORDER_AMOUNTNUMERIC(8.2),ORDER_COSTNUMERIC(8.2),FOREIGNKEYPRODUCT_REFREFERENCESPRODUCT,FOREIGNKEYSALPERS_REFREFERENCESSALESPERSON)

SQL描述的示例方案CREATESCHEMAORDER_ANALYSISCR15邏輯模型產(chǎn)品鍵名子SKU品牌產(chǎn)品銷售代表鍵姓名區(qū)域地區(qū)訂單鍵訂單數(shù)量成本訂單事實表邏輯模型名稱類型為空注釋產(chǎn)品表產(chǎn)品維表包括公司所有的產(chǎn)品Product_keyIntegerN主鍵Product_nameChar(25)N產(chǎn)品的銷售名稱Product_skuChar(20)N源系統(tǒng)的庫存單位Product_brandChar(25)N銷售中的產(chǎn)品品牌銷售人員表包括不同地區(qū)的所有銷售人員信息Salpers_keyIntegerN主鍵Salpers_nameChar(30)N銷售人員正式姓名TerritoryChar(20)N銷售人員所在區(qū)域RegionChar(20)N銷售區(qū)域包括的地區(qū)訂單事實表事實表包括公司收到的所有訂單Product_refIntegerN局部主鍵，參考產(chǎn)品局部主鍵表的外鍵Salpers_refIntegerN局部主鍵，參考銷售代表維度表的外鍵Order_amountNum(8,2)N以美元計的銷售額Order_costNum(8,2)N以美元計的訂單成本邏輯模型及物理模型邏輯模型產(chǎn)品鍵產(chǎn)品銷售代表鍵訂單鍵訂單事實表邏輯模型名稱類型16物理設(shè)計考慮的因素標準的意義數(shù)據(jù)庫對象的命名對象組件命名customer_loan_balance單詞分界符邏輯模型和物理模型的命名準備區(qū)域文件和表名稱定義標志進程表明目的示例：product_full_refresh,customer_daily_update…物理文件命名規(guī)范保存源代碼和腳本的文件數(shù)據(jù)庫文件應(yīng)用程序文檔物理設(shè)計考慮的因素標準的意義17§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents18物理存儲存儲區(qū)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)準備區(qū)數(shù)據(jù)倉庫存儲區(qū)OLAP系統(tǒng)以專用矩陣格式存儲的多維數(shù)據(jù)立方體物理文件關(guān)系數(shù)據(jù)庫數(shù)據(jù)文件（轉(zhuǎn)換過的數(shù)據(jù)）關(guān)系數(shù)據(jù)庫索引文件裝載映像文件關(guān)系數(shù)據(jù)庫索引文件己分區(qū)的物理文件細節(jié)數(shù)據(jù)和簡單匯總數(shù)據(jù)抽取平面文件關(guān)系數(shù)據(jù)庫數(shù)據(jù)文件（倉庫數(shù)據(jù)）物理存儲存儲區(qū)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)準備區(qū)數(shù)據(jù)倉庫存儲區(qū)OLAP系統(tǒng)以19物理存儲優(yōu)化存儲塊：數(shù)據(jù)庫的數(shù)據(jù)和內(nèi)存之間I/O傳輸?shù)幕締挝辉O(shè)定正確的塊大小設(shè)置合適的塊使用參數(shù)塊空閑率塊使用率數(shù)據(jù)遷移管理塊使用管理采用文件分帶技術(shù)：可使I/O并發(fā)進行物理存儲優(yōu)化存儲20物理存儲使用RAID技術(shù)RedundantArrayofIndependentDisk：廉價冗余磁盤陣列（獨立磁盤冗余陣列）安全性高，速度快，數(shù)據(jù)容量超大

磁盤鏡像------

將相同的數(shù)據(jù)寫入連接到相同控制器的兩個磁盤中雙磁盤------

和磁盤鏡像類似，不同的是每個驅(qū)動器有自己單獨的控制器奇偶校驗------

為數(shù)據(jù)加入校驗位以保證數(shù)據(jù)傳輸可靠磁盤分帶------

數(shù)據(jù)按扇區(qū)或者字節(jié)分布在多個磁盤上物理存儲使用RAID技術(shù)21RAID0高性能、低成本、單磁盤損壞導致整個磁盤陣列無法使用數(shù)據(jù)帶狀分布在多個磁盤上，沒有冗余RAID1可讀性能和可靠性高，因為數(shù)據(jù)復制，所以昂貴磁盤鏡像，數(shù)據(jù)寫入成對的冗余驅(qū)動器RAID2高性能，糾一位錯，兩位檢錯，代價昂貴數(shù)據(jù)按位或者塊交錯分布在磁盤上，額外的驅(qū)動器存儲校驗碼RAID3對大塊數(shù)據(jù)性能較高，不支持運行時恢復數(shù)據(jù)按位或塊交錯存儲，有一個驅(qū)動器存儲校驗數(shù)據(jù)RAID4可以處理多個復雜操作系統(tǒng)中的I/0操作，只用兩個驅(qū)動器數(shù)據(jù)記錄按扇區(qū)交錯存儲，有一個專門驅(qū)動器存儲校驗數(shù)據(jù)RAID5不需要專門的校驗驅(qū)動器，需要兩個或三個驅(qū)動器，寫能力較弱數(shù)據(jù)扇區(qū)交錯存儲于多個驅(qū)動器，非常流行RAID技術(shù)RAID0高性能、低成本、單數(shù)據(jù)帶狀分布在多個RAID122物理存儲估計存儲容量對每個數(shù)據(jù)表，確定行數(shù)的初始估計行的平均長度估計行的每月增長數(shù)表的初始大小，以兆字節(jié)（MB）計算表6個月和12月的大小對所有表，確定索引的個數(shù)索引在，最初，6個月和12個月后需要的空間估計排序、合并需要的臨時空間準備區(qū)內(nèi)的臨時文件準備區(qū)內(nèi)的長久文件物理存儲估計存儲容量23§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents24為數(shù)據(jù)倉庫建立索引索引一覽索引和加載建立大表的索引選擇索引的列一種分階段的方法為數(shù)據(jù)倉庫建立索引索引一覽25為數(shù)據(jù)倉庫建立索引B-Tree索引位圖索引簇索引為事實表建立索引為維度表建立索引為數(shù)據(jù)倉庫建立索引B-Tree索引26為數(shù)據(jù)倉庫建立索引B-Tree索引A---KL---ZA---DE---GH---KALLENBUSHCLYNEDUNNEENGELFARISGOREHAIGIGNARJONESKUMARLOEWEMAHERNIXONOTTOPAINEQUINNRAJSEGELTOTOVETRIWILLSL---OP---RS---ZENGEL------地址

FARIS------地址

GORE------地址指向數(shù)據(jù)行的指針為數(shù)據(jù)倉庫建立索引B-Tree索引A---KA---DALL27地址或行號 日期 產(chǎn)品 地區(qū) 顏色 銷售量00001BFF.0012.011115-Nov-00洗碗機東白300 00001BFF.0013.011415-Nov-00干洗機西杏黃45000001BFF.0012.011516-Nov-00洗碗機西杏黃35000001BFF.0012.013816-Nov-00洗衣機北黑55000001BFF.0012.014517-Nov-00洗衣機南白50000001BFF.0012.015717-Nov-00干洗機東白40000001BFF.0014.016517-Nov-00洗衣機南杏黃575 銷售數(shù)據(jù)抽取產(chǎn)品列排序位圖索引

顏色排序位圖索引

地域排序位圖索引洗衣機、干洗機、洗碗機 白色、杏黃色、黑色 東、西、北、南地址或行號 位00001BFF.0012.011100100001BFF.0013.011401000001BFF.0012.011500100001BFF.0012.013810000001BFF.0012.014510000001BFF.0012.015701000001BFF.0014.0165100地址或行號 位00001BFF.0012.011110000001BFF.0013.011401000001BFF.0012.011501000001BFF.0012.013800100001BFF.0012.014510000001BFF.0012.015710000001BFF.0014.0165010地址或行號 位00001BFF.0012.0111100000001BFF.0013.0114010000001BFF.0012.0115010000001BFF.0012.0138001000001BFF.0012.0145000100001BFF.0012.0157100000001BFF.0014.01650001位圖索引示例地址或行號 日期 產(chǎn)品 地區(qū) 28為數(shù)據(jù)倉庫建立索引選出淺黃褐色洗衣機在東區(qū)或南區(qū)的銷售信息行：

產(chǎn)品 顏色 地區(qū) 地址或行號

001 100 1000 00001BFF.0012.0111010 010 0100 00001BFF.0013.0114001 010 0100 00001BFF.0012.0115100 001 0010 00001BFF.0012.0138100 100 0001 00001BFF.0012.0145010 100 1000 00001BFF.0012.0157100 010 0001 00001BFF.0014.0165 第1個位=1第1或第4個位=1第2個位=1且且這一行滿足查詢要求位圖索引：數(shù)據(jù)查詢?yōu)閿?shù)據(jù)倉庫建立索引選出淺黃褐色洗衣機在東區(qū)或南區(qū)的銷售信息行29為數(shù)據(jù)倉庫建立索引為事實表建立索引的提示如果DBMS不為主鍵建立索引，那么專門為全部的主鍵建立一個B-Tree索引仔細設(shè)計要建立索引的組合鍵中的單個鍵的順序。將查詢中經(jīng)常使用到的列作為組合鍵中級別高的鍵考慮組合鍵中的每一個鍵，根據(jù)查詢過程需要建立組合索引不要忽略為包括指標的列建立索引的可能性位圖索引不適用于事實表。為數(shù)據(jù)倉庫建立索引為事實表建立索引的提示30為數(shù)據(jù)倉庫建立索引為維度表建立索引在單一主鍵上建立惟一的B-Tree索引檢查約束查詢經(jīng)常用到的列。這些列是位圖索引的候選列在大的維度表中查找經(jīng)常被一起訪問的列。確定如何在這幾列上建立和安排多列索引。經(jīng)常訪問的列或者維度表中的層次比較高的列應(yīng)該在多列索引中具有較高的位置為經(jīng)常用于連接條件的每個列建立單獨的索引為數(shù)據(jù)倉庫建立索引為維度表建立索引31§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents32提高性能的技術(shù)數(shù)據(jù)分區(qū)(水平、垂直)查詢只需訪問必要的分區(qū)整個分區(qū)可以脫機維護索引建立得更快向數(shù)據(jù)倉庫中加載數(shù)據(jù)更容易和易于管理數(shù)據(jù)損壞只影響一個分區(qū)將分區(qū)映射到不同的磁盤驅(qū)動器以平衡I/O負載數(shù)據(jù)聚簇并行查詢匯總級別參考完整性檢查初始化參數(shù)反規(guī)范化設(shè)計提高性能的技術(shù)數(shù)據(jù)分區(qū)(水平、垂直)33小結(jié)物理設(shè)計使數(shù)據(jù)倉庫的實現(xiàn)更接近硬件。物理設(shè)計過程可以總結(jié)為7個不同的步驟標準的重要性需再三強調(diào)。在物理設(shè)計過程中要使用好的標準物理設(shè)計中的優(yōu)化存儲分配占有很高的地位。要使用RAID技術(shù)數(shù)據(jù)倉庫的性能很大程度上依賴于合適的索引機制。B-Tree索引和位圖索引都很合適其他的一些提高性能的方案也是物理設(shè)計的一部分，包括：數(shù)據(jù)分區(qū)、數(shù)據(jù)聚簇、并行處理、建立匯總、調(diào)整參考完整性檢驗、合適的DBMS初始化參數(shù)調(diào)整等等。小結(jié)物理設(shè)計使數(shù)據(jù)倉庫的實現(xiàn)更接近硬件。物理設(shè)計過程可以總結(jié)34§2數(shù)據(jù)倉庫部署Objects研究部署階段在數(shù)據(jù)倉庫開發(fā)生命周期中的角色回顧部署的主要任務(wù)和如何完成任務(wù)檢查對領(lǐng)航系統(tǒng)的需求，如何劃分領(lǐng)航的類型考慮數(shù)據(jù)倉庫環(huán)境下的數(shù)據(jù)安全考察數(shù)據(jù)備份和恢復需求Contents

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復§2數(shù)據(jù)倉庫部署ObjectsContents35數(shù)據(jù)倉庫部署總結(jié)：建造階段我們己經(jīng)完成的主要工作基礎(chǔ)結(jié)構(gòu)的組件進行了完整測試體系結(jié)構(gòu)的有效性己被論證數(shù)據(jù)庫己定義。各種表的空間分配己經(jīng)完成己分配好準備區(qū)己建立的文件抽取、轉(zhuǎn)換和其他的準備區(qū)作業(yè)全部測試完成建立的裝載映像在開發(fā)環(huán)境中己經(jīng)測試完畢。初始裝載和增量裝載己經(jīng)完成查詢和報表工具己經(jīng)在開發(fā)環(huán)境中測試完畢OLAP系統(tǒng)己經(jīng)安裝和測試過了完成了數(shù)據(jù)倉庫的Web功能數(shù)據(jù)倉庫部署總結(jié)：建造階段我們己經(jīng)完成的主要工作36§2數(shù)據(jù)倉庫部署Contents

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復§2數(shù)據(jù)倉庫部署Contents37部署的主要任務(wù)完成用戶認可完成包括所有用戶界面及系統(tǒng)性參方面的所有項目的最后測試執(zhí)行初始裝載加載維度表，然后是事實表，最后建立聚集表準備好用戶桌面安裝好所有需要的桌面用戶工具。測試每個客戶的計算機完成初始用戶培訓培訓用戶學習數(shù)據(jù)倉庫相關(guān)的概念，相關(guān)內(nèi)容和數(shù)據(jù)訪問工具按階段部署按部署分為用戶同意的可管理階段建立初始用戶支持建立對初始用戶的基本使用支持，回答問題建立聯(lián)系部署的主要任務(wù)完成用戶認可執(zhí)行初始裝載準備好用戶桌面完成初始38部署的主要任務(wù)一、完成用戶認可在每個主題領(lǐng)域或部門，讓用戶選擇幾個典型的查詢和報表，其中一些是為了可以簡單地驗證一下結(jié)果，另外一些是驗證維度表的約束。讓用戶執(zhí)行查詢并產(chǎn)生報表。最后從操作型系統(tǒng)生成報表作為驗證。比較操作型系統(tǒng)的報表和數(shù)據(jù)倉庫產(chǎn)生的報表。找出并計數(shù)所有的不同點。在和數(shù)據(jù)倉庫比較之前，驗證操作型系統(tǒng)的結(jié)果沒有任何錯誤現(xiàn)在是測試預定義查詢和報表的最好時候。讓每個用戶組選擇一些這樣的查詢和報表，測試它們的情況讓用戶測試OLAP系統(tǒng)。如果你采用MOLAP方式，為OLAP系統(tǒng)建立多維立方體。讓用戶選擇大約5個典型分析會話進行測試。同樣，與操作型系統(tǒng)的結(jié)果比較部署的主要任務(wù)一、完成用戶認可39幾乎每個數(shù)據(jù)倉庫，用戶需要學習和習慣新的前端工具的功能。大多數(shù)用戶要能很容易地使用這些工具。在結(jié)束前為工具的可用性設(shè)計認可測試。當然，大多數(shù)這樣測試是在工具選擇時做的。但在那時，是在供應(yīng)商或者系統(tǒng)開發(fā)測試環(huán)境下測試的?，F(xiàn)在是在產(chǎn)品環(huán)境下的測試。這有很大的不同如果你的數(shù)據(jù)倉庫是支持Web的，讓用戶測試Web特性。如果Web技術(shù)用于信息傳遞，也讓用戶測試這一項沒有系統(tǒng)性能認可測試的用戶認可測試是不完整的。項目必須將用戶的性能期望放在一個可以接受的程度上。查詢響應(yīng)時間大約是3—5秒。實際上，單獨的查詢和平均值是不同的，這是可以理解的。用戶能夠接受這些不同之處，只要這種情況不是經(jīng)常發(fā)生幾乎每個數(shù)據(jù)倉庫，用戶需要學習和習慣新的前端工具的功能。大多40部署的主要任務(wù)二、完整的初始裝載主要步驟刪除數(shù)據(jù)倉庫關(guān)系表中的索引每個維度表和對應(yīng)的事實表是一對多的關(guān)系。也就是說DBMS在關(guān)系上使用了關(guān)系完整性的檢查。假定裝載映像是非常仔細地建立的。我們可以掛起這些限制，加速裝載過程如果裝載過程中出現(xiàn)中斷，確保建立合適的檢查點，從最后的檢查點繼續(xù)先裝載維度表，然后是事實表。一些數(shù)據(jù)倉庫喜歡在裝載大表之前先裝載小的維度表并驗證裝載過程基于己經(jīng)為聚合和統(tǒng)計表建立的計劃，建立基于維度表和事實表的聚合表。有時候，裝載映像己經(jīng)在準備區(qū)建立了。如果這樣，應(yīng)用這些裝載映像建立聚合表在裝載時停止了索引建立，現(xiàn)在是建立索引的時候了如果沒有掛起參考完整性約束，在裝載過程中，所有的參考性錯誤記錄在系統(tǒng)中，檢查日志文件，找出所有裝載異常部署的主要任務(wù)二、完整的初始裝載主要步驟41部署的主要任務(wù)三、準備好用戶桌面完成桌面工具意味著用戶可以上機訪問數(shù)據(jù)倉庫信息。(數(shù)據(jù)訪問配置、用戶名、密碼、測試etc.)部署的主要任務(wù)三、準備好用戶桌面42部署的主要任務(wù)四、完成初始用戶培訓數(shù)據(jù)庫和數(shù)據(jù)存儲的基礎(chǔ)概念數(shù)據(jù)倉庫基本特征每個用戶組使用的數(shù)據(jù)倉庫內(nèi)容瀏覽數(shù)據(jù)倉庫內(nèi)容數(shù)據(jù)訪問和檢索工具的使用信息傳遞的Web技術(shù)應(yīng)用預定義的查詢和報表集可以進行哪些類型的分析查詢模板及其使用方法報表生成和傳遞計劃數(shù)據(jù)裝載計劃和數(shù)據(jù)流通用戶支持結(jié)構(gòu)，包括一線聯(lián)系部署的主要任務(wù)四、完成初始用戶培訓43部署的主要任務(wù)建立最初用戶支持部署的主要任務(wù)建立最初用戶支持44部署的主要任務(wù)按階段部署企業(yè)數(shù)據(jù)倉庫企業(yè)范圍內(nèi)的需求分析和計劃第一個部門數(shù)據(jù)集市下一個部門數(shù)據(jù)集市首先部署整個企業(yè)級數(shù)據(jù)倉庫（E-R模型），接著逐個部署部門數(shù)據(jù)集市自上而下方法下一個部門數(shù)據(jù)集市下一個部門數(shù)據(jù)集市下一個部門數(shù)據(jù)集市收集部門需求，計劃，部署獨立的數(shù)據(jù)集市，逐一進行自下而上方法第一個部門數(shù)據(jù)集市第一個主題數(shù)據(jù)集市企業(yè)范圍內(nèi)的需求分析和計劃下一個主題數(shù)據(jù)集市下一個主題數(shù)據(jù)集市逐個按照預先計劃的順序，部署一致的維表和事實表的主題集市（維度建模）實用方法部署的主要任務(wù)按階段部署企業(yè)數(shù)據(jù)倉庫企業(yè)范圍內(nèi)的需第一個部門45§2數(shù)據(jù)倉庫部署Contents

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復§2數(shù)據(jù)倉庫部署Contents46領(lǐng)航系統(tǒng)領(lǐng)航數(shù)據(jù)集市什么時候有用對用戶成員來說，數(shù)據(jù)倉庫概念是全新的必須給用戶演示，說服他們檢索數(shù)據(jù)信息是非常簡單的用戶還需要從新工具和技術(shù)中積累經(jīng)驗分析人員需要感覺到數(shù)據(jù)倉庫中的分析特征的能力贊助商和上級管理者在大量投入前必須看到數(shù)據(jù)倉庫帶來的好處IT設(shè)計者和體系結(jié)構(gòu)設(shè)計者需要在維度建模技術(shù)和這個模型的數(shù)據(jù)庫工作上獲得經(jīng)驗項目組需要確保ETL功能工作良好項目組需要確認所有基礎(chǔ)組件。比如并行處理、復制、中間件連接、Web技術(shù)和OLAP元素是否能很好地配合工作領(lǐng)航系統(tǒng)領(lǐng)航數(shù)據(jù)集市什么時候有用47領(lǐng)航系統(tǒng)領(lǐng)航系統(tǒng)的類型為項目組內(nèi)IT人員驗證新技術(shù)技術(shù)證明驗證所有基礎(chǔ)結(jié)構(gòu)和體系結(jié)構(gòu)組件綜合測試數(shù)據(jù)倉庫的初始部署為公司證明數(shù)據(jù)倉庫概念以獲得資金支持概念證明證明和鑒別最終用戶工具集的特征和使用用戶工具認定最早可交付使用的基于用戶需求的真實業(yè)務(wù)需要廣泛業(yè)務(wù)可管理性和技術(shù)簡單能和部署集成可擴展的種子領(lǐng)航系統(tǒng)的類型領(lǐng)航系統(tǒng)領(lǐng)航系統(tǒng)的類型為項目組內(nèi)技術(shù)證明驗證所有基礎(chǔ)綜合測試48領(lǐng)航系統(tǒng)領(lǐng)航系統(tǒng)的類型概念證明領(lǐng)航系統(tǒng)技術(shù)證明領(lǐng)航系統(tǒng)綜合測試領(lǐng)航系統(tǒng)用戶工具認定領(lǐng)航系統(tǒng)廣泛業(yè)務(wù)領(lǐng)航系統(tǒng)可擴展種子領(lǐng)航系統(tǒng)選擇領(lǐng)航系統(tǒng)領(lǐng)航系統(tǒng)領(lǐng)航系統(tǒng)的類型49領(lǐng)航系統(tǒng)擴展和集成領(lǐng)航系統(tǒng)概念證明技術(shù)證明綜合測試用戶工具認定廣業(yè)務(wù)可擴展種子領(lǐng)航系統(tǒng)類型小范圍，有限的數(shù)據(jù)，不適合集成只用于證明IT新技術(shù)只用于為IT測試所有的基礎(chǔ)結(jié)構(gòu)和體系結(jié)構(gòu)只用于用戶測試和熟悉工具較大范圍的早期版本，可能集成可管理、簡單、是為集成而設(shè)計的數(shù)據(jù)倉庫初始部署領(lǐng)航系統(tǒng)擴展和集成領(lǐng)航系統(tǒng)概念證明技術(shù)證明綜合測試用戶工具認50§2數(shù)據(jù)倉庫部署Contents

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復§2數(shù)據(jù)倉庫部署Contents51安全安全策略政策覆蓋的信息范圍物理安全性工作站安全性網(wǎng)絡(luò)和連接安全性數(shù)據(jù)庫訪問權(quán)限管理用戶權(quán)限密碼安全工具數(shù)據(jù)裝載的安全清除用戶角色和權(quán)限匯總級別的安全性元數(shù)據(jù)安全性O(shè)LAP安全性Web安全性安全安全策略數(shù)據(jù)裝載的安全清除52安全管理用戶權(quán)限角色職責訪問權(quán)限最終用戶運用數(shù)據(jù)倉庫表來進行查詢和生成報表系統(tǒng)權(quán)限：無數(shù)據(jù)庫管理：無表和視圖：選擇高級用戶/分析員進行復雜的特別查詢，設(shè)計和生成報表系統(tǒng)權(quán)限：無數(shù)據(jù)庫管理：無表和視圖：全部咨詢臺/支持中心幫助用戶進行查詢和生成報表，分析和解釋系統(tǒng)權(quán)限：無數(shù)據(jù)庫管理：無表和視圖：全部查詢工具專家為最終用戶解決疑難和安裝OLAP工具系統(tǒng)權(quán)限：無數(shù)據(jù)庫管理：無表和視圖：全部安全管理員授予和回收權(quán)限，監(jiān)視使用情況系統(tǒng)權(quán)限：有數(shù)據(jù)庫管理：有表和視圖：全部系統(tǒng)/網(wǎng)絡(luò)管理員安裝和維護操作系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)權(quán)限：有數(shù)據(jù)庫管理：無表和視圖：無數(shù)據(jù)倉庫管理員安裝維護DBMS，提供備份和恢復系統(tǒng)權(quán)限：有數(shù)據(jù)庫管理：有表和視圖：全部安全管理用戶權(quán)限角色職責訪問權(quán)限最終用戶運用數(shù)據(jù)倉庫表來進行53§2數(shù)據(jù)倉庫部署Contents

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復§2數(shù)據(jù)倉庫部署Contents54備份和恢復為什么要備份數(shù)據(jù)恢復備份策略建立一個實際的日程表恢復備份和恢復為什么要備份數(shù)據(jù)恢復55第五講數(shù)據(jù)倉庫物理設(shè)計、部署與維護課件56備份和恢復備份策略的一些技巧決定你需要備份什么。為用戶數(shù)據(jù)庫、系統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)庫日志列一個表數(shù)據(jù)倉庫的巨大容量是一個很大的問題。尋求一個簡單的管理設(shè)置能夠?qū)斍皵?shù)據(jù)和歷史數(shù)據(jù)分離開來，對每個數(shù)據(jù)段有單獨的步驟除了全備份，可以考慮日志備份和差異備份不要忽視備份系統(tǒng)數(shù)據(jù)庫備份介質(zhì)的選擇很重要商業(yè)RDBMS使用“容器”概念來保存單個文件雖然RDBMS的備份功能為OLTP系統(tǒng)服務(wù)，但是數(shù)據(jù)倉庫備份需要更快的速度從數(shù)據(jù)倉庫中計劃周期性地將非常陳舊的數(shù)據(jù)存檔備份和恢復備份策略的一些技巧57備份和恢復建立一個實際的日程表OLTP系統(tǒng)備份一般在晚上執(zhí)行。但是在數(shù)據(jù)倉庫環(huán)境中，晚上的時間用于每日的增量裝載。備份和裝載得競爭系統(tǒng)時間如果你的用戶群分布在不同的時區(qū)，要找一個時間槽可能更麻煩任務(wù)關(guān)鍵的OLTP系統(tǒng)需要經(jīng)常備份建立一個實際的日程分解為下面這些問題?；謴屯瓿汕坝脩艨梢匀淌芏嚅L的停機時間？在最壞的情況下用戶可以忍受多大的數(shù)據(jù)損失？在丟失的數(shù)據(jù)恢復前，數(shù)據(jù)倉庫能夠高效地運行較長的時間嗎？備份和恢復建立一個實際的日程表58備份和恢復數(shù)據(jù)倉庫備份日程的方法包括如下元素：將數(shù)據(jù)倉庫分為活動和靜態(tài)數(shù)據(jù)對活動和靜態(tài)數(shù)據(jù)建立不同的日程將差異備份和日程備份納入備份方案中備份和每日增量裝載的同步如果可用的話，將增量裝載文件作為恢復的一部分存儲備份和恢復數(shù)據(jù)倉庫備份日程的方法包括如下元素：59備份和恢復備份歷史數(shù)據(jù)備份歷史數(shù)據(jù)完全更新一些表日志文件備份增量加載時間軸系統(tǒng)崩潰可能從最后一次增量裝載丟失了數(shù)據(jù)文件1文件2文件3

系統(tǒng)崩潰使用這些備份文件文件1文件2文件3數(shù)據(jù)倉庫：恢復備份和恢復備份歷史數(shù)據(jù)備份歷史數(shù)據(jù)完全更新一些表日志文件備份60備份和恢復恢復有一個清楚的恢復計劃。將不同的災(zāi)難情況列表，指出每種情況下如何進行恢復仔細地測試恢復過程。執(zhí)行日?；謴途毩暱紤]公司的條件，建立恢復步驟，估計恢復的期望停機時間。從用戶那里得到停機時間的一般意見。當每一次災(zāi)難發(fā)生時，不要讓用戶感到驚訝。讓他們知道這是整個方案中的一部分，他們需要為可能發(fā)生災(zāi)難做準備每次中斷，確定恢復需要多久。正確、迅速地通知用戶通常，你的備份策略決定怎樣執(zhí)行恢復操作。如果計劃包括從每日增量裝載文件中恢復的可能性，保存這些文件的備份，使之隨手可得如果你必須去源系統(tǒng)完成恢復過程，保證源系統(tǒng)可用備份和恢復恢復61小結(jié)數(shù)據(jù)倉庫部署的第一個版本在建造階段完成后開始部署階段的主要活動與用戶認可、初始裝載、桌面準備、初始培訓和初始用戶支持相關(guān)領(lǐng)航系統(tǒng)在幾種情況下是需要的。領(lǐng)航系統(tǒng)的一般類型是：概念證明、技術(shù)證明、綜合測試、用戶工具鑒別、廣泛業(yè)務(wù)和可擴展種子雖然數(shù)據(jù)倉庫的數(shù)據(jù)安全和OLTP系統(tǒng)類似，但是數(shù)據(jù)倉庫數(shù)據(jù)訪問的特點要求提供更加完善的訪問權(quán)限為什么備份數(shù)據(jù)倉庫？雖然在數(shù)據(jù)倉庫中很少有直接的數(shù)據(jù)更新，但還是有幾個需要備份的理由。備份日程和恢復步驟由于數(shù)據(jù)倉庫的數(shù)據(jù)容量很大而且更加困難小結(jié)數(shù)據(jù)倉庫部署的第一個版本在建造階段完成后開始62§3升級和維護

GrowthandMaintenance本章目標清楚掌握系統(tǒng)運行時維護和管理的需要理解監(jiān)視數(shù)據(jù)倉庫的統(tǒng)計數(shù)據(jù)收集認識統(tǒng)計數(shù)據(jù)怎樣用于管理增長和提高性能仔細討論用戶培訓和支持的功能考慮其他經(jīng)營和管理問題Contents

監(jiān)視數(shù)據(jù)倉庫用戶培訓和支持管理數(shù)據(jù)倉庫§3升級和維護

GrowthandMaintenanc63§3升級和維護Contents

監(jiān)視數(shù)據(jù)倉庫用戶培訓和支持管理數(shù)據(jù)倉庫§3升級和維護Contents64監(jiān)視數(shù)據(jù)倉庫最終用戶數(shù)據(jù)倉庫管理員評價增長計劃和性能調(diào)節(jié)統(tǒng)計數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)監(jiān)視統(tǒng)計數(shù)據(jù)收集采樣統(tǒng)計數(shù)據(jù)定時對數(shù)據(jù)倉庫活動采樣，以獲得統(tǒng)計數(shù)據(jù)事件驅(qū)動統(tǒng)計數(shù)據(jù)收集記錄特定事件發(fā)生時的統(tǒng)計數(shù)據(jù)查詢、報表、分析監(jiān)視數(shù)據(jù)倉庫最終用戶數(shù)據(jù)倉庫管理員評價增長計劃和性能調(diào)節(jié)統(tǒng)計65監(jiān)視數(shù)據(jù)倉庫監(jiān)視用的統(tǒng)計數(shù)據(jù)的收集物理磁盤存儲空間使用情況DBMS在塊中尋找空間或者導致碎片的次數(shù)內(nèi)存緩沖區(qū)活動緩存使用輸入輸入出性能內(nèi)存管理數(shù)據(jù)倉庫內(nèi)容，不同入口發(fā)生的次數(shù)每個數(shù)據(jù)庫表的大小事實表記錄的訪問監(jiān)視數(shù)據(jù)倉庫監(jiān)視用的統(tǒng)計數(shù)據(jù)的收集66監(jiān)視數(shù)據(jù)倉庫統(tǒng)計數(shù)據(jù)收集（續(xù)）與主題域相關(guān)的使用情況統(tǒng)計數(shù)據(jù)每日按時間槽完成的查詢個數(shù)每個數(shù)據(jù)倉庫用戶在線的時間每日不同用戶的總數(shù)每日時間槽內(nèi)最大用戶個數(shù)每日增量裝載的持續(xù)時間有效用戶計數(shù)查詢響應(yīng)時間每日生成報告的個數(shù)數(shù)據(jù)庫中活動表的個數(shù)監(jiān)視數(shù)據(jù)倉庫統(tǒng)計數(shù)據(jù)收集（續(xù)）67監(jiān)視數(shù)據(jù)倉庫為升級而使用統(tǒng)計數(shù)據(jù)為現(xiàn)有的表分配更多的磁盤空間為附加的表留出更多的磁盤空間修改文件塊參數(shù)，使碎片最小化建立更多的匯總，用以處理大量對匯總信息的查詢重組準備區(qū)文件以處理更大的數(shù)據(jù)量為加強緩沖管理增加更多的緩存升級數(shù)據(jù)庫服務(wù)器將報表生成使用其他中間件代替24小時周期中消除高峰時間的使用通過對表進行分區(qū)，進行并行裝載和備份監(jiān)視數(shù)據(jù)倉庫為升級而使用統(tǒng)計數(shù)據(jù)68監(jiān)視數(shù)據(jù)倉庫為優(yōu)化使用統(tǒng)計數(shù)據(jù)查詢性能查詢建立增量裝載OLAP裝載頻率OLAP系統(tǒng)數(shù)據(jù)倉庫內(nèi)容瀏覽報表格式化報表生成監(jiān)視數(shù)據(jù)倉庫為優(yōu)化使用統(tǒng)計數(shù)據(jù)69監(jiān)視數(shù)據(jù)倉庫監(jiān)視統(tǒng)計數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)支持Web的數(shù)據(jù)倉庫企業(yè)內(nèi)部網(wǎng)網(wǎng)頁統(tǒng)計數(shù)數(shù)據(jù)倉庫主題數(shù)據(jù)倉庫表匯總數(shù)據(jù)數(shù)據(jù)倉庫導航數(shù)據(jù)倉庫統(tǒng)計數(shù)據(jù)預定義查詢預定義報表最后一次完整裝載最后一次增量裝載安排好停機時間支持接洽用戶工具升級內(nèi)部最終用戶用戶統(tǒng)計數(shù)據(jù)監(jiān)視數(shù)據(jù)倉庫監(jiān)視統(tǒng)計數(shù)據(jù)元數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)支持Web的數(shù)據(jù)倉70§3升級和維護Contents

監(jiān)視數(shù)據(jù)倉庫用戶培訓和支持管理數(shù)據(jù)倉庫§3升級和維護Contents71用戶培訓和支持用戶培訓內(nèi)容數(shù)據(jù)內(nèi)容數(shù)據(jù)倉庫中可用的主題數(shù)據(jù)倉庫的維度表和事實表數(shù)據(jù)倉庫導航數(shù)據(jù)粒度和聚集表源系統(tǒng)和數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換和清洗原則商業(yè)術(shù)語和含義應(yīng)用預定義查詢查詢模板預格式化的報表報表編輯器選項用于下游應(yīng)用的數(shù)據(jù)預開發(fā)的應(yīng)用程序OLAP匯總和多維分析主管信息系統(tǒng)工具最終用戶工具特征和功能有數(shù)據(jù)倉庫元數(shù)據(jù)的工具界面登錄和使用工具軟件的步驟使用工具導航和瀏覽數(shù)據(jù)倉庫內(nèi)容使用工具建立查詢獲得結(jié)果使用工具生成報表用戶培訓和支持用戶培訓內(nèi)容數(shù)據(jù)內(nèi)容應(yīng)用工具72用戶培訓和支持準備培訓計劃成功的培訓計劃賴于用戶代表和IT技術(shù)人員的共同參與讓IT技術(shù)人員和用戶一起準備課程內(nèi)容記住包括數(shù)據(jù)內(nèi)容、應(yīng)用和工具使用等課題給出一個當前所有需要培訓的用戶列表確定多少不同的培訓過程會對用戶有實際用處介紹性課程通常上一天，每個用戶必須參加這個基礎(chǔ)課程在深入性課程中有幾種途徑。每種途徑適合特定用戶組，著重于一到兩個主題區(qū)域依賴于不同的工具集，專門介紹工具使用的課程也有一些變化。OLAP用戶必須有自己的課程保持課程文檔簡單和直接而且包括足夠的圖表動手過程可能更有效。在介紹性課程中可能中需要一個演示就夠了，另外兩種課程需要進行動手訓練用戶培訓和支持準備培訓計劃73用戶培訓和支持介紹性課程數(shù)據(jù)倉庫介紹介紹數(shù)據(jù)倉庫和數(shù)據(jù)如何存儲數(shù)據(jù)倉庫導航維度和事實表預定義查詢和預格式化報表最終用戶應(yīng)用程序親自動手瀏覽數(shù)據(jù)倉庫內(nèi)容深入課程數(shù)據(jù)倉庫知識更新瀏覽所有主題仔細學習選擇的主題------事實表，維表，數(shù)據(jù)粒度和匯總學習源系統(tǒng)和數(shù)據(jù)抽取學習數(shù)據(jù)轉(zhuǎn)換親自動手會話最終用戶工具使用工具瀏覽仔細學習工具功能工具特征著重描述使用工具導航和瀏覽數(shù)據(jù)倉庫內(nèi)容查詢報表和分析工具的親自動手使用額外的工具特征，例如，下鉆，導出數(shù)據(jù)用戶培訓和支持介紹性課程深入課程最終用戶工具使用74用戶培訓和支持執(zhí)行培訓計劃用戶支持咨詢臺支持用戶代表用戶熱線支持技術(shù)支持提供熱線支持不能處理的問題記錄支持請求，提供幫助，如果需要還要傳遞請求提供對硬件、系統(tǒng)軟件和工具的遠程或者在線支持部門內(nèi)接觸的第一點多層支持結(jié)構(gòu)用戶培訓和支持執(zhí)行培訓計劃咨詢臺支持用戶代表用戶熱線支持技術(shù)75§3升級和維護Contents

監(jiān)視數(shù)據(jù)倉庫用戶培訓和支持管理數(shù)據(jù)倉庫§3升級和維護Contents76管理數(shù)據(jù)倉庫管理關(guān)注：維護管理：DBA必須保證所有功能以最佳狀態(tài)運行修改管理：新版本的部署、新工具的發(fā)布、ETL功能的提高和自動化部署后管理包括下面一些方面性能監(jiān)視和優(yōu)化數(shù)據(jù)增長管理存儲管理網(wǎng)絡(luò)管理ETL管理未來數(shù)據(jù)集市發(fā)布管理信息傳遞增強安全管理備份和恢復管理Web技術(shù)管理平臺升級繼續(xù)培訓用戶支持管理數(shù)據(jù)倉庫管理關(guān)注：安全管理77管理數(shù)據(jù)倉庫平臺升級數(shù)據(jù)增長管理存儲管理ETL管理數(shù)據(jù)模型修訂信息傳遞增強持續(xù)的優(yōu)化管理數(shù)據(jù)倉庫平臺升級78管理數(shù)據(jù)倉庫數(shù)據(jù)增長管理取消某些細節(jié)數(shù)據(jù)級別，而用匯總表代替約束不必要的下鉆功能，去掉對應(yīng)的細節(jié)級別數(shù)據(jù)限制歷史數(shù)據(jù)的容量，及時將舊數(shù)據(jù)存檔不鼓勵分析人員保存無計劃的匯總?cè)绻娴男枰⒏郊拥膮R總表管理數(shù)據(jù)倉庫數(shù)據(jù)增長管理79管理數(shù)據(jù)倉庫存儲管理（一些技巧）每次數(shù)據(jù)倉庫的新版本初始測試都需要更多的存儲空間。對增長要有計劃確保存儲配置靈活且可擴展。必須能夠增加更多的存儲器而最少地中斷當前的用戶使用模塊化存儲系統(tǒng)。如果沒有使用，考慮轉(zhuǎn)換如果在分布式環(huán)境下有多個服務(wù)器且它們有各自的存儲池，那么也考慮將服務(wù)器連接到一個可以智能訪問的存儲池隨著使用的增加，計劃分布數(shù)據(jù)到多個卷以最小化訪問瓶頸確?？梢詮膲牡拇鎯ι葏^(qū)里轉(zhuǎn)移數(shù)據(jù)尋找可以檢查的存儲系統(tǒng)以避免存儲損耗管理數(shù)據(jù)倉庫存儲管理（一些技巧）80管理數(shù)據(jù)倉庫ETL管理定時運行每日的抽取作業(yè)。如果在特殊情況下源系統(tǒng)不可用，那么重新安排抽取作業(yè)如果使用了數(shù)據(jù)復制技術(shù)，保證復制過程結(jié)果正確保證源系統(tǒng)記錄個數(shù)和抽取出的文件記錄個數(shù)的所有的對比完成確保所有己定義的數(shù)據(jù)轉(zhuǎn)換和清洗工作可以正確地進行解決轉(zhuǎn)換和清洗功能出現(xiàn)的異常情況驗證裝載映像建立過程，包括為維度表和事實表創(chuàng)建合適鍵值找出對慢速變化維度的合適處理保證每日增強裝載實時地完全地實現(xiàn)管理數(shù)據(jù)倉庫ETL管理81管理數(shù)據(jù)倉庫數(shù)據(jù)模型修訂元數(shù)據(jù)修訂物理設(shè)計修訂額外的存儲分配ETL功能修訂額外的預定義查詢和預格式化報表OLAP系統(tǒng)修訂額外的安全系統(tǒng)額外的備份和恢復系統(tǒng)管理數(shù)據(jù)倉庫數(shù)據(jù)模型修訂82管理數(shù)據(jù)倉庫信息傳遞增強（一些技巧）保證新工具集和數(shù)據(jù)倉庫組件的兼容性如果新工具集對己存在的工具是新增的，給用戶一段過渡時間保證最終用戶元數(shù)據(jù)的集成安排新工具集的培訓如果原始工具集有附加的存儲數(shù)據(jù)，計劃將這些數(shù)據(jù)轉(zhuǎn)移到新工具集中管理數(shù)據(jù)倉庫信息傳遞增強（一些技巧）83管理數(shù)據(jù)倉庫持續(xù)的優(yōu)化（實際的建議）制訂一個檢查索引使用情況的日常安排。刪除不再使用的索引每天監(jiān)視查詢性能。調(diào)查長時間運行的查詢。和執(zhí)行長時間查詢的用戶組一起工作。如果需要，就建立索引定期分析預定義查詢的執(zhí)行情況。RDBMS有對應(yīng)的查詢分析器完成這項工作觀測每日不同時間的裝載分布。確定變化巨大的原因雖然你己經(jīng)為持續(xù)的優(yōu)化建立了日常安排，有時候，你會碰到導致突然不幸的一些查詢。你會聽到一些特別用戶群的抱怨。準備好這些特別的優(yōu)化需要。數(shù)據(jù)管理組必須有人抽出時間處理這些情況管理數(shù)據(jù)倉庫持續(xù)的優(yōu)化（實際的建議）84小結(jié)緊跟著初始部署，項目組必須執(zhí)行檢查過程在系統(tǒng)運行過程中監(jiān)視數(shù)據(jù)倉庫需要采集不同指示器的統(tǒng)計數(shù)據(jù)。使用這些統(tǒng)計數(shù)據(jù)制訂增長和優(yōu)化計劃用戶培訓包括確定需要的內(nèi)容，準備培訓計劃，執(zhí)行培訓計劃用戶支持功能需要劃分為多個層次，以滿足不同的支持需要，這些支持涉及數(shù)據(jù)內(nèi)容、應(yīng)用程序和工具系統(tǒng)運行過程中的管理包括以下幾個方面：平臺升級，數(shù)據(jù)增長管理，存儲管理，ETL管理，數(shù)據(jù)模型更新，信息傳遞增強和持續(xù)優(yōu)化小結(jié)緊跟著初始部署，項目組必須執(zhí)行檢查過程85第五講數(shù)據(jù)倉庫的

物理設(shè)計、部署與維護第五講86第五講物理設(shè)計過程

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)數(shù)據(jù)倉庫部署

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復升級與維護監(jiān)視數(shù)據(jù)倉庫用戶培訓和支持管理數(shù)據(jù)倉庫第五講物理設(shè)計過程數(shù)據(jù)倉庫部署升級與維護87§1物理設(shè)計過程Objects明確數(shù)據(jù)倉庫的物理和邏輯設(shè)計的區(qū)別研究物理設(shè)計的過程明白物理設(shè)計需要考慮的因素及其含義掌握物理設(shè)計中存儲因素的角色考察數(shù)據(jù)倉庫環(huán)境下的索引技術(shù)總結(jié)所有提高系統(tǒng)性能的方法Contents物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程ObjectsContents88物理設(shè)計使項目組更接近于最后的實現(xiàn)和部署每個物理設(shè)計的任務(wù)是將邏輯設(shè)計推向更有意義的下一步物理設(shè)計使項目組更接近于最后的實現(xiàn)和部署89§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents90物理設(shè)計步驟建立標準建立聚集計劃確定數(shù)據(jù)分區(qū)方案建立聚簇選項：大量數(shù)據(jù)的順序訪問準備索引策略安排存儲結(jié)構(gòu)完成物理建模物理設(shè)計步驟建立標準91數(shù)據(jù)庫分區(qū)技術(shù)分區(qū)將表分離在若干不同的表空間上，用分而治之的方法來支撐無限膨脹的大表，給大表在物理一級的可管理性。將大表分割成較小的分區(qū)可以改善表的維護、備份、恢復、事務(wù)及查詢性能。數(shù)據(jù)庫分區(qū)技術(shù)分區(qū)將表分離在若干不同的表空間上，用分而治之的92數(shù)據(jù)倉庫的分區(qū)方案

分區(qū)原因：事實表太大而不得不分區(qū)，有些維度表可能也很大。方案：選擇需要分區(qū)的事實表和維度表每個表的分區(qū)類型------水平或者垂直每個表的分區(qū)個數(shù)表的分區(qū)準則（例如，按照產(chǎn)品分組）描述查詢?nèi)绾沃来嬖诜謪^(qū)數(shù)據(jù)倉庫的分區(qū)方案

分區(qū)原因：事實表太大而不得不分區(qū)，有些維93分區(qū)例子CREATETABLESPACEts_sale1999q1

DATAFILE‘/u1/oradata/sales/sales1999_q1.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q2

DATAFILE‘/u1/oradata/sales/sales1999_q2.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q3

DATAFILE‘/u1/oradata/sales/sales1999_q3.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

CREATETABLESPACEts_sale1999q4

DATAFILE‘/u1/oradata/sales/sales1999_q4.dat'

SIZE100M

DEFAULTSTORAGE(INITIAL30mNEXT30mMINEXTENTS3PCTINCREASE0)

分區(qū)例子CREATETABLESPACEts_sale194分區(qū)例子（cont.）CREATETABLEsales

(invoice_noNUMBER,

...

sale_dateDATENOTNULL)

PARTITIONBYRANGE(sale_date)

(PARTITIONsales1999_q1

VALUESLESSTHAN(TO_DATE(‘1999-04-01','YYYY-MM-DD')

TABLESPACEts_sale1999q1,

PARTITIONsales1999_q2

VALUESLESSTHAN(TO_DATE(‘1999-07-01','YYYY-MM-DD')

TABLESPACEts_sale1999q2,

PARTITIONsales1999_q3

VALUESLESSTHAN(TO_DATE(‘1999-10-01','YYYY-MM-DD')

TABLESPACEts_sale1999q3,

PARTITIONsales1999_q4

VALUESLESSTHAN(TO_DATE(‘2000-01-01','YYYY-MM-DD')

TABLESPACEts_sale1999q4);

分區(qū)例子（cont.）CREATETABLEsales95§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents96物理設(shè)計考慮的因素物理設(shè)計目標提高性能保證可伸縮性存儲管理提供簡便的管理靈活性設(shè)計物理設(shè)計考慮的因素物理設(shè)計目標97物理設(shè)計考慮的因素從邏輯模型到物理模型邏輯模型物理模型數(shù)據(jù)建模工具對象命名標準化改變屬性數(shù)據(jù)類型為鍵指定合適的數(shù)據(jù)類型為屬性指定約束定義外鍵關(guān)系考慮選擇數(shù)據(jù)庫管理系統(tǒng)有需要的時候就增加注釋物理模型意味著信息內(nèi)容更加的接近硬件層物理設(shè)計考慮的因素從邏輯模型到物理模型邏輯模型物理模型數(shù)據(jù)建98物理設(shè)計考慮的因素物理模型的組成方案子方案定義表列同義詞視圖注釋用戶角色主鍵外鍵約束索引安全特權(quán)文件/表空間數(shù)據(jù)倉庫：物理模型組件物理設(shè)計考慮的因素物理模型的組成方案表列同義詞視圖注釋用戶角99CREATESCHEMAORDER_ANALYSISAUTHORIZATIONSAMUEL_JOHNSON……………….CREATETABLEPRODUCT(PRODUCT_KEYCHARACTER(8)

PRIMARYKEY,PRODUCT_NAMECHARACTER(25),PRODUCT_SKUCHARACTER(20),PRODUCT_BRANDCHARACTER(25),CREATETABLESALESPERSON(SALPERS_KEYCHARACTER(8) PRIMARYKEY,SALPERS_NAMECHARACTER(30),TERRITORYCHARACTER(20),REGIONCHARACTER(20))CREATETABLEORDER_FACT(

PRODUCT_REFCHARACTER(8)PRIMARYKEY,SALPERS_REFCHARACTER(8),PRIMARYKEY,ORDER_AMOUNTNUMERIC(8.2),ORDER_COSTNUMERIC(8.2),FOREIGNKEYPRODUCT_REFREFERENCESPRODUCT,FOREIGNKEYSALPERS_REFREFERENCESSALESPERSON)

SQL描述的示例方案CREATESCHEMAORDER_ANALYSISCR100邏輯模型產(chǎn)品鍵名子SKU品牌產(chǎn)品銷售代表鍵姓名區(qū)域地區(qū)訂單鍵訂單數(shù)量成本訂單事實表邏輯模型名稱類型為空注釋產(chǎn)品表產(chǎn)品維表包括公司所有的產(chǎn)品Product_keyIntegerN主鍵Product_nameChar(25)N產(chǎn)品的銷售名稱Product_skuChar(20)N源系統(tǒng)的庫存單位Product_brandChar(25)N銷售中的產(chǎn)品品牌銷售人員表包括不同地區(qū)的所有銷售人員信息Salpers_keyIntegerN主鍵Salpers_nameChar(30)N銷售人員正式姓名TerritoryChar(20)N銷售人員所在區(qū)域RegionChar(20)N銷售區(qū)域包括的地區(qū)訂單事實表事實表包括公司收到的所有訂單Product_refIntegerN局部主鍵，參考產(chǎn)品局部主鍵表的外鍵Salpers_refIntegerN局部主鍵，參考銷售代表維度表的外鍵Order_amountNum(8,2)N以美元計的銷售額Order_costNum(8,2)N以美元計的訂單成本邏輯模型及物理模型邏輯模型產(chǎn)品鍵產(chǎn)品銷售代表鍵訂單鍵訂單事實表邏輯模型名稱類型101物理設(shè)計考慮的因素標準的意義數(shù)據(jù)庫對象的命名對象組件命名customer_loan_balance單詞分界符邏輯模型和物理模型的命名準備區(qū)域文件和表名稱定義標志進程表明目的示例：product_full_refresh,customer_daily_update…物理文件命名規(guī)范保存源代碼和腳本的文件數(shù)據(jù)庫文件應(yīng)用程序文檔物理設(shè)計考慮的因素標準的意義102§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents103物理存儲存儲區(qū)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)準備區(qū)數(shù)據(jù)倉庫存儲區(qū)OLAP系統(tǒng)以專用矩陣格式存儲的多維數(shù)據(jù)立方體物理文件關(guān)系數(shù)據(jù)庫數(shù)據(jù)文件（轉(zhuǎn)換過的數(shù)據(jù)）關(guān)系數(shù)據(jù)庫索引文件裝載映像文件關(guān)系數(shù)據(jù)庫索引文件己分區(qū)的物理文件細節(jié)數(shù)據(jù)和簡單匯總數(shù)據(jù)抽取平面文件關(guān)系數(shù)據(jù)庫數(shù)據(jù)文件（倉庫數(shù)據(jù)）物理存儲存儲區(qū)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)準備區(qū)數(shù)據(jù)倉庫存儲區(qū)OLAP系統(tǒng)以104物理存儲優(yōu)化存儲塊：數(shù)據(jù)庫的數(shù)據(jù)和內(nèi)存之間I/O傳輸?shù)幕締挝辉O(shè)定正確的塊大小設(shè)置合適的塊使用參數(shù)塊空閑率塊使用率數(shù)據(jù)遷移管理塊使用管理采用文件分帶技術(shù)：可使I/O并發(fā)進行物理存儲優(yōu)化存儲105物理存儲使用RAID技術(shù)RedundantArrayofIndependentDisk：廉價冗余磁盤陣列（獨立磁盤冗余陣列）安全性高，速度快，數(shù)據(jù)容量超大

磁盤鏡像------

將相同的數(shù)據(jù)寫入連接到相同控制器的兩個磁盤中雙磁盤------

和磁盤鏡像類似，不同的是每個驅(qū)動器有自己單獨的控制器奇偶校驗------

為數(shù)據(jù)加入校驗位以保證數(shù)據(jù)傳輸可靠磁盤分帶------

數(shù)據(jù)按扇區(qū)或者字節(jié)分布在多個磁盤上物理存儲使用RAID技術(shù)106RAID0高性能、低成本、單磁盤損壞導致整個磁盤陣列無法使用數(shù)據(jù)帶狀分布在多個磁盤上，沒有冗余RAID1可讀性能和可靠性高，因為數(shù)據(jù)復制，所以昂貴磁盤鏡像，數(shù)據(jù)寫入成對的冗余驅(qū)動器RAID2高性能，糾一位錯，兩位檢錯，代價昂貴數(shù)據(jù)按位或者塊交錯分布在磁盤上，額外的驅(qū)動器存儲校驗碼RAID3對大塊數(shù)據(jù)性能較高，不支持運行時恢復數(shù)據(jù)按位或塊交錯存儲，有一個驅(qū)動器存儲校驗數(shù)據(jù)RAID4可以處理多個復雜操作系統(tǒng)中的I/0操作，只用兩個驅(qū)動器數(shù)據(jù)記錄按扇區(qū)交錯存儲，有一個專門驅(qū)動器存儲校驗數(shù)據(jù)RAID5不需要專門的校驗驅(qū)動器，需要兩個或三個驅(qū)動器，寫能力較弱數(shù)據(jù)扇區(qū)交錯存儲于多個驅(qū)動器，非常流行RAID技術(shù)RAID0高性能、低成本、單數(shù)據(jù)帶狀分布在多個RAID1107物理存儲估計存儲容量對每個數(shù)據(jù)表，確定行數(shù)的初始估計行的平均長度估計行的每月增長數(shù)表的初始大小，以兆字節(jié)（MB）計算表6個月和12月的大小對所有表，確定索引的個數(shù)索引在，最初，6個月和12個月后需要的空間估計排序、合并需要的臨時空間準備區(qū)內(nèi)的臨時文件準備區(qū)內(nèi)的長久文件物理存儲估計存儲容量108§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents109為數(shù)據(jù)倉庫建立索引索引一覽索引和加載建立大表的索引選擇索引的列一種分階段的方法為數(shù)據(jù)倉庫建立索引索引一覽110為數(shù)據(jù)倉庫建立索引B-Tree索引位圖索引簇索引為事實表建立索引為維度表建立索引為數(shù)據(jù)倉庫建立索引B-Tree索引111為數(shù)據(jù)倉庫建立索引B-Tree索引A---KL---ZA---DE---GH---KALLENBUSHCLYNEDUNNEENGELFARISGOREHAIGIGNARJONESKUMARLOEWEMAHERNIXONOTTOPAINEQUINNRAJSEGELTOTOVETRIWILLSL---OP---RS---ZENGEL------地址

FARIS------地址

GORE------地址指向數(shù)據(jù)行的指針為數(shù)據(jù)倉庫建立索引B-Tree索引A---KA---DALL112地址或行號 日期 產(chǎn)品 地區(qū) 顏色 銷售量00001BFF.0012.011115-Nov-00洗碗機東白300 00001BFF.0013.011415-Nov-00干洗機西杏黃45000001BFF.0012.011516-Nov-00洗碗機西杏黃35000001BFF.0012.013816-Nov-00洗衣機北黑55000001BFF.0012.014517-Nov-00洗衣機南白50000001BFF.0012.015717-Nov-00干洗機東白40000001BFF.0014.016517-Nov-00洗衣機南杏黃575 銷售數(shù)據(jù)抽取產(chǎn)品列排序位圖索引

顏色排序位圖索引

地域排序位圖索引洗衣機、干洗機、洗碗機 白色、杏黃色、黑色 東、西、北、南地址或行號 位00001BFF.0012.011100100001BFF.0013.011401000001BFF.0012.011500100001BFF.0012.013810000001BFF.0012.014510000001BFF.0012.015701000001BFF.0014.0165100地址或行號 位00001BFF.0012.011110000001BFF.0013.011401000001BFF.0012.011501000001BFF.0012.013800100001BFF.0012.014510000001BFF.0012.015710000001BFF.0014.0165010地址或行號 位00001BFF.0012.0111100000001BFF.0013.0114010000001BFF.0012.0115010000001BFF.0012.0138001000001BFF.0012.0145000100001BFF.0012.0157100000001BFF.0014.01650001位圖索引示例地址或行號 日期 產(chǎn)品 地區(qū) 113為數(shù)據(jù)倉庫建立索引選出淺黃褐色洗衣機在東區(qū)或南區(qū)的銷售信息行：

產(chǎn)品 顏色 地區(qū) 地址或行號

001 100 1000 00001BFF.0012.0111010 010 0100 00001BFF.0013.0114001 010 0100 00001BFF.0012.0115100 001 0010 00001BFF.0012.0138100 100 0001 00001BFF.0012.0145010 100 1000 00001BFF.0012.0157100 010 0001 00001BFF.0014.0165 第1個位=1第1或第4個位=1第2個位=1且且這一行滿足查詢要求位圖索引：數(shù)據(jù)查詢?yōu)閿?shù)據(jù)倉庫建立索引選出淺黃褐色洗衣機在東區(qū)或南區(qū)的銷售信息行114為數(shù)據(jù)倉庫建立索引為事實表建立索引的提示如果DBMS不為主鍵建立索引，那么專門為全部的主鍵建立一個B-Tree索引仔細設(shè)計要建立索引的組合鍵中的單個鍵的順序。將查詢中經(jīng)常使用到的列作為組合鍵中級別高的鍵考慮組合鍵中的每一個鍵，根據(jù)查詢過程需要建立組合索引不要忽略為包括指標的列建立索引的可能性位圖索引不適用于事實表。為數(shù)據(jù)倉庫建立索引為事實表建立索引的提示115為數(shù)據(jù)倉庫建立索引為維度表建立索引在單一主鍵上建立惟一的B-Tree索引檢查約束查詢經(jīng)常用到的列。這些列是位圖索引的候選列在大的維度表中查找經(jīng)常被一起訪問的列。確定如何在這幾列上建立和安排多列索引。經(jīng)常訪問的列或者維度表中的層次比較高的列應(yīng)該在多列索引中具有較高的位置為經(jīng)常用于連接條件的每個列建立單獨的索引為數(shù)據(jù)倉庫建立索引為維度表建立索引116§1物理設(shè)計過程Contents

物理設(shè)計步驟物理設(shè)計考慮的因素物理存儲為數(shù)據(jù)倉庫建立索引提高性能的技術(shù)§1物理設(shè)計過程Contents117提高性能的技術(shù)數(shù)據(jù)分區(qū)(水平、垂直)查詢只需訪問必要的分區(qū)整個分區(qū)可以脫機維護索引建立得更快向數(shù)據(jù)倉庫中加載數(shù)據(jù)更容易和易于管理數(shù)據(jù)損壞只影響一個分區(qū)將分區(qū)映射到不同的磁盤驅(qū)動器以平衡I/O負載數(shù)據(jù)聚簇并行查詢匯總級別參考完整性檢查初始化參數(shù)反規(guī)范化設(shè)計提高性能的技術(shù)數(shù)據(jù)分區(qū)(水平、垂直)118小結(jié)物理設(shè)計使數(shù)據(jù)倉庫的實現(xiàn)更接近硬件。物理設(shè)計過程可以總結(jié)為7個不同的步驟標準的重要性需再三強調(diào)。在物理設(shè)計過程中要使用好的標準物理設(shè)計中的優(yōu)化存儲分配占有很高的地位。要使用RAID技術(shù)數(shù)據(jù)倉庫的性能很大程度上依賴于合適的索引機制。B-Tree索引和位圖索引都很合適其他的一些提高性能的方案也是物理設(shè)計的一部分，包括：數(shù)據(jù)分區(qū)、數(shù)據(jù)聚簇、并行處理、建立匯總、調(diào)整參考完整性檢驗、合適的DBMS初始化參數(shù)調(diào)整等等。小結(jié)物理設(shè)計使數(shù)據(jù)倉庫的實現(xiàn)更接近硬件。物理設(shè)計過程可以總結(jié)119§2數(shù)據(jù)倉庫部署Objects研究部署階段在數(shù)據(jù)倉庫開發(fā)生命周期中的角色回顧部署的主要任務(wù)和如何完成任務(wù)檢查對領(lǐng)航系統(tǒng)的需求，如何劃分領(lǐng)航的類型考慮數(shù)據(jù)倉庫環(huán)境下的數(shù)據(jù)安全考察數(shù)據(jù)備份和恢復需求Contents

部署的主要任務(wù)領(lǐng)航系統(tǒng)安全備份和恢復§2數(shù)據(jù)倉庫部署ObjectsContents120數(shù)據(jù)倉庫部署總結(jié)：建造階段我們己經(jīng)完成的主要工作基礎(chǔ)結(jié)構(gòu)的組件進行了完整測試體系結(jié)構(gòu)的有效性己被論證數(shù)據(jù)庫己定義。各種表的空間分配己經(jīng)完成己分配好準備區(qū)己建立的文件抽取、轉(zhuǎn)換和其他的準備區(qū)作業(yè)全部測試完成建立的裝載映像在開發(fā)環(huán)境中己經(jīng)測試完畢。初始裝載和增量裝載己經(jīng)完成查詢和報表工具己經(jīng)在開發(fā)環(huán)境中測試完畢OLAP系統(tǒng)己經(jīng)安裝和測試過了完成了數(shù)據(jù)倉庫的Web功能數(shù)據(jù)倉庫部署總結(jié)：建造