數(shù)據(jù)倉庫技術(shù)專業(yè)課件

1、 數(shù)據(jù)倉庫技術(shù)6.1 數(shù)據(jù)倉庫概述6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.3 數(shù)據(jù)倉庫系統(tǒng)及開發(fā)過程6.4 數(shù)據(jù)倉庫管理系統(tǒng)中的關(guān)鍵技術(shù)6.5 可視數(shù)據(jù)倉庫6.6 SAS數(shù)據(jù)倉庫的結(jié)構(gòu)與功能1歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述6.1.1數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫就是面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定過程。 數(shù)據(jù)倉庫是一種解決方案，是對原始的操作數(shù)據(jù)進行各種處理并轉(zhuǎn)換成有用信息的處理過程，用戶可以通過分析這些信息，從而作出策略性的決策。 也把數(shù)據(jù)倉庫系統(tǒng)稱為“決策支持系統(tǒng)”。 2歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述6.1.2 數(shù)據(jù)倉庫查詢系統(tǒng)的特點數(shù)據(jù)倉庫系統(tǒng)的查詢

2、通常都非常復(fù)雜，主要有兩種查詢方式： 一種以報表為主，從數(shù)據(jù)庫中產(chǎn)生各種形式的業(yè)務(wù)報表，這種查詢是預(yù)先規(guī)劃好的（predefined query）； 2. 另一種則是隨機的、動態(tài)的查詢（ad hoc query），對查詢的結(jié)果也是不能預(yù)料的。因此，系統(tǒng)的可擴展能力是必須考慮的重要因素之一 3歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述6.1.3 OLTP與OLAP的特點OLTP系統(tǒng)也稱為生產(chǎn)系統(tǒng),它是事件驅(qū)動、面向應(yīng)用的。 OLTP的基本特點如下： (1)對響應(yīng)時間要求非常高；用戶數(shù)量非常龐大，主要是操作人員；(2)數(shù)據(jù)庫的各種操作基于索引進行。 聯(lián)機分析處理（online analytical pr

3、ocessing,OLAP)是基于數(shù)據(jù)倉庫的信息分析處理過程，是數(shù)據(jù)倉庫的用戶接口部分。OLAP系統(tǒng)是跨部門、面向主題的。 基本特點是： 基礎(chǔ)數(shù)據(jù)來源于生產(chǎn)系統(tǒng)中的操作數(shù)據(jù)（operation data);響應(yīng)時間合理;用戶數(shù)量相對較少，其用戶主要是業(yè)務(wù)決策與管理人員;數(shù)據(jù)庫的各種操作不能完全基于索引進行。4歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述6.1.4 詳細數(shù)據(jù)與小結(jié)數(shù)據(jù)詳細數(shù)據(jù)中包含了許多有價值的信息，經(jīng)小結(jié)處理后，可能會丟失這些信息。 處理原因： (1)數(shù)據(jù)倉庫的引擎（數(shù)據(jù)庫系統(tǒng)）不適合處理大量的數(shù)據(jù) ;(2)降低存儲系統(tǒng)投資。在以前，存儲介質(zhì)是非常昂貴的 ;(3)降低MIPS投資 ;5

4、歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述 6.1.5 數(shù)據(jù)倉庫與數(shù)據(jù)集市數(shù)據(jù)倉庫是企業(yè)級的，能為整個企業(yè)各個部門的運行提供決策支持手段； 數(shù)據(jù)集市是部門級的，一般只能為某個局部范圍內(nèi)的管理人員服務(wù)。有些供應(yīng)商也稱為“部門級數(shù)據(jù)倉庫”（departmental data warehouse）。6歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述 6.1.5 數(shù)據(jù)倉庫與數(shù)據(jù)集市數(shù)據(jù)集市分類：兩種；獨立的數(shù)據(jù)集市（independent data mart）從屬的數(shù)據(jù)集市（dependent data mart）。 7歡迎下載 可修改6.1 數(shù)據(jù)倉庫概述6.1.6 數(shù)據(jù)倉庫引擎的選擇所謂數(shù)據(jù)倉庫引擎，就是數(shù)據(jù)庫管理系

5、統(tǒng)。從前面的分析可以看到，作為數(shù)據(jù)倉庫引擎的數(shù)據(jù)庫管理系統(tǒng)，其性能的優(yōu)劣對整個數(shù)據(jù)倉庫解決方案的成功實施起著舉足輕重的作用。 衡量其數(shù)據(jù)庫性能的主要指標是TPC-D；主要有3方面的數(shù)據(jù)需要考慮。（1） QppD。 （2） QthD。 （3） QppD。 8歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.1 框架的概念和重要性所謂框架就是利用簡化類比的集合，把復(fù)雜事物分為若干細小的易于理解的構(gòu)件的方法。 2. 能夠把數(shù)據(jù)倉庫方案的各組成部分進行分離的框架稱通用框架，有的也稱參照結(jié)構(gòu) ，如圖9歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.1 框架的重要性（1） 提出一種通用的“藍圖”框架。

6、（2） 為實現(xiàn)企業(yè)的目標創(chuàng)建一個持久的基礎(chǔ)，框架是實現(xiàn)一個目標的持久有效的方法。 （3） 實現(xiàn)可以提供可供選擇的替換。 （4） 在參照結(jié)構(gòu)框架內(nèi)提供制售商的情況。 （5） 突出方案中有生產(chǎn)價值的解題成分。 10歡迎下載 可修改9、 人的價值，在招收誘惑的一瞬間被決定。2022-5-22022-5-2Monday, May 02, 202210、低頭要有勇氣，抬頭要有低氣。2022-5-22022-5-22022-5-25/2/2022 3:46:57 AM11、人總是珍惜為得到。2022-5-22022-5-22022-5-2May-222-May-2212、人亂于心，不寬余請。2022-5-

7、22022-5-22022-5-2Monday, May 02, 202213、生氣是拿別人做錯的事來懲罰自己。2022-5-22022-5-22022-5-22022-5-25/2/202214、抱最大的希望，作最大的努力。2022年5月2日星期一2022-5-22022-5-22022-5-215、一個人炫耀什么，說明他內(nèi)心缺少什么。2022年5月2022-5-22022-5-22022-5-25/2/202216、業(yè)余生活要有意義，不要越軌。2022-5-22022-5-2May 2, 202217、一個人即使已登上頂峰，也仍要自強不息。2022-5-22022-5-22022-5-22

8、022-5-26.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.2 通用框架結(jié)構(gòu)數(shù)據(jù)倉庫參照結(jié)構(gòu)把數(shù)據(jù)倉庫的組成部分劃分成許多塊和層，塊主要有數(shù)據(jù)源、數(shù)據(jù)站場、數(shù)據(jù)倉庫、存取與使用；層主要有數(shù)據(jù)管理、元數(shù)據(jù)管理、傳輸和基礎(chǔ)結(jié)構(gòu)。塊與特定的數(shù)據(jù)倉庫相關(guān)，而層則表示用于實現(xiàn)塊的環(huán)境。 12歡迎下載 可修改9、 人的價值，在招收誘惑的一瞬間被決定。2022-5-22022-5-2Monday, May 02, 202210、低頭要有勇氣，抬頭要有低氣。2022-5-22022-5-22022-5-25/2/2022 3:46:58 AM11、人總是珍惜為得到。2022-5-22022-5-22022-5-2May-

9、222-May-2212、人亂于心，不寬余請。2022-5-22022-5-22022-5-2Monday, May 02, 202213、生氣是拿別人做錯的事來懲罰自己。2022-5-22022-5-22022-5-22022-5-25/2/202214、抱最大的希望，作最大的努力。2022年5月2日星期一2022-5-22022-5-22022-5-215、一個人炫耀什么，說明他內(nèi)心缺少什么。2022年5月2022-5-22022-5-22022-5-25/2/202216、業(yè)余生活要有意義，不要越軌。2022-5-22022-5-2May 2, 202217、一個人即使已登上頂峰，也仍要

10、自強不息。2022-5-22022-5-22022-5-22022-5-26.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.3 數(shù)據(jù)源塊 產(chǎn)品數(shù)據(jù)2. 遺留數(shù)據(jù)3. 內(nèi)部辦公系統(tǒng)4. 外部系統(tǒng)5. 數(shù)據(jù)源元數(shù)據(jù)14歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.4 數(shù)據(jù)倉庫結(jié)構(gòu)塊(1)“求精” ：元數(shù)據(jù)被映射為標準數(shù)據(jù)名稱和定義，為被抽取數(shù)據(jù)的時間戳及其來源以及已增加的新域再創(chuàng)建和捕獲一些元數(shù)據(jù)；(2)重構(gòu)工程部分負責(zé)檢驗數(shù)據(jù)是否滿足商業(yè)用戶分析的需求； (3)數(shù)據(jù)倉庫成分負責(zé)數(shù)據(jù)建模等；15歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.5 數(shù)據(jù)站場結(jié)構(gòu)塊數(shù)據(jù)站場中的求精與重構(gòu)工程構(gòu)件主要完成以下工作：

11、 (1)過濾與匹配從數(shù)據(jù)倉庫中抽取的數(shù)據(jù)；將數(shù)據(jù)倉庫集成到新的或重新定義的主題域；(2)創(chuàng)建新的概括或聚集；(3)將數(shù)據(jù)倉庫中初步概括的數(shù)據(jù)求精為高度概括的數(shù)據(jù)；(4)對所有時間和來源戳的數(shù)據(jù)預(yù)測和導(dǎo)出新的數(shù)據(jù)。16歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.6 數(shù)據(jù)倉庫的存取和使用模塊由兩部分組成： 一是存取與檢索；二是分析與報表。該塊為整個數(shù)據(jù)倉庫的實現(xiàn)提供決策性的和有價值的東西 17歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.7 數(shù)據(jù)管理層模塊（1） 從所選的數(shù)據(jù)源中抽取并挑選數(shù)據(jù)，為進一步求精和重構(gòu)工程以及存儲到數(shù)據(jù)倉庫中做準備。（2） 從新的或當(dāng)前的數(shù)據(jù)源中按需求追蹤和充

12、實新數(shù)據(jù)。（3） 捕獲運作數(shù)據(jù)源中數(shù)據(jù)的變化，然后刷新或更新數(shù)據(jù)倉庫。從數(shù)據(jù)倉庫的觀點來看，主要完成的功能：18歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.8 運輸層模塊該模塊使用了刷新與復(fù)制技術(shù)、數(shù)據(jù)傳輸、傳送網(wǎng)絡(luò)，以及中間件等構(gòu)件，它也為傳輸請求提供了安全保障。 運輸層在硬件/軟件平臺之間建起了必要的信息通道，這些通道在參照結(jié)構(gòu)中被不同的模塊分割成一個個平臺。19歡迎下載 可修改6.2 數(shù)據(jù)倉庫的結(jié)構(gòu)框架6.2.9 基礎(chǔ)結(jié)構(gòu)層模塊由系統(tǒng)管理，工作流程管理，存儲系統(tǒng)和處理系統(tǒng)組成。提供諸如執(zhí)行、管理、終止工具和應(yīng)用程序等功能 維護和系統(tǒng)管理任務(wù) 多維存儲系統(tǒng)和本地存儲系統(tǒng) 主要模塊的基

13、本操作環(huán)境 20歡迎下載 可修改6.3 數(shù)據(jù)倉庫系統(tǒng)及其開發(fā)過程6.3.1 數(shù)據(jù)倉庫系統(tǒng)(data warehouse system,DWS)由數(shù)據(jù)倉庫、倉庫管理和分析工具3部分組成 21歡迎下載 可修改6.3 數(shù)據(jù)倉庫系統(tǒng)及其開發(fā)過程6.3.2 開發(fā)過程（1） 啟動工程。（2） 建立技術(shù)環(huán)境。 （3） 設(shè)計主題進行數(shù)據(jù)建模。 （4） 設(shè)計數(shù)據(jù)倉庫中的數(shù)據(jù)庫。 （5） 數(shù)據(jù)轉(zhuǎn)換程序。 （6） 管理元數(shù)據(jù)。 （7） 開發(fā)用戶決策的數(shù)據(jù)分析工具。 （8） 管理數(shù)據(jù)倉庫環(huán)境。 22歡迎下載 可修改6.4 數(shù)據(jù)倉庫管理系統(tǒng)中的關(guān)鍵技術(shù)6.4.1 引言DSSOLAP數(shù)據(jù)開采多庫系統(tǒng)數(shù)據(jù)倉庫技術(shù)所謂數(shù)據(jù)倉

14、庫就是一個專門的數(shù)據(jù)倉儲（repository），用來保存從多個數(shù)據(jù)庫或其他信息源選取的已有數(shù)據(jù)，并為上層應(yīng)用提供統(tǒng)一的用戶接口，用以完成數(shù)據(jù)查詢和分析。 23歡迎下載 可修改6.4 數(shù)據(jù)倉庫管理系統(tǒng)中的關(guān)鍵技術(shù)6.4.2 系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)仍是一個數(shù)據(jù)庫管理系統(tǒng)，通過利用一個專門的數(shù)據(jù)庫管理系統(tǒng)，對數(shù)據(jù)倉庫中數(shù)據(jù)進行存儲和維護。數(shù)據(jù)倉庫可以是集中的，也可以是分布的，不同之處在于采用集中式DBMS還是分布式DBMS。 24歡迎下載 可修改6.4 數(shù)據(jù)倉庫管理系統(tǒng)中的關(guān)鍵技術(shù)6.4.2 系統(tǒng)結(jié)構(gòu)數(shù)據(jù)倉庫系統(tǒng)多級視圖機制。 具體過程分為兩級映射：第一級，數(shù)據(jù)將從局部數(shù)據(jù)庫中，經(jīng)過數(shù)據(jù)翻譯、

15、轉(zhuǎn)換并具體化成符合公共模型格式的中間視圖，這些具體化模型是臨時性的，在生成上層模式后不必保留； 第二級，經(jīng)過消除語義沖突、數(shù)據(jù)集成和數(shù)據(jù)導(dǎo)出處理，將有關(guān)的實體化中間視圖集成為滿足專門應(yīng)用的集成視圖。 25歡迎下載 可修改6.4 數(shù)據(jù)倉庫管理系統(tǒng)中的關(guān)鍵技術(shù)6.4.3 系統(tǒng)主要模塊1.翻譯器2.監(jiān)控器3.集成器數(shù)據(jù)翻譯工作包括數(shù)據(jù)結(jié)構(gòu)的翻譯和數(shù)據(jù)類型的翻譯 通過檢測數(shù)據(jù)源發(fā)生的變化，監(jiān)視數(shù)據(jù)倉庫與數(shù)據(jù)源之間的數(shù)據(jù)誤差，或者說數(shù)據(jù)增量，并報告給上層的集成器。 (1)負責(zé)進行數(shù)據(jù)倉庫初始化和目錄管理(2)接收監(jiān)控器的變化，并將數(shù)據(jù)源的新變化反映到數(shù)據(jù)倉庫26歡迎下載 可修改6.4 數(shù)據(jù)倉庫管理系統(tǒng)中

16、的關(guān)鍵技術(shù)6.4.3 關(guān)鍵技術(shù)優(yōu)化處理：為了提高數(shù)據(jù)倉庫的效率，需要采用一些專門的優(yōu)化措施，以節(jié)省存儲空間、加快響應(yīng)速度、減少維護費用等?？刹捎玫募夹g(shù)主要有以下3種：(1) 過濾源場地上無關(guān)的修改操作。 (2) 可自維護性。 (3) 多視圖的優(yōu)化。 其他問題(1) 數(shù)據(jù)倉庫的維護管理。 (2) 數(shù)據(jù)源的演變。 (3) 老化數(shù)據(jù)。 27歡迎下載 可修改6.5 可視數(shù)據(jù)倉庫6.5.1 引言可視數(shù)據(jù)倉庫是數(shù)據(jù)倉庫解決方案的重要組成部分主要由以下幾部分組成： 數(shù)據(jù)訪問 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)分布 數(shù)據(jù)存儲 靠描述性數(shù)據(jù)查找和理解數(shù)據(jù) 顯示 分析和發(fā)掘數(shù)據(jù) 數(shù)據(jù)轉(zhuǎn)換過程的自動化及其管理 28歡迎下載 可修改6.

17、5 可視數(shù)據(jù)倉庫6.5.2可視數(shù)據(jù)倉庫的功能1. 描述性數(shù)據(jù)的存儲 2. 小型數(shù)據(jù)倉庫的規(guī)?；瘮U展3. 開發(fā)系統(tǒng)環(huán)境6.5.3 數(shù)據(jù)倉庫規(guī)?；捏w系結(jié)構(gòu) 1. 管理員2. 控制數(shù)據(jù)庫3. 客戶端管理員4. 代理Visual Warehouse提供一個完整的分布式客戶機服務(wù)器系統(tǒng)環(huán)境，它使得用戶可以充分享受到“網(wǎng)絡(luò)計算”帶來的便利，而且適用于多種平臺。29歡迎下載 可修改6.5 可視數(shù)據(jù)倉庫6.5.4 可視數(shù)據(jù)倉庫管理Visual Warehouse的管理是由其客戶端管理員實現(xiàn)的，它使管理得以集中于一點。它包括以下6點：1. 商業(yè)視圖3. 編輯版2. 監(jiān)控數(shù)據(jù)轉(zhuǎn)換過程4. 定期執(zhí)行5. 級聯(lián)式商

18、業(yè)視圖（cascaded business view）6. 版本30歡迎下載 可修改6.5 可視數(shù)據(jù)倉庫6.5.5 IBM可視數(shù)據(jù)倉庫解決方案IBM的Visual Warehouse提供了強有力的工具，以定義、建立、管理、監(jiān)控和維護一個商用信息系統(tǒng)環(huán)境數(shù)據(jù)倉庫。但是，IBM并不滿足于此，為了更好地滿足用戶的要求，IBM設(shè)計了一個完整的解決方案。1. 信息分類表Data Guide將數(shù)據(jù)倉庫中的所有信息分類展示給商業(yè)用戶。 2. 查詢和報表工具(1) 分階段機制。 (2) 容錯機制。 (3) 異步機制。 31歡迎下載 可修改6.6 SAS數(shù)據(jù)倉庫的結(jié)構(gòu)與功能6.6.1 SAS數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)

19、據(jù)倉庫是一個適用于對企業(yè)級數(shù)據(jù)、信息的多維、快速查詢、進行OLAP操作和決策支持的數(shù)據(jù)、信息的采集、管理、處理和展現(xiàn)的架構(gòu)體系。 環(huán)境(environment)是屬于數(shù)據(jù)倉庫的體系結(jié)構(gòu)的一部分，它由兩大部分組成： 一部分是分別含有不同主題內(nèi)容的若干個數(shù)據(jù)倉庫；另一部分是對數(shù)據(jù)源的定義。這構(gòu)成了從數(shù)據(jù)采集到直接應(yīng)用的完整的支持體系。數(shù)據(jù)倉庫（data warehouse）可以由不同層次的多個數(shù)據(jù)倉庫組成 主題(detail)表系統(tǒng)放置的是從各個數(shù)據(jù)源取出、經(jīng)過清理、整合的原始數(shù)據(jù)。 32歡迎下載 可修改6.6 SAS數(shù)據(jù)倉庫的結(jié)構(gòu)與功能6.6.1 SAS數(shù)據(jù)倉庫的體系結(jié)構(gòu)在匯總表組(summar

20、y group)中定義進行數(shù)據(jù)匯總處理時的層次維數(shù)和所分析的變量。 信息市場(information marts)是信息市場的分組，在一項主題中可以有若干組信息市場。 信息市場項目(information mart items)是信息市場中一項具體的信息，它是對數(shù)據(jù)倉庫中的數(shù)據(jù)處理后產(chǎn)生的結(jié)果。 數(shù)據(jù)市場組（data mart group）是對市場項目的分組，在一個數(shù)據(jù)庫中可以有多組數(shù)據(jù)市場，這也是按內(nèi)容不同進行數(shù)據(jù)分組的。 運行數(shù)據(jù)定義組（operational data definition group）是對要從數(shù)據(jù)源取出的數(shù)據(jù)進行定義的分組。 33歡迎下載 可修改6.6.1 SAS數(shù)據(jù)倉

21、庫的體系結(jié)構(gòu)SAS數(shù)據(jù)倉庫有一個十分完善的體系結(jié)構(gòu)，不僅為建立決策支持系統(tǒng)提供了完整的解決方案，而且為今后的發(fā)展留下了廣闊的天地。34歡迎下載 可修改6.6 SAS數(shù)據(jù)倉庫的結(jié)構(gòu)與功能6.6.2 SAS數(shù)據(jù)倉庫的功能數(shù)據(jù)倉庫是適應(yīng)決策支持系統(tǒng)的需要而產(chǎn)生的，所以人們希望所采用的軟件產(chǎn)品能支持決策過程的全部工作內(nèi)容，SAS的數(shù)據(jù)倉庫技術(shù)就可以支持決策全過程。 （1） 從任何業(yè)務(wù)處理系統(tǒng)或數(shù)據(jù)源中取出決策所需數(shù)據(jù)。（2） 對源數(shù)據(jù)進行清理和整合。（3） 按計劃或規(guī)則進行數(shù)據(jù)倉庫的裝載和更新。（4） 按決策的需要，以多種形式進行數(shù)據(jù)和信息的組織。（5） 最豐富的決策數(shù)據(jù)處理能力。（6） 靈活多樣的數(shù)

22、據(jù)展現(xiàn)方式。35歡迎下載 可修改6.6 SAS數(shù)據(jù)倉庫的結(jié)構(gòu)與功能SAS的功能1. SAS系統(tǒng)的數(shù)據(jù)存取能力2. 數(shù)據(jù)的清理和整合3. 數(shù)據(jù)倉庫的加載和更新4. 按決策需要重組數(shù)據(jù)和信息5. 豐富的決策數(shù)據(jù)處理能力6. 靈活多樣的結(jié)果展現(xiàn)方式36歡迎下載 可修改6.6 SAS數(shù)據(jù)倉庫的結(jié)構(gòu)與功能6.6.3 SAS數(shù)據(jù)倉庫有助于數(shù)據(jù)開采早期：數(shù)據(jù)處理、數(shù)值計算大量繁雜事務(wù)的在線處理、生成設(shè)備的實時控制等 數(shù)據(jù)處理、數(shù)據(jù)開采SAS的豐富數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析和信息展現(xiàn)的能力，又使之成為決策支持的最好工具。 SAS又推出了套裝的SAS Enterprise Miner這一企業(yè)級的數(shù)據(jù)處理分析和決策支持軟件包。 SAS通過改變支持數(shù)據(jù)開采37歡迎下載 可修改9、 人的價值，在招收誘惑的一瞬間被決定。22.5.222.5.2Monday, May 02, 202210、低頭要有勇氣，抬頭要有低氣。*5/2/2022 3:47:02 AM11、人總是珍惜為得到。22.5.2*