數(shù)據(jù)倉庫專題講義

第四講數(shù)據(jù)倉庫數(shù)據(jù)庫與數(shù)據(jù)倉庫數(shù)據(jù)不一致可頻繁刪除數(shù)據(jù)存放短期數(shù)據(jù)（3個(gè)月內(nèi)）存在數(shù)據(jù)冗余數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，客戶關(guān)系管理的很多工作都是以數(shù)據(jù)倉庫為基礎(chǔ)展開的。利用數(shù)據(jù)倉庫，企業(yè)可以對客戶行為進(jìn)行分析和預(yù)測，從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)重點(diǎn)客戶和評價(jià)市場性能。對于客戶量大、市場策略對企業(yè)影響較大的企業(yè)來說，必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的產(chǎn)生早期的數(shù)據(jù)庫主要支持聯(lián)機(jī)事務(wù)處理傳統(tǒng)數(shù)據(jù)庫不能滿足決策支持對數(shù)據(jù)庫的要求（1）事務(wù)處理和分析處理的性能特性不同（2)數(shù)據(jù)集成問題（3）歷史數(shù)據(jù)問題（1）事務(wù)處理和分析處理的性能特性不同所有聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是數(shù)據(jù)更新處理性能和系統(tǒng)的可靠性。在事務(wù)處理環(huán)境中，用戶的行為特點(diǎn)是數(shù)據(jù)的存取操作頻率高，每次操作處理的時(shí)間短。在分析處理環(huán)境中，用戶的行為模式與此完全不同，強(qiáng)調(diào)的是數(shù)據(jù)處理和分析的能力。在傳統(tǒng)數(shù)據(jù)庫系統(tǒng)基礎(chǔ)上的決策支持（DSS）應(yīng)用程序可能需要連續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。聯(lián)機(jī)分析和事務(wù)處理對系統(tǒng)的要求不同，同一個(gè)數(shù)據(jù)庫在理論上難以做到兩全，將具有如此不同處理性能的兩種應(yīng)用放在同一個(gè)環(huán)境中運(yùn)行顯然是不適當(dāng)?shù)?。?）數(shù)據(jù)集成問題DSS需要集成的數(shù)據(jù)。全面而正確的數(shù)據(jù)是有效的分析和決策的首要前提，相關(guān)數(shù)據(jù)收集得越完整，得到的結(jié)果就越可靠。當(dāng)前絕大多數(shù)企業(yè)內(nèi)數(shù)據(jù)的真正狀況是分散而非集成的。造成這種分散的原因有多種，主要有事務(wù)處理應(yīng)用分散、“蜘蛛網(wǎng)”問題、數(shù)據(jù)不一致問題、外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。（3）歷史數(shù)據(jù)問題事務(wù)處理一般只需要當(dāng)前數(shù)據(jù)，在數(shù)據(jù)庫中一般也是存儲(chǔ)短期數(shù)據(jù)，且不同數(shù)據(jù)的保存期限也不一樣，即使有一些歷史數(shù)據(jù)保存下來了，也被束之高閣，未得到充分利用。但對于決策分析而言，歷史數(shù)據(jù)是相當(dāng)重要的，許多分析方法必須以大量的歷史數(shù)據(jù)為依托。沒有歷史數(shù)據(jù)的詳細(xì)分析，是難以把握企業(yè)的發(fā)展趨勢的。DSS對數(shù)據(jù)在空間和時(shí)間上都有了更高的要求，而事務(wù)處理環(huán)境難以滿足這些要求。要提高分析和決策的效率和有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境，數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)。數(shù)據(jù)倉庫的數(shù)據(jù)從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到。它是一個(gè)聯(lián)機(jī)的系統(tǒng)，專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù)，通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。數(shù)據(jù)倉庫的概念和特征著名的數(shù)據(jù)倉庫專家在其著作《BuildingtheDataWarehouse》一書中給予如下描述：數(shù)據(jù)倉庫（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫概念的兩個(gè)層次功能上：數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；內(nèi)容和特征上：數(shù)據(jù)倉庫是對多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉倉庫特特點(diǎn)-面向主主題數(shù)據(jù)倉倉庫是是面向向主題題而進(jìn)進(jìn)行數(shù)數(shù)據(jù)組組織的的。主主題是是一個(gè)個(gè)在較較高層層次上上對數(shù)數(shù)據(jù)的的抽象象,在邏輯輯意義義上,它是對對企業(yè)業(yè)中某某一宏宏觀領(lǐng)領(lǐng)域所所涉及及的分分析對對象，，即將數(shù)據(jù)據(jù)組織織成主主題域域。數(shù)據(jù)倉倉庫特特點(diǎn)-集成數(shù)據(jù)倉倉庫中中的數(shù)數(shù)據(jù)是是集成成的。。數(shù)據(jù)據(jù)倉庫庫中的的數(shù)據(jù)據(jù)是在在對原原有分分散的的數(shù)據(jù)據(jù)庫數(shù)數(shù)據(jù)抽抽取、、清理理的基基礎(chǔ)上上經(jīng)過過系統(tǒng)統(tǒng)加工工、匯匯總和和整理理得到到的，，必須須消除源源數(shù)據(jù)據(jù)中的的不一一致性性，以保保證數(shù)數(shù)據(jù)倉倉庫內(nèi)內(nèi)的信信息是是關(guān)于于整個(gè)個(gè)企業(yè)業(yè)的一一致的的全局局信息息。在在數(shù)據(jù)據(jù)倉庫庫建設(shè)設(shè)中，，這是是最關(guān)關(guān)鍵最最復(fù)雜雜的一一個(gè)步步驟，，主要要工作作有：：一是是，進(jìn)進(jìn)行數(shù)數(shù)據(jù)的的綜合合和計(jì)計(jì)算；；二是是，統(tǒng)統(tǒng)一源源數(shù)據(jù)據(jù)中所所有不不一致致和矛矛盾的的地方方(如同名異異義、異異名同義義、字長長不一致致、單位位不一致致等)。數(shù)據(jù)倉庫庫四個(gè)特特點(diǎn)-相對穩(wěn)定定操作型數(shù)數(shù)據(jù)庫中中的數(shù)據(jù)據(jù)通常實(shí)實(shí)時(shí)更新新，數(shù)據(jù)據(jù)根據(jù)需需要及時(shí)時(shí)發(fā)生變變化。數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)主要供供企業(yè)決決策分析析之用，，所涉及及的數(shù)據(jù)據(jù)操作主主要是數(shù)數(shù)據(jù)查詢詢，一旦旦某個(gè)數(shù)數(shù)據(jù)進(jìn)入入數(shù)據(jù)倉倉庫以后后，一般般情況下下將被長長期保留留，也就就是數(shù)據(jù)據(jù)倉庫中中一般有大量的的查詢操操作，但修改和刪刪除操作作很少，通常只只需要定期的加加載、刷刷新。數(shù)據(jù)倉庫庫四個(gè)特特點(diǎn)-相對穩(wěn)定定的數(shù)據(jù)倉庫庫四個(gè)特特點(diǎn)-反映歷史史變化數(shù)據(jù)倉庫庫中的數(shù)數(shù)據(jù)通常常包含歷歷史信息息，系統(tǒng)統(tǒng)記錄了了企業(yè)從從過去某某一時(shí)點(diǎn)點(diǎn)(如開始應(yīng)應(yīng)用數(shù)據(jù)據(jù)倉庫的的時(shí)點(diǎn))到目前的的各個(gè)階階段的信信息，通通過這些些信息，，可以對對企業(yè)的的發(fā)展歷歷程和未未來趨勢勢做出定定量分析析和預(yù)測測。數(shù)據(jù)據(jù)倉庫中中的數(shù)據(jù)據(jù)時(shí)間期期限要遠(yuǎn)遠(yuǎn)遠(yuǎn)長于于操作型型系統(tǒng)中中的數(shù)據(jù)據(jù)時(shí)間期期限。操操作型系系統(tǒng)的時(shí)時(shí)間期限限一般是是60～90天，而數(shù)據(jù)據(jù)倉庫中中數(shù)據(jù)的的時(shí)間期期限通常常是5～10年。數(shù)據(jù)倉庫庫四個(gè)特特點(diǎn)-反映歷史史變化數(shù)據(jù)倉庫庫本質(zhì)如果說傳傳統(tǒng)數(shù)據(jù)據(jù)庫系統(tǒng)統(tǒng)的要求求是快速速、準(zhǔn)確確、安全全、可靠靠地將數(shù)數(shù)據(jù)存進(jìn)進(jìn)數(shù)據(jù)庫庫中的話話，那么么數(shù)據(jù)倉倉庫的要要求就是是能夠準(zhǔn)準(zhǔn)確、安安全、可可靠地從從數(shù)據(jù)庫庫中取出出數(shù)據(jù)，，經(jīng)過加加工轉(zhuǎn)換換成有規(guī)規(guī)律信息息之后，，再供管管理人員員進(jìn)行分分析使用用。數(shù)據(jù)倉庫庫所要研研究和解解決的問問題就是是從數(shù)據(jù)據(jù)庫中獲獲取信息息。數(shù)據(jù)倉庫庫系統(tǒng)體體系結(jié)構(gòu)構(gòu)數(shù)據(jù)源數(shù)據(jù)源是是數(shù)據(jù)倉倉庫系統(tǒng)統(tǒng)的基礎(chǔ)礎(chǔ)，是整整個(gè)系統(tǒng)統(tǒng)的數(shù)據(jù)據(jù)源泉。。通常包包括企業(yè)業(yè)內(nèi)部信信息和外外部信息息。內(nèi)部部信息包包括各種種業(yè)務(wù)處處理數(shù)據(jù)據(jù)和各類類文檔數(shù)數(shù)據(jù)。外外部信息息包括各各類法律律法規(guī)、、市場信信息和競競爭對手手的信息息等等。。數(shù)據(jù)的存存儲(chǔ)與管管理數(shù)據(jù)的存存儲(chǔ)與管管理是整整個(gè)數(shù)據(jù)據(jù)倉庫系系統(tǒng)的核核心。針針對現(xiàn)有有各業(yè)務(wù)務(wù)系統(tǒng)的的數(shù)據(jù)，，進(jìn)行抽抽取、清清理，并并有效集集成，按按照主題題進(jìn)行組組織。數(shù)數(shù)據(jù)倉庫庫按照數(shù)數(shù)據(jù)的覆覆蓋范圍圍可以分分為企業(yè)業(yè)級(jí)數(shù)據(jù)據(jù)倉庫和和部門級(jí)級(jí)數(shù)據(jù)倉倉庫（通通常稱為為數(shù)據(jù)集集市）。。OLAP服務(wù)器OLAP服務(wù)器對對分析需需要的數(shù)數(shù)據(jù)進(jìn)行行有效集集成，按按多維模模型予以以組織，，以便進(jìn)進(jìn)行多角角度、多多層次的的分析，，并發(fā)現(xiàn)現(xiàn)趨勢。。前端工具具前端工具具主要包包括各種種報(bào)表工工具、查查詢工具具、數(shù)據(jù)據(jù)分析工工具、數(shù)數(shù)據(jù)挖掘掘工具以以及各種種基于數(shù)數(shù)據(jù)倉庫庫或數(shù)據(jù)據(jù)集市的的應(yīng)用開開發(fā)工具具。聯(lián)機(jī)分析析處理（（OLAP）聯(lián)機(jī)分析析處理（（OLAP）的概念念最早是是由關(guān)系系數(shù)據(jù)庫庫之父于1993年提出的的。當(dāng)時(shí)時(shí)，Codd認(rèn)為聯(lián)機(jī)事務(wù)務(wù)處理（OLTP）已不能滿足足終端用戶對對數(shù)據(jù)庫查詢詢分析的需要要，SQL對大量數(shù)據(jù)庫庫進(jìn)行的簡單單查詢也不能能滿足用戶分分析的需求。。用戶的決策策分析需要對對關(guān)系數(shù)據(jù)庫庫進(jìn)行大量計(jì)計(jì)算才能得到到結(jié)果，而查查詢的結(jié)果并并不能滿足決決策者提出的的需求。因此此Codd提出了多維數(shù)數(shù)據(jù)分析的概概念即OLAP。聯(lián)機(jī)分析處理理（OLAP）OLAP是一種軟件技技術(shù)，它使分分析人員能夠夠迅速、一致致、交互地從從各個(gè)方面觀觀察信息，以以達(dá)到深入理理解數(shù)據(jù)的目目的，這些信信息是從原始始數(shù)據(jù)直接轉(zhuǎn)轉(zhuǎn)換過來的，，它們以用戶戶容易理解的的方式反映企企業(yè)的真實(shí)情情況。OLAP大部分策略都都是將關(guān)系型的或或普通的數(shù)據(jù)據(jù)進(jìn)行多維數(shù)數(shù)據(jù)存貯，以便于進(jìn)行行分析，從而而達(dá)到聯(lián)機(jī)分分析處理的目目的。這種多多維DB也被看作一個(gè)個(gè)超立方體，，沿著各個(gè)維維方向存貯數(shù)數(shù)據(jù)。OLAP的多維數(shù)據(jù)概概念維是人們觀察察問題的特定定角度，例如如：時(shí)間維、、地理維、產(chǎn)產(chǎn)品維。假定某某是個(gè)個(gè)百貨零售商商，有一些因因素會(huì)影響他他的銷售業(yè)務(wù)務(wù)，如商品、、時(shí)間、商店店。這里，商商品、時(shí)間和和商店都是維維。各個(gè)商店店的集合是一一維，時(shí)間的的集合是一維維，商品的集集合是一維。。維就是相同同類數(shù)據(jù)的集集合，也可以以理解為變量量。而每個(gè)商商店、每段時(shí)時(shí)間、每種商商品都是某一一維的一個(gè)成成員。每個(gè)銷銷售事實(shí)由一一個(gè)特定的商商店、特定的的時(shí)間和特定定的商品組成成。OLAP的多維數(shù)據(jù)概概念數(shù)據(jù)單元。多多維數(shù)據(jù)集的的取值稱為數(shù)數(shù)據(jù)單元。當(dāng)在多維數(shù)據(jù)據(jù)集的每個(gè)維維都選中一個(gè)個(gè)維成員以后后，這些維成成員的組合就就惟一確定了了觀察變量的的值。OLAP多維數(shù)據(jù)分析析1.切片和切塊(SliceandDice)在多維數(shù)據(jù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行行切片,按三維進(jìn)行行切塊,可得到所需需要的數(shù)據(jù)據(jù)。如在““城市、產(chǎn)產(chǎn)品、時(shí)間間”三維立立方體中進(jìn)進(jìn)行切塊和和切片,可得到各城城市、各產(chǎn)產(chǎn)品的銷售售情況。2.鉆取(Drill)鉆取包含向向下鉆取(Drill-down)和向上鉆取取(Drill-up)/上卷(Roll-up)操作，鉆鉆取的深度度與維所劃劃分的層次次相對應(yīng)。。3.旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot)通過旋轉(zhuǎn)可可以得到不不同視角的的數(shù)據(jù)。案例說明現(xiàn)有某企業(yè)業(yè)1995和1996兩年，，在廣州和和上海兩個(gè)個(gè)城市的各各類電器產(chǎn)產(chǎn)品的銷售售數(shù)據(jù)。該組數(shù)據(jù)就就是典型的的多維數(shù)據(jù)據(jù)，其維度度分別為時(shí)時(shí)間、城市市、產(chǎn)品。。OLAP的分析方法法(一)切切片、切塊塊OLAP的分析方法法(二)鉆鉆取按時(shí)間維向向下鉆取按時(shí)間維向向上鉆取60OLAP的分析方法法(三)旋旋轉(zhuǎn)如果需要比比較同一個(gè)個(gè)季度中不不同年份的的部門銷售售數(shù)據(jù)，那那么應(yīng)該如如何調(diào)整上上表的數(shù)據(jù)據(jù)組織方式式？OLAP的的分析方法法(三)旋旋轉(zhuǎn)練習(xí)一已有2000至2009年間間全國省會(huì)會(huì)城市的中中心城區(qū)和和郊區(qū)的平平均房價(jià)數(shù)數(shù)據(jù)，請問問該數(shù)據(jù)應(yīng)應(yīng)如何用三三維數(shù)據(jù)立立方來表示示？如果想抽取取廣州地區(qū)區(qū)2000至2009年中心心城區(qū)和郊郊區(qū)的平均均房價(jià)數(shù)據(jù)據(jù)應(yīng)如何對對數(shù)據(jù)立方方進(jìn)行切片片？如果想抽取取2005年全國省省會(huì)城市的的中心城區(qū)區(qū)和郊區(qū)的的平均房價(jià)價(jià)數(shù)據(jù)應(yīng)如如何對數(shù)據(jù)據(jù)立方進(jìn)行行切片？年份城市地段000905廣州南京……中心城區(qū)郊區(qū)…………廣州05練習(xí)二已知南京廣廣州武漢三三個(gè)省會(huì)城城市的2008年平平均房價(jià)和和季度平均均房價(jià)，請請畫出數(shù)據(jù)據(jù)鉆取的表表格。2008年平均房價(jià)南京廣州武漢2008年平均房價(jià)第一季度第二季度第三季度第四季度南京廣州武漢練習(xí)三已知南京廣廣州武漢三三個(gè)省會(huì)城城市2008年和2009年每個(gè)季度度的平均房房價(jià)。如果要比較較同一年不不同季度的的房價(jià)，那那么應(yīng)該如如何列出數(shù)數(shù)據(jù)？如果要比較較不同年同同一季度的的房價(jià)，那那么應(yīng)該如如何列出數(shù)數(shù)據(jù)？2008年2009年第一季度第二季度第三季度第四季度第一季度第二季度第三季度第四季度廣州南京武漢第一季度第二季度第三季度第四季度20082009200820092008200920082009廣州南京武漢課堂練習(xí)習(xí)已有2005至2009年間全國國各大區(qū)區(qū)