UNIT four數(shù)據(jù)倉庫技術(shù)

UNITfour數(shù)據(jù)倉庫技術(shù) 學完本講后，你應該能夠了解：數(shù)據(jù)倉庫中沒有聯(lián)機更新,因而數(shù)據(jù)倉庫比數(shù)據(jù)庫需要一系列更簡單的技術(shù);但數(shù)據(jù)倉庫有很多特殊的技術(shù)上的需求;數(shù)據(jù)倉庫的專用DBMS與通用DBMS的區(qū)別;多維DBMS和數(shù)據(jù)倉庫之間的互補關(guān)系;數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)與操作型環(huán)境中的元數(shù)據(jù)所扮演的角色不同;為了理解和解釋一段時期內(nèi)的信息,數(shù)據(jù)倉庫需要一個全新的上下文維數(shù)據(jù)倉庫的高效刷新方法:”數(shù)據(jù)復制”和”變化數(shù)據(jù)捕捉”本講主要目標2

一．數(shù)據(jù)倉庫的技術(shù)需求 二．數(shù)據(jù)倉庫專用DBMS 三．多維DBMS和數(shù)據(jù)倉庫 四．數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) 五．上下文維和上下文信息 六.建立數(shù)據(jù)倉庫 七.數(shù)據(jù)倉庫的數(shù)據(jù)刷新內(nèi)容提綱3數(shù)據(jù)倉庫的技術(shù)需求4數(shù)據(jù)倉庫的技術(shù)需求數(shù)據(jù)倉庫與數(shù)據(jù)庫技術(shù)需求不同的原因:數(shù)據(jù)倉庫中沒有聯(lián)機數(shù)據(jù)更新 比數(shù)據(jù)庫的技術(shù)需求更簡單數(shù)據(jù)倉庫中的數(shù)據(jù)量非常大 要考慮大量和不同數(shù)據(jù)的存儲和查詢的技術(shù)和效率數(shù)據(jù)倉庫的數(shù)據(jù)來源于現(xiàn)有的系統(tǒng),而現(xiàn)有的各個系統(tǒng)可能使用不同的技術(shù)

不同來源數(shù)據(jù)的集成、轉(zhuǎn)換和傳送5數(shù)據(jù)倉庫的技術(shù)需求數(shù)據(jù)倉庫的技術(shù)需求管理大量數(shù)據(jù)管理各種各樣介質(zhì)上的數(shù)據(jù)方便的索引和監(jiān)視數(shù)據(jù)大量接口技術(shù)允許程序員將數(shù)據(jù)直接放在物理存儲設備上數(shù)據(jù)的并行存儲和訪問數(shù)據(jù)倉庫的元數(shù)據(jù)控制高效地裝入數(shù)據(jù)倉庫有效地使用索引以壓縮方式存儲數(shù)據(jù)支持復合鍵碼有效地管理變長數(shù)據(jù)有選擇地關(guān)閉鎖管理單獨索引處理從大容量存儲器迅速恢復6數(shù)據(jù)倉庫的技術(shù)需求管理大量數(shù)據(jù)分四個方面基本的管理技術(shù)效率存儲的費用處理的費用7數(shù)據(jù)倉庫的技術(shù)需求管理各種各樣介質(zhì)上的數(shù)據(jù) 考慮訪問速度和存儲費用,一個滿載的數(shù)據(jù)倉庫應該放在多種存儲介質(zhì)上:8數(shù)據(jù)倉庫的技術(shù)需求方便的索引和監(jiān)視數(shù)據(jù)成功的數(shù)據(jù)倉庫必須能方便和有效地檢索數(shù)據(jù)成功的數(shù)據(jù)倉庫的數(shù)據(jù)必須能被隨意地監(jiān)視監(jiān)視數(shù)據(jù)倉庫的數(shù)據(jù)的理由:決定是否應數(shù)據(jù)重組決定索引是否建立得恰當決定是否有太多數(shù)據(jù)溢出決定數(shù)據(jù)的統(tǒng)計成分決定剩余的可用空間9數(shù)據(jù)倉庫的技術(shù)需求大量接口技術(shù)能夠用各種不同的技術(shù)獲得和傳送數(shù)據(jù)接口不僅要高效,還要便于使用能夠在批模式下運行10數(shù)據(jù)倉庫的技術(shù)需求允許程序員將數(shù)據(jù)直接放在物理存儲設備上 為了對數(shù)據(jù)進行高效地訪問和更新,程序員需要在物理的塊/頁的一級上對數(shù)據(jù)的存放進行特殊的控制11數(shù)據(jù)倉庫的技術(shù)需求數(shù)據(jù)的并行存儲和訪問當數(shù)據(jù)被并行存儲和管理時,性能會提高很多12數(shù)據(jù)倉庫的技術(shù)需求數(shù)據(jù)倉庫的元數(shù)據(jù)控制數(shù)據(jù)倉庫的用戶應該能夠?qū)υ獢?shù)據(jù)進行準確和實時的訪問典型的元數(shù)據(jù)數(shù)據(jù)倉庫表的結(jié)構(gòu)數(shù)據(jù)倉庫表的屬性數(shù)據(jù)倉庫的源數(shù)據(jù)(記錄系統(tǒng))從記錄系統(tǒng)到數(shù)據(jù)倉庫的映射數(shù)據(jù)模型的規(guī)格說明抽取日志訪問數(shù)據(jù)的公用例行程序13數(shù)據(jù)倉庫的技術(shù)需求數(shù)據(jù)倉庫要有多種語言接口數(shù)據(jù)倉庫需要有非常豐富的語言接口數(shù)據(jù)倉庫接口語言需要能夠一次訪問一組數(shù)據(jù)能夠一次訪問一條記錄特別要保證,為了滿足某個訪問要求,能夠支持一個或多個索引能夠插入、刪除、更新數(shù)據(jù)14數(shù)據(jù)倉庫的技術(shù)需求高效地裝入數(shù)據(jù)倉庫在裝入數(shù)據(jù)的同時,索引也要高效地裝入15數(shù)據(jù)倉庫的技術(shù)需求有效地使用索引數(shù)據(jù)倉庫技術(shù)不僅必須能夠方便地支持新索引的創(chuàng)建和裝入,而且要能夠高效地訪問這些索引高效訪問索引的方法位映象的方法多級索引將部分或全部索引裝入內(nèi)存當被索引的數(shù)據(jù)的次序允許壓縮時,對索引項進行壓縮創(chuàng)建選擇索引或范圍索引16數(shù)據(jù)倉庫的技術(shù)需求以壓縮方式存儲數(shù)據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)很少更新,數(shù)據(jù)壓縮的管理很簡單解壓縮的開銷是CPU開銷,不是I/O資源的開銷17數(shù)據(jù)倉庫的技術(shù)需求支持復合鍵碼復合鍵碼在數(shù)據(jù)倉庫中隨處可見18數(shù)據(jù)倉庫的技術(shù)需求有效地管理變長數(shù)據(jù) 在數(shù)據(jù)倉庫中,變長數(shù)據(jù)很穩(wěn)定,沒有數(shù)據(jù)庫中變長數(shù)據(jù)的固有性能問題19數(shù)據(jù)倉庫的技術(shù)需求有選擇地關(guān)閉鎖管理應用加鎖管理程序的后果之一是它消耗了相當?shù)馁Y源,即使數(shù)據(jù)不被更新也是一樣20數(shù)據(jù)倉庫的技術(shù)需求單獨索引處理當只通過查看一下索引就可以滿足某些請求時,由于用不著查看數(shù)據(jù)的最初數(shù)據(jù)源而會更加有效21數(shù)據(jù)倉庫的技術(shù)需求從大容量存儲器迅速恢復 指能夠從非直接存取存儲設備快速地恢復數(shù)據(jù)倉庫表.當可以從二級存儲設備上恢復時,就可以節(jié)約大量開支22數(shù)據(jù)倉庫專用DBMS23數(shù)據(jù)倉庫專用DBMS數(shù)據(jù)倉庫專用數(shù)據(jù)庫管理系統(tǒng)

--是特別為數(shù)據(jù)倉庫和決策支持而優(yōu)化設計的管理系統(tǒng).與通用DBMS的區(qū)別專用DBMS的處理類型為裝入和訪問,而通用DBMS必須適合于記錄級的數(shù)據(jù)更新專用DBMS不需要自由空間,而通用DBMS對數(shù)據(jù)在塊級上的管理要包括一些附加空間專用DBMS可以使用更完善的索引結(jié)構(gòu),而通用DBMS限制有限數(shù)量的索引專用DBMS物理上優(yōu)化數(shù)據(jù)是為了便于訪問和分析,而通用DBMS優(yōu)化數(shù)據(jù)是為了事務的訪問24數(shù)據(jù)倉庫專用DBMS是否應該改變DBMS技術(shù)?是當今可用的DBMS技術(shù),當數(shù)據(jù)倉庫首次載入數(shù)據(jù)時并不合適數(shù)據(jù)倉庫已經(jīng)變得非常之大,以至于應該提出新的技術(shù)方法數(shù)據(jù)倉庫的利用已經(jīng)提高許多,也改變了許多,使得現(xiàn)在的數(shù)據(jù)倉庫的DBMS技術(shù)已經(jīng)不適用了25數(shù)據(jù)倉庫專用DBMS是否應該考慮找一種新的DBMS技術(shù)?新的DBMS技術(shù)是否滿足可預知的需求?從舊的DBMS向新的DBMS的轉(zhuǎn)換應該怎樣去做?轉(zhuǎn)換的程序應該怎樣改變?26多維DBMS和數(shù)據(jù)倉庫27多維DBMS和數(shù)據(jù)倉庫多維DBMS(有時也叫”數(shù)據(jù)集市”)多維DBMS提供一種信息系統(tǒng)結(jié)構(gòu),使得對數(shù)據(jù)的訪問非常靈活,可以以多種方法對數(shù)據(jù)進行分片、分割,動態(tài)地考察匯總數(shù)據(jù)和細節(jié)數(shù)據(jù)的關(guān)系多維DBMS不僅提供了靈活性,還可以對終端用戶進行管理多維DBMS和數(shù)據(jù)倉庫有互補關(guān)系28多維DBMS和數(shù)據(jù)倉庫多維DBMS數(shù)據(jù)集市的關(guān)系型基礎優(yōu)能支持大量數(shù)據(jù)能支持數(shù)據(jù)的動態(tài)連接已被證實是有效的技術(shù)如果對數(shù)據(jù)的使用模型不清楚的話,關(guān)系型結(jié)構(gòu)與其他任何結(jié)構(gòu)一樣好劣性能上不是最好的不能單獨對訪問處理進行優(yōu)化29多維DBMS和數(shù)據(jù)倉庫多維DBMS數(shù)據(jù)集市的“立方體”基礎優(yōu)對于DSS處理性能上是優(yōu)化的能夠?qū)?shù)據(jù)的快速訪問進行優(yōu)化如果已知數(shù)據(jù)訪問的模式,則數(shù)據(jù)的結(jié)構(gòu)可以優(yōu)化能夠很輕松地”切片和分塊”可以用多種方法檢測劣幾乎不能處理像標準的關(guān)系模型那么多的數(shù)據(jù)不支持通用的更新處理裝入的時間很長如果對路徑的訪問不被數(shù)據(jù)設計所支持的話,這種結(jié)構(gòu)就顯得不靈活對數(shù)據(jù)的動態(tài)連接的支持是有問題的30數(shù)據(jù)倉庫中的元數(shù)據(jù)31數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中的元數(shù)據(jù)包括兩大部分：有關(guān)集成的信息數(shù)據(jù)倉庫字典32數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中元數(shù)據(jù)特點服務于DSS專業(yè)人員,而不僅僅是IT人員33數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中元數(shù)據(jù)特點涉及到從操作型環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射34數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中元數(shù)據(jù)特點數(shù)據(jù)會存在一段很長的時間35上下文維和上下文信息36上下文維和上下文信息數(shù)據(jù)倉庫中需要上下文維數(shù)據(jù)倉庫的一個重要特征是能夠?qū)σ欢螘r間的信息進行存儲和管理為了理解和解釋一段時間內(nèi)的信息,需要信息發(fā)生的背景三個級別的上下文信息簡單上下文信息復雜上下文信息外部上下文信息37上下文維和上下文信息簡單上下文信息與數(shù)據(jù)本身的基本結(jié)構(gòu)有關(guān),包括數(shù)據(jù)的結(jié)構(gòu)數(shù)據(jù)的編碼數(shù)據(jù)的命名約定描述數(shù)據(jù)的度量數(shù)據(jù)的多少數(shù)據(jù)增長速度數(shù)據(jù)的哪一部分增長數(shù)據(jù)是怎樣被使用的簡單上下文以往是用字典,目錄,系統(tǒng)監(jiān)視器等管理的38上下文維和上下文信息復雜上下文信息描述的是和簡單上下文相同的數(shù)據(jù),但從不同的側(cè)面描述,其強調(diào)下面幾點產(chǎn)品定義市場領(lǐng)域定價包裝組織結(jié)構(gòu)分發(fā)

復雜上下文信息非常有用但基本,但非常難以捉摸,它令人難以捉摸是因為它是想當然的,并存在于背景環(huán)境中39上下文維和上下文信息外部上下文信息

是公司以外的,但在理解隨時間變化的信息方面起重要作用的信息,實例包括經(jīng)濟預測通貨膨脹金融稅務經(jīng)濟增長政治信息競爭信息技術(shù)進展40上下文維和上下文信息捕獲和管理上下文信息復雜上下文信息和外部上下文信息是非結(jié)構(gòu)化的上下文信息變化很快以往管理上下文信息的方法的缺點信息的管理針對信息系統(tǒng)的開發(fā)者,而不是最終用戶對上下文管理的意圖是被動的對上下文管理的意圖在很多情況下會從開發(fā)計劃中刪除掉對上下文管理的意圖僅局限于簡單上下文41建立數(shù)據(jù)倉庫42建立數(shù)據(jù)倉庫建立數(shù)據(jù)倉庫的任務就是將數(shù)據(jù)源中的數(shù)據(jù)整理后按照數(shù)據(jù)倉庫的結(jié)構(gòu),放入數(shù)據(jù)倉庫的物理存儲介質(zhì)中數(shù)據(jù)倉庫的建立分為三個子任務:抽取數(shù)據(jù)(extractingdata)轉(zhuǎn)換數(shù)據(jù)(transformingdata)加載數(shù)據(jù)(transporting/loadingdata)因此,建立數(shù)據(jù)倉庫的過程也稱為ETT過程或ETL過程43建立數(shù)據(jù)倉庫ETT過程ExtractsourcedataTransform/cleandataIndexandsummarizeLoaddataintoWHDetectchangesRefreshdataProgramsToolsETTOperational

systemsWarehouseBrowser:http://HollywoodX+Customers:arecorofasX+Customers:Browser:http://