數(shù)據(jù)倉庫基礎(chǔ)知識(shí)(共39頁).ppt

1、數(shù)據(jù)倉庫根底知識(shí)數(shù)據(jù)倉庫根本概念 1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫 1.2數(shù)據(jù)倉庫定義及根本特性 1.3數(shù)據(jù)倉庫與決策支持系統(tǒng) 1.4數(shù)據(jù)倉庫體系結(jié)構(gòu) 1.5數(shù)據(jù)倉庫相關(guān)概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫 隨著市場(chǎng)競(jìng)爭(zhēng)的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計(jì)算機(jī)去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價(jià)值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。1.1從傳統(tǒng)

2、數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù)) 傳統(tǒng)的事務(wù)處理環(huán)境不適宜于決策支持應(yīng)用 事務(wù)處理和分析處理的性能特性不同 數(shù)據(jù)集成問題 數(shù)據(jù)動(dòng)態(tài)集成問題 歷史數(shù)據(jù)問題 數(shù)據(jù)的綜合問題 操作型環(huán)境和分析型環(huán)境的別離:數(shù)據(jù)抽取現(xiàn)實(shí)生活中面臨的問題人們?cè)谌粘Ｉ钪薪?jīng)常會(huì)遇到這樣的情況：超市的經(jīng)營者希望將經(jīng)常被同時(shí)購置的商品放在一起，以增加銷售；保險(xiǎn)公司想知道購置保險(xiǎn)的客戶一般具有哪些特征；醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；企業(yè)面臨的問題 經(jīng)過多年的計(jì)算機(jī)應(yīng)用和市場(chǎng)積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù), 它是企業(yè)生產(chǎn)經(jīng)營活動(dòng)的真實(shí)記錄 由于缺乏集

3、中存儲(chǔ)和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用, 不能進(jìn)行有效的統(tǒng)計(jì)、分析及評(píng)估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息數(shù)據(jù)爆炸問題 自動(dòng)的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲(chǔ)在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中 。 我們會(huì)淹死在數(shù)據(jù)中, 但卻為信息、知識(shí)所餓! 面臨的挑戰(zhàn) 如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價(jià)值的閃光點(diǎn)？ 如何使您的企業(yè)或組織在劇烈的市場(chǎng)競(jìng)爭(zhēng)中保持對(duì)客戶的吸引力？ 如何預(yù)先發(fā)現(xiàn)和防止企業(yè)運(yùn)作過程中不易覺察的商業(yè)風(fēng)險(xiǎn)？數(shù)據(jù)倉庫應(yīng)運(yùn)而生 數(shù)據(jù)倉庫的出現(xiàn)和開展是數(shù)據(jù)庫和OLTP技術(shù)開展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物； 目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進(jìn)行決策

4、效勞。討論話題一 數(shù)據(jù)倉庫產(chǎn)生的源動(dòng)力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動(dòng)還是需求驅(qū)動(dòng)的?“我們花了20多年的時(shí)間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時(shí)候了。 -著名的數(shù)據(jù)倉庫專家Ralph Kimball市場(chǎng)需求是技術(shù)開展的源動(dòng)力1.2數(shù)據(jù)倉庫定義及根本特性 1.2.1數(shù)據(jù)倉庫定義 1.2.2數(shù)據(jù)倉庫根本特性1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫Data Warehouse是一個(gè)面向主題的Subject Oriented集成的Integrate相對(duì)穩(wěn)定的Non-Volatile反映歷史變化Time Variant的數(shù)據(jù)集合，用于支持管理決策。1.2數(shù)據(jù)倉庫定義 數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、

5、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。數(shù)據(jù)倉庫之父數(shù)據(jù)倉庫之父-Bill InmonBill Inmon1.2數(shù)據(jù)倉庫根本特性l面向主題性l數(shù)據(jù)集成性l數(shù)據(jù)的時(shí)變性l數(shù)據(jù)的非易失性面向主題性 面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的根本原那么，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。 確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。 不同的主題之間可能會(huì)出現(xiàn)相互重疊的信息。 主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進(jìn)行存儲(chǔ)。 主題的劃分中，必須保證每一個(gè)主題的獨(dú)立性。 數(shù)據(jù)集成性 根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。 業(yè)務(wù)數(shù)據(jù)庫1業(yè)務(wù)數(shù)據(jù)

6、庫2業(yè)務(wù)數(shù)據(jù)庫n數(shù)據(jù)倉庫數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載抽取轉(zhuǎn)換清洗加載數(shù)據(jù)的時(shí)變性 數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化，不斷地生成主題的新快照。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)Tn時(shí)點(diǎn)主題數(shù)據(jù)數(shù)據(jù)的非易失性 數(shù)據(jù)的相對(duì)穩(wěn)定性。 數(shù)據(jù)倉庫中的數(shù)據(jù)只進(jìn)行刷新，從不進(jìn)行更新處理。 反映歷史變化。存量數(shù)據(jù)T1時(shí)點(diǎn)增量數(shù)據(jù)Tn時(shí)點(diǎn)增量數(shù)據(jù)數(shù)據(jù)倉庫數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時(shí)點(diǎn)主題數(shù)據(jù)Tn時(shí)點(diǎn)主題數(shù)據(jù)時(shí)間戳鎖定數(shù)據(jù)討論話題二 數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)庫與數(shù)據(jù)倉庫的比照對(duì)比內(nèi)容對(duì)比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)

7、倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動(dòng)態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時(shí)添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡(jiǎn)單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個(gè)事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對(duì)響應(yīng)時(shí)間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時(shí)為計(jì)量單位1.3數(shù)據(jù)倉庫與決策支持系統(tǒng) 決策支持系統(tǒng)的開展階段 初始階段DSS階段 與專家系統(tǒng)結(jié)合階段IDSS階段 基于數(shù)據(jù)倉庫技術(shù)階段BI階段 基于數(shù)據(jù)倉庫的決策支持系統(tǒng)DSS的先天缺乏DSS的先天缺乏決策所需信息缺乏，難以滿足決策支持系統(tǒng)的需要。模

8、型庫提供的分析能力有限 人機(jī)接口部件占整個(gè)DSS開發(fā)工作量的一半 ，成為DSS實(shí)施中的一個(gè)瓶頸?；跀?shù)據(jù)倉庫的DSS基于數(shù)據(jù)倉庫的DSS數(shù)據(jù)倉庫為DSS的開展開辟了新途徑目前DSS的開發(fā)模式BI解決方案以數(shù)據(jù)倉庫技術(shù)為根底以聯(lián)機(jī)分析、數(shù)據(jù)挖掘工具為手段1.4數(shù)據(jù)倉庫體系結(jié)構(gòu)接口數(shù)據(jù)倉庫數(shù)據(jù)倉庫管理管理環(huán)境環(huán)境細(xì)節(jié)級(jí)數(shù)據(jù)數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)集市nETL邏輯邏輯 數(shù)據(jù)倉庫組織與管理數(shù)據(jù)倉庫組織與管理 數(shù)據(jù)利用數(shù)據(jù)利用元數(shù)據(jù)元數(shù)據(jù)(MetaData)數(shù)據(jù)集市數(shù)據(jù)集市x主題數(shù)據(jù)主題數(shù)據(jù)主題數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)系統(tǒng)系統(tǒng)市場(chǎng)調(diào)查信息市場(chǎng)調(diào)查信息數(shù)據(jù)源數(shù)據(jù)源外部數(shù)據(jù)外部數(shù)據(jù)OLAPDataMiningF

9、orecasting應(yīng)用環(huán)境應(yīng)用環(huán)境專家經(jīng)驗(yàn)數(shù)據(jù)專家經(jīng)驗(yàn)數(shù)據(jù)1.4.1數(shù)據(jù)倉庫的概念結(jié)構(gòu) 從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識(shí)挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)集市/知識(shí)挖掘庫業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具應(yīng)用工具數(shù)據(jù)集市/知識(shí)挖掘庫1.4.2 虛擬數(shù)據(jù)倉庫結(jié)構(gòu) 虛擬數(shù)據(jù)倉庫利用描述了業(yè)務(wù)系統(tǒng)中數(shù)據(jù)位置和抽取數(shù)據(jù)算法的元數(shù)據(jù)直接從業(yè)務(wù)系統(tǒng)中抽取查詢的數(shù)據(jù)進(jìn)行概括、聚合操作后，將最終結(jié)果提供給用戶。 用戶圖1.2 虛擬數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)集市結(jié)構(gòu) 數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是

10、按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個(gè)獨(dú)立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲(chǔ)在同一數(shù)據(jù)倉庫中，每個(gè)主題有自己的物理存儲(chǔ)區(qū)。 數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題2單一數(shù)據(jù)倉庫結(jié)構(gòu) 將所有的主題都集中到一個(gè)大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉庫中，用戶在使用時(shí)再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。 數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.4.5分布式數(shù)據(jù)倉庫結(jié)構(gòu) 在企業(yè)各個(gè)分公司具有相當(dāng)大的獨(dú)立性時(shí)，企業(yè)總部設(shè)置一個(gè)全局?jǐn)?shù)據(jù)倉庫，各個(gè)分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲(chǔ)各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù)，全局?jǐn)?shù)據(jù)倉庫

11、中主要存儲(chǔ)經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。 站點(diǎn)A 站點(diǎn)B 總部 站點(diǎn)C 站點(diǎn)D 站點(diǎn)C 站點(diǎn)D全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫討論話題三 數(shù)據(jù)倉庫、數(shù)據(jù)集市、分析主題的關(guān)系是什么？ 在數(shù)據(jù)集市間如何保證數(shù)據(jù)的一致性？1.5數(shù)據(jù)倉庫相關(guān)概念 BI(商務(wù)智能) ETL抽取、轉(zhuǎn)換、加載 META DATA元數(shù)據(jù) DATA MART(數(shù)據(jù)集市) SUBJECT(主題) DIMENSION(維度)商務(wù)智能 簡(jiǎn)單定義 綜合企業(yè)所有沉淀下來的信息，用科學(xué)的分析方法，為企業(yè)領(lǐng)導(dǎo)提供科學(xué)決策信息的過程。 完整定義 基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)(DSS)。它 以數(shù)據(jù)倉庫DW技術(shù)為根底，通過抽取

12、、轉(zhuǎn)換和清洗將分散在企業(yè)各處的數(shù)據(jù)整合在一起，轉(zhuǎn)化為信息；進(jìn)而以聯(lián)機(jī)分析處理OLAP工具、數(shù)據(jù)挖掘DM工具、報(bào)表工具為手段將信息提升為知識(shí)；最后運(yùn)用可視化技術(shù)以快捷直觀的方式將探察分析結(jié)果呈現(xiàn)給最終用戶，為管理決策層提供量化依據(jù)的過程。ETL抽取、轉(zhuǎn)換、加載ETL 數(shù)據(jù)抽取Extract、轉(zhuǎn)換Transform、清洗Cleansing、裝載Load的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。元數(shù)據(jù)元數(shù)據(jù)Meta Data關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)那么等相關(guān)的關(guān)鍵數(shù)據(jù)。同時(shí)元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息，所有這些信息都應(yīng)當(dāng)妥善保存，并很好地管理。為數(shù)據(jù)倉庫的開展和使用提供方便。數(shù)據(jù)集市數(shù)據(jù)集市Data mart即小數(shù)據(jù)倉庫。如果說數(shù)據(jù)倉庫是建立在企業(yè)級(jí)的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉庫的一個(gè)子集，他主