數(shù)據(jù)倉庫基礎(chǔ)知識培訓(xùn)

內(nèi)部交流數(shù)據(jù)倉庫我們公司數(shù)據(jù)中心架構(gòu)指標(biāo)、維度與報(bào)表和OLAP分析主題關(guān)系名詞解釋及縮略語數(shù)據(jù)倉庫概述

隨著信息技術(shù)的不斷推廣和應(yīng)用，許多企業(yè)都已經(jīng)在使用管理信息系統(tǒng)處理管理事務(wù)和日常業(yè)務(wù)。這些管理信息系統(tǒng)為企業(yè)積累了大量的信息。企業(yè)管理者開始考慮如何利用這些信息海洋對企業(yè)的管理決策提供支持。因此，產(chǎn)生了與傳統(tǒng)數(shù)據(jù)庫有很大差異的數(shù)據(jù)環(huán)境要求和從這些海洋數(shù)據(jù)中獲取特殊知識的工具需要。本章目標(biāo)：(1)了解數(shù)據(jù)倉庫的發(fā)展與展望。(2)理解數(shù)據(jù)倉庫的體系結(jié)構(gòu)和參照結(jié)構(gòu)。數(shù)據(jù)倉庫概述1.1數(shù)據(jù)倉庫的發(fā)展與展望1.2數(shù)據(jù)倉庫的體系結(jié)構(gòu)

1.3數(shù)據(jù)倉庫的參照結(jié)構(gòu)

1.1數(shù)據(jù)倉庫的發(fā)展與展望

1.1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計(jì)算機(jī)去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息——能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價(jià)值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因?yàn)閭鹘y(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。

1.1數(shù)據(jù)倉庫的發(fā)展與展望

1.決策處理的系統(tǒng)響應(yīng)問題2.決策數(shù)據(jù)需求的問題3.決策數(shù)據(jù)操作的問題4.數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的對比1.1數(shù)據(jù)倉庫的發(fā)展與展望

對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計(jì)算的數(shù)據(jù)數(shù)據(jù)目標(biāo)面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計(jì)算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對響應(yīng)時間的要求以秒為單位計(jì)量以秒、分鐘、甚至小時為計(jì)量單位定義：

“一個面向主題的、集成的、隨時間變化的、非易失性數(shù)據(jù)的集合，用于支持管理層的決策過程”。特性：面向主題性數(shù)據(jù)集成性數(shù)據(jù)的時變性數(shù)據(jù)的非易失性數(shù)據(jù)的集合性支持決策作用。

1.1.2數(shù)據(jù)倉庫的定義與基本特性

1.2數(shù)據(jù)倉庫的體系結(jié)構(gòu)

1.2.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具。

數(shù)據(jù)源業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具數(shù)據(jù)集市/知識挖掘庫應(yīng)用工具數(shù)據(jù)集市/知識挖掘庫圖1.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)1.2.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)

虛擬數(shù)據(jù)倉庫利用描述了業(yè)務(wù)系統(tǒng)中數(shù)據(jù)位置和抽取數(shù)據(jù)算法的元數(shù)據(jù)直接從業(yè)務(wù)系統(tǒng)中抽取查詢的數(shù)據(jù)進(jìn)行概括、聚合操作后，將最終結(jié)果提供給用戶

用戶圖1.2虛擬數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫1.2.3數(shù)據(jù)集市結(jié)構(gòu)

數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進(jìn)行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個獨(dú)立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲在同一數(shù)據(jù)倉庫中，每個主題有自己的物理存儲區(qū)。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題21.2.4單一數(shù)據(jù)倉庫結(jié)構(gòu)

將所有的主題都集中到一個大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標(biāo)準(zhǔn)抽取到獨(dú)立的數(shù)據(jù)倉庫中，用戶在使用時再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.2.5分布式數(shù)據(jù)倉庫結(jié)構(gòu)

在企業(yè)各個分公司具有相當(dāng)大的獨(dú)立性時，企業(yè)總部設(shè)置一個全局?jǐn)?shù)據(jù)倉庫，各個分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲各自的未經(jīng)轉(zhuǎn)換的細(xì)節(jié)數(shù)據(jù)，全局?jǐn)?shù)據(jù)倉庫中主要存儲經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)

站點(diǎn)A站點(diǎn)B

站點(diǎn)C站點(diǎn)D全局?jǐn)?shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫總部1.3數(shù)據(jù)倉庫的參照結(jié)構(gòu)

數(shù)據(jù)倉庫的基本功能包含：數(shù)據(jù)抽取，數(shù)據(jù)篩選、清理，清理后的數(shù)據(jù)加載，設(shè)立數(shù)據(jù)集市，完成數(shù)據(jù)倉庫的查詢、決策分析和知識的挖掘等操作。數(shù)據(jù)倉庫的管理層分成數(shù)據(jù)管理與元數(shù)據(jù)管理兩部分，主要負(fù)責(zé)對數(shù)據(jù)倉庫中的數(shù)據(jù)抽取、清理、加載、更新與刷新等操作進(jìn)行管理。數(shù)據(jù)倉庫環(huán)境支持層包含數(shù)據(jù)傳輸和數(shù)據(jù)倉庫基礎(chǔ)兩部分。數(shù)據(jù)倉庫基本功能層數(shù)據(jù)倉庫管理層數(shù)據(jù)倉庫環(huán)境支持層1.3.1數(shù)據(jù)倉庫基本功能層數(shù)據(jù)源數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)倉庫結(jié)構(gòu)數(shù)據(jù)集市/知識挖掘庫存取與使用數(shù)據(jù)來源主要包含：業(yè)務(wù)數(shù)據(jù)、歷史數(shù)據(jù)、辦公數(shù)據(jù)、Web數(shù)據(jù)、外部數(shù)據(jù)以及數(shù)據(jù)源元數(shù)據(jù)

數(shù)據(jù)準(zhǔn)備區(qū)的功能結(jié)構(gòu)部分由數(shù)據(jù)標(biāo)準(zhǔn)化處理、數(shù)據(jù)的過濾與匹配、數(shù)據(jù)的凈化處理、標(biāo)明數(shù)據(jù)的時間戳、確認(rèn)數(shù)據(jù)質(zhì)量與元數(shù)據(jù)抽取和創(chuàng)建等操作組成

數(shù)據(jù)倉庫的功能結(jié)構(gòu)部分由數(shù)據(jù)重整和數(shù)據(jù)倉庫創(chuàng)建以及元數(shù)據(jù)管理組成

數(shù)據(jù)集市/知識挖掘庫的功能結(jié)構(gòu)與數(shù)據(jù)倉庫的功能結(jié)構(gòu)極為相似

數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)主要為數(shù)據(jù)倉庫的最終用戶提供進(jìn)行決策分析和挖掘知識的功能。數(shù)據(jù)倉庫的數(shù)據(jù)存取與使用結(jié)構(gòu)應(yīng)該包含數(shù)據(jù)倉庫存取與檢索、元數(shù)據(jù)管理以及數(shù)據(jù)倉庫分析與報(bào)告1.3.2數(shù)據(jù)倉庫的管理層數(shù)據(jù)管理層中的數(shù)據(jù)抽取、新數(shù)據(jù)需求與查詢管理主要負(fù)責(zé)完成從數(shù)據(jù)源中抽取數(shù)據(jù)的管理。數(shù)據(jù)倉庫中的數(shù)據(jù)加載、存儲、刷新和更新系統(tǒng)則負(fù)責(zé)對從數(shù)據(jù)源中所抽取的數(shù)據(jù)在完成篩選、凈化處理以后，將這些數(shù)據(jù)加載、存儲到數(shù)據(jù)倉庫中；捕獲數(shù)據(jù)源中的數(shù)據(jù)變化，用最新數(shù)據(jù)充實(shí)數(shù)據(jù)倉庫；根據(jù)用戶的需求和數(shù)據(jù)倉庫管理的要求對數(shù)據(jù)倉庫進(jìn)行更新等工作。安全性與用戶授權(quán)管理系統(tǒng)主要負(fù)責(zé)數(shù)據(jù)倉庫的安全管理工作。數(shù)據(jù)倉庫的數(shù)據(jù)歸檔、恢復(fù)及凈化系統(tǒng)主要負(fù)責(zé)定期對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行歸檔、備份。凈化系統(tǒng)則負(fù)責(zé)對從數(shù)據(jù)源所抽取的數(shù)據(jù)進(jìn)行數(shù)據(jù)的篩選、數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一、數(shù)據(jù)內(nèi)容的統(tǒng)一等各種求精、重整凈化工作的管理。數(shù)據(jù)抽取與新數(shù)據(jù)需求與查詢管理數(shù)據(jù)加載、存儲、刷新和更新系統(tǒng)安全性與用戶授權(quán)管理系統(tǒng)數(shù)據(jù)歸檔、恢復(fù)及凈化系統(tǒng)1.3.3數(shù)據(jù)倉庫的元數(shù)據(jù)管理層負(fù)責(zé)管理數(shù)據(jù)倉庫所使用的元數(shù)據(jù)，其中包括：數(shù)據(jù)倉庫、數(shù)據(jù)集市/知識挖掘庫和詞匯表管理元數(shù)據(jù)抽取、創(chuàng)建、存儲和更新管理預(yù)定義的查詢和報(bào)表以及索引管理刷新與復(fù)制管理，登錄、歸檔、恢復(fù)與凈化管理數(shù)據(jù)倉庫、數(shù)據(jù)集市和詞匯表管理元數(shù)據(jù)抽取、創(chuàng)建、存儲和更新管理預(yù)定義的查詢、報(bào)表和索引管理刷新與復(fù)制管理登錄、歸檔、恢復(fù)與凈化管理1.3.4數(shù)據(jù)倉庫的環(huán)境支持層

數(shù)據(jù)傳輸層包含了：數(shù)據(jù)傳輸和傳送網(wǎng)絡(luò)客戶/服務(wù)器代理和中間件復(fù)制系統(tǒng)數(shù)據(jù)傳輸?shù)陌踩Ｕ舷到y(tǒng)

數(shù)據(jù)傳輸和傳送網(wǎng)絡(luò)客戶/服務(wù)器代理和中間件復(fù)制系統(tǒng)安全和保障系統(tǒng)我們公司數(shù)據(jù)中心架構(gòu)分析型系統(tǒng)