數(shù)據(jù)倉庫基本概念第一章

數(shù)據(jù)倉庫基本概念第一章數(shù)據(jù)倉庫基礎(chǔ)知識第一章數(shù)據(jù)倉庫基本概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫1.2數(shù)據(jù)倉庫定義及基本特性1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)1.4數(shù)據(jù)倉庫相關(guān)概念1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫隨著市場競爭的加劇，信息系統(tǒng)的用戶已經(jīng)不滿足于僅僅用計算機去處理每天所發(fā)生的事務(wù)數(shù)據(jù)，而是需要信息——能夠支持決策的信息，去幫助管理決策。這就需要一種能夠?qū)⑷粘I(yè)務(wù)處理中所收集到的各種數(shù)據(jù)轉(zhuǎn)變?yōu)榫哂猩虡I(yè)價值信息的技術(shù)，傳統(tǒng)數(shù)據(jù)庫系統(tǒng)無法承擔(dān)這一責(zé)任。因為傳統(tǒng)數(shù)據(jù)庫的處理方式和決策分析中的數(shù)據(jù)需求不相稱。這些不相稱性主要表現(xiàn)在決策處理中的系統(tǒng)響應(yīng)問題、決策數(shù)據(jù)需求的問題和決策數(shù)據(jù)操作的問題。1.1從傳統(tǒng)數(shù)據(jù)庫到數(shù)據(jù)倉庫(續(xù))傳統(tǒng)的事務(wù)處理環(huán)境不適宜于決策支持應(yīng)用事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作型環(huán)境和分析型環(huán)境的分離:數(shù)據(jù)抽取現(xiàn)實生活中面臨的問題人們在日常生活中經(jīng)常會遇到這樣的情況：超市的經(jīng)營者希望將經(jīng)常被同時購買的商品放在一起，以增加銷售；保險公司想知道購買保險的客戶一般具有哪些特征；醫(yī)學(xué)研究人員希望從已有的成千上萬份病歷中找出患某種疾病的病人的共同特征，從而為治愈這種疾病提供一些幫助；……企業(yè)面臨的問題經(jīng)過多年的計算機應(yīng)用和市場積累，許多企業(yè)保存了大量原始數(shù)據(jù)和各種業(yè)務(wù)數(shù)據(jù),它是企業(yè)生產(chǎn)經(jīng)營活動的真實記錄由于缺乏集中存儲和管理，這些數(shù)據(jù)不能為本企業(yè)加以利用,不能進行有效的統(tǒng)計、分析及評估，無法將這些數(shù)據(jù)轉(zhuǎn)換成企業(yè)有用的信息數(shù)據(jù)爆炸問題自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導(dǎo)致巨大的數(shù)據(jù)存儲在文件系統(tǒng)、數(shù)據(jù)庫和其它的信息庫中。我們會淹死在數(shù)據(jù)中,但卻為信息、知識所餓!面臨的挑戰(zhàn)如何在堆積如山的企業(yè)交易數(shù)據(jù)中發(fā)現(xiàn)具有商業(yè)價值的閃光點？如何使您的企業(yè)或組織在激烈的市場競爭中保持對客戶的吸引力？如何預(yù)先發(fā)現(xiàn)和避免企業(yè)運作過程中不易察覺的商業(yè)風(fēng)險？數(shù)據(jù)倉庫應(yīng)運而生數(shù)據(jù)倉庫的出現(xiàn)和發(fā)展是數(shù)據(jù)庫和OLTP技術(shù)發(fā)展、數(shù)據(jù)庫應(yīng)用深化的產(chǎn)物；目的是把數(shù)據(jù)庫中的大量數(shù)據(jù)轉(zhuǎn)化為有用信息，為企業(yè)更好地進行決策服務(wù)。討論話題一數(shù)據(jù)倉庫產(chǎn)生的源動力是什么？數(shù)據(jù)倉庫系統(tǒng)是數(shù)據(jù)驅(qū)動還是需求驅(qū)動的?

“我們花了20多年的時間將數(shù)據(jù)放入數(shù)據(jù)庫，如今是該將它們拿出來的時候了?！?/p>

----著名的數(shù)據(jù)倉庫專家RalphKimball市場需求是技術(shù)發(fā)展的源動力1.2數(shù)據(jù)倉庫定義及基本特性1.2.1數(shù)據(jù)倉庫定義1.2.2數(shù)據(jù)倉庫基本特性1.2.1數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫（DataWarehouse）是一個面向主題的（SubjectOriented）集成的（Integrate）相對穩(wěn)定的（Non-Volatile）反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。1.2數(shù)據(jù)倉庫定義數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的、不可修改的數(shù)據(jù)集合。數(shù)據(jù)倉庫之父--BillInmon1.2數(shù)據(jù)倉庫基本特性面向主題性數(shù)據(jù)集成性數(shù)據(jù)的時變性數(shù)據(jù)的非易失性面向主題性面向主題性表示了數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織的。確定主題以后，需要確定主題應(yīng)該包含的數(shù)據(jù)。不同的主題之間可能會出現(xiàn)相互重疊的信息。主題在數(shù)據(jù)倉庫中可以用多維數(shù)據(jù)庫方式進行存儲。主題的劃分中，必須保證每一個主題的獨立性。數(shù)據(jù)集成性根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進行抽取、篩選、清理、綜合等工作，最終集成到數(shù)據(jù)倉庫中。業(yè)務(wù)數(shù)據(jù)庫1業(yè)務(wù)數(shù)據(jù)庫2……業(yè)務(wù)數(shù)據(jù)庫n數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載數(shù)據(jù)的時變性數(shù)據(jù)應(yīng)該隨著時間的推移而發(fā)生變化，不斷地生成主題的新快照。存量數(shù)據(jù)T1時點增量數(shù)據(jù)……Tn時點增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時點主題數(shù)據(jù)……Tn時點主題數(shù)據(jù)數(shù)據(jù)的非易失性數(shù)據(jù)的相對穩(wěn)定性。數(shù)據(jù)倉庫中的數(shù)據(jù)只進行刷新，從不進行更新處理。反映歷史變化。存量數(shù)據(jù)T1時點增量數(shù)據(jù)……Tn時點增量數(shù)據(jù)數(shù)據(jù)倉庫抽取轉(zhuǎn)換清洗加載初始主題數(shù)據(jù)T1時點主題數(shù)據(jù)……Tn時點主題數(shù)據(jù)時間戳鎖定數(shù)據(jù)討論話題二數(shù)據(jù)庫和數(shù)據(jù)倉庫有什么不同？數(shù)據(jù)庫與數(shù)據(jù)倉庫的對比對比內(nèi)容數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)內(nèi)容當(dāng)前值歷史的、存檔的、歸納的、計算的數(shù)據(jù)數(shù)據(jù)目標面向業(yè)務(wù)操作程序、重復(fù)處理面向主題域、管理決策分析應(yīng)用數(shù)據(jù)特性動態(tài)變化、按字段更新靜態(tài)、不能直接更新、只定時添加數(shù)據(jù)結(jié)構(gòu)高度結(jié)構(gòu)化、復(fù)雜、適合操作計算簡單、適合分析使用頻率高中到低數(shù)據(jù)訪問量每個事務(wù)只訪問少量記錄有的事務(wù)可能要訪問大量記錄對響應(yīng)時間的要求以秒為單位計量以秒、分鐘、甚至小時為計量單位1.3數(shù)據(jù)倉庫體系結(jié)構(gòu)接口數(shù)據(jù)倉庫管理環(huán)境細節(jié)級數(shù)據(jù)數(shù)據(jù)集市1數(shù)據(jù)集市2數(shù)據(jù)集市n…ETL邏輯數(shù)據(jù)倉庫組織與管理數(shù)據(jù)利用元數(shù)據(jù)(MetaData)數(shù)據(jù)集市x主題數(shù)據(jù)∑主題數(shù)據(jù)∑主題數(shù)據(jù)∑業(yè)務(wù)數(shù)據(jù)系統(tǒng)市場調(diào)查信息數(shù)據(jù)源外部數(shù)據(jù)……OLAPDataMiningForecasting應(yīng)用環(huán)境專家經(jīng)驗數(shù)據(jù)1.3.1數(shù)據(jù)倉庫的概念結(jié)構(gòu)從數(shù)據(jù)倉庫的概念結(jié)構(gòu)看，應(yīng)該包含：數(shù)據(jù)源、數(shù)據(jù)準備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市/知識挖掘庫以及各種管理工具和應(yīng)用工具。數(shù)據(jù)集市/知識挖掘庫業(yè)務(wù)系統(tǒng)外部數(shù)據(jù)源數(shù)據(jù)準備區(qū)數(shù)據(jù)倉庫數(shù)據(jù)庫應(yīng)用工具管理工具應(yīng)用工具數(shù)據(jù)集市/知識挖掘庫數(shù)據(jù)集市結(jié)構(gòu)數(shù)據(jù)集市結(jié)構(gòu)或稱為主題結(jié)構(gòu)的數(shù)據(jù)倉庫是按照主題進行構(gòu)思所形成的數(shù)據(jù)倉庫，沒有一個獨立的數(shù)據(jù)倉庫。系統(tǒng)的數(shù)據(jù)不存儲在同一數(shù)據(jù)倉庫中，每個主題有自己的物理存儲區(qū)。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫主題1主題2單一數(shù)據(jù)倉庫結(jié)構(gòu)將所有的主題都集中到一個大型數(shù)據(jù)庫中的體系結(jié)構(gòu)。數(shù)據(jù)源中數(shù)據(jù)被按照同一標準抽取到獨立的數(shù)據(jù)倉庫中，用戶在使用時再根據(jù)主題將數(shù)據(jù)倉庫中的數(shù)據(jù)發(fā)布到數(shù)據(jù)集市中。

數(shù)據(jù)倉庫查詢管理服務(wù)器業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)倉庫數(shù)據(jù)集市1數(shù)據(jù)集市21.3.4分布式數(shù)據(jù)倉庫結(jié)構(gòu)在企業(yè)各個分公司具有相當(dāng)大的獨立性時，企業(yè)總部設(shè)置一個全局數(shù)據(jù)倉庫，各個分公司設(shè)置各自的局部數(shù)據(jù)倉庫。局部數(shù)據(jù)倉庫主要存儲各自的未經(jīng)轉(zhuǎn)換的細節(jié)數(shù)據(jù)，全局數(shù)據(jù)倉庫中主要存儲經(jīng)過轉(zhuǎn)換的綜合數(shù)據(jù)。

站點A站點B

總部

站點C站點D

站點C站點D全局數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫局部數(shù)據(jù)倉庫1.4數(shù)據(jù)倉庫相關(guān)概念BI(商務(wù)智能)ETL（抽取、轉(zhuǎn)換、加載）METADATA（元數(shù)據(jù)）DATAMART(數(shù)據(jù)集市)SUBJECT(主題)DIMENSION(維度)商務(wù)智能簡單定義

綜合企業(yè)所有沉淀下來的信息，用科學(xué)的分析方法，為企業(yè)領(lǐng)導(dǎo)提供科學(xué)決策信息的過程。完整定義

基于數(shù)據(jù)倉庫技術(shù)的決策支持系統(tǒng)(DSS)。它

以數(shù)據(jù)倉庫（DW）技術(shù)為基礎(chǔ)，通過抽取、轉(zhuǎn)換和清洗將分散在企業(yè)各處的數(shù)據(jù)整合在一起，轉(zhuǎn)化為信息；進而以聯(lián)機分析處理（OLAP）工具、數(shù)據(jù)挖掘（DM）工具、報表工具為手段將信息提升為知識；最后運用可視化技術(shù)以快捷直觀的方式將探察分析結(jié)果呈現(xiàn)給最終用戶，為管理決策層提供量化依據(jù)的過程。ETL抽取、轉(zhuǎn)換、加載（ETL）數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換Transform）、清洗（Cleansing）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。元數(shù)據(jù)元數(shù)據(jù)（MetaData）

關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息，所有這些信息都應(yīng)當(dāng)妥善保存，并很好地管理。為數(shù)據(jù)倉庫的發(fā)展和使用提供方便。數(shù)據(jù)集市數(shù)據(jù)集市（Datamart） 即”小數(shù)據(jù)倉庫”。如果說數(shù)據(jù)倉庫是建立在企業(yè)級的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級數(shù)據(jù)倉庫的一個