第六講數(shù)據(jù)倉(cāng)庫(kù)

第六講數(shù)據(jù)倉(cāng)庫(kù)第一頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)庫(kù)處理的兩大應(yīng)用聯(lián)機(jī)事務(wù)處理（OLTP）決策支持系統(tǒng)（DSS）第二頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)庫(kù)處理的兩大應(yīng)用聯(lián)機(jī)事務(wù)處理（OLTP）操作型處理，為企業(yè)的特定應(yīng)用服務(wù)是對(duì)數(shù)據(jù)庫(kù)的聯(lián)機(jī)的日常操作，通常是對(duì)一個(gè)或一組記錄的查詢(xún)和修改人們關(guān)心的是響應(yīng)時(shí)間、數(shù)據(jù)的安全性和完整性決策支持系統(tǒng)（DSS）第三頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)庫(kù)處理的兩大應(yīng)用聯(lián)機(jī)事務(wù)處理（OLTP）決策支持系統(tǒng)（DSS）分析型處理，用于管理人員的決策分析經(jīng)常需要訪(fǎng)問(wèn)大量的歷史數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)+聯(lián)機(jī)分析處理+數(shù)據(jù)挖掘（DW+OLAP+DM）→DSS第四頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、非易失的（不可修改）且隨時(shí)間變化的數(shù)據(jù)集合，用來(lái)支持管理人員的決策第五頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)面向主題主題是在較高層次上對(duì)數(shù)據(jù)抽象面向主題的數(shù)據(jù)組織分為兩步驟抽取主題確定每個(gè)主題所包含的數(shù)據(jù)內(nèi)容每個(gè)主題在數(shù)據(jù)倉(cāng)庫(kù)中都是由一組關(guān)系表實(shí)現(xiàn)的集成的數(shù)據(jù)不可更改隨時(shí)間變化的第六頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)——面向主題第七頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)面向主題集成的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是從原有的分散數(shù)據(jù)庫(kù)數(shù)據(jù)中抽取來(lái)的消除數(shù)據(jù)表述的不一致性（數(shù)據(jù)的清洗）數(shù)據(jù)的綜合數(shù)據(jù)不可更改隨時(shí)間變化的第八頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)——集成第九頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)面向主題集成的數(shù)據(jù)不可更改數(shù)據(jù)倉(cāng)庫(kù)的主要數(shù)據(jù)操作是查詢(xún)、分析不進(jìn)行一般意義上的數(shù)據(jù)更新（過(guò)期數(shù)據(jù)可能被刪除）數(shù)據(jù)倉(cāng)庫(kù)強(qiáng)化查詢(xún)、淡化并發(fā)控制和完整性保護(hù)等技術(shù)隨時(shí)間變化的第十頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)——數(shù)據(jù)不可更改第十一頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)面向主題集成的數(shù)據(jù)不可更改隨時(shí)間變化的不斷增加新的數(shù)據(jù)內(nèi)容不斷刪除舊的數(shù)據(jù)內(nèi)容定時(shí)綜合數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)表的鍵碼都包含時(shí)間項(xiàng)，以標(biāo)明數(shù)據(jù)的歷史時(shí)期第十二頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)——隨時(shí)間變化第十三頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)OLTP系統(tǒng)RDBMSSybaseVSAMSAP/ERP5-10年過(guò)去詳細(xì)數(shù)據(jù)當(dāng)前詳細(xì)數(shù)據(jù)輕度匯總數(shù)據(jù)高度匯總數(shù)據(jù)數(shù)據(jù)集市分析型CRM業(yè)務(wù)指標(biāo)分析數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)/決策分析系統(tǒng)EXCEL第十四頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)數(shù)據(jù)由操作型環(huán)境（綜合）導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)具有不同的細(xì)節(jié)級(jí)早期細(xì)節(jié)級(jí)（過(guò)期數(shù)據(jù)）當(dāng)前細(xì)節(jié)級(jí)輕度綜合數(shù)據(jù)級(jí)（數(shù)據(jù)集市）高度綜合數(shù)據(jù)級(jí)第十五頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)建立的過(guò)程第十六頁(yè)，共五十六頁(yè)，編輯于2023年，星期五粒度是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別粒度級(jí)越小，細(xì)節(jié)程度越高，綜合程度越低，回答查詢(xún)的種類(lèi)越多粒度影響數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)量的大小粒度問(wèn)題是設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要方面雙重粒度在數(shù)據(jù)倉(cāng)庫(kù)的細(xì)節(jié)級(jí)上創(chuàng)建兩種粒度短期儲(chǔ)存的低粒度（真實(shí)檔案），滿(mǎn)足細(xì)節(jié)查詢(xún)具有綜合的高粒度（輕度綜合），做分析第十七頁(yè)，共五十六頁(yè)，編輯于2023年，星期五第十八頁(yè)，共五十六頁(yè)，編輯于2023年，星期五第十九頁(yè)，共五十六頁(yè)，編輯于2023年，星期五分割是指把數(shù)據(jù)分散到各自的物理單元中去，以便能分別獨(dú)立處理，提高數(shù)據(jù)處理效率是粒度之后的第二個(gè)主要設(shè)計(jì)問(wèn)題兩個(gè)層次的分割系統(tǒng)層：DBMS，一種定義應(yīng)用層：開(kāi)發(fā)者，多種定義多種分割的標(biāo)準(zhǔn)日期：最常用的地理位置組織單位…...第二十頁(yè)，共五十六頁(yè)，編輯于2023年，星期五第二十一頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織形式簡(jiǎn)單堆積輪轉(zhuǎn)綜合數(shù)據(jù)按一定的格式進(jìn)行輪轉(zhuǎn)的累加簡(jiǎn)化直接按一定的時(shí)間間隔，對(duì)數(shù)據(jù)進(jìn)行提取，是操作型數(shù)據(jù)的一個(gè)快照連續(xù)把新的快照追加到以前的連續(xù)數(shù)據(jù)上去第二十二頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織形式簡(jiǎn)單堆積每日由數(shù)據(jù)庫(kù)中提取并加工的數(shù)據(jù)逐天積累堆積第二十三頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織形式輪轉(zhuǎn)綜合數(shù)據(jù)按一定的格式進(jìn)行輪轉(zhuǎn)的累加第二十四頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織形式簡(jiǎn)單堆積與輪轉(zhuǎn)綜合的比較第二十五頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織形式簡(jiǎn)化直接按一定的時(shí)間間隔，對(duì)數(shù)據(jù)進(jìn)行提取，是操作型數(shù)據(jù)的一個(gè)快照第二十六頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織形式連續(xù)把新的快照追加到以前的連續(xù)數(shù)據(jù)上去第二十七頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)追加數(shù)據(jù)追加數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)初裝完成以后，再向數(shù)據(jù)倉(cāng)庫(kù)輸入數(shù)據(jù)的過(guò)程稱(chēng)為數(shù)據(jù)追加變化數(shù)據(jù)的捕獲時(shí)標(biāo)法：加標(biāo)識(shí)DELTA法：對(duì)更新作記錄前后映象法：兩次快照的對(duì)比日志法：利用DBMS的日志，需改進(jìn)第二十八頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)庫(kù)的體系化環(huán)境是在一個(gè)企業(yè)或組織內(nèi)部，由各面向應(yīng)用的OLTP數(shù)據(jù)庫(kù)及各級(jí)面向主題的數(shù)據(jù)倉(cāng)庫(kù)所組成的完整的數(shù)據(jù)環(huán)境操作型環(huán)境、分析型環(huán)境四層體系化環(huán)境操作型環(huán)境——OLTP全局級(jí)——數(shù)據(jù)倉(cāng)庫(kù)部門(mén)級(jí)——局部倉(cāng)庫(kù)個(gè)人級(jí)——個(gè)人倉(cāng)庫(kù)，用于啟發(fā)式的分析數(shù)據(jù)集市（DataMart）特定的、面向部門(mén)的小型數(shù)據(jù)倉(cāng)庫(kù)是為滿(mǎn)足用戶(hù)特定需求而創(chuàng)建的數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)倉(cāng)庫(kù)的子集第二十九頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)庫(kù)的體系化環(huán)境第三十頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)庫(kù)的體系化環(huán)境第三十一頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)生命周期第三十二頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的基本數(shù)據(jù)模式星型模式(StarSchema)事實(shí)表(facttable)，存放基本數(shù)據(jù)，相關(guān)主題的數(shù)據(jù)主體（BCNF）維(dimension)，影響、分析主體數(shù)據(jù)的因素量(measure)，事實(shí)表中的數(shù)據(jù)屬性維表(dimensiontable)，表示維的各種表維是量的取值條件，維用外鍵表示以事實(shí)表為中心，加上若干維表，組成星型數(shù)據(jù)模式例：產(chǎn)品-商店-銷(xiāo)售額第三十三頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的基本數(shù)據(jù)模式CustSalesLocationSalesProdSalesTimeSalesSalestimeid<pk,fk>productid<pk,fk>locationid<pk,fk>customerid<pk,fk>salesrevenueunitssoldProductproductid<pk>makemodelTimetimeid<pk>dateyearquartermonthweekLocationlocationid<pk>regiondistrictstoreCustomercustomerid<pk>categorygroupSalesfactSalesmeasuresTimedimensionAttributesofthe

timedimension第三十四頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的基本數(shù)據(jù)模式雪花模式(SnowflakeSchema)維一般是由若干層次組成把維按其層次結(jié)構(gòu)表示成若干個(gè)表規(guī)范化、節(jié)省存儲(chǔ)空間但需多做連接操作第三十五頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)的解決方案通用的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)專(zhuān)門(mén)的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器第三十六頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)層數(shù)據(jù)倉(cāng)庫(kù)工具層最終用戶(hù)第三十七頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)居系統(tǒng)的核心地位是信息挖掘的基礎(chǔ)數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)是整個(gè)系統(tǒng)的引擎負(fù)責(zé)管理整個(gè)系統(tǒng)的運(yùn)轉(zhuǎn)數(shù)據(jù)倉(cāng)庫(kù)工具一般的查詢(xún)工具、功能強(qiáng)大的分析工具是整個(gè)系統(tǒng)發(fā)揮作用的關(guān)鍵第三十八頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)分析模型早期靜態(tài)數(shù)據(jù)值的相互比較需求從多個(gè)不同的數(shù)據(jù)源中綜合數(shù)據(jù)從不同的角度觀察數(shù)據(jù)多變的主題、多維數(shù)據(jù)E-R不能完全支持第三十九頁(yè)，共五十六頁(yè)，編輯于2023年，星期五四種分析模型（Codd）絕對(duì)模型靜態(tài)數(shù)據(jù)分析只能對(duì)歷史數(shù)據(jù)進(jìn)行值的比較，描述基本事實(shí)用戶(hù)交互少解釋模型思考模型公式模型第四十頁(yè)，共五十六頁(yè)，編輯于2023年，星期五四種分析模型（Codd）絕對(duì)模型解釋模型靜態(tài)數(shù)據(jù)分析在當(dāng)前多維視圖的基礎(chǔ)上找出事件發(fā)生的原因思考模型公式模型第四十一頁(yè)，共五十六頁(yè)，編輯于2023年，星期五四種分析模型（Codd）絕對(duì)模型解釋模型思考模型動(dòng)態(tài)數(shù)據(jù)分析多維分析在決策者的參與下，找出關(guān)鍵變量需要高級(jí)數(shù)據(jù)分析人員的介入公式模型第四十二頁(yè)，共五十六頁(yè)，編輯于2023年，星期五四種分析模型（Codd）絕對(duì)模型解釋模型思考模型公式模型動(dòng)態(tài)性最高的一類(lèi)自動(dòng)完成變量的引入工作第四十三頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的工具層查詢(xún)工具主要是對(duì)分析結(jié)果的查詢(xún)很少有對(duì)記錄級(jí)數(shù)據(jù)的查詢(xún)驗(yàn)證型工具多維分析工具用戶(hù)首先提出假設(shè)，然后利用各種工具通過(guò)反復(fù)、遞歸的檢索查詢(xún)以驗(yàn)證或否定假設(shè)發(fā)掘型工具從大量數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式預(yù)測(cè)趨勢(shì)和行為第四十四頁(yè)，共五十六頁(yè)，編輯于2023年，星期五聯(lián)機(jī)分析處理——OLAP是針對(duì)特定問(wèn)題的聯(lián)機(jī)訪(fǎng)問(wèn)和分析。通過(guò)對(duì)信息的很多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許分析人員對(duì)數(shù)據(jù)進(jìn)行深入觀察第四十五頁(yè)，共五十六頁(yè)，編輯于2023年，星期五一些概念變量是數(shù)據(jù)的實(shí)際意義，描述數(shù)據(jù)是什么維是人們觀察數(shù)據(jù)的特定角度維的層次是維在不同細(xì)節(jié)程度的描述維成員是維的一個(gè)取值多層次維的維成員是各層次取值的組合對(duì)應(yīng)一個(gè)數(shù)據(jù)項(xiàng)，維成員是該數(shù)據(jù)項(xiàng)在該維中位置的描述多維數(shù)組可以表示為（維1,維2,……,變量），如（地區(qū),時(shí)間,銷(xiāo)售渠道,銷(xiāo)售額）多維數(shù)組的取值稱(chēng)為數(shù)據(jù)單元（單元格）可以理解為交叉表的數(shù)據(jù)格第四十六頁(yè)，共五十六頁(yè)，編輯于2023年，星期五一些基本操作在多維數(shù)組的某一維選定一個(gè)維成員的動(dòng)作稱(chēng)為切片。舍棄一些觀察角度在多維數(shù)組的某一維上選定某一區(qū)間的維成員切塊多個(gè)切片的疊加旋轉(zhuǎn)是改變一個(gè)報(bào)告或頁(yè)面顯示的維方向以用戶(hù)容易理解的角度來(lái)觀察數(shù)據(jù)第四十七頁(yè)，共五十六頁(yè)，編輯于2023年，星期五基于多維數(shù)據(jù)庫(kù)的OLAP——MOLAP以多維方式組織數(shù)據(jù)（綜合數(shù)據(jù)）以多維方式顯示（觀察）數(shù)據(jù)多維數(shù)據(jù)庫(kù)的形式類(lèi)似于交叉表，可直觀地表述一對(duì)多、多對(duì)多的關(guān)系如：產(chǎn)品、地區(qū)、銷(xiāo)售額關(guān)系多維多維數(shù)據(jù)庫(kù)由許多經(jīng)壓縮的、類(lèi)似于數(shù)組的對(duì)象構(gòu)成，帶有高度壓縮的索引及指針結(jié)構(gòu)以關(guān)系數(shù)據(jù)庫(kù)存放細(xì)節(jié)數(shù)據(jù)、以多維數(shù)據(jù)庫(kù)存放綜合數(shù)據(jù)第四十八頁(yè)，共五十六頁(yè)，編輯于2023年，星期五基于關(guān)系數(shù)據(jù)庫(kù)的OLAP——ROLAP以二維表與多維聯(lián)系來(lái)表達(dá)多維數(shù)據(jù)（綜合數(shù)據(jù)）星型結(jié)構(gòu)事實(shí)表，存儲(chǔ)事實(shí)的量及各維的碼值（BCNF）維表，對(duì)每一個(gè)維，至少有一個(gè)表用來(lái)保存該維的元數(shù)據(jù)（多層次、冗余）事實(shí)表通過(guò)外鍵與每個(gè)維表相聯(lián)系雪花、星座、雪暴模擬多維方式顯示（觀察）數(shù)據(jù)第四十九頁(yè)，共五十六頁(yè)，編輯于2023年，星期五MOLAP與ROLAPMOLAP計(jì)算速度較快支持的數(shù)據(jù)容量較小缺乏細(xì)節(jié)數(shù)據(jù)的OLAPROLAP結(jié)構(gòu)較復(fù)雜以關(guān)系模擬多維支持適當(dāng)細(xì)節(jié)的OLAP較成熟HOLAP是以上兩種的綜合第五十頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)挖掘（DataMining）探測(cè)型的數(shù)據(jù)分析發(fā)現(xiàn)信息、發(fā)現(xiàn)知識(shí)基于人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)由計(jì)算機(jī)自動(dòng)智能地分析數(shù)據(jù)，獲取信息，作出預(yù)測(cè)或幫助決策需要算法的支持和機(jī)器的環(huán)境第五十一頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)挖掘的常用方法決策樹(shù)方法利用信息論中的熵信息，尋找數(shù)據(jù)庫(kù)中具有最大信息量的屬性字段，建立決策樹(shù)的節(jié)點(diǎn)，再根據(jù)該屬性字段的不同取值建立樹(shù)的分支在每個(gè)分支子集中重復(fù)建立下層節(jié)點(diǎn)和分支第五十二頁(yè)，共五十六頁(yè)，編輯于2023年，星期五數(shù)據(jù)挖掘分析方法關(guān)聯(lián)分析為了挖掘出隱藏在數(shù)據(jù)間的相互關(guān)系支持度/置信度作為輸入的條件，進(jìn)行篩選、分析序列模式分析類(lèi)似與關(guān)聯(lián)分析著重于分析數(shù)據(jù)的前因后果分類(lèi)分析對(duì)于不同分類(lèi)的數(shù)據(jù)進(jìn)行分析，找出他們的規(guī)律、特征聚類(lèi)分析是分類(lèi)的逆過(guò)程根據(jù)數(shù)據(jù)特征，進(jìn)行分類(lèi)第五十三頁(yè)，共五十六頁(yè)