高級數(shù)據(jù)庫技術(shù)-高級數(shù)據(jù)庫技術(shù)ppt課件

1、數(shù)據(jù)倉庫與olap分析高級數(shù)據(jù)庫技術(shù)課程講義郭玉彬數(shù)據(jù)倉庫與數(shù)據(jù)倉庫與OLAP分析分析n數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)nETL原理與實現(xiàn)技術(shù)原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀2019年年olap技術(shù)開展：技術(shù)開展： Microsoft收買專業(yè)開發(fā)企業(yè)分析軟件的收買專業(yè)開發(fā)企業(yè)分析軟件的ProClarity，還發(fā)布了，還發(fā)布了PerformancePoint Server 2019 Oracle發(fā)布了具有內(nèi)嵌發(fā)布了具有內(nèi)嵌OLAP功能的數(shù)功能的數(shù)據(jù)庫產(chǎn)品據(jù)庫產(chǎn)品10g，以及在，以及在2019年收買了專年收買了專業(yè)的業(yè)的BI公司公司Hyper

2、ion數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀nOracle的數(shù)據(jù)倉庫處理方案的數(shù)據(jù)倉庫處理方案nOracle Express：nOracle Express Server是一個是一個MOLAP (多維多維OLAP)效效力器力器nOracle Express Web Agent支持基于支持基于Web的動態(tài)多維的動態(tài)多維數(shù)據(jù)展現(xiàn)數(shù)據(jù)展現(xiàn)nOracle Express Objects前端數(shù)據(jù)分析工具，提供圖形前端數(shù)據(jù)分析工具，提供圖形化建模和假設(shè)分析功能，支持可視化開發(fā)和事件驅(qū)動化建模和假設(shè)分析功能，支持可視化開發(fā)

3、和事件驅(qū)動編程技術(shù)，提供兼容編程技術(shù)，提供兼容Visual Basic語法的言語，支持語法的言語，支持OCX和和OLE；nOracle Express Analyzer是通用的、面向最終用戶的是通用的、面向最終用戶的報告和分析工具目前僅支持報告和分析工具目前僅支持Windows平臺。平臺。nOracle Discoverer即席查詢工具是專門為最終用戶設(shè)即席查詢工具是專門為最終用戶設(shè)計的，分為最終用戶版和管理員版。計的，分為最終用戶版和管理員版。 數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀nMicrosoft將將OLAP功能集成到功能集成到Microsoft SQL Ser

4、ver 7.0中，提供可擴展的基于中，提供可擴展的基于COM的的OLAP接口。它經(jīng)過一系列效力接口。它經(jīng)過一系列效力程序支持數(shù)據(jù)倉庫運用。程序支持數(shù)據(jù)倉庫運用。 nSybaseWarehouse Studion 包括數(shù)據(jù)倉庫的建模、數(shù)據(jù)抽取與轉(zhuǎn)包括數(shù)據(jù)倉庫的建模、數(shù)據(jù)抽取與轉(zhuǎn)換、數(shù)據(jù)存儲與管理、元數(shù)據(jù)管理以及換、數(shù)據(jù)存儲與管理、元數(shù)據(jù)管理以及可視化數(shù)據(jù)分析等工具?？梢暬瘮?shù)據(jù)分析等工具。數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀nIBM:基于可視數(shù)據(jù)倉庫的商業(yè)智能基于可視數(shù)據(jù)倉庫的商業(yè)智能BI處處理方案，包括：理方案，包括：Visual WarehouseVW、Essbase

5、/DB2 OLAP Server 5.0、IBM DB2 UDB，以及來自第三方的前端數(shù)據(jù)展現(xiàn)工具，以及來自第三方的前端數(shù)據(jù)展現(xiàn)工具如如BO和數(shù)據(jù)發(fā)掘工具如和數(shù)據(jù)發(fā)掘工具如SAS。nBusiness ObjectsBO是集查詢、報表和是集查詢、報表和OLAP技術(shù)為一身的智能決策支持系統(tǒng)。技術(shù)為一身的智能決策支持系統(tǒng)。 nSAS公司公司90年代參與數(shù)據(jù)倉庫市場的競爭，并年代參與數(shù)據(jù)倉庫市場的競爭，并提供了特點鮮明的數(shù)據(jù)倉庫處理方案，包括提供了特點鮮明的數(shù)據(jù)倉庫處理方案，包括30多個公用模塊。多個公用模塊。數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) 系統(tǒng)分層構(gòu)系統(tǒng)分層構(gòu)造圖造圖數(shù)據(jù)層各種數(shù)據(jù)源計

6、算層關(guān)系數(shù)據(jù)庫XML 文本文件透視表效力數(shù)據(jù)發(fā)掘其它可視化控制層呈現(xiàn)層系統(tǒng)總體架構(gòu)圖數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)

7、據(jù)倉庫原理與實現(xiàn)技術(shù) -元數(shù)據(jù)管元數(shù)據(jù)管理理n技術(shù)現(xiàn)狀nOMG 組織的CWM 規(guī)范(Common Warehouse Metamodel) n 一個特定于數(shù)據(jù)倉庫領(lǐng)域的元數(shù)據(jù)模型集，它獨立于詳細數(shù)據(jù)倉庫的實現(xiàn)，包含了各類有代表性的數(shù)據(jù)倉庫元數(shù)據(jù)的有效描畫。已被IBM、UNISYS、NCR、 Hyperion 、Oracle 等多家公司支持。n較成熟的元數(shù)據(jù)管理處理方案 nMicrosoft 的Meta Data Servicen Sybase 的WCC 數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -元數(shù)據(jù)管元數(shù)據(jù)管理理數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -元數(shù)據(jù)管元數(shù)據(jù)管理理n元數(shù)

8、據(jù)業(yè)務(wù)流程圖解析XML文件XMl 文件XML解析器元數(shù)據(jù)對象容器創(chuàng)建元數(shù)據(jù)對象數(shù)據(jù)庫或文本加載成員信息數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算估計算：估計算：估計算指將維度不同的組合即方體對應(yīng)的聚集值預(yù)估計算指將維度不同的組合即方體對應(yīng)的聚集值預(yù)先計算出來。估計算的關(guān)鍵是要減少數(shù)據(jù)立方體的存先計算出來。估計算的關(guān)

9、鍵是要減少數(shù)據(jù)立方體的存儲空間和計算時間。當前研討的算法主要分類如下：儲空間和計算時間。當前研討的算法主要分類如下：1選擇物化：即選擇關(guān)鍵方體進展計算。例如：選擇物化：即選擇關(guān)鍵方體進展計算。例如：iceberg cube、star cube2緊縮技術(shù)：即將數(shù)據(jù)立方體的存儲空間進展一定的緊緊縮技術(shù)：即將數(shù)據(jù)立方體的存儲空間進展一定的緊縮。例如：縮。例如：condensed cube、dwarf cube、quotient cube、closed cube、approximate cubes3分區(qū)技術(shù)：垂直分區(qū)及程度分區(qū)。例如：分區(qū)技術(shù)：垂直分區(qū)及程度分區(qū)。例如：frag cube4并行技術(shù)：例

10、如：并行技術(shù)：例如：pipesort算法、算法、LeastBenefitFirst算算法法 數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算估計算模塊：根據(jù)估計算模塊：根據(jù)Cube對象讀取其對應(yīng)的數(shù)據(jù)源信息，對象讀取其對應(yīng)的數(shù)據(jù)源信息，從而獲得相應(yīng)的現(xiàn)實表和維表，并做聚集計算。主要從而獲得相應(yīng)的現(xiàn)實表和維表，并做聚集計算。主要功能為：功能為：支持維及層次上的聚集。支持維及層次上的聚集。完成的聚集函數(shù)：完成的聚集函數(shù)：sum、count、avg、max、min?？梢约煽梢约伞霸獢?shù)據(jù)模塊接口讀取立方體信息以及數(shù)據(jù)源元數(shù)據(jù)模塊接口讀取立方體信息以及數(shù)據(jù)源信息，并加

11、載相應(yīng)的根本表和維表。信息，并加載相應(yīng)的根本表和維表。支持支持MOLAP及及ROLAP下的估計算。下的估計算。支持多核和集群的并行計算支持多核和集群的并行計算數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算立方體類型：立方體類型：常規(guī)立方體：為輸入數(shù)據(jù)的聚合定義的框常規(guī)立方體：為輸入數(shù)據(jù)的聚合定義的框 架構(gòu)造架構(gòu)造虛擬立方體：是一個或多個常規(guī)虛擬虛擬立方體：是一個或多個常規(guī)虛擬 立方體的銜接視圖立方體的銜接視圖組成：任何立方體的任何維組成：任何立方體的任何維優(yōu)點：優(yōu)點：可以處理常規(guī)立方體遇到的問題可以處理常規(guī)立方體遇到的問題可以處理平安性問題可以處理平安性問題在

12、常規(guī)立方體中被禁用的維級可以在虛擬立在常規(guī)立方體中被禁用的維級可以在虛擬立方體中啟用方體中啟用數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算數(shù)據(jù)立方體存儲：數(shù)據(jù)立方體存儲：分區(qū)：實現(xiàn)數(shù)據(jù)的邏輯分段減少反復(fù)數(shù)分區(qū)：實現(xiàn)數(shù)據(jù)的邏輯分段減少反復(fù)數(shù) 據(jù)和去除重要數(shù)據(jù)據(jù)和去除重要數(shù)據(jù)立方體數(shù)據(jù)構(gòu)造可以存儲到一個或多個分區(qū)上立方體數(shù)據(jù)構(gòu)造可以存儲到一個或多個分區(qū)上每個分區(qū)可以運用不同的存儲方式每個分區(qū)可以運用不同的存儲方式ROLPA、MOLAP、HOLAP分區(qū)可以組合分區(qū)可以組合優(yōu)點：有助于數(shù)據(jù)構(gòu)造進展管理和協(xié)調(diào)優(yōu)點：有助于數(shù)據(jù)構(gòu)造進展管理和協(xié)調(diào)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)

13、倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算數(shù)據(jù)更新方式：數(shù)據(jù)更新方式：增量更新增量更新將新數(shù)據(jù)添加到立方體中的分區(qū)并更新聚合。不處置將新數(shù)據(jù)添加到立方體中的分區(qū)并更新聚合。不處置對立方體構(gòu)造度量值、維度等或?qū)ζ洮F(xiàn)有源數(shù)對立方體構(gòu)造度量值、維度等或?qū)ζ洮F(xiàn)有源數(shù)據(jù)的更改。新數(shù)據(jù)創(chuàng)建暫時分區(qū)并把它合并到現(xiàn)有據(jù)的更改。新數(shù)據(jù)創(chuàng)建暫時分區(qū)并把它合并到現(xiàn)有分區(qū)。分區(qū)。刷新刷新去除并重新加載立方體數(shù)據(jù)，并重新計算它的聚合。去除并重新加載立方體數(shù)據(jù)，并重新計算它的聚合。在立方體源數(shù)據(jù)已更改、但其構(gòu)造未更改的情況下在立方體源數(shù)據(jù)已更改、但其構(gòu)造未更改的情況下運用。運用。完全處置完全處置在當前定義根底

14、上完全重新構(gòu)造立方體，然后重新計在當前定義根底上完全重新構(gòu)造立方體，然后重新計算它的數(shù)據(jù)。算它的數(shù)據(jù)。數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算索引技術(shù)：索引技術(shù)：位圖索引最常用的一種索引位圖索引最常用的一種索引減少大級別特別查詢的呼應(yīng)時間；減少大級別特別查詢的呼應(yīng)時間；減少對存儲空間占用；減少對存儲空間占用；在在CPU和內(nèi)存資源相對較少時，仍大幅度提升性能；和內(nèi)存資源相對較少時，仍大幅度提升性能；運用并行運用并行DML或或LOAD時，索引維護高效。時，索引維護高效。 適用于集勢選擇性較低的列適用于集勢選擇性較低的列 。BTREE索引運用較少索引運用較少主

15、要用在獨一或接近獨一的列上。主要用在獨一或接近獨一的列上。1反轉(zhuǎn)索引列表等其它索引技術(shù)反轉(zhuǎn)索引列表等其它索引技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算構(gòu)造技術(shù)：構(gòu)造技術(shù)：Iceberg對進入數(shù)據(jù)立方體的元組施加了限對進入數(shù)據(jù)立方體的元組施加了限制條件制條件,減少了數(shù)據(jù)立方體的元組個數(shù)減少了數(shù)據(jù)立方體的元組個數(shù).Condensed Cube, Quotient Cube和和Dwarf,其根本思想都是經(jīng)過共享元組來緊縮數(shù)其根本思想都是經(jīng)過共享元組來緊縮數(shù)據(jù)立方體的體積據(jù)立方體的體積,而且不需求實時計算而且不需求實時計算. 封鎖數(shù)據(jù)立方體的概念封鎖數(shù)據(jù)立方體

16、的概念數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計算計算封鎖數(shù)據(jù)立方體的概念封鎖數(shù)據(jù)立方體的概念一個單元一個單元c是封鎖的假設(shè)沒有其它單元是封鎖的假設(shè)沒有其它單元c滿足以下滿足以下條件：條件：1c可由可由c上卷而來；并且上卷而來；并且2c與與c聚集值相等聚集值相等封鎖立方體封鎖立方體Closed Cube是指只包含封鎖單元是指只包含封鎖單元的數(shù)據(jù)立方體。的數(shù)據(jù)立方體。注：商立方體注：商立方體Quotient Cube與封鎖立方體概與封鎖立方體概念等價，封鎖單元在商立方體中稱為上界念等價，封鎖單元在商立方體中稱為上界數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -模

17、塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體數(shù)據(jù)立方體查詢查詢概念：概念：點查詢：查詢條件是值的查詢；點查詢：查詢條件是值的查詢；范圍查詢：查詢條件不是值，而是范圍的查詢；范圍查詢：查詢條件不是值，而是范圍的查詢；冰山查詢：冰山查詢，查詢度量值大于某個閾值，如冰山查詢：冰山查詢，查詢度量值大于某個閾值，如select R1, R2 from T group by R1 having co

18、unt(*)=n, 閾值為閾值為n增量維護：對根底數(shù)據(jù)變化后的更新維護；增量維護：對根底數(shù)據(jù)變化后的更新維護；封鎖立方體算法：一種封鎖立方體算法：一種QC的改良算法；的改良算法；完全物化：生成一切能夠的聚集；完全物化：生成一切能夠的聚集；QC立方體：快速產(chǎn)生聚集的集合；立方體：快速產(chǎn)生聚集的集合；QC-tree：一種快速聚集實現(xiàn)：一種快速聚集實現(xiàn)QC的算法；的算法；覆蓋集：覆蓋集：t可以上卷到可以上卷到c，那么，那么c覆蓋覆蓋t；c的覆蓋集為滿足條的覆蓋集為滿足條件的件的t的集合；的集合；上界集上界集:對聚集的每個對聚集的每個cell分類分類,歸類的最細粒度的歸類的最細粒度的cell集集下界集

19、下界集:對聚集的每個對聚集的每個cell分類分類,歸類的最粗粒度的歸類的最粗粒度的cell集集數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體數(shù)據(jù)立方體查詢查詢根據(jù)其查詢要求對上界集進展點查詢和范圍查詢操作。主要功能：封鎖立方體查詢算法：主要是分層查詢的思想，采用了反轉(zhuǎn)表、位圖等方式實現(xiàn)。完全立方體查詢算法：基于ROLAP上被完全物化視圖的查詢。不計算立方體的查詢算法：即直接把MDX查詢轉(zhuǎn)化為對根本表的SQL查詢。 數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -數(shù)據(jù)立方體數(shù)據(jù)立方體查詢查詢n業(yè)務(wù)流程圖有結(jié)果無 結(jié) 果有結(jié)果無結(jié)果輸入處置輸出數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技

20、術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -MDX解析解析nMDX (MultiDimensional Expressions)是一種用來處置多維是一種用來處置多維數(shù)據(jù)存儲，支持多維數(shù)據(jù)存儲，支持多維 對象與數(shù)據(jù)的定義和操作的言對象與數(shù)據(jù)的定義和操作的言語。語。nMDX語句語句nSELECT Measures.Sales, Measures.Units ON COLUMNS, n Time

21、. 2000.Q1, Time. 2000.Q2 ON ROWS nFROM SalesnWHERE ( CITY.上海上海 ) SalesUnits2000Q1825100Q249658數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -MDX解析解析MDX根本語法根本語法SELECT , FROM WHERE (slicer_specification )被定義成：被定義成：NON EMPTY ON 被定義成：被定義成：COLUMNS / ROWS /PAGES / SECTIONS / CHAPTERS / AXIS(0) AXIS(1) AXIS(2) AXIS(3) AXIS(4)數(shù)據(jù)倉

22、庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -MDX解析解析nMDX解析器的構(gòu)造圖解析器的構(gòu)造圖數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -MDX解析解析n由由LEX和和YACC構(gòu)成的編譯器框架構(gòu)成的編譯器框架數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -XMLA引擎引擎nXML for Analysis 以下簡稱以下簡稱XMLA是是Microsof

23、t公司與公司與Hyperion Solutions公司所倡公司所倡導(dǎo)的規(guī)范組織制定的數(shù)據(jù)通用訪問規(guī)范，其導(dǎo)的規(guī)范組織制定的數(shù)據(jù)通用訪問規(guī)范，其擴展了擴展了 OLE DB 的概念，提供對的概念，提供對 Web 上一切上一切規(guī)范數(shù)據(jù)源的規(guī)范化通用數(shù)據(jù)訪問，而無需規(guī)范數(shù)據(jù)源的規(guī)范化通用數(shù)據(jù)訪問，而無需對提供對提供 COM 接口的客戶端組件進展部署。接口的客戶端組件進展部署。n 規(guī)范建立在規(guī)范建立在 、XML 和和 SOAP 等開放式等開放式 Internet 規(guī)范之上，不受任何詳細言語或技術(shù)規(guī)范之上，不受任何詳細言語或技術(shù)的限制的限制 數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -XMLA引擎引擎

24、XMLA規(guī)范具有以下特點：規(guī)范具有以下特點：1、為遠程數(shù)據(jù)訪問提供程序可通用于、為遠程數(shù)據(jù)訪問提供程序可通用于 Internet 或或 Intranet，提供多維數(shù)據(jù)提供規(guī)范數(shù)據(jù)訪問提供多維數(shù)據(jù)提供規(guī)范數(shù)據(jù)訪問 API。2、優(yōu)化無形狀構(gòu)造，不要求、優(yōu)化無形狀構(gòu)造，不要求 Web 客戶端組件，往返調(diào)用最少?？蛻舳私M件，往返調(diào)用最少。3、支持運用任何工具、編程言語、技術(shù)、硬件平臺或設(shè)備的、支持運用任何工具、編程言語、技術(shù)、硬件平臺或設(shè)備的、與技術(shù)無關(guān)的實現(xiàn)過程。與技術(shù)無關(guān)的實現(xiàn)過程。4、建立在開放式、建立在開放式 Internet 規(guī)范如規(guī)范如 SOAP、XML 和和 之上。之上。5、利用并反復(fù)運

25、用勝利的、利用并反復(fù)運用勝利的 OLE DB 設(shè)計概念，使設(shè)計概念，使 OLE DB for OLAP 運用程序和運用程序和 OLE DB 提供程序可輕松采用提供程序可輕松采用 XML for Analysis。6、高效運用規(guī)范數(shù)據(jù)源如關(guān)系型、高效運用規(guī)范數(shù)據(jù)源如關(guān)系型 OLAP 和數(shù)據(jù)發(fā)掘。和數(shù)據(jù)發(fā)掘。數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -XMLA引擎引擎XMLA引擎功能：引擎功能：實現(xiàn)實現(xiàn)XML/A協(xié)議：向協(xié)議：向JPivot提供提供OLAP元元數(shù)據(jù)和數(shù)據(jù)和OLAP查詢結(jié)果；查詢結(jié)果；SOAP效力器和效力器和HTTP效力器：為了支持效力器：為了支持XML/A協(xié)議，實現(xiàn)協(xié)議，實現(xiàn)S

26、OAP協(xié)議的封裝和協(xié)議的封裝和提供提供HTTP懇求呼應(yīng)的效力器；懇求呼應(yīng)的效力器；XMLA模模塊塊構(gòu)構(gòu)造造圖圖數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù)數(shù)據(jù)倉庫原理與實現(xiàn)技術(shù) -ETLnETLExtraction-Transformation-Loading，數(shù)據(jù)抽取、轉(zhuǎn)換和加載過程，擔(dān)任從異構(gòu)數(shù)據(jù)源抽取數(shù)據(jù)、進展預(yù)設(shè)的轉(zhuǎn)換清洗并加載到目的數(shù)據(jù)倉庫。nExtraction

27、數(shù)據(jù)抽取，指從RDB等原始系統(tǒng)中抽取數(shù)據(jù)的過程；nTransformation and Transportation數(shù)據(jù)轉(zhuǎn)換與數(shù)據(jù)傳送，這里暗指了ETL所包含的控制流與數(shù)據(jù)流兩種概念以及兩種過程；nLoading數(shù)據(jù)裝載，指把轉(zhuǎn)換及處置后的數(shù)據(jù)裝載到目的數(shù)據(jù)倉庫的過程；ETL業(yè)務(wù)流程ETL整整體體架架構(gòu)構(gòu)ETL闡明闡明nETL操作主要有以下操作主要有以下12種：抽取操作、加載種：抽取操作、加載操作、過濾操作、投影操作、清洗操作、聚操作、過濾操作、投影操作、清洗操作、聚集操作、銜接操作、排序操作、集合操作、集操作、銜接操作、排序操作、集合操作、字段拆分操作、字段合并操作、序列生成操字段拆分操作、字段合并操作、序列生成操作。作。n以任務(wù)流方式組織執(zhí)行以任務(wù)流方式組織執(zhí)行 n元數(shù)據(jù)：元數(shù)據(jù)：