復(fù)旦商務(wù)智能概論在線處理

在線分析處理OnlineAnalyticalProcessing

趙衛(wèi)東博士

復(fù)旦大學(xué)軟件學(xué)院

OLAP發(fā)展背景60年代，關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲(chǔ))。1993年，E.F.Codd提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要，SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。OLAP是目前RDBMS不可缺少的功能，可以作為一個(gè)獨(dú)立的OLAP服務(wù)器實(shí)現(xiàn)，也可以集成在RDBMS中。

什么是OLAP？定義1：OLAP(聯(lián)機(jī)分析處理)是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。通過(guò)對(duì)信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。定義2：OLAP(聯(lián)機(jī)分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會(huì)的定義)OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。OLAP決策分析OLAP分析屬于驗(yàn)證驅(qū)動(dòng)型發(fā)現(xiàn)：用戶首先提出自己的假設(shè)，然后利用OLAP工具檢索查詢以驗(yàn)證或否定假設(shè)。OLAP的數(shù)據(jù)源OLTP&LegacyERPFlatFilesDataWarehouses,DataMarts,ODSSpreadsheetsOLAP基本概念維：是人們觀察數(shù)據(jù)的特定角度，是考慮問(wèn)題時(shí)的一類屬性(時(shí)間維、地理維等)。維的層次：人們觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維：日期、月份、季度、年)。維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。(“某年某月某日”是在時(shí)間維上位置的描述)多維數(shù)組：維和變量的組合表示。一個(gè)多維數(shù)組可以表示為：(維1，維2，…，維n，變量)。(時(shí)間，地區(qū)，產(chǎn)品，銷售額)數(shù)據(jù)單元(單元格)：多維數(shù)組的取值。(2000年1月，上海，筆記本電腦，$100000)OLAP特性快速性:用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對(duì)用戶的大部分分析要求做出反應(yīng)?？蛻?服務(wù)器體系結(jié)構(gòu)－兩層或三層C/S結(jié)構(gòu)。

可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖和分析,包括對(duì)層次維和多重層次維的完全支持。信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。OLAP工具的分類標(biāo)準(zhǔn)分成多維數(shù)據(jù)庫(kù)工具（MOLAP）、關(guān)系型數(shù)據(jù)庫(kù)工具（ROLAP）和桌面型數(shù)據(jù)庫(kù)工具。支持多維數(shù)據(jù)庫(kù)工具的是多維數(shù)據(jù)庫(kù)，而不是傳統(tǒng)上的關(guān)系型數(shù)據(jù)庫(kù)，數(shù)據(jù)存儲(chǔ)不采用傳統(tǒng)關(guān)系模型所使用的記錄及表等方式，而采用矩陣（多維矩陣）方式來(lái)存儲(chǔ)數(shù)據(jù)。與多維數(shù)據(jù)庫(kù)工具相比，關(guān)系型OLAP工具在數(shù)據(jù)庫(kù)層次上有標(biāo)準(zhǔn)的關(guān)系模型和標(biāo)準(zhǔn)的數(shù)據(jù)訪問(wèn)方式及其編程接口，工具與數(shù)據(jù)庫(kù)的互聯(lián)性較好。桌面型OLAP工具是指在微機(jī)環(huán)境下開發(fā)的支持簡(jiǎn)單多維分析的用戶工具，這些工具沒有自己的數(shù)據(jù)存儲(chǔ)，而把用戶提交的查詢翻譯成對(duì)數(shù)據(jù)源的查詢，然后從數(shù)據(jù)源中提取結(jié)果數(shù)據(jù)，并將這些結(jié)果數(shù)據(jù)合成最終的結(jié)果返回給客戶。OLAP多維數(shù)據(jù)結(jié)構(gòu)超立方結(jié)構(gòu)(Hypercube)

多維數(shù)據(jù)集立方體或超立方結(jié)構(gòu)指用三維或更多的維數(shù)來(lái)描述一個(gè)對(duì)象,每個(gè)維彼此垂直。數(shù)據(jù)的測(cè)量值發(fā)生在維的交叉點(diǎn)上,數(shù)據(jù)空間的各個(gè)部分都有相同的維屬性(收縮超立方結(jié)構(gòu)，這種結(jié)構(gòu)的數(shù)據(jù)密度更大,數(shù)據(jù)的維數(shù)更少,并可加入額外的分析維)。

客戶種類數(shù)量分布多維立方

OLAP操操作Codd從從可視視化角角度提提出，，主要要基于于統(tǒng)計(jì)計(jì)的方方法：：切片和和切塊塊(SliceandDice)在多維維數(shù)據(jù)據(jù)結(jié)構(gòu)構(gòu)中,按二二維進(jìn)進(jìn)行切切片,按三三維進(jìn)進(jìn)行切切塊,可得得到所所需要要的數(shù)數(shù)據(jù)。。如在在“城城市、、產(chǎn)品品、時(shí)時(shí)間””三維維立方方體中中進(jìn)行行切塊塊和切切片,可得得到各各城市市、各各產(chǎn)品品的銷銷售情情況。。鉆取(Drill)鉆取包包含向向下鉆鉆取(Drill-down)和和向上上鉆取取(Drill-up)/上上卷(Roll-up)操操作，，鉆取取的深深度與與維所所劃分分的層層次相相對(duì)應(yīng)應(yīng)。旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot)通過(guò)旋旋轉(zhuǎn)可可以得得到不不同視視角的的數(shù)據(jù)據(jù)。輔之于于各種種圖形形展示示分析析結(jié)果果切片、、切塊塊銷售數(shù)數(shù)據(jù)的的4-D表表示DicingExampleDicing:FilteringbyAUS1+AUS2andWholesaleSlicingExampleSlicing:FilteringbyAUS2Web數(shù)據(jù)據(jù)的多多維分分析鉆取數(shù)據(jù)聚聚集旋轉(zhuǎn)時(shí)間產(chǎn)品財(cái)務(wù)指標(biāo)財(cái)務(wù)指標(biāo)產(chǎn)品時(shí)間pivotDrill-across:Distributionfirst,SalesOrg.second按城市市的銷銷售數(shù)數(shù)據(jù)按產(chǎn)品品的銷銷售數(shù)數(shù)據(jù)國(guó)際體體育用用品公公司的的數(shù)據(jù)據(jù)分析析（1）IBMVisualWarehouseV3.1LotusApproach或或MicrosoftAccessIntelligentMinerfordata/text國(guó)際體體育用用品公公司的的數(shù)據(jù)據(jù)分析析（2）按地區(qū)區(qū)劃分分的頭頭盔銷銷售數(shù)數(shù)據(jù)按地區(qū)區(qū)和國(guó)國(guó)家劃劃分的的頭盔盔銷售售數(shù)據(jù)據(jù)國(guó)際體體育用用品公公司的的數(shù)據(jù)據(jù)分析析（3）按地區(qū)區(qū)、國(guó)國(guó)家和和城市市劃分分的頭頭盔銷銷售數(shù)數(shù)據(jù)山地車車和頭頭盔銷銷售的的比較較BrioEnterprise豐富富的鉆鉆取功功能圖4.5Cognos的鉆取取操作作IBMCognos的鉆鉆取操操作OLAP分分類按照存儲(chǔ)方式OLAPMOLAPHOLAPROLAP按照處理地點(diǎn)ClientOLAPServerOLAPRelationaldatabaseCubeMicrosoftSQLServerOLAPServiceROLAPMOLAPHOLAP基于關(guān)關(guān)系數(shù)數(shù)據(jù)庫(kù)庫(kù)的OLAP－－ROLAP用關(guān)系系表達(dá)達(dá)式描描述多多維概概念－－大量量的關(guān)關(guān)系表表。用星型型模型型、雪雪花模模型構(gòu)構(gòu)造維維模型型。DBDW基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)計(jì)算結(jié)果多維綜合引擎多維視圖SQL存取多維存取RDBMS服務(wù)器關(guān)系型OLAP服務(wù)器客戶MOLAP的多多維立立方體體(Multicube)DBDW多維視圖基礎(chǔ)數(shù)據(jù)計(jì)算結(jié)果多維數(shù)據(jù)庫(kù)引擎客戶多維存取基于多多維數(shù)數(shù)據(jù)庫(kù)庫(kù)(MDDB)的OLAP－－MOLAPOLAP服服務(wù)器器：存存儲(chǔ)OLAP服服務(wù)軟軟件和和多維維數(shù)據(jù)據(jù)庫(kù)MDDB存存儲(chǔ)：：采用用“超立立方體體”形形式MDDB存存?。海憾嗑S維操作作數(shù)據(jù)組組織形形式RDB數(shù)據(jù)組組織-MDDB數(shù)據(jù)組組織-關(guān)關(guān)系表表中綜綜合數(shù)數(shù)據(jù)的的存放放多維數(shù)數(shù)據(jù)庫(kù)庫(kù)中綜綜合數(shù)數(shù)據(jù)的的存放放產(chǎn)品名稱地區(qū)銷售量冰箱東北50冰箱西北60冰箱華北100彩電東北40彩電西北70彩電華北80空調(diào)東北90空調(diào)西北120空調(diào)華北140

東北西北華北冰箱5060100彩電407080空調(diào)90120140產(chǎn)品名稱地區(qū)銷售量冰箱東北50冰箱西北60冰箱華北100冰箱總和210彩電東北40彩電西北70彩電華北80彩電總和190空調(diào)東北90空調(diào)西北120空調(diào)華北140空調(diào)總和350總和東北180總和西北250總和華北320總和總和750

東北西北華北總和冰箱5060100210彩電407080190空調(diào)90120140350總和180250320750ROLAP與MOLAP比較在MOLAP中中，不不但把把多維維實(shí)視視圖在在概念念上看看成一一個(gè)超超立方方體，，而且且在物物理上上把多多維實(shí)實(shí)視圖圖組成成一個(gè)個(gè)多維維數(shù)組組，而而不象象ROLAP以以表的的形式式存儲(chǔ)儲(chǔ)實(shí)視視圖。。在MOLAP中中，維維的屬屬性值值被映映射成成多維維數(shù)組組的下下標(biāo)值值或下下標(biāo)的的范圍圍，而而總數(shù)數(shù)據(jù)作作為多多維數(shù)數(shù)組的的值存存儲(chǔ)在在數(shù)據(jù)據(jù)的單單元中中。ROLAP在節(jié)節(jié)省存存儲(chǔ)空空間、、靈活活性、、與關(guān)關(guān)系數(shù)數(shù)據(jù)庫(kù)庫(kù)保持持一致致性等等方面面有明明顯的的優(yōu)勢(shì)勢(shì)；MOLAP則則在性性能和和管理理的簡(jiǎn)簡(jiǎn)便性性方面面有其其優(yōu)點(diǎn)點(diǎn)。MOLAP的查查詢速速度比比較快快，但但有下下面限限制：：用多維維數(shù)組組實(shí)現(xiàn)現(xiàn)多維維實(shí)視視圖，，需要要很大大的存存儲(chǔ)空空間。。在實(shí)實(shí)際的的數(shù)據(jù)據(jù)倉(cāng)庫(kù)庫(kù)中，，每維維的屬屬性值值個(gè)數(shù)數(shù)可能能數(shù)萬(wàn)萬(wàn)。例例如幾幾萬(wàn)種種產(chǎn)品品、幾幾萬(wàn)個(gè)個(gè)連鎖鎖店等等。而而實(shí)際際的維維數(shù)可可能多多達(dá)幾幾十乃乃至幾幾百。。耗費(fèi)費(fèi)的存存儲(chǔ)空空間相相當(dāng)可可觀，，由此此帶來(lái)來(lái)加載載、維維護(hù)等等問(wèn)題題。在多維維數(shù)組組中，，很可可能有有些單單元是是空白白的，，如節(jié)節(jié)假日日商店店不營(yíng)營(yíng)業(yè)；；某些些產(chǎn)品品在某某些地地區(qū)不不銷售售等。。MOLAP與關(guān)關(guān)系數(shù)數(shù)據(jù)庫(kù)庫(kù)系統(tǒng)統(tǒng)從存存儲(chǔ)結(jié)結(jié)構(gòu)到到查詢?cè)冋Z(yǔ)言言都有有相當(dāng)當(dāng)大的的差別別，不不可能能在RDBMS的基基礎(chǔ)上上實(shí)現(xiàn)現(xiàn)。ROLAP與MOLAP比較（（續(xù)））MOLAP與ROLAPHOLAP的特特點(diǎn)以HOLAP格格式存存儲(chǔ)的的立方方體，，要比比以O(shè)LAP