數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLA技術(shù)

數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)什么是數(shù)據(jù)倉庫？多維數(shù)據(jù)模型數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫實現(xiàn)數(shù)據(jù)立方體技術(shù)的進(jìn)一步發(fā)展從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義它是一個提供決策支持功能的數(shù)據(jù)庫，它與公司的操作數(shù)據(jù)庫分開維護(hù)。為統(tǒng)一的歷史數(shù)據(jù)分析提供堅實的平臺，對信息處理提供支持“數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過程.”—W.H.Inmon（數(shù)據(jù)倉庫構(gòu)造方面的領(lǐng)頭設(shè)計師）建立數(shù)據(jù)倉庫(datawarehousing):構(gòu)造和使用數(shù)據(jù)倉庫的過程。數(shù)據(jù)倉庫關(guān)鍵特征一——面向主題圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機構(gòu)的日常操作和事務(wù)處理。排除對于決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。數(shù)據(jù)倉庫關(guān)鍵特征二——數(shù)據(jù)集成一個數(shù)據(jù)倉庫是通過集成多個異種數(shù)據(jù)源來構(gòu)造的。關(guān)系數(shù)據(jù)庫，一般文件，聯(lián)機事務(wù)處理記錄使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉庫時，它們要經(jīng)過轉(zhuǎn)化。數(shù)據(jù)倉庫關(guān)鍵特征三——隨時間而變化數(shù)據(jù)倉庫的時間范圍比操作數(shù)據(jù)庫系統(tǒng)要長的多。操作數(shù)據(jù)庫系統(tǒng):主要保存當(dāng)前數(shù)據(jù)。數(shù)據(jù)倉庫:從歷史的角度提供信息（比如過去5-10年）數(shù)據(jù)倉庫中的每一個關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時間元素，而操作數(shù)據(jù)庫中的關(guān)鍵結(jié)構(gòu)可能就不包括時間元素。數(shù)據(jù)倉庫關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于操作數(shù)據(jù)庫，但他們卻是在物理上分離保存的。操作數(shù)據(jù)庫的更新操作不會出現(xiàn)在數(shù)據(jù)倉庫環(huán)境下。不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機制只需要兩種數(shù)據(jù)訪問:數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問（讀操作）數(shù)據(jù)倉庫與異種數(shù)據(jù)庫集成傳統(tǒng)的異種數(shù)據(jù)庫集成:在多個異種數(shù)據(jù)庫上建立包裝程序（wrappers）和中介程序（mediators）查詢驅(qū)動方法——當(dāng)從客戶端傳過來一個查詢時，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器缺點：復(fù)雜的信息過慮和集成處理，競爭資源數(shù)據(jù)倉庫:更新驅(qū)動將來自多個異種源的信息預(yù)先集成，并存儲在數(shù)據(jù)倉庫中，供直接查詢和分析高性能數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機事務(wù)處理OLTP日常操作:購買，庫存，銀行，制造，工資，注冊，記帳等數(shù)據(jù)倉庫的主要任務(wù)是聯(lián)機分析處理OLAP數(shù)據(jù)分析和決策OLTP和OLAP的主要區(qū)別：用戶和系統(tǒng)的面向性:顧客VS.市場數(shù)據(jù)內(nèi)容:當(dāng)前的、詳細(xì)的數(shù)據(jù)VS.歷史的、匯總的數(shù)據(jù)數(shù)據(jù)庫設(shè)計:實體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計VS.星型/雪花模型和面向主題的數(shù)據(jù)庫設(shè)計視圖:當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過演化的、集成的數(shù)據(jù)訪問模式:事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）OLTP系統(tǒng)和OLAP系統(tǒng)的比較特征OLTPOLAP任務(wù)特點操作處理信息處理面向事務(wù)分析用戶辦事員、DBA、數(shù)據(jù)庫專業(yè)人員經(jīng)理、主管、數(shù)據(jù)分析員功能日常操作長期信息分析、決策支持DB設(shè)計基于E-R，面向應(yīng)用星型/雪花，面向主體數(shù)據(jù)最新的、詳細(xì)的歷史的、匯總的視圖詳細(xì)的、二維關(guān)系型匯總的、多維的任務(wù)單位簡短的事務(wù)復(fù)雜的查詢訪問數(shù)據(jù)量數(shù)十個數(shù)百萬個用戶數(shù)數(shù)千個數(shù)百個DB規(guī)模100M-數(shù)GB100GB-數(shù)TB優(yōu)先性高性能、高可用性高靈活性、端點用戶自治度量事務(wù)吞吐量查詢吞吐量、響應(yīng)時間為什么么需要要一個個分離離的數(shù)數(shù)據(jù)倉倉庫?提高兩兩個系系統(tǒng)的的性能能DBMS是為OLTP而設(shè)計計的：：存儲儲方式式,索引,并發(fā)控控制,恢復(fù)數(shù)據(jù)倉倉庫是是為OLAP而設(shè)計計：復(fù)復(fù)雜的的OLAP查詢,多維視視圖，，匯總總不同的的功能能和不不同的的數(shù)據(jù)據(jù):歷史數(shù)數(shù)據(jù):決策支支持需需要歷歷史數(shù)數(shù)據(jù)，，而這這些數(shù)數(shù)據(jù)在在操作作數(shù)據(jù)據(jù)庫中中一般般不會會去維維護(hù)數(shù)據(jù)匯匯總：：決策策支持持需要要將來來自異異種源源的數(shù)數(shù)據(jù)統(tǒng)統(tǒng)一（（如聚聚集和和匯總總）數(shù)據(jù)質(zhì)質(zhì)量:不同的的源使使用不不一致致的數(shù)數(shù)據(jù)表表示、、編碼碼和格格式，，對這這些數(shù)數(shù)據(jù)進(jìn)進(jìn)行有有效的的分析析需要要將他他們轉(zhuǎn)轉(zhuǎn)化后后進(jìn)行行集成成從關(guān)系系表和和電子子表格格到數(shù)數(shù)據(jù)立立方體體數(shù)據(jù)倉倉庫和和數(shù)據(jù)據(jù)倉庫庫技術(shù)術(shù)基于于多維數(shù)數(shù)據(jù)模模型。這個個模型型把數(shù)數(shù)據(jù)看看作是是數(shù)據(jù)立立方體體形式。。多維維數(shù)據(jù)據(jù)模型型圍繞繞中心心主題題組織織，該該主題題用事實表表表示。。事實是數(shù)值值度量量的。。數(shù)據(jù)立立方體體允許以以多維維數(shù)據(jù)據(jù)建模模和觀觀察。。它由由維和事實定義。。維是關(guān)于于一個個組織織想要要記錄錄的視視角或或觀點點。每每個維維都有有一個個表與與之相相關(guān)聯(lián)聯(lián)，稱稱為維表。事實表表包括事事實的的名稱稱或度度量以以及每每個相相關(guān)維維表的的關(guān)鍵鍵字在數(shù)據(jù)據(jù)倉庫庫的研研究文文獻(xiàn)中中，一一個n維的數(shù)數(shù)據(jù)的的立方方體叫叫做基本方方體。給定定一個個維的的集合合，我我們可可以構(gòu)構(gòu)造一一個方體的的格，每個個都在在不同同的匯匯總級級或不不同的的數(shù)據(jù)據(jù)子集集顯示示數(shù)據(jù)據(jù)，方方體的的格稱稱為數(shù)據(jù)立立方體體。0維方體體存放放最高高層的的匯總總，稱稱作頂點方方體；而存存放最最底層層匯總總的方方體則則稱為為基本方方體。教科書書第31頁數(shù)據(jù)立立方體體——一個方方體的的格alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,locationtime,item,suppliertime,location,supplieritem,location,suppliertime,item,location,supplier0-D(apex)cuboid1-Dcuboids2-Dcuboids3-Dcuboids4-D(base)cuboid數(shù)據(jù)倉倉庫的的概念念模型型最流行行的數(shù)數(shù)據(jù)倉倉庫概概念模模型是是多維維數(shù)據(jù)據(jù)模型型。這這種模模型可可以以以星型型模式式、雪雪花模模式、、或事事實星星座模模式的的形式式存在在。星型模模式（（Starschema）:事實表表在中中心，，周圍圍圍繞繞地連連接著著維表表（每每維一一個）），事事實表表含有有大量量數(shù)據(jù)據(jù)，沒沒有冗冗余。。雪花模模式（（Snowflakeschema）:是星型型模式式的變變種，，其中中某些些維表表是規(guī)規(guī)范化化的，，因而而把數(shù)數(shù)據(jù)進(jìn)進(jìn)一步步分解解到附附加表表中。。結(jié)果果，模模式圖圖形成成類似似于雪雪花的的形狀狀。事實星星座（（Factconstellations）:多個事事實表表共享享維表表,這種模模式可可以看看作星星型模模式集集，因因此稱稱為星星系模模式（（galaxyschema），或或者事事實星星座（（factconstellation）星型模模式實實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch雪花模模式實實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity事實星座模模式實例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shippedshipper_keyshipper_namelocation_keyshipper_typeshipper一種數(shù)據(jù)挖挖掘查詢語語言:DMQLDMQL首先包括括定義數(shù)數(shù)據(jù)倉庫庫和數(shù)據(jù)據(jù)集市的的語言原原語，這這包括兩兩種原語語定義：：一種是是立方體體定義，，一種是是維定義義立方體定定義(事實表)definecube<cube_name>[<dimension_list>]:<measure_list>維定義(維表)definedimension<dimension_name>as(<attribute_or_subdimension_list>)特殊案例例(共享維表表的定義義)第一次作作為維表表定義“cubedefinition”然后：definedimension<dimension_name>as<dimension_name_first_time>incube<cube_name_first_time>實例：使使用DMQL定義星型型模式definecubesales_star[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)definedimensionitemas(item_key,item_name,brand,type,supplier_type)definedimensionbranchas(branch_key,branch_name,branch_type)definedimensionlocationas(location_key,street,city,province_or_state,country)實例：使用DMQL定義雪花模式式definecubesales_snowflake[time,item,branch,location]:dollars_sold=sum(sales_in_dollars),avg_sales=avg(sales_in_dollars),units_sold=count(*)definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)definedimensionitemas(item_key,item_name,brand,type,supplier(supplier_key,supplier_type))definedimensionbranchas(branch_key,branch_name,branch_type)definedimensionlocationas(location_key,street,city(city_key,province_or_state,country))度量量的的分分類類一個個數(shù)數(shù)據(jù)據(jù)立立方方體體的的度度量量是是一一個個數(shù)數(shù)值值函函數(shù)數(shù)，，該該函函數(shù)數(shù)可可以以對對數(shù)數(shù)據(jù)據(jù)立立方方體體的的每每一一個個點點求求值值。。度度量量可可以以根根據(jù)據(jù)其其所所用用的的聚聚集集函函數(shù)數(shù)分分為為三三類類：：分布布的的(distributive)：將將函函數(shù)數(shù)用用于于n個聚聚集集值值得得到到的的結(jié)結(jié)果果和和將將函函數(shù)數(shù)用用于于所所有有數(shù)數(shù)據(jù)據(jù)得得到到的的結(jié)結(jié)果果一一樣樣。。比如如：：count()，sum()，min()，max()等代數(shù)數(shù)的的(algebraic)：函函數(shù)數(shù)可可以以由由一一個個帶帶M個參參數(shù)數(shù)的的代代數(shù)數(shù)函函數(shù)數(shù)計計算算（（M為有有界界整整數(shù)數(shù)）），，而而每每個個參參數(shù)數(shù)值值都都可可以以有有一一個個分分布布的的聚聚集集函函數(shù)數(shù)求求得得。。比如如：：avg()，min_N()，standard_deviation()整體體的的(holistic)：描描述述函函數(shù)數(shù)的的子子聚聚集集所所需需的的存存儲儲沒沒有有一一個個常常數(shù)數(shù)界界。。比如如：：median()，mode()，rank()概念念分分層層：：location維的的一一個個概概念念分分層層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM.WindL.Chan..................allregionofficecountryTorontoFrankfurtcity多維維數(shù)數(shù)據(jù)據(jù)模模型型上上的的OLAP操作作上卷卷(roll-up):匯總總數(shù)數(shù)據(jù)據(jù)通過過一一個個維維的的概概念念分分層層向向上上攀攀升升或或者者通通過過維維規(guī)規(guī)約約下鉆鉆(drill-down)：上上卷卷的的逆逆操操作作由不不太太詳詳細(xì)細(xì)的的數(shù)數(shù)據(jù)據(jù)到到更更詳詳細(xì)細(xì)的的數(shù)數(shù)據(jù)據(jù)，，可可以以通通過過沿沿維維的的概概念念分分層層向向下下或或引引入入新新的的維維來來實實現(xiàn)現(xiàn)切片和和切塊塊(sliceanddice)投影和和選擇擇操作作轉(zhuǎn)軸(pivot)立方體體的重重定位位，可可視化化，或或?qū)⒁灰粋€3維立方方體轉(zhuǎn)轉(zhuǎn)化維維一個個2維平面面序列列其他OLAP操作鉆過(drill_across)：執(zhí)行行涉及及多個個事實實表的的查詢詢鉆透(drill_through)：使用用關(guān)系系SQL機制，，鉆到到數(shù)據(jù)據(jù)立方方體的的底層層，到到后端端關(guān)系系表數(shù)據(jù)倉倉庫設(shè)設(shè)計：：一個個商務(wù)務(wù)分析析框架架數(shù)據(jù)倉倉庫設(shè)設(shè)計中中必須須考慮慮的四四種視視圖自頂向向下視視圖允許我我們選選擇數(shù)數(shù)據(jù)倉倉庫所所需的的相關(guān)關(guān)信息息，這這些信信息能能夠滿滿足當(dāng)當(dāng)前和和未來來商務(wù)務(wù)的需需求。。數(shù)據(jù)源源視圖圖揭示被被操作作數(shù)據(jù)據(jù)庫系系統(tǒng)所所捕獲獲、存存儲和和管理理的信信息數(shù)據(jù)倉倉庫視視圖有事實實表和和維表表所組組成，，提供供存放放在數(shù)數(shù)據(jù)倉倉庫內(nèi)內(nèi)部的的信息息，包包括預(yù)預(yù)先計計算的的綜合合與技技術(shù)，，以及及關(guān)于于源、、日期期和源源時間間等信信息商務(wù)查查詢視視圖從最終終用戶戶的角角度透透視數(shù)數(shù)據(jù)倉倉庫中中的數(shù)數(shù)據(jù)數(shù)據(jù)倉倉庫的的設(shè)計計過程程（P43）自頂向向下法法、自自底向向上法法或者者兩者者的混混合方方法自頂向向下法法：由由總體體設(shè)計計和規(guī)規(guī)劃開開始（（成熟熟）自底向向上法法：以以實驗驗和原原型開開始（（快速速）從軟件件過程程的觀觀點瀑布式式方法法：在在進(jìn)行行下一一步前前，每每一步步都進(jìn)進(jìn)行結(jié)結(jié)構(gòu)化化和系系統(tǒng)的的分析析螺旋式式方法法：功功能漸漸增的的系統(tǒng)統(tǒng)的快快速產(chǎn)產(chǎn)生，，相繼繼版本本之間間間隔隔很短短典型的的數(shù)據(jù)據(jù)倉庫庫設(shè)計計過程程選取待待建模模的商務(wù)過過程選取商商務(wù)過過程的的粒度選取用用于每每個事事實表表記錄錄的維選取將將安放放在事事實表表中的的度量三層數(shù)數(shù)據(jù)倉倉庫架架構(gòu)DataWarehouseExtractTransformLoadRefreshOLAP服務(wù)器器AnalysisQueryReportsDataminingMonitor&IntegratorMetadata數(shù)據(jù)源源前端工工具ServeDataMartsOperational

DBsothersources數(shù)據(jù)倉倉庫服服務(wù)器器OLAPServer三種數(shù)數(shù)據(jù)倉倉庫模模型（（從結(jié)結(jié)構(gòu)的的角度度）企業(yè)倉倉庫搜集關(guān)關(guān)于跨跨越整整個組組織的的主題題的所所有信信息，，來自自一個個或多多個操操作的的系統(tǒng)統(tǒng)，跨跨功能能的。。數(shù)據(jù)集集市企業(yè)范范圍數(shù)數(shù)據(jù)的的一個個子集集，對對于特特定的的客戶戶是有有用的的。其其范圍圍限于于選定定的主主題，，比如如一個個商場場的數(shù)數(shù)據(jù)集集市獨立的的數(shù)據(jù)據(jù)集市市VS.非獨立立的數(shù)數(shù)據(jù)集集市（（數(shù)據(jù)據(jù)來自自于企企業(yè)數(shù)數(shù)據(jù)倉倉庫））虛擬倉倉庫操作數(shù)數(shù)據(jù)庫庫上的的一系系列視視圖只有一一些可可能的的匯總總視圖圖被物物化數(shù)據(jù)倉倉庫開開發(fā)自頂向向下開開發(fā)：：一種種系統(tǒng)統(tǒng)的而而解決決方法法，并并能最最大限限度地地減少少集成成問題題。但但費用用高，，長時時間開開發(fā)，，缺乏乏靈活活性，，因為為整個個組織織的共共同數(shù)數(shù)據(jù)模模型達(dá)達(dá)到一一致是是困難難的。。自底向向上:設(shè)計、、開發(fā)發(fā)、部部署獨獨立的的數(shù)據(jù)據(jù)集市市方法法提供供了靈靈活性性、低低花費費，并并能快快速回回報投投資。。然后后，將將分散散的數(shù)數(shù)據(jù)集集市集集成，，形成成一個個一致致的企企業(yè)數(shù)數(shù)據(jù)倉倉庫時時，可可能導(dǎo)導(dǎo)致問問題。。數(shù)據(jù)倉倉庫開開發(fā)——一個推推薦的的方法法定義高高層數(shù)數(shù)據(jù)模模型數(shù)據(jù)集市市數(shù)據(jù)集市市分布式數(shù)數(shù)據(jù)集市市多層數(shù)據(jù)據(jù)倉庫企業(yè)數(shù)據(jù)據(jù)倉庫模型提煉煉模型提煉煉OLAP服務(wù)器類類型關(guān)系OLAP服務(wù)器(ROLAP)使用關(guān)系系數(shù)據(jù)庫庫或擴展展的關(guān)系系數(shù)據(jù)庫庫存放并并管理數(shù)數(shù)據(jù)倉庫庫的數(shù)據(jù)據(jù)，而用用OLAP中間件支支持其余余部分包括每個個DBMS后端優(yōu)化化，聚集集導(dǎo)航邏邏輯的實實現(xiàn)，附附加的工工具和服服務(wù)較大的可可擴展性性多維OLAP服務(wù)器(MOLAP)基于數(shù)組組的多維維存儲引引擎（稀稀疏矩陣陣技術(shù)））能對預(yù)計計算的匯匯總數(shù)據(jù)據(jù)快速索索引混合OLAP服務(wù)器(HOLAP)結(jié)合上述述兩種技技術(shù)，更更大的使使用靈活活性特殊的SQL服務(wù)器在星型和和雪花模模型上支支持SQL查詢數(shù)據(jù)倉庫庫的實現(xiàn)現(xiàn)難點海量數(shù)據(jù)據(jù)快速反應(yīng)應(yīng)OLAP服務(wù)器要要在幾秒秒內(nèi)響應(yīng)應(yīng)決策支支持查詢詢方法高效的數(shù)數(shù)據(jù)立方方體計算算技術(shù)高效的存存取方法法高效的查查詢處理理技術(shù)數(shù)據(jù)立方方體的有有效計算算數(shù)據(jù)立方方體可以以被看成成是一個個方體的格格最底層的的方體是是基本方方體最頂端的的方體（（頂點））只包含含一個單單元的值值一個n維的數(shù)據(jù)據(jù)立方體體，每維維Li層，可能能產(chǎn)生的的方體總總數(shù)是多多少？數(shù)據(jù)立方方體的物化（materialization)預(yù)先計算算所有方方體（全物化）:需要海量量存儲空空間，存存放預(yù)先先計算的的方體不預(yù)先計計算任何何“非基基本”方方體（不物化），在運運行時計計算昂貴貴的多維維聚集，，可能很很慢有選擇的的計算一一個所有有方體的的適當(dāng)子子集（部分物化化）：相應(yīng)應(yīng)時間和和存儲空空間的折折中。確定物化化哪些方方體考慮工作作負(fù)荷下下的查詢詢、它們們的頻率率和它們們的開銷銷等等方體的操操作DMQL中的方體體定義和和計算definecubesales[item,city,year]:sum(sales_in_dollars)computecubesales上述的computecube子句可以以轉(zhuǎn)化為為一個類類似于SQL的語句SELECTitem,city,year,SUM(amount)FROMSALESCUBEBYitem,city,year需要計算算以下的的groupby子句(item,city,year)(item,city),(itemyear),(city,year)(item),(city),(year)()(item)(city)()(year)(city,item)(city,year)(item,year)(city,item,year)方體計算算：關(guān)系系型OLAP的方法（ROLAP）方體計算的有有效方法基于ROLAP的方體算法(Agarwaletal’96)基于數(shù)組的算算法(MOLAP)(Zhaoetal’97)自底向上的計計算方法(Beyer&Ramarkrishnan’99)H-cubing技術(shù)(Han,Pei,Dong&Wang:SIGMOD’01)基于ROLAP的方法將排序、散列列(hashing)和分組操作應(yīng)應(yīng)用于維的屬屬性，以便對對相關(guān)元組重重新排序和聚聚類在某些子聚集集上分組，作作為“部分分分組步驟”。?？梢杂梢郧坝嬘嬎愕木奂嬘嬎阈碌木奂槐赜杏谢臼聦嵄肀碛嬎惴襟w計算的多多路數(shù)組聚集集方法(1)將數(shù)組分成塊塊（chunk,一個可以裝入入內(nèi)存的小子子方）壓縮的稀疏數(shù)數(shù)組尋址：(chunk_id,offset)通過訪問立方方體單元，計計算聚集?？煽梢詢?yōu)化訪問問單元組的次次序，使得每每個單元被訪訪問的次數(shù)最最小化，從而而減少內(nèi)存訪訪問和磁盤I/O的開銷。A(month)B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)B(city)442856402452362060哪個是多路數(shù)數(shù)組聚集的最最佳遍歷次序序？方體計算的多多路數(shù)組聚集集方法(2)A(month)40B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)4000442856402452362060B(city)400方體計算的多多路數(shù)組聚集集方法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C442856402452362060B方體計算的的多路數(shù)組組聚集方法法(4)方法：各平平面要按他他們大小的的升序排列列進(jìn)行排序序和計算詳見書P50例2.12思想：將最最小的平面面放在內(nèi)存存中，對最最大的平面面每次只是是取并計算算一塊這種方法的的限制：只只有在維數(shù)數(shù)比較小的的情況下，，效果才比比較理想(要計算的立立方體隨維維數(shù)指數(shù)增增長)如果維的數(shù)數(shù)目比較多多，可以考考慮使用““自底向上上的計算””或者時““冰山方體體”計算算元數(shù)據(jù)存儲儲在數(shù)據(jù)倉庫庫中，元數(shù)數(shù)據(jù)就是定定義數(shù)據(jù)倉倉庫對象的的數(shù)據(jù)。關(guān)關(guān)于數(shù)據(jù)的的數(shù)據(jù)。有有以下幾種種：數(shù)據(jù)倉庫結(jié)結(jié)構(gòu)的描述述倉庫模式、、視圖、維維、層次結(jié)結(jié)構(gòu)、導(dǎo)出出數(shù)據(jù)的定定義，以及及數(shù)據(jù)集市市的位置和和內(nèi)容操作元數(shù)據(jù)據(jù)包括數(shù)據(jù)血血統(tǒng)(datalineage)、數(shù)據(jù)類別別(currencyofdata)，以及監(jiān)視視信息匯總用的算算法：包括度量和和維定義算算法，數(shù)據(jù)據(jù)粒度、分分割、主題題領(lǐng)域、聚聚集、匯總總、預(yù)定義義的查詢和和報告由操作環(huán)境境到數(shù)據(jù)倉倉庫的映射射：數(shù)據(jù)提取、、清理、轉(zhuǎn)轉(zhuǎn)換規(guī)則、、剪裁規(guī)則則、安全等等關(guān)于系統(tǒng)性性能的數(shù)據(jù)據(jù)索引，profiles，數(shù)據(jù)刷新新、更新或或復(fù)制事件件的調(diào)度和和定時商務(wù)元數(shù)據(jù)據(jù)商務(wù)術(shù)語和和定義、數(shù)數(shù)據(jù)擁有者者信息、收收費政策等等元數(shù)據(jù)的使使用元數(shù)據(jù)與數(shù)數(shù)據(jù)一起，，構(gòu)成了數(shù)數(shù)據(jù)倉庫中中的數(shù)據(jù)模模型，元數(shù)數(shù)據(jù)所描述述的更多的的是這個模模型的結(jié)構(gòu)構(gòu)方面的信信息。在數(shù)據(jù)倉庫庫中，元數(shù)數(shù)據(jù)的主要要用途包括括：用作目錄，，幫助決策策支持系統(tǒng)統(tǒng)分析者對對數(shù)據(jù)倉庫庫的內(nèi)容定定義作為數(shù)據(jù)倉倉庫和操作作性數(shù)據(jù)庫庫之間進(jìn)行行數(shù)據(jù)轉(zhuǎn)換換時的映射射標(biāo)準(zhǔn)用于指導(dǎo)當(dāng)當(dāng)前細(xì)節(jié)數(shù)數(shù)據(jù)和稍加加綜合的數(shù)數(shù)據(jù)之間的的匯總算法法，指導(dǎo)稍稍加綜合的的數(shù)據(jù)和高高度綜合的的數(shù)據(jù)之間間的匯總算算法。數(shù)據(jù)倉庫后后端工具和和使用程序序用于加載和和刷新它的的數(shù)據(jù)數(shù)據(jù)提取：：從多個外部部的異構(gòu)數(shù)數(shù)據(jù)源收集集數(shù)據(jù)數(shù)據(jù)清理檢測數(shù)據(jù)種種的錯誤并并作可能的的訂正數(shù)據(jù)變換將數(shù)據(jù)由歷歷史或主機機的格式轉(zhuǎn)轉(zhuǎn)化為數(shù)據(jù)據(jù)倉庫的格格式裝載載排序序、、匯匯總總、、合合并并、、計計算算視視圖圖，，檢檢查查完完整整性性，，并并建建立立索索引引和和分分區(qū)區(qū)刷新新將數(shù)數(shù)據(jù)據(jù)源源的的更更新新傳傳播播到到數(shù)數(shù)據(jù)據(jù)倉倉庫庫中中數(shù)據(jù)據(jù)倉倉庫庫的的應(yīng)應(yīng)用用數(shù)據(jù)據(jù)倉倉庫庫的的三三種種應(yīng)應(yīng)用用信息息處處理理支持持查查詢詢和和基基本本的的統(tǒng)統(tǒng)計計分分析析，，并并使使用用交交叉叉表表、、表表、、圖圖標(biāo)標(biāo)和和圖圖進(jìn)進(jìn)行行報報表表處處理理分析析處處理理對數(shù)數(shù)據(jù)據(jù)倉倉庫庫中中的的數(shù)數(shù)據(jù)據(jù)進(jìn)進(jìn)行行多多維維數(shù)數(shù)據(jù)據(jù)分分析析支持持基基本本的的OLAP操作作，，切切塊塊、、切切片片、、上上卷卷、、下下鉆鉆、、轉(zhuǎn)轉(zhuǎn)軸軸等等數(shù)據(jù)據(jù)挖挖掘掘從隱隱藏藏模模式式中中發(fā)發(fā)現(xiàn)現(xiàn)知知識識支持持關(guān)關(guān)聯(lián)聯(lián)分分析析，，構(gòu)構(gòu)建建分分析析性性模模型型，，分分類類和和預(yù)預(yù)測測，，并并用用可可視視化化工工具具呈呈現(xiàn)現(xiàn)挖挖掘掘的的結(jié)結(jié)果果三種種應(yīng)應(yīng)用用間間的的差差別別（（P62）從聯(lián)機分分析處理理到聯(lián)機機分析挖挖掘為什么要要聯(lián)機分分析挖掘掘（P63）數(shù)據(jù)倉庫庫中有高高質(zhì)量的的數(shù)據(jù)數(shù)據(jù)倉庫庫中存放放著整合合的、一一致的、、清理過過的數(shù)據(jù)據(jù)圍繞數(shù)據(jù)據(jù)倉庫的的信息處處理結(jié)構(gòu)構(gòu)存取、集集成、合合并多個個異種數(shù)數(shù)據(jù)庫的的轉(zhuǎn)換，，ODBC/OLEDB連接,Web訪問和和訪問問工具具等基于OLAP的探測測式數(shù)數(shù)據(jù)分分析使用上上卷、、下鉆鉆、切切片、、轉(zhuǎn)軸軸等技技術(shù)進(jìn)進(jìn)行數(shù)數(shù)據(jù)挖挖掘數(shù)據(jù)挖挖掘功功能的的聯(lián)機機選擇擇多種數(shù)數(shù)據(jù)挖挖掘功功能、、算法法和任任務(wù)的的整合合聯(lián)機分分析挖挖掘的的體系系結(jié)構(gòu)構(gòu)數(shù)據(jù)倉倉庫元數(shù)據(jù)據(jù)多維數(shù)數(shù)據(jù)庫庫OLAM引擎OLAP引擎用戶圖圖形界界面API數(shù)據(jù)方方體API數(shù)據(jù)庫庫API數(shù)據(jù)清清理數(shù)據(jù)集集成Layer3OLAP/OLAMLayer2多維數(shù)數(shù)據(jù)庫庫Layer1數(shù)據(jù)存存儲Layer4用戶界界面數(shù)據(jù)的的過濾濾、集集成過濾數(shù)據(jù)庫庫基于約約束的的數(shù)據(jù)據(jù)挖掘掘挖掘結(jié)果數(shù)據(jù)預(yù)處理理主要內(nèi)容為什么要預(yù)預(yù)處理數(shù)據(jù)據(jù)？數(shù)據(jù)清理數(shù)據(jù)集成和和變換數(shù)據(jù)歸約約為什么要要預(yù)處理理數(shù)據(jù)？？現(xiàn)實世界界的數(shù)據(jù)據(jù)是“骯骯臟的””不完整的的：有些些感興趣趣的屬性性缺少屬屬性值，，或僅包包含聚集集數(shù)據(jù)含噪聲的的：包含含錯誤或或者“孤孤立點””不一致的的：在編編碼或者者命名上上存在差差異沒有高質(zhì)質(zhì)量的數(shù)數(shù)據(jù)，就就沒有高高質(zhì)量的的挖掘結(jié)結(jié)果高質(zhì)量的的決策必必須依賴賴高質(zhì)量量的數(shù)據(jù)據(jù)數(shù)據(jù)倉庫庫需要對對高質(zhì)量量的數(shù)據(jù)據(jù)進(jìn)行一一致地集集成數(shù)據(jù)質(zhì)量量的多維維度量一個廣為為認(rèn)可的的多維度度量觀點點：精確度完整度一致性合乎時機機可信度附加價值值可訪問性性跟數(shù)據(jù)本本身的含含義相關(guān)關(guān)的內(nèi)在的、、上下文文的、表表象的數(shù)據(jù)預(yù)處處理的主主要任務(wù)務(wù)數(shù)據(jù)清理理填寫空缺缺的值，，平滑噪噪聲數(shù)據(jù)據(jù)，識別別、刪除除孤立點點，解決決不一致致性數(shù)據(jù)集成成集成多個個數(shù)據(jù)庫庫、數(shù)據(jù)據(jù)立方體體或文件件數(shù)據(jù)變換換規(guī)范化和和聚集數(shù)據(jù)歸約約得到數(shù)據(jù)據(jù)集的壓壓縮表示示，它小小得多，，但可以以得到相相同或相相近的結(jié)結(jié)果數(shù)據(jù)離散散化數(shù)據(jù)歸約約的一部部分，通通過概念念分層和和數(shù)據(jù)的的離散化化來規(guī)約約數(shù)據(jù)，，對數(shù)字字型數(shù)據(jù)據(jù)特別重重要數(shù)據(jù)預(yù)處處理的形形式空缺值數(shù)據(jù)并不不總是完完整的例如：數(shù)數(shù)據(jù)庫表表中，很很多條記記錄的對對應(yīng)字段段沒有相相應(yīng)值，，比如銷銷售表中中的顧客客收入引起空缺缺值的原原因設(shè)備異常常與其他已已有數(shù)據(jù)據(jù)不一致致而被刪刪除因為誤解解而沒有有被輸入入的數(shù)據(jù)據(jù)在輸入時時，有些些數(shù)據(jù)應(yīng)應(yīng)為得不不到重視視而沒有有被輸入入對數(shù)據(jù)的的改變沒沒有進(jìn)行行日志記記載空缺值要要經(jīng)過推推斷而補補上如何處理理空缺值值忽略元組：當(dāng)當(dāng)類標(biāo)號缺少少時通常這么么做（假定挖挖掘任務(wù)設(shè)計計分類或描述述），當(dāng)每個個屬性缺少值值的百分比變變化很大時，，它的效果非非常差。人工填寫空缺缺值：工作量量大，可行性性低使用一個全局局變量填充空空缺值：比如如使用unknown或-∞使用屬性的平平均值填充空空缺值使用與給定元元組屬同一類類的所有樣本本的平均值使用最可能的的值填充空缺缺值：使用像像Bayesian公式或判定樹樹這樣的基于于推斷的方法法噪聲數(shù)據(jù)噪聲：一個測測量變量中的的隨機錯誤或或偏差引起不正確屬屬性值的原因因數(shù)據(jù)收收集工工具的的問題題數(shù)據(jù)輸輸入錯錯誤數(shù)據(jù)傳傳輸錯錯誤技術(shù)限限制命名規(guī)規(guī)則的的不一一致其它需需要數(shù)數(shù)據(jù)清清理的的數(shù)據(jù)據(jù)問題題重復(fù)記記錄不完整整的數(shù)數(shù)據(jù)不一致致的數(shù)數(shù)據(jù)如何處處理噪噪聲數(shù)數(shù)據(jù)分箱(binning):首先排排序數(shù)數(shù)據(jù)，，并將將他們們分到到等深深的箱箱中然后可可以按按箱的的平均均值平平滑、、按箱箱中值值平滑滑、按按箱的的邊界界平滑滑等等等聚類類：：監(jiān)測測并并且且去去除除孤孤立立點點計算算機機和和人人工工檢檢查查結(jié)結(jié)合合計算算機機檢檢測測可可疑疑數(shù)數(shù)據(jù)據(jù)，，然然后后對對它它們們進(jìn)進(jìn)行行人人工工判判斷斷回歸通過讓數(shù)數(shù)據(jù)適應(yīng)應(yīng)回歸函函數(shù)來平平滑數(shù)據(jù)據(jù)數(shù)據(jù)平滑滑的分箱箱方法price的排序后后數(shù)據(jù)（（單位：：美元））：4，8，15，21，21，24，25，28，34劃分為（（等深的的）箱：：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均均值平滑滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱邊界界平滑：：箱1：4，4，15箱2：21，21，24箱3：25，25，34聚類回歸xyy=x+1X1Y1Y1’數(shù)據(jù)集成成數(shù)據(jù)集成：：將多個數(shù)據(jù)據(jù)源中的數(shù)數(shù)據(jù)整合到到一個一致致的存儲中中模式集成：：整合不同數(shù)數(shù)據(jù)源中的的元數(shù)據(jù)實體識別問問題：匹配配來自不同同數(shù)據(jù)源的的現(xiàn)實世界界的實體，，比如：A.cust-id=B.customer_no檢測并解決決數(shù)據(jù)值的的沖突對現(xiàn)實世界界中的同一一實體，來來自不同數(shù)數(shù)據(jù)源的屬屬性值可能能是不同的的可能的原因因：不同的的數(shù)據(jù)表示示，不同的的度量等等等處理數(shù)據(jù)集集成中的冗冗余數(shù)據(jù)集成多個數(shù)數(shù)據(jù)庫時，，經(jīng)常會出出現(xiàn)冗余數(shù)數(shù)據(jù)同一屬性在在不同的數(shù)數(shù)據(jù)庫中會會有不同的的字段名一個屬性可可以由另外外一個表導(dǎo)導(dǎo)出，如““年薪”有些冗余可可以被相關(guān)關(guān)分析檢測測到仔細(xì)將多個個數(shù)據(jù)源中中的數(shù)據(jù)集集成起來，，能夠減少少或避免結(jié)結(jié)果數(shù)據(jù)中中的冗余與與不一致性性，從而可可以提高挖挖掘的速度度和質(zhì)量。。數(shù)據(jù)變換平滑：去除除數(shù)據(jù)中的的噪聲聚集：匯總總，數(shù)據(jù)立立方體的構(gòu)構(gòu)建數(shù)據(jù)概化：：沿概念分分層向上匯匯總規(guī)范化：將將數(shù)據(jù)按比比例縮放，，使之落入入一個小的的特定區(qū)間間最?。畲蟠笠?guī)范化z-score規(guī)范化小數(shù)定標(biāo)規(guī)規(guī)范化屬性構(gòu)造通過現(xiàn)有屬屬性構(gòu)造新新的屬性，，并添加到到屬性集中中。數(shù)據(jù)變換——規(guī)范化最?。畲蟠笠?guī)范化z-score規(guī)范化小數(shù)定標(biāo)規(guī)規(guī)范化其中，j是使Max(||)<1的最小整數(shù)數(shù)數(shù)據(jù)歸約策策略數(shù)據(jù)倉庫中中往往存有有海量數(shù)據(jù)據(jù)，在其上上進(jìn)行復(fù)雜雜的數(shù)據(jù)分分析與挖掘掘需要很長長的時間數(shù)據(jù)歸約數(shù)據(jù)歸約可可以用來得得到數(shù)據(jù)集集的歸約表表示，它小小得多，但但可以產(chǎn)生生相同的（（或幾乎相相同的）分分析結(jié)果數(shù)據(jù)歸約策策略數(shù)據(jù)立方體體聚集維歸約數(shù)據(jù)壓縮數(shù)值歸約離散化和概概念分層產(chǎn)產(chǎn)生用于數(shù)據(jù)歸歸約的時間間不應(yīng)當(dāng)超超過或“抵抵消”在歸歸約后的數(shù)數(shù)據(jù)上挖掘掘節(jié)省的時時間。數(shù)據(jù)立方體體聚集最底層的方方體對應(yīng)于于基本方體體基本方體對對應(yīng)于感興興趣的實體體在數(shù)據(jù)立方方體中存在在著不同級級別的匯總總數(shù)據(jù)立方體體可以看成成方體的格格每個較高層層次的抽象象將進(jìn)一步步減少結(jié)果果數(shù)據(jù)數(shù)據(jù)立方體體提供了對對預(yù)計算的的匯總數(shù)據(jù)據(jù)的快速訪訪問使用與給定定任務(wù)相關(guān)關(guān)的最小方方體在可能的情情況下，對對于匯總數(shù)數(shù)據(jù)的查詢詢應(yīng)當(dāng)使用用數(shù)據(jù)立方方體維歸約通過刪除不不相干的屬屬性或維減減少數(shù)據(jù)量量屬性子集選選擇找出最小屬屬性集，使使得數(shù)據(jù)類類的概率分分布盡可能能的接近使使用所有屬屬性的原分分布減少出現(xiàn)在在發(fā)現(xiàn)模式式上的屬性性的數(shù)目，，使得模式式更易于理理解啟發(fā)式的（（探索性的的）方法逐步向前選選擇逐步向后刪刪除向前選擇和和向后刪除除相結(jié)合判定歸納樹樹探索性選擇方方法d個屬性有2d個可能的子集集逐步向前選擇擇由空屬性集開開始，選擇原原屬性集中最最好的屬性，，并將其添加加入該集合，，重復(fù)該步驟驟。逐步向后刪除除由整個屬性集集開始，每一一步都刪除掉掉尚在屬性集集中的最壞屬屬性向前選擇和向向后刪除相結(jié)結(jié)合每一步選擇一一個最好屬性性，并刪除一一個最壞屬性性可以使用一個個臨界值來判判定上述三種種方法的結(jié)束束條件判定歸納樹數(shù)據(jù)壓縮有損壓縮VS.無損壓縮字符串壓縮有廣泛的理論論基礎(chǔ)和精妙妙的算法通常是無損壓壓縮在解壓縮前對對字符串的操操作非常有限限音頻/視頻壓縮通常是有損壓壓縮，壓縮精精度可以遞進(jìn)進(jìn)選擇有時可以在不不解壓整體數(shù)數(shù)據(jù)的情況下下，重構(gòu)某個個片斷兩種有損數(shù)據(jù)據(jù)壓縮的方法法：小波變換換和主要成分分分析數(shù)值歸約通過選擇替代代的、較小的的數(shù)據(jù)表示形形式來減少數(shù)數(shù)據(jù)量有參方法：使使用一個參數(shù)數(shù)模型估計數(shù)數(shù)據(jù)，最后只只要存儲參數(shù)數(shù)即可。線性回歸方法法：Y=α+βX多元回歸：線線性回歸的擴擴充對數(shù)線性模型型：近似離散散的多維數(shù)據(jù)據(jù)概率分布無參方法：直方圖聚類選樣直方圖一種流行的數(shù)數(shù)據(jù)歸約技術(shù)術(shù)將某屬性的數(shù)數(shù)據(jù)劃分為不不相交的子集集，或桶，桶桶中放置該值值的出現(xiàn)頻率率桶和屬性值的的劃分規(guī)則等寬等深V-最優(yōu)MaxDiff聚類將數(shù)據(jù)集劃分分為聚類，然然后通過聚類類來表示數(shù)據(jù)據(jù)集如果數(shù)據(jù)可以以組成各種不不同的聚類，，則該技術(shù)非非常有效，反反之如果數(shù)據(jù)據(jù)界線模糊，，則方法無效效數(shù)據(jù)可以分層層聚類，并被被存儲在多層層索引樹中聚類的定義和和算法都有很很多選擇選樣允許用數(shù)據(jù)的的較小隨機樣樣本（子集））表示大的數(shù)數(shù)據(jù)集對數(shù)據(jù)集D的樣本選擇：：簡單隨機選擇擇n個樣本，不回回放：由D的N個元組中抽取取n個樣本簡單隨機選擇擇n個樣本，回放放：過程同上上，只是元組組被抽取后，，將被回放，，可能再次被被抽取聚類選樣：D中元組被分入入M個互不相交的的聚類中，可可在其中的m個聚類上進(jìn)行行簡單隨機選選擇（m<M）分層選樣：D被劃分為互不不相交的“層層”，則可通通過對每一層層的簡單隨機機選樣得到D的分層選樣離散化三種類型的屬屬性值：名稱型——e.g.無序集合中的的值序數(shù)——e.g.有序集合中的的值連續(xù)值——e.g.實數(shù)離散化將連續(xù)屬性的的范圍劃分為為區(qū)間有效的規(guī)約數(shù)數(shù)據(jù)基于判定樹的的分類挖掘基于判定樹的的分類挖掘的的大部分時間間花在數(shù)據(jù)的的分類和比較較上（比如一一個判定條件件為：>400?，0－1000的整數(shù)將在比比較1000次后得出結(jié)果果，但是如果果先將這1000個值劃分為10個區(qū)間：0-100,100-200…900-1000，則只要比較較10次就可以得出出結(jié)果）離散化的數(shù)值值用于進(jìn)一步步分析離散化和概念念分層離散化通過將屬性域域劃分為區(qū)間間，減少給定定連續(xù)屬性值值的個數(shù)。區(qū)區(qū)間的標(biāo)號可可以代替實際際的數(shù)據(jù)值。。概念分層通過使用高層層的概念（比比如：青年、、中年、老年年）來替代底底層的屬性值值（比如：實實際的年齡數(shù)數(shù)據(jù)值）來規(guī)規(guī)約數(shù)據(jù)概念念分分層層后后，，數(shù)數(shù)據(jù)據(jù)的的細(xì)細(xì)節(jié)節(jié)丟丟失失了了，，但但是是概概化化后后的的數(shù)數(shù)據(jù)據(jù)更更有有意意義義