數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)

1、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的OLAP技術(shù)什么是數(shù)據(jù)倉庫？ 多維數(shù)據(jù)模型數(shù)據(jù)倉庫的體系結(jié)構(gòu)數(shù)據(jù)倉庫實(shí)現(xiàn)數(shù)據(jù)立方體技術(shù)的進(jìn)一步發(fā)展從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘什么是數(shù)據(jù)倉庫?數(shù)據(jù)倉庫的定義很多，但卻很難有一種嚴(yán)格的定義它是一個(gè)提供決策支持功能的數(shù)據(jù)庫，它與公司的操作數(shù)據(jù)庫分開維護(hù)。 為統(tǒng)一的歷史數(shù)據(jù)分析提供堅(jiān)實(shí)的平臺(tái)，對(duì)信息處理提供支持“數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、隨時(shí)間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門的決策過程.”W. H. Inmon（數(shù)據(jù)倉庫構(gòu)造方面的領(lǐng)頭設(shè)計(jì)師）建立數(shù)據(jù)倉庫(data warehousing):構(gòu)造和使用數(shù)據(jù)倉庫的過程。數(shù)據(jù)倉庫關(guān)鍵特征一面

2、向主題圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。排除對(duì)于決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。數(shù)據(jù)倉庫關(guān)鍵特征二數(shù)據(jù)集成一個(gè)數(shù)據(jù)倉庫是通過集成多個(gè)異種數(shù)據(jù)源來構(gòu)造的。關(guān)系數(shù)據(jù)庫，一般文件，聯(lián)機(jī)事務(wù)處理記錄使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉庫時(shí)，它們要經(jīng)過轉(zhuǎn)化。數(shù)據(jù)倉庫關(guān)鍵特征三隨時(shí)間而變化數(shù)據(jù)倉庫的時(shí)間范圍比操作數(shù)據(jù)庫系統(tǒng)要長的多。操作數(shù)據(jù)庫系統(tǒng): 主要保存當(dāng)前數(shù)據(jù)。數(shù)據(jù)倉庫:從歷史的角度提供信息（比如過去 5-10 年）數(shù)據(jù)倉庫中的每一個(gè)關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時(shí)間元素

3、，而操作數(shù)據(jù)庫中的關(guān)鍵結(jié)構(gòu)可能就不包括時(shí)間元素。數(shù)據(jù)倉庫關(guān)鍵特征四數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉庫中的數(shù)據(jù)來自于操作數(shù)據(jù)庫，但他們卻是在物理上分離保存的。操作數(shù)據(jù)庫的更新操作不會(huì)出現(xiàn)在數(shù)據(jù)倉庫環(huán)境下。不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機(jī)制只需要兩種數(shù)據(jù)訪問: 數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問（讀操作）數(shù)據(jù)倉庫與異種數(shù)據(jù)庫集成傳統(tǒng)的異種數(shù)據(jù)庫集成: 在多個(gè)異種數(shù)據(jù)庫上建立包裝程序（wrappers）和中介程序（mediators ）查詢驅(qū)動(dòng)方法當(dāng)從客戶端傳過來一個(gè)查詢時(shí)，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器缺點(diǎn)：復(fù)雜的信息過慮和集成處理，競爭資源數(shù)據(jù)倉

4、庫: 更新驅(qū)動(dòng)將來自多個(gè)異種源的信息預(yù)先集成，并存儲(chǔ)在數(shù)據(jù)倉庫中，供直接查詢和分析高性能數(shù)據(jù)倉庫與操作數(shù)據(jù)庫系統(tǒng)操作數(shù)據(jù)庫系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP日常操作: 購買，庫存，銀行，制造，工資，注冊(cè)，記帳等數(shù)據(jù)倉庫的主要任務(wù)是聯(lián)機(jī)分析處理OLAP數(shù)據(jù)分析和決策OLTP和OLAP的主要區(qū)別：用戶和系統(tǒng)的面向性: 顧客 VS. 市場數(shù)據(jù)內(nèi)容: 當(dāng)前的、詳細(xì)的數(shù)據(jù) VS. 歷史的、匯總的數(shù)據(jù)數(shù)據(jù)庫設(shè)計(jì):實(shí)體聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計(jì) VS. 星型/雪花模型和面向主題的數(shù)據(jù)庫設(shè)計(jì)視圖: 當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù) VS. 經(jīng)過演化的、集成的數(shù)據(jù)訪問模式: 事務(wù)操作 VS. 只讀查詢（但很

5、多是復(fù)雜的查詢）OLTP系統(tǒng)和OLAP系統(tǒng)的比較特征OLTPOLAP任務(wù)特點(diǎn)操作處理信息處理面向事務(wù)分析用戶辦事員、DBA、數(shù)據(jù)庫專業(yè)人員經(jīng)理、主管、數(shù)據(jù)分析員功能日常操作長期信息分析、決策支持DB設(shè)計(jì)基于E-R，面向應(yīng)用星型/雪花，面向主體數(shù)據(jù)最新的、詳細(xì)的歷史的、匯總的視圖詳細(xì)的、二維關(guān)系型匯總的、多維的任務(wù)單位簡短的事務(wù)復(fù)雜的查詢?cè)L問數(shù)據(jù)量數(shù)十個(gè)數(shù)百萬個(gè)用戶數(shù)數(shù)千個(gè)數(shù)百個(gè)DB規(guī)模100M-數(shù)GB100GB-數(shù)TB優(yōu)先性高性能、高可用性高靈活性、端點(diǎn)用戶自治度量事務(wù)吞吐量查詢吞吐量、響應(yīng)時(shí)間為什么需要一個(gè)分離的數(shù)據(jù)倉庫?提高兩個(gè)系統(tǒng)的性能DBMS是為OLTP而設(shè)計(jì)的：存儲(chǔ)方式,索引, 并發(fā)

6、控制, 恢復(fù)數(shù)據(jù)倉庫是為OLAP而設(shè)計(jì)：復(fù)雜的 OLAP查詢, 多維視圖，匯總不同的功能和不同的數(shù)據(jù):歷史數(shù)據(jù): 決策支持需要?dú)v史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫中一般不會(huì)去維護(hù)數(shù)據(jù)匯總：決策支持需要將來自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總）數(shù)據(jù)質(zhì)量: 不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對(duì)這些數(shù)據(jù)進(jìn)行有效的分析需要將他們轉(zhuǎn)化后進(jìn)行集成從關(guān)系表和電子表格到數(shù)據(jù)立方體數(shù)據(jù)倉庫和數(shù)據(jù)倉庫技術(shù)基于多維數(shù)據(jù)模型。這個(gè)模型把數(shù)據(jù)看作是數(shù)據(jù)立方體形式。多維數(shù)據(jù)模型圍繞中心主題組織，該主題用事實(shí)表表示。事實(shí)是數(shù)值度量的。數(shù)據(jù)立方體允許以多維數(shù)據(jù)建模和觀察。它由維和事實(shí)定義。維是關(guān)于一個(gè)組織想要記錄的視角或觀點(diǎn)

7、。每個(gè)維都有一個(gè)表與之相關(guān)聯(lián)，稱為維表。事實(shí)表包括事實(shí)的名稱或度量以及每個(gè)相關(guān)維表的關(guān)鍵字在數(shù)據(jù)倉庫的研究文獻(xiàn)中，一個(gè)n維的數(shù)據(jù)的立方體叫做基本方體。給定一個(gè)維的集合，我們可以構(gòu)造一個(gè)方體的格，每個(gè)都在不同的匯總級(jí)或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體。0維方體存放最高層的匯總，稱作頂點(diǎn)方體；而存放最底層匯總的方體則稱為基本方體。教科書第31頁數(shù)據(jù)立方體一個(gè)方體的格alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,i

8、tem,locationtime,item,suppliertime,location,supplieritem,location,suppliertime, item, location, supplier0-D(apex) cuboid1-D cuboids2-D cuboids3-D cuboids4-D(base) cuboid數(shù)據(jù)倉庫的概念模型最流行的數(shù)據(jù)倉庫概念模型是多維數(shù)據(jù)模型。這種模型可以以星型模式、雪花模式、或事實(shí)星座模式的形式存在。星型模式（Star schema）: 事實(shí)表在中心，周圍圍繞地連接著維表（每維一個(gè)），事實(shí)表含有大量數(shù)據(jù)，沒有冗余。雪花模式（Snowflake

9、 schema）: 是星型模式的變種，其中某些維表是規(guī)范化的，因而把數(shù)據(jù)進(jìn)一步分解到附加表中。結(jié)果，模式圖形成類似于雪花的形狀。事實(shí)星座（Fact constellations）: 多個(gè)事實(shí)表共享維表, 這種模式可以看作星型模式集，因此稱為星系模式（galaxy schema），或者事實(shí)星座（fact constellation） 星型模式實(shí)例 time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcitystate_or_provincecountrylocationSales Fact Table time_key

10、item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranch雪花模式實(shí)例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSales Fact Table time_key item_key branch_key location_key

11、units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycitystate_or_provincecountrycity事實(shí)星座模式實(shí)例time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_statecountrylocati

12、onSales Fact Tabletime_key item_key branch_key location_key units_sold dollars_sold avg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchShipping Fact Tabletime_key item_key shipper_key from_location to_location dollars_cost units_shippedshipper_keyshippe

13、r_namelocation_keyshipper_typeshipper一種數(shù)據(jù)挖掘查詢語言: DMQLDMQL首先包括定義數(shù)據(jù)倉庫和數(shù)據(jù)集市的語言原語，這包括兩種原語定義：一種是立方體定義，一種是維定義立方體定義 (事實(shí)表)define cube : 維定義 (維表)define dimension as ()特殊案例 (共享維表的定義)第一次作為維表定義 “cube definition”然后：define dimension as in cube 實(shí)例：使用DMQL定義星型模式define cube sales_star time, item, branch, location:dol

14、lars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*)define dimension time as (time_key, day, day_of_week, month, quarter, year)define dimension item as (item_key, item_name, brand, type, supplier_type)define dimension branch as (branch_key, branch_name, branch_

15、type)define dimension location as (location_key, street, city, province_or_state, country)實(shí)例：使用DMQL定義雪花模式define cube sales_snowflake time, item, branch, location:dollars_sold = sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*)define dimension time as (time_key, day, day

16、_of_week, month, quarter, year)define dimension item as (item_key, item_name, brand, type, supplier(supplier_key, supplier_type)define dimension branch as (branch_key, branch_name, branch_type)define dimension location as (location_key, street, city(city_key, province_or_state, country)度量的分類一個(gè)數(shù)據(jù)立方體的

17、度量是一個(gè)數(shù)值函數(shù)，該函數(shù)可以對(duì)數(shù)據(jù)立方體的每一個(gè)點(diǎn)求值。度量可以根據(jù)其所用的聚集函數(shù)分為三類：分布的(distributive)：將函數(shù)用于n個(gè)聚集值得到的結(jié)果和將函數(shù)用于所有數(shù)據(jù)得到的結(jié)果一樣。比如：count()，sum()，min()，max()等代數(shù)的(algebraic)：函數(shù)可以由一個(gè)帶M個(gè)參數(shù)的代數(shù)函數(shù)計(jì)算（M為有界整數(shù)），而每個(gè)參數(shù)值都可以有一個(gè)分布的聚集函數(shù)求得。比如：avg()，min_N()，standard_deviation()整體的(holistic)：描述函數(shù)的子聚集所需的存儲(chǔ)沒有一個(gè)常數(shù)界。比如：median()，mode()，rank()概念分層：locat

18、ion維的一個(gè)概念分層allEuropeNorth_AmericaMexicoCanadaSpainGermanyVancouverM. WindL. Chan.allregionofficecountryTorontoFrankfurtcity多維數(shù)據(jù)模型上的OLAP操作上卷(roll-up):匯總數(shù)據(jù)通過一個(gè)維的概念分層向上攀升或者通過維規(guī)約下鉆(drill-down)：上卷的逆操作由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)，可以通過沿維的概念分層向下或引入新的維來實(shí)現(xiàn)切片和切塊(slice and dice)投影和選擇操作轉(zhuǎn)軸(pivot)立方體的重定位，可視化，或?qū)⒁粋€(gè)3維立方體轉(zhuǎn)化維一個(gè)2維平面

19、序列其他OLAP操作鉆過(drill_across)：執(zhí)行涉及多個(gè)事實(shí)表的查詢鉆透(drill_through)：使用關(guān)系SQL機(jī)制，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表數(shù)據(jù)倉庫設(shè)計(jì)：一個(gè)商務(wù)分析框架數(shù)據(jù)倉庫設(shè)計(jì)中必須考慮的四種視圖自頂向下視圖允許我們選擇數(shù)據(jù)倉庫所需的相關(guān)信息，這些信息能夠滿足當(dāng)前和未來商務(wù)的需求。數(shù)據(jù)源視圖揭示被操作數(shù)據(jù)庫系統(tǒng)所捕獲、存儲(chǔ)和管理的信息數(shù)據(jù)倉庫視圖有事實(shí)表和維表所組成，提供存放在數(shù)據(jù)倉庫內(nèi)部的信息，包括預(yù)先計(jì)算的綜合與技術(shù)，以及關(guān)于源、日期和源時(shí)間等信息商務(wù)查詢視圖從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù)數(shù)據(jù)倉庫的設(shè)計(jì)過程（P43）自頂向下法、自底向上法或者兩者的混

20、合方法自頂向下法：由總體設(shè)計(jì)和規(guī)劃開始（成熟）自底向上法：以實(shí)驗(yàn)和原型開始（快速）從軟件過程的觀點(diǎn)瀑布式方法：在進(jìn)行下一步前，每一步都進(jìn)行結(jié)構(gòu)化和系統(tǒng)的分析螺旋式方法：功能漸增的系統(tǒng)的快速產(chǎn)生，相繼版本之間間隔很短典型的數(shù)據(jù)倉庫設(shè)計(jì)過程選取待建模的商務(wù)過程選取商務(wù)過程的粒度選取用于每個(gè)事實(shí)表記錄的維選取將安放在事實(shí)表中的度量三層數(shù)據(jù)倉庫架構(gòu)DataWarehouseExtractTransformLoadRefreshOLAP服務(wù)器AnalysisQueryReportsData miningMonitor&IntegratorMetadata數(shù)據(jù)源前端工具ServeData MartsOpe

21、rational DBsothersources數(shù)據(jù)倉庫服務(wù)器OLAP Server三種數(shù)據(jù)倉庫模型（從結(jié)構(gòu)的角度）企業(yè)倉庫搜集關(guān)于跨越整個(gè)組織的主題的所有信息，來自一個(gè)或多個(gè)操作的系統(tǒng)，跨功能的。數(shù)據(jù)集市企業(yè)范圍數(shù)據(jù)的一個(gè)子集，對(duì)于特定的客戶是有用的。其范圍限于選定的主題，比如一個(gè)商場的數(shù)據(jù)集市獨(dú)立的數(shù)據(jù)集市 VS. 非獨(dú)立的數(shù)據(jù)集市（數(shù)據(jù)來自于企業(yè)數(shù)據(jù)倉庫）虛擬倉庫操作數(shù)據(jù)庫上的一系列視圖只有一些可能的匯總視圖被物化數(shù)據(jù)倉庫開發(fā)自頂向下開發(fā)：一種系統(tǒng)的而解決方法，并能最大限度地減少集成問題。但費(fèi)用高，長時(shí)間開發(fā)，缺乏靈活性，因?yàn)檎麄€(gè)組織的共同數(shù)據(jù)模型達(dá)到一致是困難的。自底向上: 設(shè)計(jì)、開發(fā)

22、、部署獨(dú)立的數(shù)據(jù)集市方法提供了靈活性、低花費(fèi)，并能快速回報(bào)投資。然后，將分散的數(shù)據(jù)集市集成，形成一個(gè)一致的企業(yè)數(shù)據(jù)倉庫時(shí)，可能導(dǎo)致問題。數(shù)據(jù)倉庫開發(fā)一個(gè)推薦的方法定義高層數(shù)據(jù)模型數(shù)據(jù)集市數(shù)據(jù)集市分布式數(shù)據(jù)集市多層數(shù)據(jù)倉庫企業(yè)數(shù)據(jù)倉庫模型提煉模型提煉OLAP服務(wù)器類型關(guān)系OLAP服務(wù)器(ROLAP)使用關(guān)系數(shù)據(jù)庫或擴(kuò)展的關(guān)系數(shù)據(jù)庫存放并管理數(shù)據(jù)倉庫的數(shù)據(jù)，而用OLAP中間件支持其余部分包括每個(gè)DBMS后端優(yōu)化，聚集導(dǎo)航邏輯的實(shí)現(xiàn)，附加的工具和服務(wù)較大的可擴(kuò)展性多維OLAP服務(wù)器(MOLAP)基于數(shù)組的多維存儲(chǔ)引擎（稀疏矩陣技術(shù)）能對(duì)預(yù)計(jì)算的匯總數(shù)據(jù)快速索引混合OLAP服務(wù)器(HOLAP)結(jié)合上述

23、兩種技術(shù)，更大的使用靈活性特殊的SQL服務(wù)器在星型和雪花模型上支持SQL查詢數(shù)據(jù)倉庫的實(shí)現(xiàn)難點(diǎn)海量數(shù)據(jù)快速反應(yīng)OLAP服務(wù)器要在幾秒內(nèi)響應(yīng)決策支持查詢方法高效的數(shù)據(jù)立方體計(jì)算技術(shù)高效的存取方法高效的查詢處理技術(shù)數(shù)據(jù)立方體的有效計(jì)算數(shù)據(jù)立方體可以被看成是一個(gè)方體的格最底層的方體是基本方體最頂端的方體（頂點(diǎn)）只包含一個(gè)單元的值一個(gè)n維的數(shù)據(jù)立方體，每維Li層，可能產(chǎn)生的方體總數(shù)是多少？數(shù)據(jù)立方體的物化（materialization)預(yù)先計(jì)算所有方體（全物化）:需要海量存儲(chǔ)空間，存放預(yù)先計(jì)算的方體不預(yù)先計(jì)算任何“非基本”方體（不物化），在運(yùn)行時(shí)計(jì)算昂貴的多維聚集，可能很慢有選擇的計(jì)算一個(gè)所有方體的

24、適當(dāng)子集（部分物化）：相應(yīng)時(shí)間和存儲(chǔ)空間的折中。確定物化哪些方體考慮工作負(fù)荷下的查詢、它們的頻率和它們的開銷等等方體的操作DMQL中的方體定義和計(jì)算define cube salesitem, city, year: sum(sales_in_dollars)compute cube sales上述的compute cube子句可以轉(zhuǎn)化為一個(gè)類似于SQL的語句SELECT item, city, year, SUM (amount)FROM SALESCUBE BY item, city, year需要計(jì)算以下的group by子句(item, city, year)(item, city),

25、 (item year), (city, year)(item), (city), (year)()(item)(city)()(year)(city, item)(city, year)(item, year)(city, item, year)方體計(jì)算：關(guān)系型OLAP的方法（ROLAP）方體計(jì)算的有效方法基于ROLAP的方體算法(Agarwal et al96)基于數(shù)組的算法(MOLAP)(Zhao et al97)自底向上的計(jì)算方法(Beyer & Ramarkrishnan99)H-cubing技術(shù) (Han, Pei, Dong & Wang:SIGMOD01)基于ROLAP的方法將

26、排序、散列(hashing)和分組操作應(yīng)用于維的屬性，以便對(duì)相關(guān)元組重新排序和聚類在某些子聚集上分組，作為“部分分組步驟”?？梢杂梢郧坝?jì)算的聚集計(jì)算新的聚集，而不必有基本事實(shí)表計(jì)算方體計(jì)算的多路數(shù)組聚集方法(1)將數(shù)組分成塊（chunk,一個(gè)可以裝入內(nèi)存的小子方）壓縮的稀疏數(shù)組尋址：(chunk_id, offset)通過訪問立方體單元，計(jì)算聚集?？梢詢?yōu)化訪問單元組的次序，使得每個(gè)單元被訪問的次數(shù)最小化，從而減少內(nèi)存訪問和磁盤I/O的開銷。A(month)B29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C(item

27、)B(city)442856402452362060哪個(gè)是多路數(shù)組聚集的最佳遍歷次序？方體計(jì)算的多路數(shù)組聚集方法(2)A(month)40B29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C(item)4000442856402452362060B(city)400方體計(jì)算的多路數(shù)組聚集方法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c 0b3b2b1b0a2a3C442856402452362060B方體計(jì)算的多路數(shù)組聚集方法(4)方法：各平面要按他們大

28、小的升序排列進(jìn)行排序和計(jì)算詳見書P50 例2.12思想：將最小的平面放在內(nèi)存中，對(duì)最大的平面每次只是取并計(jì)算一塊這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想(要計(jì)算的立方體隨維數(shù)指數(shù)增長)如果維的數(shù)目比較多，可以考慮使用“自底向上的計(jì)算”或者時(shí)“冰山方體” 計(jì)算元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對(duì)象的數(shù)據(jù)。關(guān)于數(shù)據(jù)的數(shù)據(jù)。有以下幾種：數(shù)據(jù)倉庫結(jié)構(gòu)的描述倉庫模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容操作元數(shù)據(jù)包括數(shù)據(jù)血統(tǒng)(data lineage)、數(shù)據(jù)類別(currency of data)，以及監(jiān)視信息匯總用的算法：包括度量和維定義算法，數(shù)據(jù)粒

29、度、分割、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢和報(bào)告由操作環(huán)境到數(shù)據(jù)倉庫的映射：數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則、剪裁規(guī)則、安全等關(guān)于系統(tǒng)性能的數(shù)據(jù)索引，profiles，數(shù)據(jù)刷新、更新或復(fù)制事件的調(diào)度和定時(shí)商務(wù)元數(shù)據(jù)商務(wù)術(shù)語和定義、數(shù)據(jù)擁有者信息、收費(fèi)政策等元數(shù)據(jù)的使用元數(shù)據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉庫中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個(gè)模型的結(jié)構(gòu)方面的信息。在數(shù)據(jù)倉庫中，元數(shù)據(jù)的主要用途包括：用作目錄，幫助決策支持系統(tǒng)分析者對(duì)數(shù)據(jù)倉庫的內(nèi)容定義作為數(shù)據(jù)倉庫和操作性數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換時(shí)的映射標(biāo)準(zhǔn)用于指導(dǎo)當(dāng)前細(xì)節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導(dǎo)稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。

30、數(shù)據(jù)倉庫后端工具和使用程序用于加載和刷新它的數(shù)據(jù)數(shù)據(jù)提?。簭亩鄠€(gè)外部的異構(gòu)數(shù)據(jù)源收集數(shù)據(jù)數(shù)據(jù)清理檢測數(shù)據(jù)種的錯(cuò)誤并作可能的訂正數(shù)據(jù)變換將數(shù)據(jù)由歷史或主機(jī)的格式轉(zhuǎn)化為數(shù)據(jù)倉庫的格式裝載排序、匯總、合并、計(jì)算視圖，檢查完整性，并建立索引和分區(qū)刷新將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉庫中數(shù)據(jù)倉庫的應(yīng)用數(shù)據(jù)倉庫的三種應(yīng)用信息處理支持查詢和基本的統(tǒng)計(jì)分析，并使用交叉表、表、圖標(biāo)和圖進(jìn)行報(bào)表處理分析處理對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)分析支持基本的OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等數(shù)據(jù)挖掘從隱藏模式中發(fā)現(xiàn)知識(shí)支持關(guān)聯(lián)分析，構(gòu)建分析性模型，分類和預(yù)測，并用可視化工具呈現(xiàn)挖掘的結(jié)果三種應(yīng)用間的差別（P62）從聯(lián)

31、機(jī)分析處理到聯(lián)機(jī)分析挖掘?yàn)槭裁匆?lián)機(jī)分析挖掘（P63）數(shù)據(jù)倉庫中有高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫中存放著整合的、一致的、清理過的數(shù)據(jù)圍繞數(shù)據(jù)倉庫的信息處理結(jié)構(gòu)存取、集成、合并多個(gè)異種數(shù)據(jù)庫的轉(zhuǎn)換，ODBC/OLEDB連接,Web訪問和訪問工具等基于OLAP的探測式數(shù)據(jù)分析使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)挖掘功能的聯(lián)機(jī)選擇多種數(shù)據(jù)挖掘功能、算法和任務(wù)的整合聯(lián)機(jī)分析挖掘的體系結(jié)構(gòu)數(shù)據(jù)倉庫元數(shù)據(jù)多維數(shù)據(jù)庫OLAM引擎OLAP引擎用戶圖形界面 API數(shù)據(jù)方體 API數(shù)據(jù)庫 API數(shù)據(jù)清理數(shù)據(jù)集成Layer3OLAP/OLAMLayer2多維數(shù)據(jù)庫Layer1數(shù)據(jù)存儲(chǔ)Layer4用戶界面數(shù)據(jù)的過濾

32、、集成過濾數(shù)據(jù)庫基于約束的數(shù)據(jù)挖掘挖掘結(jié)果數(shù)據(jù)預(yù)處理主要內(nèi)容為什么要預(yù)處理數(shù)據(jù)？數(shù)據(jù)清理數(shù)據(jù)集成和變換數(shù)據(jù)歸約為什么要預(yù)處理數(shù)據(jù)？現(xiàn)實(shí)世界的數(shù)據(jù)是“骯臟的”不完整的：有些感興趣的屬性缺少屬性值，或僅包含聚集數(shù)據(jù)含噪聲的：包含錯(cuò)誤或者“孤立點(diǎn)”不一致的：在編碼或者命名上存在差異沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須依賴高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉庫需要對(duì)高質(zhì)量的數(shù)據(jù)進(jìn)行一致地集成數(shù)據(jù)質(zhì)量的多維度量一個(gè)廣為認(rèn)可的多維度量觀點(diǎn)：精確度完整度一致性合乎時(shí)機(jī)可信度附加價(jià)值可訪問性跟數(shù)據(jù)本身的含義相關(guān)的內(nèi)在的、上下文的、表象的數(shù)據(jù)預(yù)處理的主要任務(wù)數(shù)據(jù)清理填寫空缺的值，平滑噪聲數(shù)據(jù)，識(shí)別、刪除孤立點(diǎn)

33、，解決不一致性數(shù)據(jù)集成集成多個(gè)數(shù)據(jù)庫、數(shù)據(jù)立方體或文件數(shù)據(jù)變換規(guī)范化和聚集數(shù)據(jù)歸約得到數(shù)據(jù)集的壓縮表示，它小得多，但可以得到相同或相近的結(jié)果數(shù)據(jù)離散化數(shù)據(jù)歸約的一部分，通過概念分層和數(shù)據(jù)的離散化來規(guī)約數(shù)據(jù)，對(duì)數(shù)字型數(shù)據(jù)特別重要數(shù)據(jù)預(yù)處理的形式空缺值數(shù)據(jù)并不總是完整的例如：數(shù)據(jù)庫表中，很多條記錄的對(duì)應(yīng)字段沒有相應(yīng)值，比如銷售表中的顧客收入引起空缺值的原因設(shè)備異常與其他已有數(shù)據(jù)不一致而被刪除因?yàn)檎`解而沒有被輸入的數(shù)據(jù)在輸入時(shí)，有些數(shù)據(jù)應(yīng)為得不到重視而沒有被輸入對(duì)數(shù)據(jù)的改變沒有進(jìn)行日志記載空缺值要經(jīng)過推斷而補(bǔ)上如何處理空缺值忽略元組：當(dāng)類標(biāo)號(hào)缺少時(shí)通常這么做（假定挖掘任務(wù)設(shè)計(jì)分類或描述），當(dāng)每個(gè)屬性

34、缺少值的百分比變化很大時(shí)，它的效果非常差。人工填寫空缺值：工作量大，可行性低使用一個(gè)全局變量填充空缺值：比如使用unknown或-使用屬性的平均值填充空缺值使用與給定元組屬同一類的所有樣本的平均值使用最可能的值填充空缺值：使用像Bayesian公式或判定樹這樣的基于推斷的方法噪聲數(shù)據(jù)噪聲：一個(gè)測量變量中的隨機(jī)錯(cuò)誤或偏差引起不正確屬性值的原因數(shù)據(jù)收集工具的問題數(shù)據(jù)輸入錯(cuò)誤數(shù)據(jù)傳輸錯(cuò)誤技術(shù)限制命名規(guī)則的不一致其它需要數(shù)據(jù)清理的數(shù)據(jù)問題重復(fù)記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)如何處理噪聲數(shù)據(jù) 分箱(binning):首先排序數(shù)據(jù)，并將他們分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的邊界平滑等

35、等聚類：監(jiān)測并且去除孤立點(diǎn)計(jì)算機(jī)和人工檢查結(jié)合計(jì)算機(jī)檢測可疑數(shù)據(jù)，然后對(duì)它們進(jìn)行人工判斷回歸通過讓數(shù)據(jù)適應(yīng)回歸函數(shù)來平滑數(shù)據(jù)數(shù)據(jù)平滑的分箱方法price的排序后數(shù)據(jù)（單位：美元）：4，8，15，21，21，24，25，28，34劃分為（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱邊界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，34聚類回歸xyy = x + 1X1Y1Y1數(shù)據(jù)集成數(shù)據(jù)集成：將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)整合到一個(gè)一致的存儲(chǔ)中模式集成：整合不同數(shù)據(jù)源中的元數(shù)據(jù)實(shí)

36、體識(shí)別問題：匹配來自不同數(shù)據(jù)源的現(xiàn)實(shí)世界的實(shí)體，比如：A.cust-id=B.customer_no檢測并解決數(shù)據(jù)值的沖突對(duì)現(xiàn)實(shí)世界中的同一實(shí)體，來自不同數(shù)據(jù)源的屬性值可能是不同的可能的原因：不同的數(shù)據(jù)表示，不同的度量等等處理數(shù)據(jù)集成中的冗余數(shù)據(jù)集成多個(gè)數(shù)據(jù)庫時(shí)，經(jīng)常會(huì)出現(xiàn)冗余數(shù)據(jù)同一屬性在不同的數(shù)據(jù)庫中會(huì)有不同的字段名一個(gè)屬性可以由另外一個(gè)表導(dǎo)出，如“年薪”有些冗余可以被相關(guān)分析檢測到仔細(xì)將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)集成起來，能夠減少或避免結(jié)果數(shù)據(jù)中的冗余與不一致性，從而可以提高挖掘的速度和質(zhì)量。數(shù)據(jù)變換平滑：去除數(shù)據(jù)中的噪聲聚集：匯總，數(shù)據(jù)立方體的構(gòu)建數(shù)據(jù)概化：沿概念分層向上匯總規(guī)范化：將數(shù)據(jù)按比

37、例縮放，使之落入一個(gè)小的特定區(qū)間最小最大規(guī)范化z-score規(guī)范化小數(shù)定標(biāo)規(guī)范化屬性構(gòu)造通過現(xiàn)有屬性構(gòu)造新的屬性，并添加到屬性集中。數(shù)據(jù)變換規(guī)范化最小最大規(guī)范化z-score規(guī)范化小數(shù)定標(biāo)規(guī)范化其中，j是使 Max(| |)1的最小整數(shù)數(shù)據(jù)歸約策略數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù)，在其上進(jìn)行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長的時(shí)間數(shù)據(jù)歸約數(shù)據(jù)歸約可以用來得到數(shù)據(jù)集的歸約表示，它小得多，但可以產(chǎn)生相同的（或幾乎相同的）分析結(jié)果數(shù)據(jù)歸約策略數(shù)據(jù)立方體聚集維歸約數(shù)據(jù)壓縮數(shù)值歸約離散化和概念分層產(chǎn)生用于數(shù)據(jù)歸約的時(shí)間不應(yīng)當(dāng)超過或“抵消”在歸約后的數(shù)據(jù)上挖掘節(jié)省的時(shí)間。數(shù)據(jù)立方體聚集最底層的方體對(duì)應(yīng)于基本方體基本方

38、體對(duì)應(yīng)于感興趣的實(shí)體在數(shù)據(jù)立方體中存在著不同級(jí)別的匯總數(shù)據(jù)立方體可以看成方體的格每個(gè)較高層次的抽象將進(jìn)一步減少結(jié)果數(shù)據(jù)數(shù)據(jù)立方體提供了對(duì)預(yù)計(jì)算的匯總數(shù)據(jù)的快速訪問使用與給定任務(wù)相關(guān)的最小方體在可能的情況下，對(duì)于匯總數(shù)據(jù)的查詢應(yīng)當(dāng)使用數(shù)據(jù)立方體維歸約通過刪除不相干的屬性或維減少數(shù)據(jù)量屬性子集選擇找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布減少出現(xiàn)在發(fā)現(xiàn)模式上的屬性的數(shù)目，使得模式更易于理解啟發(fā)式的（探索性的）方法逐步向前選擇逐步向后刪除向前選擇和向后刪除相結(jié)合判定歸納樹探索性選擇方法d個(gè)屬性有2d個(gè)可能的子集逐步向前選擇由空屬性集開始，選擇原屬性集中最好的屬性，并將其添加

39、入該集合，重復(fù)該步驟。逐步向后刪除由整個(gè)屬性集開始，每一步都刪除掉尚在屬性集中的最壞屬性向前選擇和向后刪除相結(jié)合每一步選擇一個(gè)最好屬性，并刪除一個(gè)最壞屬性可以使用一個(gè)臨界值來判定上述三種方法的結(jié)束條件判定歸納樹數(shù)據(jù)壓縮有損壓縮 VS. 無損壓縮字符串壓縮有廣泛的理論基礎(chǔ)和精妙的算法通常是無損壓縮在解壓縮前對(duì)字符串的操作非常有限音頻/視頻壓縮通常是有損壓縮，壓縮精度可以遞進(jìn)選擇有時(shí)可以在不解壓整體數(shù)據(jù)的情況下，重構(gòu)某個(gè)片斷兩種有損數(shù)據(jù)壓縮的方法：小波變換和主要成分分析數(shù)值歸約通過選擇替代的、較小的數(shù)據(jù)表示形式來減少數(shù)據(jù)量有參方法：使用一個(gè)參數(shù)模型估計(jì)數(shù)據(jù)，最后只要存儲(chǔ)參數(shù)即可。線性回歸方法：Y=

40、+X多元回歸：線性回歸的擴(kuò)充對(duì)數(shù)線性模型：近似離散的多維數(shù)據(jù)概率分布無參方法：直方圖聚類選樣直方圖一種流行的數(shù)據(jù)歸約技術(shù)將某屬性的數(shù)據(jù)劃分為不相交的子集，或桶，桶中放置該值的出現(xiàn)頻率桶和屬性值的劃分規(guī)則等寬等深V-最優(yōu)MaxDiff聚類將數(shù)據(jù)集劃分為聚類，然后通過聚類來表示數(shù)據(jù)集如果數(shù)據(jù)可以組成各種不同的聚類，則該技術(shù)非常有效，反之如果數(shù)據(jù)界線模糊，則方法無效數(shù)據(jù)可以分層聚類，并被存儲(chǔ)在多層索引樹中聚類的定義和算法都有很多選擇選樣允許用數(shù)據(jù)的較小隨機(jī)樣本（子集）表示大的數(shù)據(jù)集對(duì)數(shù)據(jù)集D的樣本選擇：簡單隨機(jī)選擇n個(gè)樣本，不回放：由D的N個(gè)元組中抽取n個(gè)樣本簡單隨機(jī)選擇n個(gè)樣本，回放：過程同上，只是元組被抽取后，將被回放，可能再次被抽取聚類選