數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘講課筆記02

1、第二周：2012/9/4第三講：數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)模型數(shù)據(jù)倉(cāng)庫(kù)多維數(shù)據(jù)模型（Multi-Dimensional Data Model）是為了滿(mǎn)足用戶(hù)從多角度多層次進(jìn)行數(shù)據(jù)查詢(xún)和分析的需要而建立起來(lái)的基于事實(shí)和維的數(shù)據(jù)庫(kù)模型，其基本的應(yīng)用是為了實(shí)現(xiàn)OLAP（Online Analytical Processing）。1.度量值（Measure）度量值是決策者所關(guān)心的具有實(shí)際意義的數(shù)值。例如，銷(xiāo)售量、庫(kù)存量、銀行貸款金額等。度量值是所分析的多維數(shù)據(jù)集的核心，它是最終用戶(hù)瀏覽多維數(shù)據(jù)集時(shí)重點(diǎn)查看的數(shù)值數(shù)據(jù)。2. 事實(shí)數(shù)據(jù)表（Fact Table）度量值所在的表稱(chēng)為事實(shí)數(shù)據(jù)表，事實(shí)數(shù)據(jù)表中存放的事實(shí)數(shù)

2、據(jù)通常包含大量的數(shù)據(jù)行。事實(shí)數(shù)據(jù)表的主要特點(diǎn)是包含數(shù)值數(shù)據(jù)（事實(shí)），而這些數(shù)值數(shù)據(jù)可以統(tǒng)計(jì)匯總以提供有關(guān)單位運(yùn)作歷史的信息。3.維度成員（Dimension Member）維的一個(gè)取值稱(chēng)為該維的一個(gè)維度成員（簡(jiǎn)稱(chēng)維成員）。如果一個(gè)維是多級(jí)別的，那么該維的維度成員是在不同維級(jí)別的取值的組合。例如，考慮時(shí)間維具有日、月、年這3個(gè)級(jí)別，分別在日、月、年上各取一個(gè)值組合起來(lái)，就得到了時(shí)間維的一個(gè)維成員，即“某年某月某日”。 4. 維度表（Dimension Table）包含維度信息的表是維度表，維度表包含描述事實(shí)數(shù)據(jù)表中的事實(shí)記錄的特性。 維度表和事實(shí)表相互獨(dú)立，又互相關(guān)聯(lián)并構(gòu)成一個(gè)統(tǒng)一的模式。構(gòu)建多

3、維數(shù)據(jù)集時(shí)常用的架構(gòu)：1. 星型模式星型模式是一種多維的數(shù)據(jù)關(guān)系,它由一個(gè)事實(shí)表(Fact Table)和一組維表(Dimens ion Table)組成。每個(gè)維表都有一個(gè)維作為主鍵，所有這些維的主鍵組合成事實(shí)表的主鍵。事實(shí)表的非主鍵屬性稱(chēng)為事實(shí) (Fact),它們一般都是數(shù)值或其他可以進(jìn)行計(jì)算的數(shù)據(jù); 而維表大都是文字、時(shí)間等類(lèi)型的數(shù)據(jù)，按這種方式組織好數(shù)據(jù)我們就可以按照不同的維(事實(shí)表的主鍵的部分或全部)來(lái)對(duì)這些事實(shí)數(shù)據(jù)進(jìn)行求和(summary)、求平均(average)、計(jì)數(shù)(count)、百分比(percent)的聚集計(jì)算，甚至可以做20-80 分析。這樣就可以從不同的角度數(shù)字來(lái)分析業(yè)

4、務(wù)主題的情況一個(gè)典型的銀行貸款分析的模型設(shè)計(jì)，其中加邊框的為主關(guān)鍵字(PK, PrimaryKey)，其中貸款分析表是一個(gè)事實(shí)表，其中的貸款授信金額，貸款余額是需要從各角度觀(guān)察的數(shù)據(jù)(事實(shí))，而觀(guān)察的角度是有區(qū)域、銀行、時(shí)間，質(zhì)量這四個(gè)方面組合進(jìn)行，這些分析角度的有機(jī)組合，可以對(duì)授信金額和貸款余額進(jìn)行4 8 4 8 種組合的數(shù)據(jù)統(tǒng)計(jì)分析，以此實(shí)現(xiàn)對(duì)貸款情況的多角度(維)多層次(數(shù)據(jù)不同的匯總程度)的分析，貸款分析人員既可以宏觀(guān)地看到貸款業(yè)務(wù)的整體情況，又可以微觀(guān)地觀(guān)察到具體一家銀行一天一類(lèi)貸款的細(xì)節(jié)信息。多維分析的時(shí)候，維度選擇越多數(shù)據(jù)越細(xì)節(jié)(劃分得更細(xì)了)，維度選擇越少數(shù)據(jù)越匯總越宏觀(guān)。2.

5、 事實(shí)星座模式（Fact Constellation）：多個(gè)事實(shí)表共享維表，可看作星型模式集。3. 雪花模式（Snowflake Schema）：是星型模式的變種，其中某些維表將數(shù)據(jù)進(jìn)一步分解到附加的維表中，以便減少冗余，但對(duì)系統(tǒng)的性能有一定的影響；第四講：聯(lián)機(jī)分析處理60年代，關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲(chǔ))。1993 年，E.F.Codd提出了OLAP概念，認(rèn)為OLTP已不能滿(mǎn)足終端用戶(hù)對(duì)數(shù)據(jù)庫(kù)查詢(xún)分析的需要，SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢(xún)也不能滿(mǎn)足終端用戶(hù)分析的要求。用戶(hù)的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行

6、大量計(jì)算才能得到結(jié)果，而查詢(xún)的結(jié)果并不能滿(mǎn)足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。1. 聯(lián)機(jī)事務(wù)處理(Online Translation Processing)通常在數(shù)據(jù)庫(kù)系統(tǒng)中，事務(wù)是工作的離散單位。例如，一個(gè)數(shù)據(jù)庫(kù)事務(wù)可以是修改一個(gè)用戶(hù)的帳戶(hù)平衡或庫(kù)存項(xiàng)的寫(xiě)操作。聯(lián)機(jī)事務(wù)處理系統(tǒng)(OLTP)實(shí)時(shí)地采集處理與事務(wù)相連的數(shù)據(jù)以及共享數(shù)據(jù)庫(kù)和其它文件的地位的變化。在聯(lián)機(jī)事務(wù)處理中，事務(wù)是被立即執(zhí)行的。上世紀(jì)60年代，由不斷發(fā)展。2. 聯(lián)機(jī)分析處理(On Line Analytical Proccessing，簡(jiǎn)稱(chēng)OLAP) 最早由關(guān)系數(shù)據(jù)庫(kù)之父E

7、.F.Codd于1993年提出。OLAP應(yīng)用是目前數(shù)據(jù)倉(cāng)庫(kù)上的重要應(yīng)用之一，是決策分析的關(guān)鍵。作為數(shù)據(jù)倉(cāng)庫(kù)最重要的多維分析工具，OLAP利用存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)完成各種分析操作，并以直觀(guān)易懂的形式將分析結(jié)果返回給決策人員。它的目標(biāo)是滿(mǎn)足決策支持或多維環(huán)境特定的查詢(xún)和報(bào)表需求，技術(shù)核心是多維分析。多維分析可以對(duì)以多維形式組織起來(lái)的數(shù)據(jù)進(jìn)行上卷、下鉆、切片、切塊、旋轉(zhuǎn)等各種分析操作，以便剖析數(shù)據(jù)，使分析者、決策者能從多個(gè)角度、多個(gè)側(cè)面觀(guān)察數(shù)據(jù)庫(kù)中的數(shù)據(jù)，從而深入了解包含在數(shù)據(jù)中的信息和內(nèi)涵。 3. 鉆取（Drill-down）在維的不同層次間的變化，從上層降到下一層，或者說(shuō)是將匯總數(shù)據(jù)拆分到更細(xì)

8、節(jié)的數(shù)據(jù)，比如通過(guò)對(duì)2010年第二季度的總銷(xiāo)售數(shù)據(jù)進(jìn)行鉆取來(lái)查看2010年第二季度4、5、6每個(gè)月的消費(fèi)數(shù)據(jù)，如上圖；當(dāng)然也可以鉆取浙江省來(lái)查看杭州市、寧波市、溫州市這些城市的銷(xiāo)售數(shù)據(jù)。4. 上卷（Roll-up）鉆取的逆操作，即從細(xì)粒度數(shù)據(jù)向高層的聚合，如將江蘇省、上海市和浙江省的銷(xiāo)售數(shù)據(jù)進(jìn)行匯總來(lái)查看江浙滬地區(qū)的銷(xiāo)售數(shù)據(jù)，如上圖。5. 切片（Slice）選擇維中特定的值進(jìn)行分析，比如只選擇電子產(chǎn)品的銷(xiāo)售數(shù)據(jù)，或者2010年第二季度的數(shù)據(jù)。6. 切塊（Dice）選擇維中特定區(qū)間的數(shù)據(jù)或者某批特定值進(jìn)行分析，比如選擇2010年第一季度到2010年第二季度的銷(xiāo)售數(shù)據(jù)，或者是電子產(chǎn)品和日用品的銷(xiāo)售

9、數(shù)據(jù)。7. 旋轉(zhuǎn)（Pivot）即維的位置的互換，就像是二維表的行列轉(zhuǎn)換，如圖中通過(guò)旋轉(zhuǎn)實(shí)現(xiàn)產(chǎn)品維和地域維的互換。8. 聯(lián)機(jī)事務(wù)處理（OLTP）和聯(lián)機(jī)分析處理（OLAP）的區(qū)別(1)用戶(hù)和系統(tǒng)的面向性: OLTP是面向顧客的,用于事務(wù)和查詢(xún)處理 OLAP是面向市場(chǎng)的,用于數(shù)據(jù)分析 (2)數(shù)據(jù)內(nèi)容: OLTP系統(tǒng)管理當(dāng)前數(shù)據(jù). OLAP系統(tǒng)管理大量歷史數(shù)據(jù),提供匯總和聚集機(jī)制. (3)數(shù)據(jù)庫(kù)設(shè)計(jì): OLTP采用實(shí)體-聯(lián)系ER模型和面向應(yīng)用的數(shù)據(jù)庫(kù)設(shè)計(jì). OLAP采用星型或雪花模型和面向主題的數(shù)據(jù)庫(kù)設(shè)計(jì). (4)視圖: OLTP主要關(guān)注一個(gè)企業(yè)或部門(mén)內(nèi)部的當(dāng)前數(shù)據(jù),不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù) OLAP則相反. (5)訪(fǎng)問(wèn)模式: OLTP系統(tǒng)的訪(fǎng)問(wèn)主要由短的原子事務(wù)組成.這種系統(tǒng)需要并行和恢復(fù)機(jī)制. OLAP系統(tǒng)的訪(fǎng)問(wèn)大部分是只讀操作 OLTPOLAP用戶(hù)操作人員，低層管理人員決策人員，高級(jí)管理人員功能日常操作處理分析決策DB 設(shè)計(jì)面向