數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)概述

第6章數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)6.1企業(yè)數(shù)據(jù)處理方式6.2文件組織6.3數(shù)據(jù)庫(kù)系統(tǒng)6.4數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能6.1企業(yè)數(shù)據(jù)處理方式以聯(lián)機(jī)事務(wù)處理形式處理信息以聯(lián)機(jī)分析處理形式處理信息，并利用信息進(jìn)行決策在信息應(yīng)用過程中管理信息圖6-1 聯(lián)機(jī)事務(wù)處理與聯(lián)機(jī)分析處理

數(shù)據(jù)項(xiàng),記錄,文件,數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)文件3文件2文件1記錄3記錄2記錄1數(shù)據(jù)項(xiàng)3數(shù)據(jù)項(xiàng)2數(shù)據(jù)項(xiàng)16.2文件組織6.2.1文件組織術(shù)語(yǔ)和概念字段記錄某個(gè)數(shù)據(jù)庫(kù)中的一份表文件，該文件存儲(chǔ)了選修《管理信息系統(tǒng)》課程的10級(jí)物流專業(yè)的同學(xué)名單。每列是一個(gè)字段，每行為一個(gè)記錄。從數(shù)據(jù)庫(kù)原理的角度來看，表中反映了“學(xué)生”這一類實(shí)體集（EntitySet），表中的每一行是該類型中的一個(gè)具體的實(shí)體，每個(gè)實(shí)體都具有學(xué)號(hào)、姓名、專業(yè)名稱等屬性6.2.2數(shù)據(jù)的物理組織和邏輯組織圖6-2信息的物理組織與邏輯組織圖6-4邏輯數(shù)據(jù)元素之間的關(guān)系6.2.3文件的組織方式學(xué)生數(shù)據(jù)庫(kù)學(xué)生情況文件學(xué)生成績(jī)文件記錄數(shù)據(jù)項(xiàng)學(xué)生1┅┅學(xué)生n學(xué)號(hào)姓名性別┅┅學(xué)號(hào)姓名性別9608101張勇男┅┅9608138王英女記錄1記錄4記錄3記錄2記錄2圖6-5磁盤順序文件

1順序文件組織2索引文件記錄地址學(xué)號(hào)姓名數(shù)學(xué)物理Basic

主關(guān)鍵字(學(xué)號(hào))記錄地址A870701張╳687472

870701AB870705李╳958792

870705BC870707趙╳778384

870707CD870712周╳858188

870712DE870721陳╳626461

870721EF870724王╳828892

870724FG870736黃╳757477

870736G記錄地址學(xué)號(hào)姓名數(shù)學(xué)物理Basic

主關(guān)鍵字(學(xué)號(hào))記錄地址A870712周╳858188

870701DB870724王╳828892

870705GC870707趙╳778384

870707CD870701張╳687472

870712AE870736黃╳757477

870721FF870721陳╳626461

870724BG870705李╳958792

870736E(b) 非索引順序文件 索引(a) 索引順序文件 索引3鏈表文件記錄地址職工號(hào)姓名部門編號(hào)部門指南工作年限D(zhuǎn)T入口→A1111-DTC-NW入口→B1121-NWE-C1981-DTD-D2014-DTH-E2084-NWF-F2918-NW∧-EA入口→G3001-EAI-H3101-DTJ-I3241-EA∧-J3358-DT∧-NE入口→K3861-NEL-L3871-NE∧-部門代碼（輔關(guān)鍵字符）鏈表長(zhǎng)度（記錄個(gè)數(shù)）鏈頭指針（入口地址）部門代碼（輔關(guān)鍵字符）鏈表長(zhǎng)度（記錄個(gè)數(shù)）鏈頭指針（入口地址）DT5AEA2GNW3BNE2K4倒排文件輔關(guān)鍵字指針表輔關(guān)鍵字值指針

部門編號(hào)

DT11111981201431013358

NW112120842918

EA30013241

NE38613871

工作年限N

N≤51111201420842918

5＜N≤1031013861

15＜N≤2030013871

N＞201981

透支現(xiàn)額%

011112014208429183101386110011213001324133583871

2001981

InquiryCustomerTransactionProcessingSavingInstallDatabaseManagementSystemCheckCustomerDatabaseADatabaseManagementSystem(DBMS)isasetofcomputerprogramsthatcontrolsthecreation,maintenanceanduseoftheDatabaseofaorganizationandit’senduser.6.3.2數(shù)據(jù)庫(kù)管理系統(tǒng)圖6-8DBMS的主要功能

數(shù)據(jù)庫(kù)管理操作系統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)用程序數(shù)據(jù)庫(kù)數(shù)據(jù)詞典DatabaseManagementOperatingSystemDBMSApplicationPrograms*Datadevelopment*Datainterrogation*DatabaseMaintenance*ApplicationdevelopmentDatabaseDatadictionary*DataDevelopment

由DatabaseAdministrator(DBA)開發(fā)用DatadictionaryLanguage去開發(fā).ADatadictionaryisacomputer-basedcatalogordirectorycontainingmetadatathatisdataaboutdata.數(shù)據(jù)庫(kù)查詢Databaseinterrogationquerylanguage,reportgeneratorCorporatePayrollReportingSystemHighlightyourselectionandpressEnterMainMenu.EmployeeFileMaintenanceTaxReportPrinterSQL(StructuredQueryLanguage)SELECTNAME,SSNO,DEPARTMENT,SALARYFROMEMPLOYEE,PAYROLLWHEREEMPLOYEE.SSNO=PAYROLL.SSNOAND

CLASSIFICATION=“FINANCIALANALYST”*數(shù)據(jù)庫(kù)的維護(hù)在DBMS的支持下,用UTILITY等*應(yīng)用開發(fā)程序用DataManipulationLanguageDML

不必用通常程序設(shè)計(jì)語(yǔ)言，如COBOL圖6-9數(shù)據(jù)模型

6.3.3數(shù)據(jù)庫(kù)系統(tǒng)S1R2R4R3S6S7S9S8S5S4S3S2學(xué)號(hào)姓名年齡性別學(xué)生關(guān)系框架：學(xué)號(hào)姓名年齡性別課程關(guān)系框架：學(xué)號(hào)姓名年齡性別學(xué)習(xí)關(guān)系框架：（a）網(wǎng)絡(luò)模型（b）層次模型（c）關(guān)系模型圖6-10數(shù)據(jù)庫(kù)的三級(jí)體系結(jié)構(gòu)

用戶A1工作區(qū)用戶A2工作區(qū)用戶B工作區(qū)外模式A（子模式A）外模式B（子模式B）子模式/概念模式映射A子模式/概念模式映射B概念模型（模式）模式（內(nèi)模式映射）DBMSOS………..圖6-11三個(gè)不同的世界

客觀世界信息世界（概念世界）數(shù)據(jù)世界組織（事物及其聯(lián)系）實(shí)體及其聯(lián)系（概念模型）數(shù)據(jù)庫(kù)（數(shù)據(jù)模型）事物類（總體）實(shí)體集文件事物（對(duì)象、個(gè)體）實(shí)體記錄特征（性質(zhì)）屬性數(shù)據(jù)項(xiàng)表6-7三個(gè)不同世界術(shù)語(yǔ)對(duì)照表

客觀事物事物類：相關(guān)性質(zhì)集合人實(shí)體及聯(lián)系實(shí)體集合實(shí)體相關(guān)屬性集合數(shù)據(jù)庫(kù)文件記錄相關(guān)數(shù)據(jù)項(xiàng)集合存儲(chǔ)結(jié)構(gòu)二進(jìn)制數(shù)據(jù)集合加工轉(zhuǎn)換加工轉(zhuǎn)換E-R模型DBMS的數(shù)據(jù)模型DBMS的計(jì)算機(jī)世界現(xiàn)實(shí)世界認(rèn)識(shí)選擇描述信息世界6.3.4.2數(shù)據(jù)庫(kù)設(shè)計(jì)步驟對(duì)現(xiàn)實(shí)世界進(jìn)行需求分析了解組織機(jī)構(gòu)情況，為分析信息流做準(zhǔn)備；了解各部門業(yè)務(wù)情況，調(diào)查各部門輸入和使用的數(shù)據(jù)，及處理數(shù)據(jù)的方式與算法；確定數(shù)據(jù)庫(kù)的信息組成及計(jì)算機(jī)系統(tǒng)應(yīng)實(shí)現(xiàn)的功能。建立信息世界中E-R（概念）模型建立分E-R圖；綜合分E-R圖，產(chǎn)生總E-R圖。從E-R圖導(dǎo)出計(jì)算機(jī)世界的關(guān)系數(shù)據(jù)模型E-R圖中每個(gè)實(shí)體，都相應(yīng)地轉(zhuǎn)換為一個(gè)關(guān)系將聯(lián)系轉(zhuǎn)換成一個(gè)關(guān)系某學(xué)院“教學(xué)管理”數(shù)據(jù)庫(kù)模型設(shè)計(jì)“系和教師關(guān)系”的分E-R圖設(shè)計(jì)“學(xué)生和課程關(guān)系”的分E-R圖設(shè)計(jì)“教師與課程關(guān)系”的分E-R圖將上述三個(gè)分綜合，建立學(xué)院教學(xué)管理總E-R圖將學(xué)院“教學(xué)管理E-R圖”所描述的信息（概念）世界中的概念模型轉(zhuǎn)化為計(jì)算機(jī)上由關(guān)系型DBMS支持的關(guān)系數(shù)據(jù)模型。設(shè)計(jì)“系和教師關(guān)系”的分E-R圖該學(xué)院下設(shè)四個(gè)系：管理工程系、會(huì)計(jì)系、市場(chǎng)營(yíng)銷系和信息管理系。每個(gè)系有一個(gè)系主任主管該系工作。將“系”設(shè)為一個(gè)實(shí)體，該實(shí)體具有以下屬性：系代號(hào)、系名稱、系主任姓名、辦公地點(diǎn)、電話。其中系代號(hào)是主關(guān)鍵字該學(xué)院聘請(qǐng)了一定數(shù)量的專職教師。將“教師”設(shè)為一個(gè)實(shí)體，該實(shí)體具有以下屬性：教師編號(hào)、教師姓名、專業(yè)特長(zhǎng)。其中教師編號(hào)是主關(guān)鍵字。學(xué)院聘請(qǐng)教師后，分配到各系。一個(gè)系有多個(gè)教師；一個(gè)教師只能屬于一個(gè)系?！敖處煛睂?shí)體與“系”實(shí)體之間發(fā)生一對(duì)多（1：M）的“分配”聯(lián)系。教學(xué)管理總E-R圖

圖6-13 “教學(xué)管理”E-R圖28業(yè)務(wù)流程調(diào)查舉例——教學(xué)管理學(xué)籍處理1學(xué)生登記表學(xué)生學(xué)生檔案招生辦各院系教務(wù)處制定教學(xué)計(jì)劃2教師基本信息管理3教室管理4教學(xué)計(jì)劃教師信息教學(xué)計(jì)劃教師信息教室信息教師任課情況教學(xué)秘書人事處統(tǒng)計(jì)報(bào)表處理8制定教學(xué)計(jì)劃5成績(jī)管理7學(xué)生選課6學(xué)生成績(jī)學(xué)生檔案統(tǒng)計(jì)報(bào)表課表教務(wù)處學(xué)生教師各院系校領(lǐng)導(dǎo)上級(jí)主管各院系教務(wù)處教務(wù)處6.3.5數(shù)據(jù)庫(kù)技術(shù)的發(fā)展趨勢(shì)數(shù)據(jù)管理方式：集中式分布式數(shù)據(jù)模型：關(guān)系數(shù)據(jù)庫(kù)多媒體數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)

（a）(b)

圖6-14分布式數(shù)據(jù)庫(kù)的結(jié)構(gòu)形式

數(shù)據(jù)庫(kù)的分布左圖：集中式數(shù)據(jù)庫(kù)右圖：分布式數(shù)據(jù)庫(kù)6.4.1數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)之父W.H.Inmon：“數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的（SubjectOriented）、集成的（Integrated）、非易失的（Non-Volatile）、隨時(shí)間變化的（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策”。

圖6-15 數(shù)據(jù)倉(cāng)庫(kù)源于業(yè)務(wù)數(shù)據(jù)庫(kù)

6.4.2聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理(On-LineAnalyticalProcessing，OLAP)：主要是對(duì)大量多維數(shù)據(jù)的動(dòng)態(tài)綜合、分析和歸納。OLAP中的一個(gè)主要操作是“多維分析”，即通過對(duì)信息的多種可能的觀察形式進(jìn)行快速、穩(wěn)定、一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入分析。

圖6-16多維視圖示例

切片和切塊(SliceandDice)鉆取(Drill)旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot)從OLTP到OLAPOLAP和數(shù)據(jù)倉(cāng)庫(kù)OLAP應(yīng)用構(gòu)建于數(shù)據(jù)倉(cāng)庫(kù)而非數(shù)據(jù)庫(kù)之上，主要是由于以下三個(gè)技術(shù)方面的原因：計(jì)算機(jī)處理速度階躍式增長(zhǎng)，單位字節(jié)的存儲(chǔ)和處理成本大幅度降低，是保證數(shù)據(jù)倉(cāng)庫(kù)有效運(yùn)行的物理基礎(chǔ)；決策分析理論的完善和應(yīng)用使得數(shù)據(jù)倉(cāng)庫(kù)中的分析技術(shù)能夠有效實(shí)現(xiàn)，使得決策人員可以直接從系統(tǒng)中獲得需要的決策支持信息；數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，數(shù)據(jù)用于支持各種分析任務(wù)，并生成多角度，多層次和不同粒度上的分析結(jié)果.OLAP中的基本概念⑴變量:從現(xiàn)實(shí)系統(tǒng)中抽象出來，用于描述數(shù)據(jù)的實(shí)際含義。維:人們觀察數(shù)據(jù)的特定角度維的層次類別:構(gòu)成一個(gè)維的獨(dú)立的數(shù)據(jù)元素，是存在于層里每一個(gè)數(shù)據(jù)。維、層和類別的關(guān)系示意圖OLAP中的基本概念⑵維的取值：也稱為維的成員度量：企業(yè)收集和存儲(chǔ)的用于評(píng)價(jià)業(yè)務(wù)狀況的數(shù)值性數(shù)據(jù)，以監(jiān)測(cè)和評(píng)估企業(yè)成效。多維數(shù)組數(shù)據(jù)單元（單元格）多維數(shù)組的取值稱為數(shù)據(jù)單元多維數(shù)據(jù)立方體OLAP的基本操作－切片（Slice）在多維數(shù)組的某一維上選定其維成員的動(dòng)作稱為切片在多維數(shù)組（維1，維2，…維n，度量）中選中某一維，如維i，并取其某一維成員（設(shè)為維成員Vi），所得的多維數(shù)組的子集（維1，維2，…維成員Vi，…維n，度量）稱為在維i上的一個(gè)切片。OLAP的基本操作－切塊（Dice）數(shù)據(jù)切塊就是將完整的數(shù)據(jù)立方體切取一部分?jǐn)?shù)據(jù)而得到的新的數(shù)據(jù)立方體。選取多維數(shù)組（維1，維2，…，維n，度量）中若干維度（通常是3個(gè)維度便于圖形顯示）的取值范圍，從而形成了多維數(shù)據(jù)的子集（維1，維2，…，Ai<維i<Bi，…，Bj<維j<Bj，…，維度n，度量），這個(gè)多維數(shù)據(jù)子集被稱為切塊。OLAP的基本操作－

下鉆/上卷（DrillDown/RollUp）數(shù)據(jù)下鉆（向下鉆?。┦菑妮^高的維度層次下降到較低的層次上來觀察多維數(shù)據(jù)數(shù)據(jù)上卷是下鉆的逆向操作，是對(duì)數(shù)據(jù)進(jìn)行高層次聚合的操作。OLAP的基本操作－旋轉(zhuǎn)（Rotate）數(shù)據(jù)旋轉(zhuǎn)是改變維度的位置關(guān)系，使最終用戶可以從其他視角來觀察多維數(shù)據(jù)。不同維度間的旋轉(zhuǎn)維層次間的旋轉(zhuǎn)OLAP的準(zhǔn)則(Codd1993)準(zhǔn)則1：多維概念視圖準(zhǔn)則2：透明性準(zhǔn)則3：存取能力準(zhǔn)則4：穩(wěn)定的報(bào)表功能準(zhǔn)則5：客戶機(jī)/服務(wù)器體系結(jié)構(gòu)準(zhǔn)則6：維的等同性準(zhǔn)則7：動(dòng)態(tài)稀疏矩陣處理準(zhǔn)則8：支持多用戶準(zhǔn)則9：非限定的跨維操作準(zhǔn)則10：直觀的數(shù)據(jù)處理準(zhǔn)則11：柔性報(bào)表準(zhǔn)則12：不受限的維與層次聚類6.4.3商業(yè)智能商業(yè)智能（BusinessIntelligence）是指通過對(duì)數(shù)據(jù)的收集、管理、分析以及轉(zhuǎn)化，使數(shù)據(jù)成為可用的信息，并在企業(yè)中共享傳遞，從而幫助企業(yè)獲得必要的洞察力和理解力，更好地輔助決策和指導(dǎo)行動(dòng)。6.4.4數(shù)據(jù)挖掘數(shù)據(jù)挖掘（DataMining）是從大量數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)隱藏的有用知識(shí)的過程，是從大量數(shù)據(jù)中挖掘“寶藏”的過程。分類（Classification）聚類（Clustering）關(guān)聯(lián)規(guī)則發(fā)現(xiàn)（AssociationRuleDiscovery）時(shí)序模式發(fā)現(xiàn)（SequentialPatternDiscovery）商務(wù)智能、多維數(shù)據(jù)分析和數(shù)據(jù)挖掘博彩業(yè)的Harrahs（哈拉斯）借助于商業(yè)智能，判斷高價(jià)值客戶，并制定鼓勵(lì)他們更多投資的方案通過聯(lián)系分析處理（OLAP）和多維數(shù)據(jù)分析，用戶可以不同方法分析同一數(shù)據(jù)，從而得到對(duì)該數(shù)據(jù)從不同層面進(jìn)行解釋的結(jié)果商務(wù)智能知識(shí)發(fā)現(xiàn)、數(shù)據(jù)挖掘與商務(wù)智能20世紀(jì)80年代末，機(jī)器學(xué)習(xí)方法在數(shù)據(jù)分析中的應(yīng)用導(dǎo)致數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)（KDD，KnowledgeDiscoveryinDatabase）的產(chǎn)生。20世紀(jì)90年代以來，以數(shù)據(jù)挖掘技術(shù)為核心的商務(wù)智能（知識(shí)發(fā)現(xiàn)在商業(yè)的應(yīng)用）受到了學(xué)術(shù)界和業(yè)界的廣泛關(guān)注。數(shù)據(jù)挖掘(DataMining)數(shù)據(jù)挖掘/知識(shí)發(fā)現(xiàn)(從海量數(shù)據(jù)中淘“金”)數(shù)據(jù)挖掘的特點(diǎn)傳統(tǒng)的決策分析技術(shù)中，都是決策人員事先給出邏輯假設(shè)和模型，而后在數(shù)據(jù)中進(jìn)行檢驗(yàn)和參數(shù)評(píng)估。數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動(dòng)，始于紛繁復(fù)雜的海量數(shù)據(jù)，利用強(qiáng)大的數(shù)據(jù)分析工具和特定的知識(shí)提取方法，從數(shù)據(jù)出發(fā)，挖掘中其中有效的模式，從而獲得潛在的、新穎的以及有用的知識(shí)。數(shù)據(jù)挖掘的任務(wù)數(shù)據(jù)挖掘的基本任務(wù)是預(yù)測(cè)（prediction）和描述(description）預(yù)測(cè)就是利用數(shù)據(jù)中已知的變量和字段來確定一些感興趣的未知或未來的值，如分類等。描述則集中于尋找一種人類能夠理解和解釋的模式對(duì)數(shù)據(jù)進(jìn)行刻畫，如聚類、關(guān)聯(lián)規(guī)則等。數(shù)據(jù)挖掘的分類按所挖掘的模式的類型將數(shù)據(jù)挖掘劃分為：概念描述（歸納或簡(jiǎn)約）分類和預(yù)測(cè)聚類關(guān)聯(lián)規(guī)則其它的一些模式識(shí)別和統(tǒng)計(jì)方法數(shù)據(jù)挖掘－概念描述（歸納）概念描述與數(shù)據(jù)概化密切相關(guān)以簡(jiǎn)潔的形式在更一般的（而不是在較低的）抽象層描述數(shù)據(jù)是很有用的允許數(shù)據(jù)集在多個(gè)抽象層概化，便于用戶考察數(shù)據(jù)的一般行為與OLAp的區(qū)別更為復(fù)雜的數(shù)據(jù)類型用戶控制與自動(dòng)處理數(shù)據(jù)挖掘－分類和預(yù)測(cè)分類：給定已有的數(shù)據(jù)和類別，通過分類算法得到描述和區(qū)分?jǐn)?shù)據(jù)類或概念的模型。預(yù)測(cè)：將上述分類模型應(yīng)用到要進(jìn)行測(cè)試的數(shù)據(jù)上，對(duì)未來或者未知的數(shù)據(jù)進(jìn)行預(yù)測(cè)。貸款分類模型數(shù)據(jù)挖掘－聚類分析聚類是將一個(gè)數(shù)據(jù)集按照某個(gè)標(biāo)準(zhǔn)分成幾個(gè)簇的過程。每個(gè)簇內(nèi)部的數(shù)據(jù)按照該標(biāo)準(zhǔn)具有很高相似性，而簇之間的數(shù)據(jù)的相似性很低。聚類與分類不同分類中，類標(biāo)記事先給出，是一種監(jiān)督學(xué)習(xí)的