第7章 數(shù)據(jù)庫系統(tǒng)的新技術(shù)

第7章數(shù)據(jù)庫系統(tǒng)的新技術(shù)第3版本章學(xué)習(xí)目標(biāo)傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的局限性數(shù)據(jù)庫技術(shù)與相關(guān)技術(shù)的結(jié)合分布式數(shù)據(jù)庫系統(tǒng)對象關(guān)系數(shù)據(jù)庫系統(tǒng)多媒體數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫與數(shù)據(jù)挖掘內(nèi)容：重點(diǎn)：●數(shù)據(jù)庫技術(shù)與相關(guān)技術(shù)的結(jié)合7.1概述7.1.1傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的局限性（1）傳統(tǒng)的數(shù)據(jù)庫技術(shù)在發(fā)展過程中主要經(jīng)歷階段網(wǎng)狀數(shù)據(jù)庫層次數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫（2）傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的局限性主要表現(xiàn)面向機(jī)器的數(shù)據(jù)模型數(shù)據(jù)類型簡單、固定結(jié)構(gòu)與行為完全分離阻抗失配被動響應(yīng)存儲、管理的對象有限事務(wù)處理能力較差7.1.2數(shù)據(jù)庫技術(shù)與相關(guān)技術(shù)的結(jié)合面向?qū)ο蟮姆椒ê图夹g(shù)數(shù)據(jù)庫技術(shù)與多學(xué)科技術(shù)的有機(jī)結(jié)合分布式處理技術(shù)并行處理技術(shù)AI技術(shù)多媒體技術(shù)Web技術(shù)傳感器技術(shù)面向?qū)ｉT應(yīng)用領(lǐng)域的數(shù)據(jù)庫技術(shù)工程數(shù)據(jù)庫統(tǒng)計(jì)數(shù)據(jù)庫科學(xué)數(shù)據(jù)庫空間數(shù)據(jù)庫地理數(shù)據(jù)庫。。。。。。7.2分布式數(shù)據(jù)庫系統(tǒng)7.2.1分布式數(shù)據(jù)庫系統(tǒng)的結(jié)構(gòu)分布式數(shù)據(jù)庫系統(tǒng)(DDBS)包含分布式數(shù)據(jù)庫管理系統(tǒng)(DDBMS)和分布式數(shù)據(jù)庫(DDB)。一個(gè)分布式數(shù)據(jù)庫在邏輯上是一個(gè)統(tǒng)一的整體，在物理上則是分別存儲在不同的物理節(jié)點(diǎn)上。分布式數(shù)據(jù)庫系統(tǒng)是在集中式數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上發(fā)展起來的，是計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)結(jié)合的產(chǎn)物。分布式數(shù)據(jù)庫系統(tǒng)的結(jié)構(gòu)分布式DBS的體系結(jié)構(gòu)分為四級：全局外模式、全局概念模式、分片模式和分配模式。全局外模式：是全局應(yīng)用的用戶視圖，是全局概念模式的子集。全局概念模式：全局概念模式定義了分布式數(shù)據(jù)庫中所有數(shù)據(jù)的邏輯結(jié)構(gòu)。分片模式：分片模式定義片段及定義全局關(guān)系與片段之間的映象。這種映象是一對多的，即每個(gè)片段來自一個(gè)全局關(guān)系，而一個(gè)全局關(guān)系可分成多個(gè)片段。分配模式：片段是全局關(guān)系的邏輯部分，一個(gè)片段在物理上可以分配到網(wǎng)絡(luò)的不同場地上。分配模式根據(jù)數(shù)據(jù)分配策略的選擇定義片段的存放場地。分布式DBS的分層體系結(jié)構(gòu)的三個(gè)特征(1) 數(shù)據(jù)分片和數(shù)據(jù)分配概念的分離，形成了"數(shù)據(jù)分布獨(dú)立性"概念。(2) 數(shù)據(jù)冗余的顯式控制。(3) 局部DBMS的獨(dú)立性。7.2.2分布式數(shù)據(jù)庫系統(tǒng)的特點(diǎn)(1)數(shù)據(jù)獨(dú)立性與位置透明性(2)集中和節(jié)點(diǎn)自治相結(jié)合(3)支持全局?jǐn)?shù)據(jù)庫的一致性和和可恢復(fù)性(4)復(fù)制透明性(5)易于擴(kuò)展性分布式數(shù)據(jù)庫系統(tǒng)的優(yōu)點(diǎn)(1)更適合分布式的管理與控制(2)具有靈活的體系結(jié)構(gòu)(3)系統(tǒng)經(jīng)濟(jì)，可靠性高，可用性好(4)在一定條件下響應(yīng)速度加快(5)可擴(kuò)展性好，易于集成現(xiàn)有系統(tǒng)，也易于擴(kuò)充分布式數(shù)據(jù)庫系統(tǒng)的劣勢（缺點(diǎn)）(1)通信開銷較大，故障率高(2)數(shù)據(jù)的存取結(jié)構(gòu)復(fù)雜(3)數(shù)據(jù)的安全性和保密性較難控制7.3對象關(guān)系型數(shù)據(jù)庫系統(tǒng)7.3.1面向?qū)ο竽Ｐ蛯ο?關(guān)系數(shù)據(jù)庫系統(tǒng)兼有關(guān)系數(shù)據(jù)庫和面向?qū)ο蟮臄?shù)據(jù)庫兩方面的特征。即它除了具有原來關(guān)系數(shù)據(jù)庫的種種特點(diǎn)外，還應(yīng)該提供以下特點(diǎn)：允許用戶擴(kuò)充基本數(shù)據(jù)類型能夠在在SQL中支持復(fù)雜對象能夠支持子類對超類的各種特性的繼承，支持?jǐn)?shù)據(jù)繼承和函數(shù)繼承，支持多重繼承，支持函數(shù)重載能夠提供功能強(qiáng)大的通用規(guī)則系統(tǒng)，而且規(guī)則系統(tǒng)與其他的對象-關(guān)系能力是集成為一體的。7.3.2對象關(guān)系型數(shù)據(jù)庫對象關(guān)系數(shù)據(jù)庫（簡稱ORDBS）是關(guān)系數(shù)據(jù)庫系統(tǒng)與面向?qū)ο髷?shù)據(jù)庫模型的結(jié)合。它保持了關(guān)系數(shù)據(jù)庫系統(tǒng)的非過程化數(shù)據(jù)存取方式和數(shù)據(jù)動力性，繼承了關(guān)系數(shù)據(jù)庫系統(tǒng)已有的技術(shù)，支持原有的數(shù)據(jù)管理，又能支持OO模型和對象管理。1、對象關(guān)系數(shù)據(jù)庫系統(tǒng)中擴(kuò)展的關(guān)系數(shù)據(jù)類型(1)大對象LOB（LargeObject）類型(2)BOOLEAN類型.(3)集合類型（CollectionType）ARRAY(4)DISTINCT類型2、對象關(guān)系數(shù)據(jù)庫系統(tǒng)中擴(kuò)展的對象類型及其定義在ORDBMS中，類型TYPE具有類（CLASS）的特征，可以看成類。a)行對象與行類型b)列對象和對象類型c)抽象數(shù)據(jù)類型（AbstractDataType，ADT）特點(diǎn)：i.ADT的屬性定義和行類型的屬性定義類同。ii.在創(chuàng)建ADT的語句中，通過用戶定義的函數(shù)比較對象的值。iii.ADT的行為通過方法methods、函數(shù)function實(shí)現(xiàn)。iv.SQL3要求抽象數(shù)據(jù)類型是封裝的，而行類型則不要求封裝。v.ADT有3個(gè)通用的系統(tǒng)內(nèi)置函數(shù)，構(gòu)造函數(shù)（ConstructionFunction）、觀察函數(shù)（Observerfunction）和刪除函數(shù)（MutationFunction）。vi.ADT可以參與類型繼承。3、參照類型（ReferenceType）SQL3提供了一種特殊的類型：參照類型，也稱為引用類型，簡稱REF類型。4、繼承性O(shè)RDBMS應(yīng)該支持繼承性，一般是單繼承性。5、子表和超表SQL3支持子表和超表的概念。超表、子表、子表的子表也構(gòu)成一個(gè)表層次結(jié)構(gòu)。表層次結(jié)構(gòu)和類型層次結(jié)構(gòu)概念十分相似。7.4多媒體數(shù)據(jù)庫系統(tǒng)多媒體數(shù)據(jù)庫系統(tǒng)是多媒體技術(shù)與數(shù)據(jù)庫技術(shù)的結(jié)合，是當(dāng)前最有吸引力的一種技術(shù)。主要技術(shù)：數(shù)據(jù)模型。數(shù)據(jù)的壓縮與還原。存儲管理扣存取方法。用戶界面。分布式技術(shù)。實(shí)現(xiàn)方法：完善面向?qū)ο髷?shù)據(jù)庫。從關(guān)系數(shù)據(jù)庫模型發(fā)展多媒體數(shù)據(jù)庫。分布式超媒體數(shù)據(jù)庫。7.5數(shù)據(jù)倉庫與數(shù)據(jù)挖掘7.5.1數(shù)據(jù)倉庫數(shù)據(jù)倉庫（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策(DecisionMakingSupport)。數(shù)據(jù)倉庫體系結(jié)構(gòu)：數(shù)據(jù)源：是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。數(shù)據(jù)的存儲與管理：是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。OLAP(聯(lián)機(jī)分析處理)服務(wù)器：對分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。前端工具：主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以數(shù)據(jù)挖掘及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。數(shù)據(jù)倉庫的分類

按照數(shù)據(jù)倉庫的規(guī)模與應(yīng)用層面來區(qū)分，數(shù)據(jù)倉庫大致可分為下列幾種：標(biāo)準(zhǔn)數(shù)據(jù)倉庫數(shù)據(jù)集市多層數(shù)據(jù)倉庫聯(lián)合式數(shù)據(jù)倉庫7.5.2數(shù)據(jù)挖掘數(shù)據(jù)挖掘的定義技術(shù)上的定義及含義數(shù)據(jù)挖掘（DataMining）就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。商業(yè)角度的定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點(diǎn)是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。因此，數(shù)據(jù)挖掘可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。數(shù)據(jù)挖掘流程數(shù)據(jù)挖掘的任務(wù)主要是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測、時(shí)序模式和偏差分析等

數(shù)據(jù)挖掘流程(1)定義問題(2)數(shù)據(jù)準(zhǔn)備(3)數(shù)據(jù)挖掘(4)結(jié)果分析(5)知識的運(yùn)用數(shù)據(jù)挖掘的方法(1)神經(jīng)網(wǎng)絡(luò)方法(2)遺傳算法(3)決策樹方法(4)粗集方法(5)覆蓋正例排斥反例方法(6)統(tǒng)計(jì)分析方法(7)模糊集方法7.5.3數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的關(guān)系大部分情況下，數(shù)據(jù)挖掘都要先把數(shù)據(jù)從數(shù)據(jù)倉庫中拿到數(shù)據(jù)挖掘庫或數(shù)據(jù)集市中。從數(shù)據(jù)倉庫中直接得到進(jìn)行數(shù)據(jù)挖掘的數(shù)據(jù)有許多好處。數(shù)據(jù)倉庫的數(shù)據(jù)清理和數(shù)據(jù)挖掘的數(shù)據(jù)清理差不多，如果數(shù)據(jù)在導(dǎo)入數(shù)據(jù)倉庫時(shí)已經(jīng)清理過，那很可能在做數(shù)據(jù)挖掘時(shí)就沒必要再清理一次了，而且所有的數(shù)據(jù)不一致的問題都已經(jīng)被你解決了。

數(shù)據(jù)挖掘庫可能是你的數(shù)據(jù)倉庫的一個(gè)邏輯上的子集，而不一定非得是物理上單獨(dú)的數(shù)據(jù)庫。但如果你的數(shù)據(jù)倉庫的計(jì)算資源已經(jīng)很緊張，那么最好還是建立一個(gè)單獨(dú)的數(shù)據(jù)挖掘庫。7.6大數(shù)據(jù)7.6.1什么是大數(shù)據(jù)“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的意義在于對含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。大數(shù)據(jù)依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和