工程管理信息系統(tǒng)課件：工程管理信息系統(tǒng)技術(shù)基礎(chǔ)

工程管理信息系統(tǒng)

工程管理信息系統(tǒng)技術(shù)基礎(chǔ)計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)管理技術(shù)概述本章學(xué)習(xí)目標(biāo)1.了解計(jì)算機(jī)硬件系統(tǒng)、軟件系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)的相關(guān)知識(shí)。2.了解數(shù)據(jù)庫(kù)的基本概念，掌握數(shù)據(jù)庫(kù)的設(shè)計(jì)步驟。3.了解數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)管理的相關(guān)技術(shù)方法。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)硬件就是泛指的實(shí)際的物理設(shè)備，主要包括四部分。3.1.1計(jì)算機(jī)硬件系統(tǒng)1中央處理器。CPU是一塊超大規(guī)模的集成電路，是計(jì)算機(jī)的運(yùn)算核心和控制核心。CPU主要包括運(yùn)算器和高速緩沖存儲(chǔ)器及實(shí)現(xiàn)它們之間聯(lián)系的數(shù)據(jù)、控制及狀態(tài)的總線(Bus)234存儲(chǔ)器。存儲(chǔ)器是計(jì)算機(jī)系統(tǒng)中的記憶設(shè)備，用來(lái)存放程序和數(shù)據(jù)。按用途存儲(chǔ)器可分為主存儲(chǔ)器(內(nèi)存)和輔助存儲(chǔ)器(外存)。輸入設(shè)備。輸入設(shè)備是將數(shù)據(jù)、程序、文字符號(hào)、圖像、聲音等信息輸送到計(jì)算機(jī)中的設(shè)備。計(jì)算機(jī)的輸人設(shè)備按功能可分為下列5類：字符輸入設(shè)備、光學(xué)閱讀設(shè)備、圖形輸入設(shè)備、圖像輸入設(shè)備、模擬輸入設(shè)備輸出設(shè)備。用于數(shù)據(jù)的輸出。它把各種計(jì)算結(jié)果數(shù)據(jù)或信息以數(shù)字、字符、圖像、聲音等形式表示出來(lái)。常見(jiàn)的有顯示器、打印機(jī)、繪圖儀、影像輸出系統(tǒng)、語(yǔ)音輸出系統(tǒng)、磁記錄設(shè)備等。硬件3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)只有硬件的裸機(jī)是無(wú)法運(yùn)行的，還需要軟件的支持。所謂軟件，是指為解決問(wèn)題而編制的程序及其文檔。計(jì)算機(jī)軟件包括計(jì)算機(jī)本身運(yùn)行所需要的系統(tǒng)軟件（包括操作系統(tǒng)，計(jì)算機(jī)語(yǔ)言及處理等）和用戶完成任務(wù)所需要的應(yīng)用軟件（包括通用應(yīng)用軟件和專用應(yīng)用軟件）。3.1.2計(jì)算機(jī)軟件系統(tǒng)軟件系統(tǒng)系統(tǒng)軟件應(yīng)用軟件操作系統(tǒng)處理系統(tǒng)語(yǔ)言系統(tǒng)通用應(yīng)用軟件專用應(yīng)用軟件3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)1.操作系統(tǒng)操作系統(tǒng)(OperatingSystem,簡(jiǎn)稱OS)是管理和控制計(jì)算機(jī)硬件與軟件資源的計(jì)算機(jī)程序，任何其他軟件都必須在操作系統(tǒng)的支持下才能運(yùn)行。操作系統(tǒng)是用戶和計(jì)算機(jī)的接口，同時(shí)也是計(jì)算機(jī)硬件和其他軟件的接口。操作系統(tǒng)的功能包括：管理計(jì)算機(jī)系統(tǒng)的硬件、軟件及數(shù)據(jù)資源，控制程序運(yùn)行，改善人機(jī)界面，為其他應(yīng)用軟件提供支持，讓計(jì)算機(jī)系統(tǒng)所有資源最大限度地發(fā)揮作用，提供各種形式的用戶界面，使用戶有一個(gè)好的工作環(huán)境，為其他軟件的開(kāi)發(fā)提供必要的服務(wù)和相應(yīng)的接口等。3.1.2計(jì)算機(jī)軟件系統(tǒng)3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)2.數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)(DatabaseManagementSystem,DBMS)是一種操縱和管理數(shù)據(jù)庫(kù)的大型軟件，用于建立、使用和維護(hù)數(shù)據(jù)庫(kù)，以保證數(shù)據(jù)庫(kù)的安全性和完整性。它提供多種功能，可使多個(gè)應(yīng)用程序和用戶用不同的方法在同時(shí)或不同時(shí)刻去建立，修改和詢問(wèn)數(shù)據(jù)庫(kù)。它使用戶能方便地定義和操縱數(shù)據(jù)，維護(hù)數(shù)據(jù)的安全性和完整性，以及進(jìn)行多用戶下的并發(fā)控制和恢復(fù)數(shù)據(jù)庫(kù)。目前有許多數(shù)據(jù)庫(kù)產(chǎn)品，如Oracle、Sybase、Informix、MicrosoftSQLServer、MicrosoftAccess、VisualFoxPro等產(chǎn)品各以自已特有的功能，在數(shù)據(jù)庫(kù)市場(chǎng)上占有一席之地。3.1.2計(jì)算機(jī)軟件系統(tǒng)3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.程序設(shè)計(jì)語(yǔ)言程序設(shè)計(jì)語(yǔ)言是用于書(shū)寫(xiě)計(jì)算機(jī)程序的語(yǔ)言，它是一種被標(biāo)準(zhǔn)化的交流技巧，用來(lái)向計(jì)算機(jī)發(fā)出指令。高級(jí)程序設(shè)計(jì)語(yǔ)言（也稱高級(jí)語(yǔ)言）的出現(xiàn)使得計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言不再過(guò)度地倚賴某種特定的機(jī)器或環(huán)境。這是因?yàn)楦呒?jí)語(yǔ)言在不同的平臺(tái)上會(huì)被編譯成不同的機(jī)器語(yǔ)言，而不是直接被機(jī)器執(zhí)行。3.1.2計(jì)算機(jī)軟件系統(tǒng)

在計(jì)算機(jī)系統(tǒng)中，硬件系統(tǒng)是物質(zhì)基礎(chǔ)，軟件系統(tǒng)是指揮樞紐和靈魂。軟件系統(tǒng)的功能與質(zhì)量在很大程度上決定了整個(gè)計(jì)算機(jī)的性能。故軟件系統(tǒng)和硬件系統(tǒng)一樣,是計(jì)算機(jī)系統(tǒng)工作必不可少的組成部分。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)1.通信介質(zhì)通信介質(zhì)就是網(wǎng)絡(luò)通信的線路。常見(jiàn)的傳輸線有四種基本類型：3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)同軸電纜是由內(nèi)外相互絕緣的同軸心導(dǎo)體構(gòu)成的電纜。電磁場(chǎng)封閉在內(nèi)外導(dǎo)體之間，故輻射損耗小，受外界干擾影響小同軸電纜雙絞線由兩根具有絕緣保護(hù)層的銅導(dǎo)線組成的，能有效降低信號(hào)的干擾，傳輸距離，信道寬度和數(shù)據(jù)傳輸速度等方面均受到一定限制，但價(jià)格較為低廉雙絞線光纖是光導(dǎo)纖維的簡(jiǎn)寫(xiě)，是一種由玻璃或塑料制成的纖維。在日常生活中，光纖被用作長(zhǎng)距離的信息傳遞光纖與有線電通信相比，不需要架設(shè)傳輸線路，不受通信距離限制，機(jī)動(dòng)性好，建立迅速；但傳輸質(zhì)量不穩(wěn)定，信號(hào)易受干擾或易被截獲，易受自然因素影響，保密性差。無(wú)線電波3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)2.通信處理機(jī)及其功能通信控制處理機(jī)是對(duì)各主計(jì)算機(jī)之間、主計(jì)算機(jī)與遠(yuǎn)程數(shù)據(jù)終端之間，以及各遠(yuǎn)程數(shù)據(jù)終端之間的數(shù)據(jù)傳輸和交換進(jìn)行控制的裝置。不同功能的通信控制處理機(jī)能把多臺(tái)主計(jì)算機(jī)、通信線路和很多用戶終端連接成計(jì)算機(jī)通信網(wǎng)。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)所謂調(diào)制，就是把數(shù)字信號(hào)轉(zhuǎn)換成電話線上傳輸?shù)哪M信號(hào)；解調(diào)，即把模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，合稱調(diào)制解調(diào)器。調(diào)制解調(diào)器在通信系統(tǒng)中完成信息交換功能的設(shè)備，是一種基于MAC(MediaAccessControl,介質(zhì)訪問(wèn)控制)地址識(shí)別，能完成封裝轉(zhuǎn)發(fā)數(shù)據(jù)包功能的網(wǎng)絡(luò)設(shè)備。交換機(jī)網(wǎng)絡(luò)互聯(lián)的目的是使一個(gè)網(wǎng)絡(luò)上的某一主機(jī)能夠與另一網(wǎng)絡(luò)上的主機(jī)進(jìn)行通信，一個(gè)網(wǎng)絡(luò).上的用戶能訪問(wèn)其他網(wǎng)絡(luò)上的資源，使不同網(wǎng)絡(luò)上的用戶相互通信和交換信息。按照功能，互連中繼設(shè)備可以分為6類。網(wǎng)絡(luò)互聯(lián)中繼設(shè)備網(wǎng)絡(luò)互聯(lián)中繼設(shè)備橋由器路由器網(wǎng)橋集線器中繼器網(wǎng)關(guān)(Gateway)中繼器是局域網(wǎng)互聯(lián)的最簡(jiǎn)單設(shè)備，中繼器可以用來(lái)連接不同的物理介質(zhì)，并在各種物理介質(zhì)中傳輸數(shù)據(jù)包。是擴(kuò)展網(wǎng)絡(luò)的最廉價(jià)的方法。但沒(méi)有隔離和過(guò)濾功能，一個(gè)分支出現(xiàn)故障可能影響到其他的每一個(gè)網(wǎng)絡(luò)分支。網(wǎng)橋(Bridge)包含了中繼器的功能和特性，不僅可以連接多種介質(zhì)，還能連接不同的物理分支，如以太網(wǎng)和令牌網(wǎng)，能將數(shù)據(jù)包在更大的范圍內(nèi)傳送。橋由器(Brouter)是網(wǎng)橋和路由器的合并比起網(wǎng)橋，路由器(Router)不但能過(guò)濾和分隔網(wǎng)絡(luò)信息流、連接網(wǎng)絡(luò)分支，還能訪問(wèn)數(shù)據(jù)包中更多的信息。路由器比網(wǎng)橋慢，主要用于廣域網(wǎng)或廣域網(wǎng)與局域網(wǎng)的互連。主要功能是對(duì)接收到的信號(hào)進(jìn)行再生整形放大，以擴(kuò)大網(wǎng)絡(luò)的傳輸距離，同時(shí)把所有節(jié)點(diǎn)集中在以它為中心的節(jié)點(diǎn)上。當(dāng)以Hub為中心設(shè)備時(shí)，網(wǎng)絡(luò)中某條線路產(chǎn)生了故障，并不影響其他線路的工作。多用于星型與樹(shù)型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中。網(wǎng)關(guān)較為常見(jiàn)的用途是在局域網(wǎng)的微機(jī)和小型機(jī)或大型機(jī)之間作翻譯。網(wǎng)關(guān)的典型應(yīng)用是網(wǎng)絡(luò)專用服務(wù)器。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.計(jì)算機(jī)網(wǎng)絡(luò)分類計(jì)算機(jī)網(wǎng)絡(luò)分類很多，這里只介紹常見(jiàn)的兩種分類。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)計(jì)算機(jī)網(wǎng)絡(luò)分類按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分按地理范圍劃分1)星型結(jié)構(gòu)4)環(huán)型結(jié)構(gòu)2)樹(shù)型結(jié)構(gòu)5)網(wǎng)狀結(jié)構(gòu)3)總線型結(jié)構(gòu)6)混合型結(jié)構(gòu)1)局域網(wǎng)2)城域網(wǎng)3)廣域網(wǎng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是指用傳輸媒體互連各種設(shè)備的物理布局，就是用什么方式把網(wǎng)絡(luò)中的計(jì)算機(jī)等設(shè)備連接起來(lái)。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)1）按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分-星型結(jié)構(gòu)是一種最古老的網(wǎng)絡(luò)連接方式，如圖所示。星型結(jié)構(gòu)是目前在局域網(wǎng)中應(yīng)用得最為普遍的一種，在企業(yè)網(wǎng)絡(luò)中幾乎都是采用這一方式。星型網(wǎng)絡(luò)幾乎是以太網(wǎng)(Ethermet)網(wǎng)絡(luò)專用。這類網(wǎng)絡(luò)目前用得最多的傳輸介質(zhì)是雙絞線。單個(gè)節(jié)點(diǎn)的故障不會(huì)影響到網(wǎng)絡(luò)的其他部分。這種網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，便于集中控制和管理，端用戶設(shè)備因?yàn)楣收隙C(jī)時(shí)也不會(huì)影響其他端用戶間的通信，易于維護(hù)和安全，而且節(jié)點(diǎn)的擴(kuò)展和移動(dòng)也很方便。但這種結(jié)構(gòu)的中心系統(tǒng)必須具有極高的可靠性，中心系統(tǒng)一旦損壞，整個(gè)系統(tǒng)便趨于癱瘓。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)星型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)2）按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分-樹(shù)型結(jié)構(gòu)樹(shù)型結(jié)構(gòu)是總線型結(jié)構(gòu)的擴(kuò)展，它是在總線網(wǎng)上加上分支形成的，其傳輸介質(zhì)可有多條分支,但不形成閉合回路，也可以把它看成是星型結(jié)構(gòu)的疊加。樹(shù)型結(jié)構(gòu)具有層次性，是一種分層網(wǎng)。其結(jié)構(gòu)可以對(duì)稱，具有一定容錯(cuò)能力。一般一個(gè)分支和節(jié)點(diǎn)的故障不影響另一分支節(jié)點(diǎn)的工作，任何一個(gè)節(jié)點(diǎn)送出的信息都由根節(jié)點(diǎn)接收后重新發(fā)送到所有的節(jié)點(diǎn)。這種結(jié)構(gòu)通信線路總長(zhǎng)較短，成本較低，節(jié)點(diǎn)易于擴(kuò)充，尋找路徑比較方便。根節(jié)點(diǎn)出故障時(shí)全網(wǎng)不能正常工作。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)樹(shù)型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3）按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分-總線型結(jié)構(gòu)各個(gè)計(jì)算機(jī)部件之間傳送信息的公共通路叫總線?？偩€型結(jié)構(gòu)中，所有設(shè)備都直接與總線相連，如圖所示。它所采用的介質(zhì)一般是同軸電纜，不過(guò)現(xiàn)在也有采用光纜作為總線型傳輸介質(zhì)的?？偩€型結(jié)構(gòu)組網(wǎng)費(fèi)用低，網(wǎng)絡(luò)用戶擴(kuò)展較靈活，維護(hù)較容易。但所有的數(shù)據(jù)都需經(jīng)過(guò)總線傳送，總線若出現(xiàn)故障則整個(gè)網(wǎng)絡(luò)就會(huì)癱瘓。這種網(wǎng)絡(luò)因?yàn)楦鞴?jié)點(diǎn)是共用總線帶寬的，所以在傳輸速度上會(huì)隨著接人網(wǎng)絡(luò)的用戶的增多而下降。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)總線型網(wǎng)絡(luò)拓?fù)鋲K結(jié)構(gòu)圖3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)4）按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分-環(huán)型結(jié)構(gòu)在環(huán)型結(jié)構(gòu)中，各設(shè)備是直接通過(guò)電纜來(lái)串接的，最后形成一個(gè)閉環(huán)，整個(gè)網(wǎng)絡(luò)發(fā)送的信息就是在這個(gè)環(huán)中傳遞，這種網(wǎng)絡(luò)結(jié)構(gòu)主要應(yīng)用于令牌網(wǎng)中，因此通常把這類結(jié)構(gòu)稱之為“令牌環(huán)網(wǎng)”環(huán)型結(jié)構(gòu)中，環(huán)路中各節(jié)點(diǎn)地位相同，環(huán)路上任何節(jié)點(diǎn)均可請(qǐng)求發(fā)送信息，請(qǐng)求一旦被批準(zhǔn)，便可以向環(huán)路發(fā)送信息。環(huán)型結(jié)構(gòu)總線路短，抗故障性能好，但是回路中任意節(jié)點(diǎn)有故障時(shí)都會(huì)影響整個(gè)回路的通信。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)環(huán)形網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)5）按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分-網(wǎng)狀結(jié)構(gòu)在網(wǎng)狀結(jié)構(gòu)中，各節(jié)點(diǎn)通過(guò)傳輸線互聯(lián)連接起來(lái)，并且每一個(gè)節(jié)點(diǎn)至少與其他兩個(gè)節(jié)點(diǎn)相連。網(wǎng)狀拓?fù)浣Y(jié)構(gòu)具有較高的可靠性，但其結(jié)構(gòu)復(fù)雜，實(shí)現(xiàn)起來(lái)費(fèi)用較高，不易管理和維護(hù)，目前廣域網(wǎng)基本都采用網(wǎng)狀拓?fù)浣Y(jié)構(gòu)。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)網(wǎng)狀網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)6）按網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分-混合型結(jié)構(gòu)將兩種或幾種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)混合稱為混合型拓?fù)浣Y(jié)構(gòu)。最常見(jiàn)的混合型結(jié)構(gòu)是將星型結(jié)構(gòu)和總線型結(jié)構(gòu)結(jié)合起來(lái)的網(wǎng)絡(luò)結(jié)構(gòu)，如圖。這種結(jié)構(gòu)更能滿足較大網(wǎng)絡(luò)的拓展，突破星型網(wǎng)絡(luò)在傳輸距離上的局限，而同時(shí)又解決了總線型結(jié)構(gòu)在連接用戶數(shù)量方面的限制問(wèn)題，可以兼顧星型與總線型結(jié)構(gòu)的優(yōu)點(diǎn)，在缺點(diǎn)方面也可以得到一定的彌補(bǔ)，適用于較大型的局域網(wǎng)中。3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)混合型網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)(2)按地理范圍劃分3.1.3計(jì)算機(jī)通信網(wǎng)絡(luò)局域網(wǎng)指在某一區(qū)域內(nèi)由多臺(tái)計(jì)算機(jī)互聯(lián)成的計(jì)算機(jī)組，一般是方圓幾千米以內(nèi)局域網(wǎng)可以實(shí)現(xiàn)文件管理、應(yīng)用軟件共享、打印機(jī)共享、工作組內(nèi)的日程安排、電子郵件和傳真通信服務(wù)等功能LAN的拓?fù)浣Y(jié)構(gòu)常用的是總線型和環(huán)型LAN具有高可靠性、易擴(kuò)縮和易于管理及安全等多種特性城域網(wǎng)城域網(wǎng)(MetropolitanAreaNetwork，MAN)是在一個(gè)城市范圍內(nèi)所建立的計(jì)算機(jī)通信網(wǎng)，屬寬帶局域網(wǎng)。城域網(wǎng)中傳輸時(shí)延較小，它的傳輸媒介主要采用光纜。廣域網(wǎng)廣域網(wǎng)(WideAreaNetwork，WAN)也稱遠(yuǎn)程網(wǎng)，所覆蓋的范圍比城域網(wǎng)更廣，它一般是不同城市之間的LAN或者M(jìn)AN網(wǎng)絡(luò)互聯(lián)，所覆蓋的范圍從幾十公里到幾千公里，它能連接多個(gè)城市或國(guó)家，或橫跨幾個(gè)洲并能提供遠(yuǎn)距離通信，形成國(guó)際性的遠(yuǎn)程網(wǎng)絡(luò)。它將分布在不同地區(qū)的局域網(wǎng)或計(jì)算機(jī)系統(tǒng)互連起來(lái)，達(dá)到資源共享的目的。因特網(wǎng)(Internet)是世界范圍內(nèi)最大的廣域網(wǎng)。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)到目前為止，云計(jì)算(CloudComputing)仍沒(méi)有一個(gè)被廣泛承認(rèn)的概念。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)的定義是：云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，進(jìn)人可配置的計(jì)算資源共享池(資源包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用軟件、服務(wù)),這些資源能夠被快速提供，只需投人很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。一般來(lái)說(shuō)，云計(jì)算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。云計(jì)算甚至可以讓你體驗(yàn)每秒10萬(wàn)億次的運(yùn)算能力，擁有這么強(qiáng)大的計(jì)算能力可以模擬核爆炸、預(yù)測(cè)氣候變化和市場(chǎng)發(fā)展趨勢(shì)。用戶可以通過(guò)電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運(yùn)算。3.1.4云計(jì)算3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)1.特點(diǎn)云計(jì)算是通過(guò)將計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，使工程數(shù)據(jù)中心的運(yùn)行與互聯(lián)網(wǎng)更相似。這使得工程企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪向計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。這意味著計(jì)算能力也可以作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。被普遍接受的云計(jì)算特點(diǎn)如下：

（1）可進(jìn)行超大規(guī)模計(jì)算

（5）高可擴(kuò)展性

（2）虛擬化

（6）按需服務(wù)

（3）高可靠性

（7）極其廉價(jià)

（4）通用性

（8）潛在的危險(xiǎn)性3.1.4云計(jì)算按服務(wù)對(duì)象軟件即服務(wù)(SaaS)服務(wù)供應(yīng)商負(fù)責(zé)維護(hù)和管理硬件設(shè)施，并對(duì)云服務(wù)進(jìn)行統(tǒng)一部署，能夠根據(jù)用戶需求的變化，以免費(fèi)或按需租用的方式向用戶提供云計(jì)算服務(wù)平臺(tái)即服務(wù)(PaaS)基于互聯(lián)網(wǎng)的應(yīng)用開(kāi)發(fā)環(huán)境，并且支持應(yīng)用從創(chuàng)建到運(yùn)行全生命周期所需的各種軟硬件資源和工具?；A(chǔ)架構(gòu)即服務(wù)（IaaS)通過(guò)使用虛擬化技術(shù)、自動(dòng)化技術(shù)和服務(wù)器模板技術(shù)，將CPU、內(nèi)存、存儲(chǔ)、操作系統(tǒng)及相關(guān)軟件以遠(yuǎn)程計(jì)算服務(wù)的方式提供給用戶3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.4云計(jì)算3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.5項(xiàng)目信息門(mén)戶項(xiàng)目信息門(mén)戶(ProjectInformationPortal，PIP)是在對(duì)工程項(xiàng)目實(shí)施全過(guò)程中項(xiàng)目參與各方產(chǎn)生的信息和知識(shí)進(jìn)行集中式存儲(chǔ)和管理的基礎(chǔ)上，為項(xiàng)目參與各方在Internet平臺(tái)上提供的一個(gè)獲取個(gè)性化(按需所取)項(xiàng)目信息的單一人口。PIP信息交流特點(diǎn)從圖可以看到，PIP改變了傳統(tǒng)工程項(xiàng)目信息交流的點(diǎn)對(duì)點(diǎn)式溝通方式。PIP實(shí)現(xiàn)了信息共享，提高項(xiàng)目信息透明度。使工程項(xiàng)目的信息流動(dòng)加快，信息處理效率提高，充分發(fā)揮項(xiàng)目管理的作用，遏制信息不對(duì)稱，提高工程綜合效益，根本控制工程損失和浪費(fèi)基于PIP的信息交流是一種有序的信息交流方式，增強(qiáng)了業(yè)主對(duì)項(xiàng)目信息的主動(dòng)控制權(quán)，降低項(xiàng)目參與各方信息交流與協(xié)同工作的復(fù)雜程度。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.6建筑信息模型建筑信息模型(BuildingInformationModeling，BIM)是以建筑工程項(xiàng)目的各項(xiàng)相關(guān)信息數(shù)據(jù)作為模型的基礎(chǔ)，進(jìn)行建筑模型的建立，通過(guò)數(shù)字信息仿真模擬建筑物所具有的真實(shí)信息。美國(guó)國(guó)家BIM標(biāo)準(zhǔn)(NBIMS)對(duì)BIM的定義由三部分組成：BIM是一個(gè)設(shè)施(建設(shè)項(xiàng)目)物理和功能特性的數(shù)字表達(dá)；1BIM是一個(gè)共享的知識(shí)資源，是一個(gè)分享有關(guān)這個(gè)設(shè)施的信息，為該設(shè)施從建設(shè)到拆除的全生命周期中的所有決策提供可靠依據(jù)的過(guò)程；2在工程的不同階段，不同利益相關(guān)方通過(guò)在BIM中插入、提取、更新和修改信息，以支持和反映其各自職責(zé)的協(xié)同作業(yè)。33.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.6建筑信息模型在工程全生命周期中，BIM可以實(shí)現(xiàn)集成管理，因?yàn)檫@一模型既包括建筑物的信息模型，同時(shí)又包括建筑工程管理行為的模型，能將建筑物的信息模型同建筑工程的管理行為模型進(jìn)行完美的組合。在一定范圍內(nèi)，建筑信息模型可以模擬實(shí)際的建筑工程建設(shè)行為，例如:建筑物的日照、外部圍護(hù)結(jié)構(gòu)的傳熱狀態(tài)等。BIM具有可視化、協(xié)調(diào)性、模擬性、優(yōu)化性和可出圖性五大特點(diǎn)。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.6建筑信息模型1.可視化BIM提供的可視化的思路可以將以往的線條式的構(gòu)件形成一種三維的立體實(shí)物圖形展示在人們的面前。BIM的可視化是一種能夠同構(gòu)件之間形成互動(dòng)性和反饋性的可視化。項(xiàng)目設(shè)計(jì)、建造、運(yùn)營(yíng)過(guò)程中的溝通、討論、決策都在可視化的狀態(tài)下進(jìn)行。2.協(xié)調(diào)性BIM的協(xié)調(diào)性服務(wù)可以幫助處理“在問(wèn)題出現(xiàn)后再進(jìn)行協(xié)調(diào)解決”的問(wèn)題，BIM可以在工程建設(shè)前期對(duì)各專業(yè)的碰撞問(wèn)題進(jìn)行協(xié)調(diào)，生成協(xié)調(diào)數(shù)據(jù)提供出來(lái)。并不是只能解決各專業(yè)間的碰撞問(wèn)題，它還可以解決例如:電梯井布置與其他設(shè)計(jì)布置及凈空要求的協(xié)調(diào)，防火分區(qū)與其他設(shè)計(jì)布置的協(xié)調(diào)，地下排水布置與其他設(shè)計(jì)布置的協(xié)調(diào)等。3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.6建筑信息模型3.模擬性BIM的模擬性并不是只能模擬設(shè)計(jì)出的建筑物模型，還可以模擬不能夠在真實(shí)世界中進(jìn)行操作的事物。設(shè)計(jì)階段：節(jié)能模擬、緊急疏散模擬、日照模擬、熱能傳導(dǎo)模擬；招投標(biāo)和施工階段：4D模擬(三維模型加工程的發(fā)展時(shí)間)、5D模擬(基于3D模型的造價(jià)控制)；運(yùn)營(yíng)階段：日常緊急情況的處理方式的模擬4.優(yōu)化性BIM模型提供了建筑物的實(shí)際存在的信息，BIM及與其配套的各種優(yōu)化工具提供了對(duì)復(fù)雜項(xiàng)目進(jìn)行優(yōu)化的可能基于BIM的優(yōu)化可以進(jìn)行以下工作：1)工程方案優(yōu)化；2)特殊工程的設(shè)計(jì)優(yōu)化3.1計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)3.1.6建筑信息模型5.可出圖性BIM并不是為了出日常多見(jiàn)的建筑設(shè)計(jì)院所出的建筑設(shè)計(jì)圖紙，及一些構(gòu)件加工的圖紙，而是通過(guò)對(duì)建筑物進(jìn)行可視化展示，協(xié)調(diào)、模擬、優(yōu)化以后，幫助業(yè)主出如下圖紙：1)綜合管線圖(經(jīng)過(guò)碰撞檢查和設(shè)計(jì)修改，消除了相應(yīng)錯(cuò)誤以后)；2)綜合結(jié)構(gòu)留洞圖(預(yù)埋套管圖)；3)碰撞檢查偵錯(cuò)報(bào)告和建議改進(jìn)方案。3.2數(shù)據(jù)管理技術(shù)概述3.2.1數(shù)據(jù)庫(kù)概述1.數(shù)據(jù)庫(kù)相關(guān)概念(1)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)是長(zhǎng)期儲(chǔ)存在計(jì)算機(jī)內(nèi)的、有組織的、可共享的數(shù)據(jù)集合。數(shù)據(jù)庫(kù)中的數(shù)據(jù):按一定的數(shù)據(jù)模型組織、描述和儲(chǔ)存，具有較小的冗度、較高的數(shù)據(jù)獨(dú)立性和易擴(kuò)展性，并可為各種用戶共享。人們收集并抽取出-個(gè)應(yīng)用所需要的大量數(shù)據(jù)之后，應(yīng)將其保存起來(lái)以供進(jìn)一步加工處理，進(jìn)一步抽取有用信息。(2)數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)是位于用戶與操作系統(tǒng)之間的一層數(shù)據(jù)管理軟件。其主要功能包括:數(shù)據(jù)定義功能、數(shù)據(jù)操縱功能、數(shù)據(jù)庫(kù)的運(yùn)行管理、數(shù)據(jù)庫(kù)的建立和維護(hù)功能。數(shù)據(jù)庫(kù)管理系統(tǒng)是數(shù)據(jù)庫(kù)系統(tǒng)的一個(gè)重要組成部分。3.2數(shù)據(jù)管理技術(shù)概述3.2.1數(shù)據(jù)庫(kù)概述2.數(shù)據(jù)管理技術(shù)的發(fā)展歷史人工管理階段20世紀(jì)50年代以前特點(diǎn)：數(shù)據(jù)不保存；應(yīng)用程序獨(dú)立管理數(shù)據(jù)；數(shù)據(jù)不能共享；數(shù)據(jù)不具有獨(dú)立性文件系統(tǒng)階段20世紀(jì)50年代后期到60年代中期特點(diǎn)：數(shù)據(jù)可以長(zhǎng)期保存；由文件系統(tǒng)管理數(shù)據(jù)；數(shù)據(jù)共享性差，冗余度大；數(shù)據(jù)獨(dú)立性差數(shù)據(jù)庫(kù)系統(tǒng)階段20世紀(jì)60年代后期以來(lái)特點(diǎn)：數(shù)據(jù)結(jié)構(gòu)化；數(shù)據(jù)的共享性高和冗余度低；數(shù)據(jù)獨(dú)立性高；數(shù)據(jù)由DBMS統(tǒng)一管理和控制3.2數(shù)據(jù)管理技術(shù)概述3.2.2數(shù)據(jù)庫(kù)系統(tǒng)的構(gòu)成數(shù)據(jù)庫(kù)系統(tǒng)是指在計(jì)算機(jī)系統(tǒng)中引人數(shù)據(jù)庫(kù)后的系統(tǒng)，一般由硬件、軟件（數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)管理系統(tǒng)及其開(kāi)發(fā)工具、應(yīng)用系統(tǒng)）、數(shù)據(jù)庫(kù)管理員和用戶構(gòu)成。在不引起混淆的情況下，常常把數(shù)據(jù)庫(kù)系統(tǒng)簡(jiǎn)稱為數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)系統(tǒng)構(gòu)成如圖所示。3.2數(shù)據(jù)管理技術(shù)概述3.2.2數(shù)據(jù)庫(kù)系統(tǒng)的構(gòu)成1.硬件任何數(shù)據(jù)系統(tǒng)都必須依賴于一定的計(jì)算機(jī)硬件平臺(tái)。數(shù)據(jù)庫(kù)系統(tǒng)可處理的數(shù)據(jù)量大，DBMS的功能豐富和規(guī)模大，因此數(shù)據(jù)庫(kù)系統(tǒng)對(duì)硬件資源要求高。例如，要有足夠大的內(nèi)存，可存放操作系統(tǒng)、DBMS核心模塊、數(shù)據(jù)緩沖區(qū)和應(yīng)用程序，有足夠大的磁盤(pán)等數(shù)據(jù)存儲(chǔ)設(shè)備和數(shù)據(jù)備份設(shè)備，較快速的數(shù)據(jù)傳輸能力等。2.軟件數(shù)據(jù)庫(kù)系統(tǒng)的軟件主要包括操作系統(tǒng)、編程軟件、數(shù)據(jù)庫(kù)管理系統(tǒng)及其開(kāi)發(fā)工具、各種應(yīng)用軟件或程序包，其中核心是數(shù)據(jù)庫(kù)管理系統(tǒng)。數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)是為數(shù)據(jù)庫(kù)的建立、使用和維護(hù)配置的軟件，應(yīng)用開(kāi)發(fā)工具是系統(tǒng)為應(yīng)用開(kāi)發(fā)人員和最終用戶提供的高效率、多功能的應(yīng)用生成器、第四代語(yǔ)言等各種軟件工具。此外，還包括為特定應(yīng)用環(huán)境開(kāi)發(fā)的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)。3.2數(shù)據(jù)管理技術(shù)概述3.2.2數(shù)據(jù)庫(kù)系統(tǒng)的構(gòu)成3.用戶數(shù)據(jù)庫(kù)系統(tǒng)的用戶包括數(shù)據(jù)庫(kù)的開(kāi)發(fā)、管理和使用等人員，數(shù)據(jù)庫(kù)的用戶有三類：第一類稱為應(yīng)用程序員，他們使用程序設(shè)計(jì)語(yǔ)言編寫(xiě)程序?qū)?shù)據(jù)庫(kù)進(jìn)行操作，涉及的數(shù)據(jù)面較廣；第二類稱為終端用戶，他們是從計(jì)算機(jī)終端使用數(shù)據(jù)庫(kù)的用戶；第三類稱為數(shù)據(jù)庫(kù)管理員(DataBaseAdministrator)，他們通過(guò)系統(tǒng)提供的軟件工具對(duì)數(shù)據(jù)庫(kù)實(shí)施維護(hù)操作，以保證系統(tǒng)的正常運(yùn)轉(zhuǎn)。這三類用戶使用的數(shù)據(jù)可以任意交叉、重疊，不同的人員涉及不同的數(shù)據(jù)抽象級(jí)別，具有不同的數(shù)據(jù)視圖，如圖各種人員的數(shù)據(jù)視圖3.2數(shù)據(jù)管理技術(shù)概述3.2.3數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù)操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)確的代表過(guò)去的數(shù)據(jù)可更新不可更新操作需求事先可知道操作需求事先不知道生命周期符合軟件開(kāi)發(fā)生命周期（SDLC）完全不同的生命周期對(duì)性能要求高對(duì)性能要求寬松一個(gè)時(shí)刻操作一個(gè)元組一個(gè)時(shí)刻操作一個(gè)合集事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)面向應(yīng)用面向分析一次操作數(shù)量量小一次操作數(shù)據(jù)量大支持日常操作支持管理決策需求操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別3.2數(shù)據(jù)管理技術(shù)概述3.2.3數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)只有一字之差，似乎是一樣的概念，但實(shí)際則不然。數(shù)據(jù)倉(cāng)庫(kù)是為了構(gòu)建新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)。由于分析處理和事務(wù)處理具有極不相同的性質(zhì)，因而兩者對(duì)數(shù)據(jù)也有著不同的要求?；谏鲜霾僮餍蛿?shù)據(jù)和分析型數(shù)據(jù)之間的區(qū)別，可以給出數(shù)據(jù)倉(cāng)庫(kù)的定義：數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)用以更好地支持企業(yè)(或組織)決策分析處理的、面向主題的、集成的、不可更新的、隨時(shí)間不斷變化的數(shù)據(jù)集合。數(shù)據(jù)倉(cāng)庫(kù)本質(zhì)上和數(shù)據(jù)庫(kù)一樣，是長(zhǎng)期儲(chǔ)存在計(jì)算機(jī)內(nèi)的、有組織、可共享的數(shù)據(jù)集合。3.2數(shù)據(jù)管理技術(shù)概述3.2.3數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù)1.數(shù)據(jù)倉(cāng)庫(kù)的基本特征數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)主要的區(qū)別是數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)具有以下4個(gè)基本特征。主題與面向主題：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是面向主題進(jìn)行組織的。面向主題的數(shù)據(jù)組織方式是根據(jù)分析要求將數(shù)據(jù)組織成一個(gè)完備的分析領(lǐng)域，即主題域。1數(shù)據(jù)倉(cāng)庫(kù)是集成的：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是從原有的分散的數(shù)據(jù)庫(kù)數(shù)據(jù)中抽取來(lái)的，因此入庫(kù)之前必然要經(jīng)過(guò)數(shù)據(jù)綜合工作。這一步實(shí)際是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中最關(guān)鍵、最復(fù)雜的一步。2數(shù)據(jù)倉(cāng)庫(kù)是不可更新的：數(shù)據(jù)倉(cāng)庫(kù)主要供決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般情況下并不進(jìn)行修改操作。3數(shù)據(jù)倉(cāng)庫(kù)是隨時(shí)間變化的：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是隨時(shí)間的變化不斷變化的，數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的標(biāo)識(shí)碼都包含時(shí)間項(xiàng)，以標(biāo)明數(shù)據(jù)的歷史時(shí)期。43.2數(shù)據(jù)管理技術(shù)概述3.2.3數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù)2.數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)分為多個(gè)級(jí)別:早期細(xì)節(jié)級(jí)、當(dāng)前細(xì)節(jié)級(jí)、輕度綜合級(jí)和高度綜合級(jí)。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織結(jié)構(gòu)如圖。源數(shù)據(jù)經(jīng)過(guò)抽取、清洗、轉(zhuǎn)換、裝載進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。首先進(jìn)入當(dāng)前細(xì)節(jié)級(jí)，根據(jù)具體的分析處理需求再進(jìn)行綜合，進(jìn)而成為輕度綜合級(jí)和高度綜合級(jí)。隨著時(shí)間的推移，早期的數(shù)據(jù)將轉(zhuǎn)入早期細(xì)節(jié)級(jí)。3.2數(shù)據(jù)管理技術(shù)概述3.2.3數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù)3.數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的體系結(jié)構(gòu)如圖所示，由數(shù)據(jù)倉(cāng)庫(kù)的后臺(tái)工具、DW和DW服務(wù)器、OLAP服務(wù)器和前臺(tái)工具組成。3.2數(shù)據(jù)管理技術(shù)概述3.2.3數(shù)據(jù)倉(cāng)庫(kù)管理技術(shù)數(shù)據(jù)倉(cāng)庫(kù)的后臺(tái)工具包括數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載和維護(hù)(maintain)工具，簡(jiǎn)記為ECTL工具或ETL工具。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器相當(dāng)于數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)庫(kù)管理系統(tǒng)，它負(fù)責(zé)管理數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存儲(chǔ)管理和數(shù)據(jù)存取，并給OLAP服務(wù)器和前臺(tái)工具提供存取接口(如SQL查詢接口)。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器目前一般是關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)或擴(kuò)展的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)，即由傳統(tǒng)數(shù)據(jù)庫(kù)廠商對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)加以擴(kuò)展修改，使它能更好地支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)的功能。OLAP服務(wù)器透明地為前臺(tái)工具和用戶提供多維數(shù)據(jù)視圖。用戶不必關(guān)心它的分析數(shù)據(jù)(即多維數(shù)據(jù))到底存儲(chǔ)在什么地方，是怎么存儲(chǔ)的。前臺(tái)工具包括查詢報(bào)表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結(jié)果可視化工具等。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)1.什么是大數(shù)據(jù)超大規(guī)模數(shù)據(jù)庫(kù)”(VeryLargeDatabase,VLDB)這個(gè)詞是20世紀(jì)70年代中期出現(xiàn)的；當(dāng)年數(shù)據(jù)庫(kù)中管理的數(shù)據(jù)集有數(shù)百萬(wàn)條記錄就是超大規(guī)模了。“海量數(shù)據(jù)”則是21世紀(jì)初出現(xiàn)的詞，用來(lái)描述更大的數(shù)據(jù)集以及更加豐富的數(shù)據(jù)類型。2008年9月，《Science》發(fā)表了一篇文章“BigData:ScienceinthePetabyteEra”，“大數(shù)據(jù)”這個(gè)詞開(kāi)始被廣泛傳播。應(yīng)對(duì)“超大規(guī)模"數(shù)據(jù)：系統(tǒng)的三級(jí)模式體系架構(gòu)，數(shù)據(jù)獨(dú)立性的思想，SQL，基于代價(jià)的優(yōu)化技術(shù)，事務(wù)管理與故障恢復(fù)技術(shù)等應(yīng)對(duì)“海量數(shù)據(jù)"的挑戰(zhàn)：半結(jié)構(gòu)化數(shù)據(jù)和各種非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)模型及對(duì)它們的有效管理、多數(shù)據(jù)源的集成問(wèn)題等因此，大數(shù)據(jù)并不是當(dāng)前時(shí)代所獨(dú)有的特征，而是伴隨著人類社會(huì)的發(fā)展以及人類科技水平的提高而不斷發(fā)展演化的。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)1.什么是大數(shù)據(jù)當(dāng)前，人們從不同的角度在詮釋大數(shù)據(jù)的內(nèi)涵。定義1：一般意義上，大數(shù)據(jù)是指無(wú)法在可容忍的時(shí)間內(nèi)用現(xiàn)有IT技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。定義2：大數(shù)據(jù)通常被認(rèn)為是PB、EB更高數(shù)量級(jí)的數(shù)據(jù)，包括結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。其規(guī)模或復(fù)雜程度超出了傳統(tǒng)數(shù)據(jù)庫(kù)和軟件技術(shù)所能管理和處理的數(shù)據(jù)集范圍。有專家按大數(shù)據(jù)的應(yīng)用類型將大數(shù)據(jù)分為海量交易數(shù)據(jù)(企業(yè)OLTP應(yīng)用)、海量交互數(shù)據(jù)(社交網(wǎng)、傳感器、全球定位系統(tǒng)、Web信息)和海量處理數(shù)據(jù)(企業(yè)OLAP應(yīng)用)。當(dāng)然，可以從不同的角度對(duì)大數(shù)據(jù)進(jìn)行分類，目的是有針對(duì)性地進(jìn)行研究與利用。例如，有些專家將網(wǎng)絡(luò)空間(cyberspace)中各類應(yīng)用引發(fā)的大數(shù)據(jù)稱為網(wǎng)絡(luò)大數(shù)據(jù)，并按數(shù)據(jù)類型分為自媒體數(shù)據(jù)、日志數(shù)據(jù)和富媒體數(shù)據(jù)三類。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)應(yīng)用特點(diǎn)是數(shù)據(jù)海量，讀寫(xiě)操作比較簡(jiǎn)單、訪問(wèn)和更新頻繁、一次交易的數(shù)據(jù)量不大，但要求支持事務(wù)ACID特性。對(duì)數(shù)據(jù)的完整性及安全性要求高，必須保證強(qiáng)一致性應(yīng)用特點(diǎn)是實(shí)時(shí)交互性強(qiáng)，但不要求支持事務(wù)特性。其數(shù)據(jù)的典型特點(diǎn)是類型多樣異構(gòu)、不完備、噪音大、數(shù)據(jù)增長(zhǎng)快，不要求具有強(qiáng)一致性海量交易數(shù)據(jù)海量交互數(shù)據(jù)應(yīng)用特點(diǎn)是面向海量數(shù)據(jù)分析，計(jì)算復(fù)雜，往往涉及多次迭代完成，追求數(shù)據(jù)分析的高效率，但不要求支持ACID事務(wù)特性。典型的應(yīng)用：采用并行與分布處理框架實(shí)現(xiàn)。其數(shù)據(jù)的特點(diǎn)是同構(gòu)性(如關(guān)系數(shù)據(jù)或文本數(shù)據(jù)或列模式數(shù)據(jù))和較好的穩(wěn)定性(不存在頻繁的更新操作)。海量處理數(shù)據(jù)3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)2.大數(shù)據(jù)的特征（4V）大數(shù)據(jù)不僅僅是量“大”，它具有許多重要的特征。專家們歸納為若干個(gè)V，大數(shù)據(jù)的這些特征給我們帶來(lái)了巨大的挑戰(zhàn)。巨量Volume1多樣

Variety2快變

Velocity3價(jià)值

Value43.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)2.大數(shù)據(jù)的特征——巨量Volume大數(shù)據(jù)的首要特征是數(shù)據(jù)量巨大，而且在持續(xù)、急劇地膨脹。大規(guī)模數(shù)據(jù)的幾個(gè)主要來(lái)源如下：1)科學(xué)研究(天文學(xué)、生物學(xué)、高能物理等)、計(jì)算機(jī)仿真領(lǐng)域。2)互聯(lián)網(wǎng)應(yīng)用、電子商務(wù)領(lǐng)域。3)傳感器數(shù)據(jù)(sensordata)。4)網(wǎng)站點(diǎn)擊流數(shù)據(jù)(clickstreamdata)。5)移動(dòng)設(shè)備數(shù)據(jù)(mobiledevicedata)。6)無(wú)線射頻識(shí)別數(shù)據(jù)(RFIDData)。7)傳統(tǒng)的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)所管理的結(jié)構(gòu)化數(shù)據(jù)也在急速增大。目前數(shù)據(jù)增長(zhǎng)的速度已經(jīng)超過(guò)了計(jì)算資源增長(zhǎng)的速度。這就需要設(shè)計(jì)新的計(jì)算機(jī)硬件以及新的系統(tǒng)架構(gòu)，設(shè)計(jì)新硬件下的存儲(chǔ)子系統(tǒng)。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)2.大數(shù)據(jù)的特征——多樣

Variety數(shù)據(jù)的多樣性通常是指異構(gòu)的數(shù)據(jù)類型、不同的數(shù)據(jù)表示和語(yǔ)義解釋?，F(xiàn)在，越來(lái)越多的應(yīng)用所產(chǎn)生的數(shù)據(jù)類型不再是純粹的關(guān)系數(shù)據(jù)，更多的是非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，如文本、圖形、圖像、音頻、視頻、網(wǎng)頁(yè)、推特和博客(blogs)等。對(duì)異構(gòu)海量數(shù)據(jù)的組織、分析、檢索、管理和建模是基礎(chǔ)性的挑戰(zhàn)。對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析在許多應(yīng)用中成為一個(gè)顯著的瓶頸。因此，針對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的高效表達(dá)、存取和分析技術(shù)，需要大量的基礎(chǔ)研究。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)2.大數(shù)據(jù)的特征——快變

Velocity大數(shù)據(jù)的快變性也稱為實(shí)時(shí)性，一方面指數(shù)據(jù)到達(dá)的速度很快，另一方面指能夠進(jìn)行處理的時(shí)間很短，或者要求響應(yīng)速度很快，即實(shí)時(shí)響應(yīng)。許多大數(shù)據(jù)往往以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生和演變，具有很強(qiáng)的時(shí)效性。對(duì)流數(shù)據(jù)的采集、過(guò)濾、存儲(chǔ)和利用需要充分考慮和掌控它們的快變性。對(duì)于大數(shù)據(jù)上的實(shí)時(shí)分析處理，大數(shù)據(jù)查詢和分析中的優(yōu)化技術(shù)具有極大的挑戰(zhàn)性，需要借鑒傳統(tǒng)數(shù)據(jù)庫(kù)中非常成功的查詢優(yōu)化技術(shù)以及索引技術(shù)等。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)2.大數(shù)據(jù)的特征——價(jià)值

Value大數(shù)據(jù)的價(jià)值是潛在的、巨大的。大數(shù)據(jù)不僅具有經(jīng)濟(jì)價(jià)值和產(chǎn)業(yè)價(jià)值，還具有科學(xué)價(jià)值。這是大數(shù)據(jù)最重要的特點(diǎn)，也是大數(shù)據(jù)的魅力所在。數(shù)據(jù)就是資源，數(shù)據(jù)就是財(cái)富一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模和運(yùn)用數(shù)據(jù)的能力將成為綜合國(guó)力的重要組成部分，對(duì)數(shù)據(jù)的占有和控制也將成為國(guó)家與國(guó)家、企業(yè)與企業(yè)間新的爭(zhēng)奪焦點(diǎn)。大數(shù)據(jù)規(guī)模巨大、異構(gòu)多樣、快變復(fù)雜，隱私等自身的問(wèn)題，以及數(shù)據(jù)孤島、信息私有、缺乏共享的客觀現(xiàn)實(shí)都阻礙了數(shù)據(jù)價(jià)值的創(chuàng)造3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)3.大數(shù)據(jù)管理系統(tǒng)從前面闡述的大數(shù)據(jù)特點(diǎn)可以看到，大數(shù)據(jù)管理、分析、處理和應(yīng)用等諸多領(lǐng)域都面臨著巨大挑戰(zhàn)。數(shù)據(jù)管理技術(shù)和系統(tǒng)是大數(shù)據(jù)應(yīng)用系統(tǒng)的基礎(chǔ)。為了應(yīng)對(duì)大數(shù)據(jù)應(yīng)用的迫切需求，人們研究和發(fā)展了以Key/Value非關(guān)系數(shù)據(jù)模型和MapReduce并行編程模型為代表的眾多新技術(shù)和新系統(tǒng)。比如：NoSQL數(shù)據(jù)管理系統(tǒng)1NewSQL數(shù)據(jù)庫(kù)系統(tǒng)2MapReduce技術(shù)3大數(shù)據(jù)管理系統(tǒng)的新格局43.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)NoSQL數(shù)據(jù)管理系統(tǒng)NoSQL是以互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用為背景發(fā)展起來(lái)的分布式數(shù)據(jù)管理系統(tǒng)。NoSQL有兩種解釋：一種是Non-Relational，即非關(guān)系數(shù)據(jù)庫(kù)；另一種是NotOnlySQL，即數(shù)據(jù)管理技術(shù)不僅僅是SQL。NoSQL系統(tǒng)為了提高存儲(chǔ)能力和并發(fā)讀寫(xiě)能力采用了極其簡(jiǎn)單的數(shù)據(jù)模型，支持簡(jiǎn)單的查詢操作，而將復(fù)雜操作留給應(yīng)用層實(shí)現(xiàn)。該系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行劃分，對(duì)各個(gè)數(shù)據(jù)分區(qū)進(jìn)行備份，以應(yīng)對(duì)結(jié)點(diǎn)可能的失敗，提高系統(tǒng)可用性：通過(guò)大量結(jié)點(diǎn)的并行處理獲得高性能，采用的是橫向擴(kuò)展的方式(scaleout)。NoSQL系統(tǒng)支持的數(shù)據(jù)模型通常分為Key-Value模型、BigTable模型、文檔(document)模型和圖(graph)模型等4種類型。1）Key-Value模型：支持按照Key值來(lái)存儲(chǔ)和提取Value值2）BigTable

模型：支持結(jié)構(gòu)化的數(shù)據(jù)，包括列、列簇、時(shí)間戳以及版本控制等元數(shù)據(jù)的存儲(chǔ)3）文檔模型：支持復(fù)雜的結(jié)構(gòu)定義，通常是被轉(zhuǎn)換成JSON或者類似于JSON格式的結(jié)構(gòu)化文檔:支持?jǐn)?shù)據(jù)庫(kù)索引的定義，其索引主要是按照字段名來(lái)組織的。4）圖模型：記為G(V,E),V為結(jié)點(diǎn)(node)集合，每個(gè)結(jié)點(diǎn)具有若干屬性，E為邊(edge)集合，也可以具有若干屬性。該模型支持圖結(jié)構(gòu)的各種基本算法。3.2數(shù)據(jù)管理技術(shù)概述3.2.4大數(shù)據(jù)管理技術(shù)NewSQL數(shù)據(jù)庫(kù)系統(tǒng)NewSQL系統(tǒng)是融合了NoSQL系統(tǒng)和傳統(tǒng)數(shù)據(jù)庫(kù)事務(wù)管理功能的新型數(shù)據(jù)庫(kù)系統(tǒng)。SQL關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)長(zhǎng)期以來(lái)一直是企業(yè)業(yè)務(wù)系統(tǒng)的核心和基礎(chǔ)，但是它擴(kuò)展性差、成本高，難以應(yīng)對(duì)海量數(shù)據(jù)的挑戰(zhàn)。NoSQL數(shù)據(jù)管理系統(tǒng)以其靈活性和良好的擴(kuò)展性在大數(shù)據(jù)時(shí)代迅速崛起。但是，NoSQL不支持SQL，導(dǎo)致應(yīng)用程序開(kāi)發(fā)困難，特別是不支持關(guān)鍵應(yīng)用所需要的事務(wù)ACID特性。NewSQL將SQL和NoSQL的優(yōu)勢(shì)結(jié)合起來(lái)，充分利用計(jì)算機(jī)硬件的新技術(shù)、新結(jié)構(gòu)，