第4章 管理信息系統(tǒng)(滕佳東 第五版)

第4章云計(jì)算與大數(shù)據(jù)第4章云計(jì)算與大數(shù)據(jù)本章所講的主要內(nèi)容如下：4.1云計(jì)算概述4.2大數(shù)據(jù)概述4.3云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù)4.4數(shù)據(jù)管理4.5云計(jì)算和大數(shù)據(jù)在信息系統(tǒng)中的應(yīng)用第4章云計(jì)算與大數(shù)據(jù)4.1云計(jì)算概述

4.1.1云計(jì)算簡(jiǎn)介4.1.2云計(jì)算的特點(diǎn)4.1.3云計(jì)算的發(fā)展本節(jié)所講的內(nèi)容如下：第4章云計(jì)算與大數(shù)據(jù)4.1.1云計(jì)算簡(jiǎn)介

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)關(guān)于云計(jì)算的定義:云計(jì)算是一種按使用量付費(fèi)的模式,這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn),進(jìn)入可配置的計(jì)算資源共享池(資源包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用軟件、服務(wù)),這些資源能夠被快速提供,只需投入很少的管理工作或與服務(wù)供應(yīng)商進(jìn)行很少的交互。第4章云計(jì)算與大數(shù)據(jù)4.1.1云計(jì)算簡(jiǎn)介

云計(jì)算中三個(gè)公認(rèn)的服務(wù)層次：IaaS、PaaS和SaaS。圖4-1云計(jì)算的服務(wù)層次IaaS的意思是基礎(chǔ)設(shè)施即服務(wù)PaaS的意思是平臺(tái)即服務(wù)SaaS的意思是軟件即服務(wù)第4章云計(jì)算與大數(shù)據(jù)4.1.1云計(jì)算簡(jiǎn)介

從用戶角度來(lái)看：IaaS:用戶可以從云計(jì)算服務(wù)供應(yīng)商處獲得多核的CPU資源、指定大小的內(nèi)存、給定的網(wǎng)絡(luò)寬帶以及所需存儲(chǔ)空間，然而用戶需要自行安裝和開(kāi)發(fā)應(yīng)用程序和系統(tǒng)。典型代表為Amazon的EC2。PaaS：用戶可以從云計(jì)算服務(wù)供應(yīng)商處獲得包含基本數(shù)據(jù)庫(kù)和中間件程序的一套完整系統(tǒng)，然而用戶需要根據(jù)接口編寫(xiě)所需的應(yīng)用程序。如Google的AppEngine、Microsoft的Azure和Amazon的SimpleDB。第4章云計(jì)算與大數(shù)據(jù)4.1.1云計(jì)算簡(jiǎn)介

SaaS：用戶可以從云計(jì)算服務(wù)供應(yīng)商處獲得完整的應(yīng)用程序,只需根據(jù)地址進(jìn)行訪問(wèn),通過(guò)設(shè)定好的賬號(hào)和密碼進(jìn)行使用,或?qū)Χ鄠€(gè)不同的服務(wù)進(jìn)行整合。典型的SaaS服務(wù)有SalesForce、YahooHadoop和CiscoWebex、Collaboration等。第4章云計(jì)算與大數(shù)據(jù)4.1.2云計(jì)算的特點(diǎn)

云計(jì)算核心特點(diǎn)是計(jì)算的虛擬化。多虛一：通過(guò)將大量低性能的服務(wù)器或運(yùn)算單元虛擬成為一臺(tái)具有極強(qiáng)運(yùn)算能力的超級(jí)計(jì)算機(jī)來(lái)完成復(fù)雜的計(jì)算任務(wù)。一虛多：在一臺(tái)服務(wù)器上定義多臺(tái)虛擬機(jī),將計(jì)算任務(wù)分配給多臺(tái)虛擬機(jī)共同完成。從而最大限度地發(fā)揮服務(wù)器的運(yùn)算能力

根據(jù)多虛一和一虛多兩種不同的技術(shù)發(fā)展方向,云計(jì)算可被分為集中云與分散云。第4章云計(jì)算與大數(shù)據(jù)4.1.2云計(jì)算的特點(diǎn)集中云

集中云的技術(shù)基礎(chǔ)是計(jì)算的多虛一，其最早期的應(yīng)用實(shí)例是Google應(yīng)用于搜索引擎的云計(jì)算實(shí)現(xiàn)。多虛一技術(shù)可分為主備模式(Active-Standby)和負(fù)載均衡模式(LoadBalance)兩大類。集中云主要應(yīng)用于大型互聯(lián)網(wǎng)服務(wù)提供商和大型研究機(jī)構(gòu)所構(gòu)建的云服務(wù)和數(shù)據(jù)中心。

第4章云計(jì)算與大數(shù)據(jù)4.1.2云計(jì)算的特點(diǎn)分散云分散云的技術(shù)基礎(chǔ)是一虛多,這已成為當(dāng)前云服務(wù)的關(guān)鍵底層技術(shù)。一虛多的最主要目的是為了提高服務(wù)器的運(yùn)算效率,通過(guò)在同一臺(tái)服務(wù)器上安裝多臺(tái)虛擬機(jī)實(shí)現(xiàn)對(duì)CPU運(yùn)算能力最大限度的使用,并充分利用所有的內(nèi)存和帶寬資源。一虛多在技術(shù)方面的實(shí)現(xiàn)方案大致可分為三類:(1)操作系統(tǒng)虛擬化OS-Level(2)主機(jī)虛擬化Hosted(3)裸金屬虛擬化Bare-Metal第4章云計(jì)算與大數(shù)據(jù)4.1.3云計(jì)算的發(fā)展第4章云計(jì)算與大數(shù)據(jù)4.2大數(shù)據(jù)概述

4.2.1大數(shù)據(jù)簡(jiǎn)介4.2.2大數(shù)據(jù)處理系統(tǒng)4.2.3大數(shù)據(jù)處理的層次本節(jié)所講的內(nèi)容如下：第4章云計(jì)算與大數(shù)據(jù)4.2.1大數(shù)據(jù)簡(jiǎn)介大數(shù)據(jù),也稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》一書(shū)中,大數(shù)據(jù)被解釋為摒棄了抽樣調(diào)查而采用所有數(shù)據(jù)進(jìn)行分析處理的方法。:BigData第4章云計(jì)算與大數(shù)據(jù)4.2.1大數(shù)據(jù)簡(jiǎn)介大數(shù)據(jù)的定義,核心特征是以V開(kāi)頭的三個(gè)關(guān)鍵詞——Volume、Variety和Velocity:Volume也就是數(shù)據(jù)量（目前指幾十TB?幾PB的數(shù)量級(jí)）。

Variety指的是大數(shù)據(jù)的多樣性（結(jié)構(gòu)化數(shù)據(jù)+非結(jié)構(gòu)化數(shù)據(jù)）。Velocity表示數(shù)據(jù)產(chǎn)生和更新的頻率很快（每秒幾十條以上）。

第4章云計(jì)算與大數(shù)據(jù)4.2.2大數(shù)據(jù)處理系統(tǒng)從服務(wù)的對(duì)象角度對(duì)大數(shù)據(jù)處理系統(tǒng)進(jìn)行分類,可以將其分為個(gè)體服務(wù)和整體服務(wù)兩種類型。從提供服務(wù)的時(shí)間點(diǎn)的角度對(duì)大數(shù)據(jù)處理系統(tǒng)進(jìn)行分類,可以分為實(shí)時(shí)和批處理兩種類型。

實(shí)時(shí)批處理個(gè)體服務(wù)?為特定的個(gè)體提供最優(yōu)的解決方案?實(shí)時(shí)反饋?為特定的個(gè)體提供最優(yōu)的解決方案?反饋的時(shí)機(jī)不限整體服務(wù)?為集體或者整個(gè)社會(huì)提供解決方案?實(shí)時(shí)反饋?為集體或者整個(gè)社會(huì)提供解決方案?反饋的時(shí)機(jī)不限表4-1大數(shù)據(jù)處理系統(tǒng)的分類第4章云計(jì)算與大數(shù)據(jù)4.2.2大數(shù)據(jù)處理系統(tǒng)1.個(gè)體服務(wù)-批處理型：在電商網(wǎng)站中基于用戶的歷史瀏覽和購(gòu)買(mǎi)記錄所進(jìn)行的一對(duì)一營(yíng)銷(xiāo);保險(xiǎn)公司通過(guò)對(duì)能夠反映客戶駕駛習(xí)慣的數(shù)據(jù)(如駕駛頻率、速度、急剎次數(shù)等)進(jìn)行收集和分析,以確定對(duì)保費(fèi)所給予的折扣等

。2.個(gè)體服務(wù)-實(shí)時(shí)型：當(dāng)顧客位于某門(mén)店附近或停留在某購(gòu)物網(wǎng)站的時(shí)候自動(dòng)為其實(shí)時(shí)地推送相關(guān)信息等。3.整體服務(wù)-批處理型：通過(guò)對(duì)社交網(wǎng)絡(luò)中的文本信息進(jìn)行分析來(lái)預(yù)測(cè)市場(chǎng)趨勢(shì)并確定對(duì)沖基金的操作策略;利用搜索引擎中的大量搜索信息來(lái)預(yù)測(cè)感冒流行趨勢(shì)等。4.整體服務(wù)-實(shí)時(shí)型運(yùn)用：大量智能手機(jī)用戶中GPS采集的位置信息來(lái)實(shí)時(shí)監(jiān)測(cè)交通阻塞的狀況并反映到地圖軟件中等。大數(shù)據(jù)處理系統(tǒng)應(yīng)用舉例：第4章云計(jì)算與大數(shù)據(jù)4.2.3大數(shù)據(jù)處理的層次運(yùn)用大數(shù)據(jù)來(lái)解決現(xiàn)實(shí)問(wèn)題,通常會(huì)遵循“對(duì)過(guò)去的分析→對(duì)現(xiàn)狀的監(jiān)控→對(duì)將來(lái)的預(yù)測(cè)→對(duì)行動(dòng)的優(yōu)化”這樣的過(guò)程循序漸進(jìn)地進(jìn)行。圖4-2大數(shù)據(jù)處理的層次第4章云計(jì)算與大數(shù)據(jù)4.3云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù)

4.3.1云計(jì)算與大數(shù)據(jù)4.3.2云計(jì)算與物聯(lián)網(wǎng)4.3.3智能決策系統(tǒng)

4.3.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)4.3.5Haoop——分布式大數(shù)據(jù)系統(tǒng)本節(jié)所講的內(nèi)容如下：第4章云計(jì)算與大數(shù)據(jù)4.3.1云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)處理力求在合理的時(shí)間內(nèi)達(dá)到從龐雜的數(shù)據(jù)中擷取、管理、處理及整理出可以幫助企業(yè)經(jīng)營(yíng)用戶進(jìn)行決策的有用資訊。為實(shí)現(xiàn)這一目標(biāo),實(shí)踐中通常會(huì)采用包括大規(guī)模并行處理數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)等技術(shù)和方法。

第4章云計(jì)算與大數(shù)據(jù)4.3.2云計(jì)算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)(InternetofThings,IoT)的概念自提出之初就常常同大數(shù)據(jù)的采集和處理聯(lián)系在一起。它被定義為:通過(guò)射頻識(shí)別(RFID)、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)相連接,進(jìn)行信息交換和通信,以實(shí)現(xiàn)智能化感知、識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)概念。

第4章云計(jì)算與大數(shù)據(jù)4.3.2云計(jì)算與物聯(lián)網(wǎng)云計(jì)算是實(shí)現(xiàn)物聯(lián)網(wǎng)的核心技術(shù)之一,也是推動(dòng)物聯(lián)網(wǎng)服務(wù)創(chuàng)新的重要基礎(chǔ)。

在物聯(lián)網(wǎng)的建設(shè)中,有三大重要的基礎(chǔ):(1)傳感器等電子元器件;(2)傳輸?shù)耐ǖ?即網(wǎng)絡(luò);(3)高效的、動(dòng)態(tài)的,可以大規(guī)模擴(kuò)展的數(shù)據(jù)處理能力。物聯(lián)網(wǎng)所采集到的實(shí)時(shí)動(dòng)態(tài)信息完全具有大數(shù)據(jù)的大體量、多樣性、高速度的特性,而這里所提到的第三個(gè)基礎(chǔ)正是在云計(jì)算技術(shù)的幫助下得以實(shí)現(xiàn)的。

第4章云計(jì)算與大數(shù)據(jù)4.3.2云計(jì)算與物聯(lián)網(wǎng)云計(jì)算與互聯(lián)網(wǎng)結(jié)合方式大致分為以下幾種：?jiǎn)沃行?多終端此模式由單一的云計(jì)算中心和若干物聯(lián)網(wǎng)終端(傳感器、攝像頭等)組成。。這類應(yīng)用主要運(yùn)用云計(jì)算中心所提供的海量存儲(chǔ)和統(tǒng)一界面、分級(jí)管理等功能,為日常生活提供較好的幫助。如家庭電子設(shè)備的監(jiān)測(cè)、對(duì)高速路段的監(jiān)控、幼兒園小朋友監(jiān)管等。多中心,大量終端此模式適用于區(qū)域跨度較大的企業(yè)和單位。譬如,一個(gè)跨多地區(qū)或者多國(guó)家的企業(yè),因其分公司或分廠較多,要對(duì)其各公司或工廠的生產(chǎn)流程進(jìn)行監(jiān)控、對(duì)相關(guān)的產(chǎn)品進(jìn)行質(zhì)量跟蹤等。這一模式的前提是云計(jì)算中心須包含公共云和私有云,并且它們之間的互聯(lián)沒(méi)有障礙。

信息、應(yīng)用分類處理,海量終端在這一模式下,具體根據(jù)應(yīng)用模式和場(chǎng)景,對(duì)各種信息、數(shù)據(jù)進(jìn)行分類處理,然后選擇相關(guān)的途徑給相應(yīng)的終端。

對(duì)需要大量數(shù)據(jù)傳送但安全性要求不高的數(shù)據(jù)等,可以采取本地云計(jì)算中心處理或存儲(chǔ)。對(duì)于計(jì)算要求高、數(shù)據(jù)量不大的,可以放在專門(mén)負(fù)責(zé)高端運(yùn)算的云計(jì)算中心里。而對(duì)于數(shù)據(jù)安全要求非常高的信息和數(shù)據(jù),我們可以放在具有災(zāi)備中心功能的云中。

第4章云計(jì)算與大數(shù)據(jù)4.3.3智能決策系統(tǒng)

影響非結(jié)構(gòu)化問(wèn)題的因素往往既存在于企業(yè)現(xiàn)有的結(jié)構(gòu)化數(shù)據(jù)庫(kù)中,也存在于社會(huì)中和互聯(lián)網(wǎng)上,這些因素與決策問(wèn)題本身并不構(gòu)成明顯的因果關(guān)系但卻又無(wú)法忽視它們的影響。在這種情況下,盡可能多地將相關(guān)因素的數(shù)據(jù)收集起來(lái),并對(duì)其潛在的模式和知識(shí)進(jìn)行挖掘進(jìn)而指導(dǎo)決策,就成為了一種自然而然的想法。實(shí)現(xiàn)這種決策的系統(tǒng)就是基于智能數(shù)據(jù)分析方法的智能決策系統(tǒng)。智能決策系統(tǒng)第4章云計(jì)算與大數(shù)據(jù)4.3.3智能決策系統(tǒng)智能決策系統(tǒng)中的專家系統(tǒng)(ExpertSystem)常被用來(lái)替代專業(yè)技術(shù)人員以輔助管理者進(jìn)行決策,這類系統(tǒng)也被稱為基于知識(shí)的系統(tǒng)(Knowledge-BasedSystem)。專家系統(tǒng)是一種基于數(shù)據(jù)分析和智能算法的決策系統(tǒng),它非常適用于診斷性問(wèn)題和指令性問(wèn)題。它可以被用來(lái)對(duì)問(wèn)題的狀態(tài)進(jìn)行判斷,或?qū)溥x方案進(jìn)行選擇。

主要應(yīng)用領(lǐng)域：

會(huì)計(jì)——用于審計(jì)、管理咨詢和培訓(xùn)。醫(yī)藥——病癥的初步診斷、輔助開(kāi)具藥物處方。財(cái)務(wù)管理——辨別高風(fēng)險(xiǎn)賬戶。生產(chǎn)——機(jī)械故障診斷、指導(dǎo)各類產(chǎn)品的加工制造。

專家系統(tǒng)第4章云計(jì)算與大數(shù)據(jù)4.3.3智能決策系統(tǒng)

優(yōu)點(diǎn)處理大量的數(shù)據(jù)。減少?zèng)Q策失誤。匯集來(lái)自各種渠道的信息。改善用戶體驗(yàn)。提高決策的一致性。減少人力投入。降低成本。第4章云計(jì)算與大數(shù)據(jù)4.3.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)

數(shù)據(jù)挖掘是對(duì)大量存儲(chǔ)的數(shù)據(jù)進(jìn)行分析,并從中找出隱藏在項(xiàng)目之間的相互關(guān)系和模式等信息的手段。也就是說(shuō),數(shù)據(jù)挖掘是通過(guò)聚類分析、神經(jīng)網(wǎng)絡(luò)、模糊邏輯、回歸分析、決策樹(shù)、關(guān)聯(lián)分析、自然語(yǔ)言處理等手段,由計(jì)算機(jī)從大量的歷史數(shù)據(jù)中找到知識(shí)的過(guò)程。

數(shù)據(jù)挖掘第4章云計(jì)算與大數(shù)據(jù)4.3.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)相關(guān)技術(shù)簡(jiǎn)要介紹：聚類分析。聚類(Clustering)是指將數(shù)據(jù)集中相似的樣本點(diǎn)聚集到一起,將整個(gè)數(shù)據(jù)分成幾個(gè)組,每個(gè)組內(nèi)的樣本被認(rèn)為具有類似的性質(zhì)。例如,在推薦系統(tǒng)中,可以運(yùn)用聚類分析的方法將興趣愛(ài)好類似的用戶分在同一個(gè)用戶組內(nèi),然后以組為單位來(lái)推薦商品?；貧w分析(RegressionAnalysis)。是指當(dāng)某個(gè)變量的變化受若干其他變量的影響時(shí),用于求得表現(xiàn)它們之間關(guān)系的公式的一種統(tǒng)計(jì)學(xué)分析方法。

第4章云計(jì)算與大數(shù)據(jù)4.3.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)相關(guān)技術(shù)簡(jiǎn)要介紹：神經(jīng)網(wǎng)絡(luò)(NeuralNetwork)。是指在計(jì)算機(jī)上實(shí)現(xiàn)與人腦神經(jīng)系統(tǒng)類似的計(jì)算方式。通過(guò)模仿神經(jīng)元之間的信息傳遞和相互刺激的模式來(lái)實(shí)現(xiàn)對(duì)非線性問(wèn)題的學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)可以用于解決分類、回歸、預(yù)測(cè)等數(shù)據(jù)挖掘中的典型問(wèn)題,它具有下述特點(diǎn):?獨(dú)立學(xué)習(xí)并能夠適應(yīng)環(huán)境參數(shù)的變化。?適于大規(guī)模并行處理。?可以在具有不完整或不良結(jié)構(gòu)信息的情況下進(jìn)行工作。?能夠處理變量之間具有依賴性的大量信息。?可以分析信息中的非線性關(guān)系。第4章云計(jì)算與大數(shù)據(jù)4.3.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)相關(guān)技術(shù)簡(jiǎn)要介紹：決策樹(shù)(DecisionTree)是一種用于預(yù)測(cè)和分類的分析方法,將決策過(guò)程中的條件用樹(shù)狀結(jié)構(gòu)表示出來(lái)。對(duì)于其中的某一個(gè)條件,分別給出其為Yes和No兩種情況下的處理方式。關(guān)聯(lián)分析(AssociationAnalysis)又叫購(gòu)物籃分析(MarketBasketAnalysis),是一種在多個(gè)商品中找到可能會(huì)同時(shí)購(gòu)買(mǎi)的商品組合(如購(gòu)買(mǎi)商品A的人很有可能同時(shí)購(gòu)買(mǎi)商品B)的分析方法。第4章云計(jì)算與大數(shù)據(jù)4.3.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)相關(guān)技術(shù)簡(jiǎn)要介紹：遺傳算法(GeneticAlgorithm)是一種人工智能系統(tǒng),它通過(guò)模仿進(jìn)化過(guò)程中適者生存的規(guī)律從而產(chǎn)生一個(gè)問(wèn)題的逐步改進(jìn)的解決方案。換句話說(shuō),遺傳算法是一種優(yōu)化系統(tǒng),