云計算與大數據（第二版）綜述

云計算與大數據第2版緒論1.1云計算的來歷及發(fā)展1.2云計算的概念及特征1.3云計算的應用及比較1.4大數據的提出及發(fā)展1.5大數據的概念及特征1.6大數據的作用與挑戰(zhàn)1.7大數據和云計算的關系重點：云計算概念、特征大數據概念、特征大數據作用、挑戰(zhàn)難點：大數據和云計算關系本章重點及難點1.1.1云計算的誕生

現代的云計算模式誕生于上個世紀90年代末的互聯網大潮。1997年，RamnathChellapa教授在一次演講中第一次提出了“云計算”這個詞；1999年成立的S公司是公認的云計算先驅，它主要向企業(yè)客戶銷售基于云的SaaS（SoftwareasaService—軟件即服務）產品。1.1云計算的來歷及發(fā)展1.1.2云計算的發(fā)展進入21世紀的第一個十年，Amazon接棒S推動云計算的快速發(fā)展。

Amazon在公司內部實施數據中心建設計劃，得到了不錯的回饋，接著將這個服務開發(fā)給外部用戶，并命名為AWS（AmazonWebService—亞馬遜網絡服務）。1.1.2云計算的發(fā)展繼AmazonAWS之后，各種云計算產品層出不窮地出現，Microsoft、Google等巨頭紛紛涌進這個領域。除了數量的增長，云計算類型也日益豐富，除了SAmazonAWS分別代表SaaS和IaaS（InfrastructureasaService—設施即服務）兩種云計算服務，第三種服務PaaS（PlatformasaService—平臺即服務）也快速發(fā)展起來，如：2009年發(fā)布的GoogleAppEngine服務。1.1.2云計算的發(fā)展進入21世紀的第二個十年，云計算進入了百花齊放的時代。人們已經不再討論云計算是否進行，主要的問題是云計算未來的發(fā)展方向，研究在大數據時代怎樣將云計算的潛力充分發(fā)揮出來，從而更好利用數據的價值。1.2.1什么是云計算百度百科中的解釋：云計算是基于互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態(tài)易擴展且經常是虛擬化的資源。1.1云計算的概念及特征1.2.1什么是云計算維基百科中的解釋：云計算是繼1980年代大型計算機到客戶端-服務器的大轉變之后的又一種巨變。是一種基于互聯網的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機和其他設備。1.2.1什么是云計算CSA（CloudSecurityAlliance—云計算安全聯盟）的解釋：云計算的本質是一種服務提供模型，通過這種模型可以隨時、隨地、按需地通過網絡訪問共享資源池的資源，這個資源池的內容包括計算資源、網絡資源、存儲資源等，這些資源能被動態(tài)地分配和調整，在不同用戶之間靈活地劃分，凡是符合這些特征的IT服務都可以稱為云計算服務。NIST（U.S.NationalInstituteofStandardsandTechnology—美國國家標準與技術學院）提出了一個定義云計算的標準—“NISTWorkingDefinitionofCloudComputing/NIST800-145”。此標準提出云計算的五大要素是：通過網絡分發(fā)服務、自助服務、可衡量的服務、資源的靈活調度，以及資源池化；1.2.1什么是云計算云計算的服務類型分三類：IaaS、SaaS和PaaS；按部署模式分為四種：公有云、私有云、混合云和社區(qū)云。1.2.2云計算的特征自助式服務通過網絡分發(fā)服務資源池化資源的靈活調度可衡量的服務1.3.1云計算的應用范圍云計算為用戶提供動態(tài)、可擴展的計算資源，也就是說，用戶享用的計算資源可以根據客戶流量需要隨時增減。云計算的特點對于現有的企業(yè)，特別是對計算資源要求隨時間變化的企業(yè)具有相當大的吸引力。利用云計算的彈性資源，企業(yè)解決了因需求量突然增加而出現計算資源不足的問題，同時避免了因閑置過剩計算資源而造成的浪費。1.3云計算的應用及與其他服務模式區(qū)別1.3.1云計算的應用范圍云計算也特別適合剛剛起步的IT企業(yè)。利用云計算服務，企業(yè)可以花費較少的資金從云計算服務商那里獲得所需的網絡計算資源，隨著業(yè)務的發(fā)展，再決定是否逐步增加租用云計算服務，甚至設立自己的數據中心。如果企業(yè)決定改變經營方向，也不用丟棄現有設備，另起爐灶，從而降低風險。1.3.1云計算的應用范圍隨著云計算的普及，人們開發(fā)的軟件將會越來越多地借助互聯網的強大功能，更多的軟件將在在互聯網上直接為用戶提供服務，這將給軟件開發(fā)者（無論企業(yè)還是個人）帶來他們的黃金時代。1.3.1云計算的應用范圍不是所有的軟件都需要搬到云計算中。云計算也不是對每個開發(fā)商都適合。對計算資源需求不大，所需資源沒有大起大落的網上軟件，從目前來說，云計算并不能帶來特別的好處。1.3.2云計算與其他計算服務模式的區(qū)別云計算與一般托管環(huán)境的區(qū)別云計算與網格計算的區(qū)別1.3.2云計算與其他計算服務模式的區(qū)別云計算系統與傳統超級計算機的區(qū)別1.4.1大數據的提出大數據一詞源于英文的“BigData”，早在1980年，著名未來學家阿爾文·托夫勒的《第三次浪潮》一書中，就出現過大數據的表述。但如果要追溯“大數據”的最初出處，就必然要提及Apacheorg的開源項目Nutch。當時大數據的意思是更新網絡搜索索引，同時還需要批量處理和分析大量的數據集。谷歌的MapReduce和GoogleFileSystem(GFS)發(fā)布后，大數據的含義中除了涵蓋大量數據之外，還包括數據處理的速度。1.4大數據的提出與發(fā)展1.4.2大數據的發(fā)展1.5.1什么是大數據？對于“大數據”（Bigdata）研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。1.4大數據的概念、特征及挑戰(zhàn)1.5.1什么是大數據？麥肯錫全球研究所的《大數據：創(chuàng)新、競爭和生產力的下一個前沿》報告中對“大數據”的定義是：大數據通常指的是大小規(guī)格超越傳統數據庫軟件工具抓取、存儲、管理和分析能力的數據群。但這個定義中沒有說明什么樣規(guī)格的數據才是大數據。1.5.1什么是大數據？按照美國信息存儲資訊科技公司易安信（EMC）的界定，特指的大數據一定是指大型數據集，規(guī)模大概在10TB。通過多用戶將多個數據集集合在一起，能構成PB的數據集。關于大數據如何定義尚沒有一個統一的意見，結合大數據的四個特征，可以給出一個較為清晰的大數據概念。1.5.2大數據的特征大數據特征可概括為四個V：大量化（Volume）多樣化（Variety）快速化（Velocity）價值（Value）關于大數據第4個V特征的另一種觀點：在普遍認同大數據的數據體量(volumes)大，數據類別(variety)多，產生速度快，要求數據處理速度（Velocity）快的3V特征后，關于最后一個特征的另一種觀點是：第4個V指數據真實性（Veracity）要求高，隨著社交數據、企業(yè)內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業(yè)愈發(fā)需要有效的信息之力以確保其真實性及安全性。結構化和非結構化數據按數據結構，數據分為結構化數據、半結構化的非結構化數據和無結構的非結構化數。結構化數據一般是指可以存儲在數據庫中，用二維表結構來邏輯表達實現的數據。如表1-1所示?？蛻籼柨蛻粜彰唐穯蝺r商品名稱商品數量2014111001汪偉1000.0冰箱12015120602李萍508.0電磁爐1非結構化數據相對于結構化數據，一般將不方便用二維表結構來表現的數據即稱為非結構化數據，包括：半結構化數據介于完全結構化數據和完全無結構化數據之間的數據，半結構化數據格式較規(guī)范，一般是純文本數據，可以通過某種方式解析得到每項數據。最常見的是日志數據、XML、JSON等格式數據。無結構化數據指非純文本類數據，沒有標準格式，無法直接解析出相應的值。常見的有富文本文檔（RichTextFormat，簡稱RTF）、多媒體（圖像、聲音、視頻等）。1.6.1大數據的作用1.大數據對企業(yè)影響深遠2.大數據是一種新商品3．精準營銷需要大數據1.6大數據的作用與挑戰(zhàn)1.6.2大數據的挑戰(zhàn)1.業(yè)務視角不同帶來的挑戰(zhàn)2.技術架構不同帶來的挑戰(zhàn)3．管理策略不同帶來的挑戰(zhàn)從技術上看，大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須采用分布式計算