大數(shù)據(jù)與云數(shù)據(jù)管理教材 2021實用新課件

第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計算云數(shù)據(jù)管理第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)1有關大數(shù)據(jù)的兩個問題問題1：你知道什么是“大數(shù)據(jù)”嗎？如果你不知道，那么你很可能OUT了！問題2：你聽說過“大數(shù)據(jù)”嗎？如果你連“大數(shù)據(jù)”聽都沒聽過，那么你絕對OUT了！有關大數(shù)據(jù)的兩個問題問題1：你知道什么是“大數(shù)據(jù)”嗎？2你認識這位老兄嗎？如果你連這位老兄都不認識，那你也太OUT了！你認識這位老兄嗎？如果你連這位老兄都不認識，那你也太OUT了3斯諾登事件帶給我們的最大震動是什么？不在于他暴露了美國政府正在監(jiān)聽全世界這件事情。因為，這早已是公開的秘密，對“世界警察”而言，這沒有什么值得大驚小怪的!而在于他使我們了解到美國政府已經具備了獲取、存儲、管理、分析和使用“大數(shù)據(jù)”的超強能力。這使美國政府獲得了相對他國政府更明顯的優(yōu)勢！大數(shù)據(jù)為“世界警察”的“大拳頭”裝上了“大眼睛”、“大耳朵”和“大腦袋”！斯諾登事件帶給我們的最大震動是什么？不在于他暴露了美國政府正4目前IT領域最引人關注的三個熱詞是什么？大數(shù)據(jù)云計算物聯(lián)網其他：移動互聯(lián)網，社交網，XXX2.0/3.0/…目前IT領域最引人關注的三個熱詞是什么？大數(shù)據(jù)5什么是大數(shù)據(jù)？來源：2008年9月《科學》(Science)雜志發(fā)表了一篇文章“BigData:ScienceinthePetabyteEra”，從此“大數(shù)據(jù)”這個詞開始被廣泛傳播。什么是大數(shù)據(jù)？來源：2008年9月《科學》(Science)6什么是大數(shù)據(jù)？沒有統(tǒng)一定義，因為“大”是一個相對“小”而言概念。與大數(shù)據(jù)(BigData)相類似的詞匯：LargeScale大規(guī)模,VeryLarge超大規(guī)模,Massive海量…什么是大數(shù)據(jù)？沒有統(tǒng)一定義，因為“大”是一個相對“小”而言概7什么是大數(shù)據(jù)？從歷史發(fā)展的視角看這幾個詞：VeryLarge表示GB級別的數(shù)據(jù)Massive表示TB級的數(shù)據(jù)BigData表示PB級別及其以上的數(shù)據(jù)顯然，爭論它們中哪一個更大沒有什么意義。什么是大數(shù)據(jù)？從歷史發(fā)展的視角看這幾個詞：8什么是大數(shù)據(jù)？一個普遍接受的定義大數(shù)據(jù)是指無法在可容忍的時間內用傳統(tǒng)方法或工具對其進行抓取、管理和處理的數(shù)據(jù)集合。數(shù)據(jù)集組成非常巨大和復雜，以至于傳統(tǒng)數(shù)據(jù)庫管理工具處理起來面臨很多問題。獲取、存儲、檢索、共享、分析和可視化。數(shù)據(jù)量達到PB、EB或ZB級別。*

from{BigData}@wikipedia.什么是大數(shù)據(jù)？一個普遍接受的定義*

from{BigDa9難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？10難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？11大數(shù)據(jù)產生的背景數(shù)據(jù)量3個月翻一番通信速度6個月翻一番存儲容量9個月翻一番集成電路18個月翻一番現(xiàn)在網絡環(huán)境下每18個月產生的數(shù)據(jù)量相當于過去幾千年的數(shù)據(jù)量之和數(shù)據(jù)之多，數(shù)據(jù)量之大，前所未有大數(shù)據(jù)產生的背景數(shù)據(jù)量3個月翻一番12大數(shù)據(jù)有多大？——以互聯(lián)網為例Facebook截止2012年4月，每日評論已達32億條；每天新上傳照片近3億張。每周新增圖片容量約60TB，圖片總量約2600億張，已超過20PB。平均每秒3500次寫操作，讀操作的峰值可以達到每秒百萬次。Amazon目前EC2有約450000臺服務器(存儲+處理)。*數(shù)據(jù)來自Facebook于2012年4月提交的監(jiān)管文件。**數(shù)據(jù)來源于亞馬遜2012年4月的官方介紹材料。大數(shù)據(jù)有多大？——以互聯(lián)網為例Facebook*數(shù)據(jù)來自13大數(shù)據(jù)有多大？多，實在是多！繁，實在是繁！大，實在是大！Nodatalikemoredata!數(shù)據(jù)永遠也不嫌多！大數(shù)據(jù)有多大？多，實在是多！14大數(shù)據(jù)從何而來？——機器存儲軟件、系統(tǒng)文件、基礎數(shù)據(jù)元數(shù)據(jù)(如索引)冗余、備份…處理原始數(shù)據(jù)的自動加工：壓縮、聚類、規(guī)則適用、可視化、智能衍生…傳播負載遷移、分布式共享(如P2P)…大數(shù)據(jù)從何而來？——機器存儲15大數(shù)據(jù)從何而來？——人內容提供商新聞報道、時事評論、廣告宣傳…音頻、視頻、微視頻…職業(yè)撰稿人網絡作家、寫手、推手、水軍…普通大眾博文、圖片、音樂、視頻…SNS網絡傳播評論、轉發(fā)…大數(shù)據(jù)從何而來？——人內容提供商16大數(shù)據(jù)從何而來？——物理世界無所不在的感知數(shù)據(jù)傳感節(jié)點(壓力、溫度、濕度、聲光電…)無線寬頻信號采樣、太湖藍藻檢測、PM2.5…視頻監(jiān)控目前1路720P高清視頻攝像數(shù)據(jù)每小時視頻錄像3GB左右。按一個月保存時間要求計算，3GB/小時×24小時×30天×1路=2.16T。一個擁有500路高清視頻攝像，需要保存1個月的監(jiān)控系統(tǒng)所需的最少存儲容量是1PB。對地觀測資源三號衛(wèi)星在運行前兩個月的時間內，產生37TB的原始影像數(shù)據(jù)。這是后續(xù)互聯(lián)網地圖的基礎。天文物理、氣象、醫(yī)學等專業(yè)領域數(shù)據(jù)…大數(shù)據(jù)從何而來？——物理世界無所不在的感知數(shù)據(jù)17大數(shù)據(jù)向何而去？服務如果不能提供服務，大數(shù)據(jù)就沒有意義。面向人、機、物的服務物理世界：需要足夠的采樣數(shù)據(jù)機器：需要數(shù)據(jù)具有關聯(lián)度，能夠從中分析出有用信息，非結構化半結構化結構化人：能夠直接使用數(shù)據(jù)的表現(xiàn)形式，進行生產和決策大數(shù)據(jù)向何而去？服務18大數(shù)據(jù)為什么重要？2012年3月29日，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，美國政府已把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。中國政府和業(yè)界對“大數(shù)據(jù)”高度重視并在大力推進。據(jù)報道，今年兩會上已有委員提出將大數(shù)據(jù)列入國家發(fā)展戰(zhàn)略。大數(shù)據(jù)為什么重要？2012年3月29日，奧巴馬政府宣布投資21920大數(shù)據(jù)的特征容量大1電子商務科學計算網絡生活每月交易21億筆，產生300TB交易日志信息

7億用戶、400億張照片，總容量超過1500TB新墨西哥州的天文望遠鏡每年產生80TB的圖像信息美國國會圖書館存檔信息量：約80TB生物信息第一個中國人的全基因組圖譜，1177億堿基對20大數(shù)據(jù)的特征容量大1電子商務科學計算網絡生活每月交易212021大數(shù)據(jù)的特征增加快2許多數(shù)據(jù)是人造出來的！例子：北京至紐約的客機有千余個傳感器，一次飛機記錄的數(shù)據(jù)達數(shù)百T至P級。21大數(shù)據(jù)的特征增加快2許多數(shù)據(jù)是人造出來的！例子：北京至紐2122大數(shù)據(jù)的特征非結構化3非結構化=沒有找到共性特征多層結構22大數(shù)據(jù)的特征非結構化3非結構化=沒有找到共性特征22大數(shù)據(jù)的構成大數(shù)據(jù)的構成23大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity非結構化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結構化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構和多樣性很多不同形式(文本、圖像、視頻、機器數(shù)據(jù))無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析(機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等)實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度24Volume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點.KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBVolume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點.KB->MB25Value價值挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價值密度低,是大數(shù)據(jù)的一個典型特征.Value價值挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖26Variety多樣性企業(yè)內部的經營交易信息，物聯(lián)網世界中商品，物流信息；互聯(lián)網世界中人與人交互信息，位置信息等是大數(shù)據(jù)的主要來源。能夠在不同的數(shù)據(jù)類型中，進行交叉分析的技術，是大數(shù)據(jù)的核心技術之一。語義分析技術，圖文轉換技術，模式識別技術，地理信息技術等，都會在大數(shù)據(jù)分析時獲得應用。Variety多樣性企業(yè)內部的經營交易信息，物聯(lián)網世界中商27Velocity速度1s是臨界點。對于大數(shù)據(jù)應用而言,必須要在1秒鐘內形成答案,否則處理結果就是過時和無效的。實時處理的要求,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術、BI技術的關鍵差別之一。Velocity速度1s是臨界點。28臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)數(shù)據(jù)中心蘋果(Apple)數(shù)據(jù)中心谷歌(Google)數(shù)據(jù)中心數(shù)據(jù)中心—看上去，規(guī)模龐大4大數(shù)據(jù)管理的基礎——數(shù)據(jù)中心臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)2930數(shù)據(jù)中心—走進去，結構復雜4大數(shù)據(jù)管理的基礎——數(shù)據(jù)中心30數(shù)據(jù)中心—走進去，結構復雜4大數(shù)據(jù)管理的基礎——數(shù)據(jù)中心30數(shù)據(jù)庫與大數(shù)據(jù)GB/TB級高質量、較干凈強結構化Top-down重交易確定解數(shù)據(jù)庫vs大數(shù)據(jù)*傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫PB級以上有噪聲、有冗余非結構化Bottom-up重交互滿意解大數(shù)據(jù)*摘自李德毅院士于2012年5月23日在云計算大會上的講話，略有修改數(shù)據(jù)庫與大數(shù)據(jù)數(shù)據(jù)庫傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫大數(shù)據(jù)*摘自李德毅31“大數(shù)據(jù)”是數(shù)據(jù)增長

從量變到質變的里程碑從人的認知角度來看，在數(shù)據(jù)量比較小的情況下，我們基于典型的數(shù)據(jù)去思考。例如，我們可以設計一個數(shù)據(jù)模型來管理目前沒遇到但以后可能遇到的數(shù)據(jù)，或者設計一個精妙的算法正確高效地處理將來可能遇到的數(shù)據(jù)和各種情況。而大數(shù)據(jù)則顛覆了這一假定，目前的數(shù)據(jù)量已足夠大，足以包羅萬象，充分利用現(xiàn)有數(shù)據(jù)得出的全面而簡約的數(shù)據(jù)模型和算法足以應對我們可能遇到的各種情況。換言之，數(shù)據(jù)模型與算法設計的首要任務不再是人基于少量數(shù)據(jù)的思考，而是機器基于海量數(shù)據(jù)的分析歸類。從基于猜測假定的設計到基于事實和經驗的歸納總結，是人類認知過程的進步。這是一個革命性的進展，是大數(shù)據(jù)之所以激動人心的根本?！按髷?shù)據(jù)”是數(shù)據(jù)增長

從量變到質變的里程碑從人的認知角度來看32大數(shù)據(jù)不僅僅是“大”多大？PB級比大更重要的是數(shù)據(jù)的復雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值大數(shù)據(jù)不僅僅是“大”多大？比大更重要的是數(shù)據(jù)的復雜性，有時甚33大數(shù)據(jù)的應用不僅僅是精準營銷通過用戶行為分析實現(xiàn)精準營銷是大數(shù)據(jù)的典型應用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務領域具有廣闊的應用前景消費行業(yè)金融服務食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務氣象大數(shù)據(jù)的應用不僅僅是精準營銷通過用戶行為分析實現(xiàn)精準營銷是大34軟件是驅動大數(shù)據(jù)的引擎和數(shù)據(jù)中心(DataCenter)一樣，軟件是大數(shù)據(jù)的驅動力。軟件改變世界！軟件是驅動大數(shù)據(jù)的引擎和數(shù)據(jù)中心(DataCenter)35大數(shù)據(jù)生態(tài):軟件是引擎大數(shù)據(jù)生態(tài):軟件是引擎36前瞻來看，隨著互聯(lián)網對網民的理解，網民對網絡的反作用，互聯(lián)網將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應用都是在線的。用戶在免費使用這些產品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產品線越豐富，他對用戶的理解就越深入，他的廣告就越精準。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費得軟件產品，換取對用戶的理解；通過精準的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網的巨擘?；ヂ?lián)網越來越智能Google精確掌握用戶行為、獲取需求前瞻來看，隨著互聯(lián)網對網民的理解，網民對網絡的反作用，互聯(lián)網37微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時間從詢盤上推斷出世界貿易發(fā)生變化了?！瘪R云對未來的預測，是建立在對用戶行文分析的基礎上。通常而言，買家在采購商品前，會比較多家供應商的產品，反映到阿里巴巴網站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，保證用戶行為模型的準確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產品，提供精準的數(shù)據(jù)分析服務。微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2008年初38更高一層數(shù)據(jù)層面整合企業(yè)內外部更高數(shù)據(jù)層面整合更高一層數(shù)據(jù)層面整合企業(yè)內外部更高數(shù)據(jù)層面整合39利用用戶”行為指紋”創(chuàng)造新商機用戶在線的每一次點擊，每一次評論，每一個視頻點播，就是大數(shù)據(jù)的典型來源。互聯(lián)網企業(yè)之所以取得令人矚目的成績，其核心的本質就是包括用戶網絡操作的大數(shù)據(jù)，進行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實的需求，形成預判。這是傳統(tǒng)企業(yè)花費重金都難以企及的夢想。所有傳統(tǒng)的產品公司都只能淪為這種新型用戶平臺級公司的附庸。利用用戶”行為指紋”創(chuàng)造新商機用戶在線的每一次點擊，每一次評40大數(shù)據(jù)應用中的陷阱

邦弗朗尼原理(Bonferroni’sPrinciple)邦弗朗尼原理:在數(shù)據(jù)隨機性假設的基礎上，計算所尋找的事件的發(fā)生的期望值，如果該期望值大于找到的真實事件的數(shù)目，則所找到的事件很可能是一種假象。即隨著數(shù)據(jù)規(guī)模的不斷增加，任何數(shù)據(jù)都會顯現(xiàn)出一些不同尋常的特征，這些特征看上去似乎非常重要，但實際上卻并不重要。大數(shù)據(jù)應用中的陷阱

邦弗朗尼原理(Bonferroni’s4142整體情報預警的故事設有一群恐怖分子會偶爾在酒店聚會策劃恐怖陰謀。想找出那些同一天在同一個酒店至少出現(xiàn)兩次的人群。42整體情報預警的故事設有一群恐怖分子會偶爾在酒店聚會策劃恐4243假設被監(jiān)控的人數(shù)：10億(109)被監(jiān)控的天數(shù)：1000days每個人去酒店的概率1%(1000天里住10天酒店)有10萬(105)家酒店，每家酒店可容納100人

每個人行為都是隨機的。通過數(shù)據(jù)挖掘能發(fā)現(xiàn)可疑行為嗎？43假設被監(jiān)控的人數(shù)：10億(109)4344Calculations–(1)人員

p

和人員

q

同一天在同一個酒店出現(xiàn)的概率:1/1001/10010-5=10-9.人員p

和

q

在d1

和

d2

出現(xiàn)在同一個酒店的概率:10-9

10-9=10-18.1000天任意兩天的排列組合:5105.patsomehotelqatsomehotelSamehotel44Calculations–(1)人員p和人員4445Calculations–(2)人員p

和

q

在任意兩天出現(xiàn)在同一個酒店的概率:5105

10-18=510-13.可能的人數(shù)是10億，任意兩個人的排列組合是:51017.平均可疑的人員對的數(shù)目:51017510-13=250,000.實際上他們是純隨機導致的巧合45Calculations–(2)人員p和q在4546結論假設真的有10對恐怖分子在同一個酒店出現(xiàn)兩次那么需要掃描250,010對候選人才能找出這10對恐怖分子這個方法好嗎？“大數(shù)據(jù)”是不能亂用的！46結論假設真的有10對恐怖分子在同一個酒店出現(xiàn)兩次46大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計算云數(shù)據(jù)管理大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)47

云計算（CloudComputing）,2007年第3季度才誕生的新名詞，僅過了半年多，其受到關注程度就超過網格計算（GridComputing），而且關注度至今一直居高不下

云計算（CloudComputing）,2007年48云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。云計算到底是什么？云計算有什么特點？云計算是一種商業(yè)計算模型。它將計算任務分布在大量49云計算起源和發(fā)展1961年斯坦福教授JohnMcCarthy提出計算資源可以成為一種重要的新型工業(yè)基礎。類似水、電、氣和通信。

1999年Salesforce成立，2001年發(fā)布在線CRM系統(tǒng)2001年GoogleCEOEricSchmidt在搜索引擎大會上首次提出”CloudComputing“概念。2003年Google逐步開始在內部使用云計算，2008年推出GoogleAppEngine云計算平臺2006年Amazon正式對外推出彈性計算服務(EC2)。。。各大全球知名廠商跟進(IBM,MicroSoft….)云計算起源和發(fā)展1961年斯坦福教授JohnMcCarth5051什么是云計算?計算：對數(shù)值或信息進行處理并得到結果的過程，有時也指計算方式。

1+1=2flower.bmpflower.jpg云：由網絡連接起來的各種計算資源(包括計算設備和其上的軟件)云計算：運用由網絡連接起來的大量虛擬化的計算設備對信息進行處理并得到結果的一種計算方式。不是一種產品，也不是一種技術，而是一種產生和獲取計算能力的模式。51什么是云計算?計算：對數(shù)值或信息進行處理并得到結果的過5152大型機時代1960年代1980年代2000年代1990年代微型機時代個人計算機變革將只在特定行業(yè)中應用的大型主機變成每個人都負擔得起的個人電腦，大幅度提高了個人生產效率和企業(yè)效率互聯(lián)網變革將數(shù)以億萬計的信息孤島匯集成龐大的信息網絡，極大的提高了人類溝通，共享和協(xié)作的效率，豐富了社交和娛樂生活互聯(lián)網時代云計算變革將IT基礎設施轉變?yōu)橄袼兔簹庖粯拥纳鐣没A設施超級數(shù)據(jù)中心成為IT資源和服務的提供者技術云計算時代時間云計算是繼個人計算機、互聯(lián)網變革之后的第三次IT革命云計算的由來52大型機時代1960年代1980年代2000年代1952云計算定義云計算(CloudComputing)：是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網格計算(GridComputing)的發(fā)展，或者說是這些計算機科學概念的商業(yè)實現(xiàn)。是指基于互聯(lián)網的超級計算模式--即把存儲于個人電腦、移動電話和其他設備上的大量信息和處理器資源集中在一起，協(xié)同工作。在極大規(guī)模上可擴展的信息技術能力向外部客戶作為服務來提供的一種計算方式。使得計算資源如同用水、用電、用燃氣一樣40多億的移動電話一

2010年[數(shù)據(jù)來源:Nokia]個人電腦和筆記本電腦企業(yè)電腦和服務器PDA云計算定義云計算(CloudComputing)：是分布5354從不同角度看云計算的內涵1.云計算是一種IT基礎設施交付和使用模式從原理看，云計算是將計算工作分布在大量的、分布式的計算機上，從而利用大量計算資源(包括硬件設備、軟件及網絡等IT基礎設施)完成所要求的計算任務。云計算環(huán)境下，與傳統(tǒng)的IT基礎設施交付和使用模式的主要區(qū)別：1.基礎設施建設運維方式不同：基礎設施所有權和運維責任2.交付和使用的便捷性不同：提供商交付方式和用戶使用方式54從不同角度看云計算的內涵1.云計算是一種IT基礎設施交付5455從不同角度看云計算的內涵2.云計算是一種信息服務的交付和使用模式從商業(yè)層面看，云計算提供的是而且僅是服務——可以統(tǒng)稱為“云服務”。從云計算服務商和云計算用戶間的關系看，服務商并未向用戶提供硬件、軟件等事物或具體產品，而是運用自己所掌握的IT資源幫助用戶完成計算任務，滿足用戶使用軟硬件設備或獲得信息的需要。55從不同角度看云計算的內涵2.云計算是一種信息服務的交付和55基礎設施作為服務(IaaS)平臺作為服務(PaaS)軟件作為服務(SaaS)服務器網絡存儲中間件協(xié)同合作業(yè)務流程CRM/ERP/HR行業(yè)應用數(shù)據(jù)中心Fabric共享的虛擬化的,動態(tài)部屬數(shù)據(jù)庫Web2.0應用運行環(huán)境Java運行環(huán)境開發(fā)工具云計算分類Computingon

DemandBlueCloud,PureScaleAppliicationSystem市場的例子IBM的例子Source:HagenWenzekCHQStrategy,2/09基礎設施作為服務(IaaS)平臺作為服務(PaaS)軟件作為56云計算分類操作系統(tǒng)+應用服務引擎應用系統(tǒng)基礎設施應用平臺應用軟件(IaaS)(PaaS)(SaaS)根據(jù)提供的服務類型，將云計算應用(服務)分為三類Infrastructureasa

Service以服務的形式提供虛擬硬件資源，如虛擬主機/存儲/網絡/安全等資源。用于無需購買服務器、網絡設備、存儲設備，只需通過互聯(lián)網租賃即可搭建自己的應用系統(tǒng)典型應用：AmazonWeb服務IDCPlatformasa

Service提供應用服務引擎，如互聯(lián)網應用編程接口/運行平臺等。用戶基于該應用服務引擎，可以構建該類應用。典型應用：GoogleAppEngine,IBM

PureScaleApplicationSystem,SAESoftwareasa

Service用戶通過標準的Web瀏覽器來使用Internet上的軟件。用戶不必購買軟件，只需按需租用軟件典型應用：Lotus

Live,S云計算分類操作系統(tǒng)+應用服務引擎應用系統(tǒng)基礎設施應用平臺應用5758從不同角度看云計算的內涵3.云計算是一種基于互聯(lián)網的新型計算模式從數(shù)值和信息處理的角度看，云計算是通過互聯(lián)網將計算任務分布到由大量計算機構成的資源池上，從而使用戶能夠根據(jù)需要獲取計算能力、存儲空和信息服務。云計算的四方面新特征：1.資源匯聚：計算資源匯聚在一起通過多租戶模式服務多個消費者2.快速彈性：計算能力能夠以某種自動方式快速而彈性地實現(xiàn)供應3.按需的自助服務：消費者能夠根據(jù)自己的需要獲取計算能力4.可控可計量：系統(tǒng)根據(jù)服務類型提供相應的計量方式58從不同角度看云計算的內涵3.云計算是一種基于互聯(lián)網的新型5859云計算服務對象：在各行各業(yè)、各種組織、各種產業(yè)拓展應用范圍云計算服務內容：從基礎架構、在線存儲、軟件服務擴展到各種應用領域云計算服務形式：更簡單易用、更安全、更智能的差異化服務從行業(yè)視角滿足中小企業(yè)、政府部門、科研教育、娛樂、商業(yè)企業(yè)的信息化需求成為互聯(lián)網企業(yè)的運營平臺和資源平臺成為人民群眾生活的必需品從產業(yè)領域視角成為物聯(lián)網信息存儲、分析的智能化平臺成為移動互聯(lián)網的基礎信息支撐平臺成為移動電子商務、移動支付的支持平臺逐步進入網絡通信基礎設施領域已有主要服務內容基礎設施即服務/IaaS軟件平臺即服務/PaaS軟件即服務/SaaS存儲即服務/DaaSXaaS一切皆服務，延伸到各種應用硬件即服務：終端設備成為服務發(fā)布形式消息即服務：消息中間件成為服務監(jiān)控即服務：監(jiān)控內容成為服務現(xiàn)存各種應用均被云服務化…更為便捷：就像現(xiàn)在水、電、氣、通信那樣簡單，打開即用，關閉即停，按需使用，用完充值隱私和信息安全更有保障：用戶信息隔離、網絡傳輸加密、高強度身份認證、服務商數(shù)據(jù)安全審核更智能化：用戶服務狀態(tài)恢復、信息推薦、精準營銷、預測用戶潛在信息需求、差異化服務：提供從免費、普通用戶、中端用戶、高端用戶的各種服務，按質論價云服務59云計算服務對象：在各行各業(yè)、各種組織、各種產業(yè)拓展應用范59云計算的優(yōu)勢數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢復；軟件在云端：不必下載自動升級；無所不在的計算：在任何時間，任意地點，任何設備登錄后就可以進行計算服務；無限強大的計算：具有無限空間的，無限速度。硬件為中心軟件為中心服務為中心PCC/S云計算云計算的優(yōu)勢數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢復60天下大勢，合久必分，分久必合，

計算機技術的分合演義早期計算技術以“合”為特征:曲高和寡PC的發(fā)展使“分”成為了主流:舊時王謝堂前燕，飛入尋常百姓家網絡技術的發(fā)展使云計算成為了“合”的模式，計算和存儲通過網絡隱形于云端：大象無形天下大勢，合久必分，分久必合，

計算機技術的分合演義早期計算61云計算體系結構云計算的基本原理是通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務器中，企業(yè)數(shù)據(jù)中心的運行將更與互聯(lián)網相似。這使得企業(yè)能夠將資源切換到需要的應用上，根據(jù)需求訪問計算機和存儲系統(tǒng)。云計算體系結構云計算的基本原理是通過使計算分布在大量的分布式62云計算發(fā)展路線并行計算集群計算網格計算云計算云計算發(fā)展路線并行計算集群計算網格計算云計算63在動態(tài)、多機構參與的虛擬組織中協(xié)同共享資源和求解問題同時使用多種計算資源解決計算問題的過程

將需要巨大計算能力的問題分成許多小部分進行處理，最后綜合結果分布式計算

并行計算網格計算

云計算在動態(tài)、多機構參與的虛擬組織中協(xié)同共享資源和求解問題同時使64云計算特點超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務極其廉價

超大規(guī)模虛擬化高可靠性通用性高可伸縮性按需服務極其廉價

云計算特點超大規(guī)模超大規(guī)模65云計算技術體系結構云計算技術體系結構66云計算與大數(shù)據(jù)大數(shù)據(jù)雖然不是云計算，但卻是云計算的靈魂和升級方向。云計算的核心是業(yè)務模式，本質是數(shù)據(jù)處理技術。數(shù)據(jù)是資產，云為數(shù)據(jù)資產提供了保管、訪問的場所和渠道。如何盤活數(shù)據(jù)資產，使其為國家治理、企業(yè)決策乃至個人生活服務，是大數(shù)據(jù)的核心議題，也是云計算內在的靈魂和必然的升級方向。云計算與大數(shù)據(jù)大數(shù)據(jù)雖然不是云計算，但卻是云計算的靈魂和升級67云計算與大數(shù)據(jù)本質上，云計算與大數(shù)據(jù)的關系是“靜”與“動的關系；云計算強調的是計算，這是動的概念；而數(shù)據(jù)則是計算的對象，是靜的概念。如果結合實際的應用，前者強調的是計算能力，或者看重的存儲能力；云計算與大數(shù)據(jù)本質上，云計算與大數(shù)據(jù)的關系是“靜”與“動的關68云計算與大數(shù)據(jù)但是這樣說，并不意味著兩個概念就如此涇渭分明。一方面，大數(shù)據(jù)需要處理大數(shù)據(jù)的能力(數(shù)據(jù)獲取、清潔、轉換、統(tǒng)計等能力)，其實就是強大的計算能力；另一方面，云計算的“動”也是相對而言，比如基礎設施即服務(IaaS)中的存儲設備提供的主要是數(shù)據(jù)存儲能力，所以可謂是動中有靜。云計算與大數(shù)據(jù)但是這樣說，并不意味著兩個概念就如此涇渭分明。69云計算與大數(shù)據(jù)如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器！沒有強大的計算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)的積淀，云計算也只能是殺雞用的宰牛刀！云計算與大數(shù)據(jù)如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就70大數(shù)據(jù)比云計算更為落地商業(yè)模式驅動應用需求驅動云計算本身也是大數(shù)據(jù)的一種業(yè)務模式大數(shù)據(jù)比云計算更為落地商業(yè)模式驅動應用需求驅動云計算本身也是71大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計算云數(shù)據(jù)管理

大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)72什么是云數(shù)據(jù)管理？云數(shù)據(jù)管理是指通過集群應用、網格技術或分布式文件系統(tǒng)等，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。云數(shù)據(jù)管理的基礎是云存儲，其核心是以NoSQL(NewSQL)為代表的新一代云數(shù)據(jù)存儲(庫)系統(tǒng)。什么是云數(shù)據(jù)管理？云數(shù)據(jù)管理是指通過集群應用、網格技術或分布73云數(shù)據(jù)管理的背景隨著云計算中大數(shù)據(jù)集高效管理、海量數(shù)據(jù)中特定數(shù)據(jù)的快速定位、云端海量數(shù)據(jù)精準查詢等迫切需求的日益顯現(xiàn),Web數(shù)據(jù)管理正逐步向云數(shù)據(jù)管理階段發(fā)展,一個新的云數(shù)據(jù)管理研究領域正逐漸形成。云數(shù)據(jù)管理的背景隨著云計算中大數(shù)據(jù)集高效管理、海量數(shù)據(jù)中特定74云數(shù)據(jù)管理的背景云數(shù)據(jù)管理在云計算概念上延伸和發(fā)展出來的一個新的概念。云數(shù)據(jù)管理使更大數(shù)據(jù)量的處理成為可能，被稱為下一代的因特網計算和下一代的數(shù)據(jù)中心。Web應用作為推動云計算發(fā)展的主力，正快速的普及成熟起來，它需要能夠按需進行擴展，企業(yè)都希望他們的Web應用系統(tǒng)能夠應對不斷增長的用戶量和數(shù)據(jù)量，以及適應用戶和其它開發(fā)人員對WEB應用系統(tǒng)的高吞吐量和低響應時間的要求。云數(shù)據(jù)管理的背景云數(shù)據(jù)管理在云計算概念上延伸和發(fā)展出來的一個75云數(shù)據(jù)管理的背景通過云計算技術，網絡服務提供者可以在數(shù)秒之內，處理數(shù)以千萬計甚至億計的信息，達到和“超級計算機”同樣強大的網絡服務。系統(tǒng)必須以低延遲的響應速度(幾十毫秒)、高吞吐量(每秒上萬的讀寫)為世界范圍內的用戶請求提供服務。并且，應用必須具備高可用性，長期維持最小的運維成本。但是，如果WEB應用系統(tǒng)仍然依賴傳統(tǒng)的關系(SQL)數(shù)據(jù)庫系統(tǒng)，我們會發(fā)現(xiàn)數(shù)據(jù)存儲將成為最大的瓶頸。云數(shù)據(jù)管理的背景通過云計算技術，網絡服務提供者可以在數(shù)秒之內76云數(shù)據(jù)管理的背景幸運的是我們已不再需要提供完整的事務(ACID)支持，單獨的系統(tǒng)也可以執(zhí)行復雜的分析任務，比如像Hadoop這樣的map-reduce平臺。對于許多應用程序來說，它們處理的請求相比傳統(tǒng)數(shù)據(jù)管理更為簡單。數(shù)據(jù)可能是用戶的會話數(shù)據(jù)，用戶在網頁上所有的行為只涉及單條記錄的讀寫。應用也有可能是社交化的，對于社交活動可能會被寫入單條的用戶記錄，而用戶的朋友們的活動需要從少量的其他用戶記錄中讀取。云數(shù)據(jù)管理的背景幸運的是我們已不再需要提供完整的事務(ACI77云數(shù)據(jù)管理的背景這些挑戰(zhàn)推動了新一代數(shù)據(jù)存儲管理系統(tǒng)的發(fā)展，該系統(tǒng)基于大型(可能包括成千上萬臺機器的集群)分布式架構。為了容錯，所有數(shù)據(jù)會在數(shù)據(jù)中心內被復制。甚至有些數(shù)據(jù)為了保證低延遲讀取，需要橫跨多個數(shù)據(jù)中心進行地域性復制。為了滿足構建多租戶(multi-tenanted)模式的需要，大型分布式架構能夠根據(jù)自身需求擴大容量，并且多個應用的托管系統(tǒng)可以共享底層的資源。云數(shù)據(jù)管理的背景這些挑戰(zhàn)推動了新一代數(shù)據(jù)存儲管理系統(tǒng)的發(fā)展，78傳統(tǒng)關系型數(shù)據(jù)庫的限制擴展困難：由于存在類似Join這樣多表查詢機制，使得數(shù)據(jù)庫在擴展方面很艱難；讀寫速度慢：這種情況主要發(fā)生在數(shù)據(jù)量達到一定規(guī)模時由于關系型數(shù)據(jù)庫的內部邏輯非常復雜，使得其很容易發(fā)生死鎖等的并發(fā)問題，而這將導致其讀寫速度嚴重下滑；成本高：企業(yè)級數(shù)據(jù)庫的License價格很驚人，并且隨著系統(tǒng)的規(guī)模擴大，而不斷上升；有限的支撐容量：現(xiàn)有關系型解決方案還無法支撐Google這樣海量的數(shù)據(jù)存儲；傳統(tǒng)關系型數(shù)據(jù)庫的限制擴展困難：由于存在類似Join這樣多表79云數(shù)據(jù)管理的需求低延遲的讀寫速度：應用快速地反應能極大地提升用戶滿意度；支撐海量的數(shù)據(jù)和流量：對于搜索這樣大型應用，需要利用PB級別的數(shù)據(jù)和能應對百萬級的流量；大規(guī)模集群的管理：系統(tǒng)管理員希望分布式應用能更簡單的部署和管理；龐大運營成本的考量：IT經理和CFO們都希望在硬件成本、軟件成本和人力成本上面能夠有大幅度地降低；云數(shù)據(jù)管理的需求低延遲的讀寫速度：應用快速地反應能極大地提升80云數(shù)據(jù)管理準則(1)切分萬物以治之PartitionEverythingandkey-valuestorage數(shù)據(jù)庫的第一范式無法滿足云數(shù)據(jù)管理準則(1)切分萬物以治之81云數(shù)據(jù)管理準則(2)容不同乃成大同EmbraceInconsistency數(shù)據(jù)庫的ACID屬性無法滿足云數(shù)據(jù)管理準則(2)容不同乃成大同82云數(shù)據(jù)管理準則(3)狡兔三窟方高枕Backupeverythingwiththreecopies每個數(shù)據(jù)都有三個備份，達到99.999%的可用性云數(shù)據(jù)管理準則(3)狡兔三窟方高枕83云數(shù)據(jù)管理準則(4)運籌滄海量兼容Scalableandhighperformance提供一個可伸縮的，處理和分析海量數(shù)據(jù)的平臺云數(shù)據(jù)管理準則(4)運籌滄海量兼容84撥云見日切分萬物以治之容不同乃成大同狡兔三窟方高枕運籌滄海量兼容撥云見日8586大數(shù)據(jù)的使用模式基于服務計算的模式具體的實現(xiàn)途徑：基于云計算的方式因為大（數(shù)據(jù)規(guī)模），需要大容量的存儲（云存儲）因為復雜（數(shù)據(jù)結構），需要高性能的計算能力（云計算）因為有關聯(lián)（數(shù)據(jù)關聯(lián)度），需要跨平臺的協(xié)同能力（應該是今后云應用的拓展方向之一，在協(xié)同粒度、隱私保護、安全等方面更有保證）（云協(xié)同）大數(shù)據(jù)與云計算的結合86大數(shù)據(jù)的使用模式大數(shù)據(jù)與云計算的結合8687大數(shù)據(jù)發(fā)展之我見物聯(lián)網越普及，云計算越落地，大數(shù)據(jù)就越有用。人無遠慮，必有近憂，如何超前思考科學問題技術的本質特點與應用需求的無縫對接，才能產生真正的生產力后大數(shù)據(jù)階段應該是什么呢？大家可以一起思考…87大數(shù)據(jù)發(fā)展之我見物聯(lián)網越普及，云計算越落地，大數(shù)據(jù)就越有871.睡覺是為了踏實工作，工作是為了踏實睡覺。1.真誠是美酒，年份越久越醇香濃烈;真誠是焰火，在高處綻放才愈顯美麗;真誠是鮮花，送之于人，手有余香。16、如果你希望成功，以恒心為良友，以經驗為參謀，以小心為兄弟，以希望為哨兵。2.對于最有能力的領航人風浪總是格外的洶涌。1.成功呈概率分布，關鍵是你能不能堅持到成功開始呈現(xiàn)的那一刻。8、我們確實活得艱難，一要承受種種外部的壓力，更要面對自己內心的困惑。在苦苦掙扎中，如果有人向你投以理解的目光，你會感到一種生命的暖意，或許僅有短暫的一瞥，就足以使我感奮不已。9.決定可以克服不可能的事情。15.苦憶舊傷淚自落，欣望夢愿笑開顏。4.真正的敏捷是一件很有價值的事。因為時間是衡量事業(yè)的標準，一如金錢是衡量貨物的標準;所在在做事不敏捷的時候，那事業(yè)的代價一定是很高的。6.只要再堅持一下下，我們就能到幸福的彼岸。13.行動是治愈恐懼的良藥，而猶豫、拖延將不斷滋養(yǎng)恐懼。13.一座城市令你念念不忘，大抵是因為，那里有你深愛的人和一去不復返的青春。4、忍別人所不能忍的痛，吃別人所不能吃的苦，是為了收獲得不到的收獲。2.我不愛你了，我知道你也早就不愛我了得。3.一個人幾乎可以在任何他懷有無限熱忱的事情上成功。20.在世界的歷史中，每一偉大而高貴的時刻都是某種熱忱的勝利。10.成功不是將來才有的，而是從決定去做的那一刻起，持續(xù)累積而成。1.睡覺是為了踏實工作，工作是為了踏實睡覺。88第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計算云數(shù)據(jù)管理第9章大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)89有關大數(shù)據(jù)的兩個問題問題1：你知道什么是“大數(shù)據(jù)”嗎？如果你不知道，那么你很可能OUT了！問題2：你聽說過“大數(shù)據(jù)”嗎？如果你連“大數(shù)據(jù)”聽都沒聽過，那么你絕對OUT了！有關大數(shù)據(jù)的兩個問題問題1：你知道什么是“大數(shù)據(jù)”嗎？90你認識這位老兄嗎？如果你連這位老兄都不認識，那你也太OUT了！你認識這位老兄嗎？如果你連這位老兄都不認識，那你也太OUT了91斯諾登事件帶給我們的最大震動是什么？不在于他暴露了美國政府正在監(jiān)聽全世界這件事情。因為，這早已是公開的秘密，對“世界警察”而言，這沒有什么值得大驚小怪的!而在于他使我們了解到美國政府已經具備了獲取、存儲、管理、分析和使用“大數(shù)據(jù)”的超強能力。這使美國政府獲得了相對他國政府更明顯的優(yōu)勢！大數(shù)據(jù)為“世界警察”的“大拳頭”裝上了“大眼睛”、“大耳朵”和“大腦袋”！斯諾登事件帶給我們的最大震動是什么？不在于他暴露了美國政府正92目前IT領域最引人關注的三個熱詞是什么？大數(shù)據(jù)云計算物聯(lián)網其他：移動互聯(lián)網，社交網，XXX2.0/3.0/…目前IT領域最引人關注的三個熱詞是什么？大數(shù)據(jù)93什么是大數(shù)據(jù)？來源：2008年9月《科學》(Science)雜志發(fā)表了一篇文章“BigData:ScienceinthePetabyteEra”，從此“大數(shù)據(jù)”這個詞開始被廣泛傳播。什么是大數(shù)據(jù)？來源：2008年9月《科學》(Science)94什么是大數(shù)據(jù)？沒有統(tǒng)一定義，因為“大”是一個相對“小”而言概念。與大數(shù)據(jù)(BigData)相類似的詞匯：LargeScale大規(guī)模,VeryLarge超大規(guī)模,Massive海量…什么是大數(shù)據(jù)？沒有統(tǒng)一定義，因為“大”是一個相對“小”而言概95什么是大數(shù)據(jù)？從歷史發(fā)展的視角看這幾個詞：VeryLarge表示GB級別的數(shù)據(jù)Massive表示TB級的數(shù)據(jù)BigData表示PB級別及其以上的數(shù)據(jù)顯然，爭論它們中哪一個更大沒有什么意義。什么是大數(shù)據(jù)？從歷史發(fā)展的視角看這幾個詞：96什么是大數(shù)據(jù)？一個普遍接受的定義大數(shù)據(jù)是指無法在可容忍的時間內用傳統(tǒng)方法或工具對其進行抓取、管理和處理的數(shù)據(jù)集合。數(shù)據(jù)集組成非常巨大和復雜，以至于傳統(tǒng)數(shù)據(jù)庫管理工具處理起來面臨很多問題。獲取、存儲、檢索、共享、分析和可視化。數(shù)據(jù)量達到PB、EB或ZB級別。*

from{BigData}@wikipedia.什么是大數(shù)據(jù)？一個普遍接受的定義*

from{BigDa97難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？98難道這就是大數(shù)據(jù)？難道這就是大數(shù)據(jù)？99大數(shù)據(jù)產生的背景數(shù)據(jù)量3個月翻一番通信速度6個月翻一番存儲容量9個月翻一番集成電路18個月翻一番現(xiàn)在網絡環(huán)境下每18個月產生的數(shù)據(jù)量相當于過去幾千年的數(shù)據(jù)量之和數(shù)據(jù)之多，數(shù)據(jù)量之大，前所未有大數(shù)據(jù)產生的背景數(shù)據(jù)量3個月翻一番100大數(shù)據(jù)有多大？——以互聯(lián)網為例Facebook截止2012年4月，每日評論已達32億條；每天新上傳照片近3億張。每周新增圖片容量約60TB，圖片總量約2600億張，已超過20PB。平均每秒3500次寫操作，讀操作的峰值可以達到每秒百萬次。Amazon目前EC2有約450000臺服務器(存儲+處理)。*數(shù)據(jù)來自Facebook于2012年4月提交的監(jiān)管文件。**數(shù)據(jù)來源于亞馬遜2012年4月的官方介紹材料。大數(shù)據(jù)有多大？——以互聯(lián)網為例Facebook*數(shù)據(jù)來自101大數(shù)據(jù)有多大？多，實在是多！繁，實在是繁！大，實在是大！Nodatalikemoredata!數(shù)據(jù)永遠也不嫌多！大數(shù)據(jù)有多大？多，實在是多！102大數(shù)據(jù)從何而來？——機器存儲軟件、系統(tǒng)文件、基礎數(shù)據(jù)元數(shù)據(jù)(如索引)冗余、備份…處理原始數(shù)據(jù)的自動加工：壓縮、聚類、規(guī)則適用、可視化、智能衍生…傳播負載遷移、分布式共享(如P2P)…大數(shù)據(jù)從何而來？——機器存儲103大數(shù)據(jù)從何而來？——人內容提供商新聞報道、時事評論、廣告宣傳…音頻、視頻、微視頻…職業(yè)撰稿人網絡作家、寫手、推手、水軍…普通大眾博文、圖片、音樂、視頻…SNS網絡傳播評論、轉發(fā)…大數(shù)據(jù)從何而來？——人內容提供商104大數(shù)據(jù)從何而來？——物理世界無所不在的感知數(shù)據(jù)傳感節(jié)點(壓力、溫度、濕度、聲光電…)無線寬頻信號采樣、太湖藍藻檢測、PM2.5…視頻監(jiān)控目前1路720P高清視頻攝像數(shù)據(jù)每小時視頻錄像3GB左右。按一個月保存時間要求計算，3GB/小時×24小時×30天×1路=2.16T。一個擁有500路高清視頻攝像，需要保存1個月的監(jiān)控系統(tǒng)所需的最少存儲容量是1PB。對地觀測資源三號衛(wèi)星在運行前兩個月的時間內，產生37TB的原始影像數(shù)據(jù)。這是后續(xù)互聯(lián)網地圖的基礎。天文物理、氣象、醫(yī)學等專業(yè)領域數(shù)據(jù)…大數(shù)據(jù)從何而來？——物理世界無所不在的感知數(shù)據(jù)105大數(shù)據(jù)向何而去？服務如果不能提供服務，大數(shù)據(jù)就沒有意義。面向人、機、物的服務物理世界：需要足夠的采樣數(shù)據(jù)機器：需要數(shù)據(jù)具有關聯(lián)度，能夠從中分析出有用信息，非結構化半結構化結構化人：能夠直接使用數(shù)據(jù)的表現(xiàn)形式，進行生產和決策大數(shù)據(jù)向何而去？服務106大數(shù)據(jù)為什么重要？2012年3月29日，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，美國政府已把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。中國政府和業(yè)界對“大數(shù)據(jù)”高度重視并在大力推進。據(jù)報道，今年兩會上已有委員提出將大數(shù)據(jù)列入國家發(fā)展戰(zhàn)略。大數(shù)據(jù)為什么重要？2012年3月29日，奧巴馬政府宣布投資2107108大數(shù)據(jù)的特征容量大1電子商務科學計算網絡生活每月交易21億筆，產生300TB交易日志信息

7億用戶、400億張照片，總容量超過1500TB新墨西哥州的天文望遠鏡每年產生80TB的圖像信息美國國會圖書館存檔信息量：約80TB生物信息第一個中國人的全基因組圖譜，1177億堿基對20大數(shù)據(jù)的特征容量大1電子商務科學計算網絡生活每月交易21108109大數(shù)據(jù)的特征增加快2許多數(shù)據(jù)是人造出來的！例子：北京至紐約的客機有千余個傳感器，一次飛機記錄的數(shù)據(jù)達數(shù)百T至P級。21大數(shù)據(jù)的特征增加快2許多數(shù)據(jù)是人造出來的！例子：北京至紐109110大數(shù)據(jù)的特征非結構化3非結構化=沒有找到共性特征多層結構22大數(shù)據(jù)的特征非結構化3非結構化=沒有找到共性特征110大數(shù)據(jù)的構成大數(shù)據(jù)的構成111大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity非結構化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結構化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構和多樣性很多不同形式(文本、圖像、視頻、機器數(shù)據(jù))無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析(機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等)實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度112Volume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點.KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBVolume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點.KB->MB113Value價值挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價值密度低,是大數(shù)據(jù)的一個典型特征.Value價值挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖114Variety多樣性企業(yè)內部的經營交易信息，物聯(lián)網世界中商品，物流信息；互聯(lián)網世界中人與人交互信息，位置信息等是大數(shù)據(jù)的主要來源。能夠在不同的數(shù)據(jù)類型中，進行交叉分析的技術，是大數(shù)據(jù)的核心技術之一。語義分析技術，圖文轉換技術，模式識別技術，地理信息技術等，都會在大數(shù)據(jù)分析時獲得應用。Variety多樣性企業(yè)內部的經營交易信息，物聯(lián)網世界中商115Velocity速度1s是臨界點。對于大數(shù)據(jù)應用而言,必須要在1秒鐘內形成答案,否則處理結果就是過時和無效的。實時處理的要求,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術、BI技術的關鍵差別之一。Velocity速度1s是臨界點。116臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)數(shù)據(jù)中心蘋果(Apple)數(shù)據(jù)中心谷歌(Google)數(shù)據(jù)中心數(shù)據(jù)中心—看上去，規(guī)模龐大4大數(shù)據(jù)管理的基礎——數(shù)據(jù)中心臉譜(Facebook)數(shù)據(jù)中心微軟(Microsoft)117118數(shù)據(jù)中心—走進去，結構復雜4大數(shù)據(jù)管理的基礎——數(shù)據(jù)中心30數(shù)據(jù)中心—走進去，結構復雜4大數(shù)據(jù)管理的基礎——數(shù)據(jù)中心118數(shù)據(jù)庫與大數(shù)據(jù)GB/TB級高質量、較干凈強結構化Top-down重交易確定解數(shù)據(jù)庫vs大數(shù)據(jù)*傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫PB級以上有噪聲、有冗余非結構化Bottom-up重交互滿意解大數(shù)據(jù)*摘自李德毅院士于2012年5月23日在云計算大會上的講話，略有修改數(shù)據(jù)庫與大數(shù)據(jù)數(shù)據(jù)庫傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫大數(shù)據(jù)*摘自李德毅119“大數(shù)據(jù)”是數(shù)據(jù)增長

從量變到質變的里程碑從人的認知角度來看，在數(shù)據(jù)量比較小的情況下，我們基于典型的數(shù)據(jù)去思考。例如，我們可以設計一個數(shù)據(jù)模型來管理目前沒遇到但以后可能遇到的數(shù)據(jù)，或者設計一個精妙的算法正確高效地處理將來可能遇到的數(shù)據(jù)和各種情況。而大數(shù)據(jù)則顛覆了這一假定，目前的數(shù)據(jù)量已足夠大，足以包羅萬象，充分利用現(xiàn)有數(shù)據(jù)得出的全面而簡約的數(shù)據(jù)模型和算法足以應對我們可能遇到的各種情況。換言之，數(shù)據(jù)模型與算法設計的首要任務不再是人基于少量數(shù)據(jù)的思考，而是機器基于海量數(shù)據(jù)的分析歸類。從基于猜測假定的設計到基于事實和經驗的歸納總結，是人類認知過程的進步。這是一個革命性的進展，是大數(shù)據(jù)之所以激動人心的根本。“大數(shù)據(jù)”是數(shù)據(jù)增長

從量變到質變的里程碑從人的認知角度來看120大數(shù)據(jù)不僅僅是“大”多大？PB級比大更重要的是數(shù)據(jù)的復雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值大數(shù)據(jù)不僅僅是“大”多大？比大更重要的是數(shù)據(jù)的復雜性，有時甚121大數(shù)據(jù)的應用不僅僅是精準營銷通過用戶行為分析實現(xiàn)精準營銷是大數(shù)據(jù)的典型應用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務領域具有廣闊的應用前景消費行業(yè)金融服務食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務氣象大數(shù)據(jù)的應用不僅僅是精準營銷通過用戶行為分析實現(xiàn)精準營銷是大122軟件是驅動大數(shù)據(jù)的引擎和數(shù)據(jù)中心(DataCenter)一樣，軟件是大數(shù)據(jù)的驅動力。軟件改變世界！軟件是驅動大數(shù)據(jù)的引擎和數(shù)據(jù)中心(DataCenter)123大數(shù)據(jù)生態(tài):軟件是引擎大數(shù)據(jù)生態(tài):軟件是引擎124前瞻來看，隨著互聯(lián)網對網民的理解，網民對網絡的反作用，互聯(lián)網將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應用都是在線的。用戶在免費使用這些產品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產品線越豐富，他對用戶的理解就越深入，他的廣告就越精準。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費得軟件產品，換取對用戶的理解；通過精準的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網的巨擘?；ヂ?lián)網越來越智能Google精確掌握用戶行為、獲取需求前瞻來看，隨著互聯(lián)網對網民的理解，網民對網絡的反作用，互聯(lián)網125微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時間從詢盤上推斷出世界貿易發(fā)生變化了。”馬云對未來的預測，是建立在對用戶行文分析的基礎上。通常而言，買家在采購商品前，會比較多家供應商的產品，反映到阿里巴巴網站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，保證用戶行為模型的準確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產品，提供精準的數(shù)據(jù)分析服務。微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2008年初126更高一層數(shù)據(jù)層面整合企業(yè)內外部更高數(shù)據(jù)層面整合更高一層數(shù)據(jù)層面整合企業(yè)內外部更高數(shù)據(jù)層面整合127利用用戶”行為指紋”創(chuàng)造新商機用戶在線的每一次點擊，每一次評論，每一個視頻點播，就是大數(shù)據(jù)的典型來源。互聯(lián)網企業(yè)之所以取得令人矚目的成績，其核心的本質就是包括用戶網絡操作的大數(shù)據(jù)，進行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實的需求，形成預判。這是傳統(tǒng)企業(yè)花費重金都難以企及的夢想。所有傳統(tǒng)的產品公司都只能淪為這種新型用戶平臺級公司的附庸。利用用戶”行為指紋”創(chuàng)造新商機用戶在線的每一次點擊，每一次評128大數(shù)據(jù)應用中的陷阱

邦弗朗尼原理(Bonferroni’sPrinciple)邦弗朗尼原理:在數(shù)據(jù)隨機性假設的基礎上，計算所尋找的事件的發(fā)生的期望值，如果該期望值大于找到的真實事件的數(shù)目，則所找到的事件很可能是一種假象。即隨著數(shù)據(jù)規(guī)模的不斷增加，任何數(shù)據(jù)都會顯現(xiàn)出一些不同尋常的特征，這些特征看上去似乎非常重要，但實際上卻并不重要。大數(shù)據(jù)應用中的陷阱

邦弗朗尼原理(Bonferroni’s129130整體情報預警的故事設有一群恐怖分子會偶爾在酒店聚會策劃恐怖陰謀。想找出那些同一天在同一個酒店至少出現(xiàn)兩次的人群。42整體情報預警的故事設有一群恐怖分子會偶爾在酒店聚會策劃恐130131假設被監(jiān)控的人數(shù)：10億(109)被監(jiān)控的天數(shù)：1000days每個人去酒店的概率1%(1000天里住10天酒店)有10萬(105)家酒店，每家酒店可容納100人

每個人行為都是隨機的。通過數(shù)據(jù)挖掘能發(fā)現(xiàn)可疑行為嗎？43假設被監(jiān)控的人數(shù)：10億(109)131132Calculations–(1)人員

p

和人員

q

同一天在同一個酒店出現(xiàn)的概率:1/1001/10010-5=10-9.人員p

和

q

在d1

和

d2

出現(xiàn)在同一個酒店的概率:10-9

10-9=10-18.1000天任意兩天的排列組合:5105.patsomehotelqatsomehotelSamehotel44Calculations–(1)人員p和人員132133Calculations–(2)人員p

和

q

在任意兩天出現(xiàn)在同一個酒店的概率:5105

10-18=510-13.可能的人數(shù)是10億，任意兩個人的排列組合是:51017.平均可疑的人員對的數(shù)目:51017510-13=250,000.實際上他們是純隨機導致的巧合45Calculations–(2)人員p和q在133134結論假設真的有10對恐怖分子在同一個酒店出現(xiàn)兩次那么需要掃描250,010對候選人才能找出這10對恐怖分子這個方法好嗎？“大數(shù)據(jù)”是不能亂用的！46結論假設真的有10對恐怖分子在同一個酒店出現(xiàn)兩次134大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)云計算云數(shù)據(jù)管理大數(shù)據(jù)與云數(shù)據(jù)管理大數(shù)據(jù)135

云計算（CloudComputing）,2007年第3季度才誕生的新名詞，僅過了半年多，其受到關注程度就超過網格計算（GridComputing），而且關注度至今一直居高不下

云計算（CloudComputing）,2007年136云計算是一種商業(yè)計算模型。它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務。云計算到底是什么？云計算有什么特點？云計算是一種商業(yè)計算模型。它將計算任務分布在大量137云計算起源和發(fā)展1961年斯坦福教授JohnMcCarthy提出計算資源可以成為一種重要的新型工業(yè)基礎。類似水、電、氣和通信。

1999年Salesforce成立，2001年發(fā)布在線CRM系統(tǒng)2001年GoogleCEOEricSchmidt在搜索引擎大會上首次提出”CloudComputing“概念。2003年Google逐步開始在內部使用云計算，2008年推出GoogleAppEngine云計算平臺2006年Amazon正式對外推出彈性計算服務(EC2)。。。各大全球知名廠商跟進(IBM,MicroSoft….)云計算起源和發(fā)展1961年斯坦福教授JohnMcCarth138139什么是云計算?計算：對數(shù)值或信息進行處理并得到結果的過程，有時也指計算方式。

1+1=2flower.bmpflower.jpg云：由網絡連接起來的各種計算資源(包括計算設備和其上的軟件)云計算：運用由網絡連接起來的大量虛擬化的計算設備對信息進行處理并得到結果的一種計算方式。不是一種產品，也不是一種技術，而是一種產生和獲取計算能力的模式。51什么是云計算?計算：對數(shù)值或信息進行處理并得到結果的過139140大型機時代1960年代1980年代2000年代1990年代微型機時代個人計算機變革將只在特定行業(yè)中應用的大型主機變成每個人都負擔得起的個人電腦，大幅度提高了個人生產效率和企業(yè)效率互聯(lián)網變革將數(shù)以億萬計的信息孤島匯集成龐大的信息網絡，極大的提高了人類溝通，共享和協(xié)作的效率，豐富了社交和娛樂生活互聯(lián)網時代云計算變革將IT基礎設施轉變?yōu)橄袼兔簹庖粯拥纳鐣没A設施超級數(shù)據(jù)中心成為IT資源和服務的提供者技術云計算時代時間云計算是繼個人計算機、互聯(lián)網變革之后的第三次IT革命云計算的由來52大型機時代1960年代1980年代2000年代19140云計算定義云計算(CloudComputing)：是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網格計算(GridComputing)的發(fā)展，或者說是這些計算機科學概念的商業(yè)實現(xiàn)。是指基于互聯(lián)網的超級計算模式--即把存儲于個人電腦、移動電話和其他設備上的大量信息和處理器資源集中在一起，協(xié)同工作。在極大規(guī)模上可擴展的信息技術能力向外部客戶作為服務來提供的一種計算方式。使得計算資源如同用水、用電、用燃氣一樣40多億的移動電話一

2010年[數(shù)據(jù)來源:Nokia]個人電腦和筆記本電腦企業(yè)電腦和服務器PDA云計算定義云計算(CloudComputing)：是分布141142從不同角度看云計算的內涵1.云計算是一種IT基礎設施交付和使用模式從原理看，云計算是將計算工作分布在大量的、分布式的計算機上，從而利用大量計算資源(包括硬件設備、軟件及網絡等IT基礎設施)完成所要求的計算任務。云計算環(huán)境下，與傳統(tǒng)的IT基礎設施交付和使用模式的主要區(qū)別：1.基礎設施建設運維方式不同：基礎設施所有權和運維責任2.交付和使用的便捷性不同：提供商交付方式和用戶使用方式54從不同角度看云計算的內涵1.云計算是一種IT基礎設施交付142143從不同角度看云計算的內涵2.云計算是一種信息服務的交付和使用模式從商業(yè)層面看，云計算提供的是而且僅是服務——可以統(tǒng)稱為“云服務”。從云計算服務商和云計算用戶間的關系看，服務商并未向用戶提供硬件、軟件等事物或具體產品，而是運用自己所掌握的IT資源幫助用戶完成計算任務，滿足用戶使用軟硬件設備或獲得信息的需要。55從不同角度看云計算的內涵2.云計算是一種信息服務的交付和143基礎設施作為服務(IaaS)平臺作為服務(PaaS)軟件作為服務(SaaS)服務器網絡存儲中間件協(xié)同合作業(yè)務流程CRM/ERP/HR行業(yè)應用數(shù)據(jù)中心Fabric共享的虛擬化的,動態(tài)部屬數(shù)據(jù)庫Web2.0應用運行環(huán)境Java運行環(huán)境開發(fā)工具云計算分類Computingon

DemandBlueCloud,PureScaleAppliicationSystem市場的例子IBM的例子Source:HagenWenzekCHQStrategy,2/09基礎設施作為服務(IaaS)平臺作為服務(PaaS)軟件作為144云計算分類操作系統(tǒng)+應用服務引擎應用系統(tǒng)基礎設施應用平臺應用軟件(IaaS)(PaaS)(SaaS)根據(jù)提供的服務類型，將云計算應用(服務)分為三類Infrastructureasa

Service以服務的形式提供虛擬硬件資源，如虛擬主機/存儲/網絡/安全等資源。用于無需購買服務器、網絡設備、存儲設備，只需通過互聯(lián)網租賃即可搭建自己的應用系統(tǒng)典型應用：AmazonWeb服務IDCPlatformasa

Service提供應用服務引擎，如互聯(lián)網應用編程接口/運行平臺等。用戶基于該應用服務引擎，可以構建該類應用。典型應用：GoogleAppEngine,IBM

PureScaleApplicationSystem,SAESoftwareasa

Service用戶通過標準的Web瀏覽器來使用Internet上的軟件。用戶不必購買軟件，只需按需租用軟件典型應用：Lotus

Live,S云計算分類操作系統(tǒng)+應用服務引擎應用系統(tǒng)基礎設施應用平臺應用145146從不同角度看云計算的內涵3.云計算是一種基于互聯(lián)網的新型計算模式從數(shù)值和信息處理的角度看，云計算是通過互聯(lián)網將計算任務分布到由大量計算機構成的資源池上，從而使用戶能夠根據(jù)需要獲取計算能力、存儲空和信息服務。云計算的四方面新特征：1.資源匯聚：計算資源匯聚在一起通過多租戶模式服務多個消費者2.快速彈性：計算能力能夠以某種自動方式快速而彈性地實現(xiàn)供應3.按需的自助服務：消費者能夠根據(jù)自己的需要獲取計算能力4.可控可計量：系統(tǒng)根據(jù)服務類型提供相應的計量方式58從不同角度看云計算的內涵3.云計算是一種基于互聯(lián)網的新型146147云計算服務對象：在各行各業(yè)、各種組織、各種產業(yè)拓展應用范圍云計算服務內容：從基礎架構、在線存儲、軟件服務擴展到各種應用領域云計算服務形式：更簡單易用、更安全、更智能的差異化服務從行業(yè)視角滿足中小企業(yè)、政府部門、科研教育、娛樂、商業(yè)企業(yè)的信息化需求成為互聯(lián)網企業(yè)的運營平臺和資源平臺成為人民群眾生活的必需品從產業(yè)領域視角成為物聯(lián)網信息存儲、分析的智能化平臺成為移動互聯(lián)網的基礎信息支撐平臺成為移動電子商務、移動支付的支持平臺逐步進入網絡通信基礎設施領域已有主要服務內容基礎設施即服務/IaaS軟件平臺即服務/PaaS軟件即服務/SaaS存儲即服務/DaaSXaaS一切皆服務，延伸到各種應用硬件即服務：終端設備成為服務發(fā)布形式消息即服務：消息中間件成為服務監(jiān)控即服務：監(jiān)控內容成為服務現(xiàn)存各種應用均被云服務化…更為便捷：就像現(xiàn)在水、電、氣、通信那樣簡單，打開即用，關閉即停，按需使用，用完充值隱私和信息安全更有保障：用戶信息隔離、網絡傳輸加密、高強度身份認證、服務商數(shù)據(jù)安全審核更智能化：用戶服務狀態(tài)恢復、信息推薦、精準營銷、預測用戶潛在信息需求、差異化服務：提供從免費、普通用戶、中端用戶、高端用戶的各種服務，按質論價云服務59云計算服務對象：在各行各業(yè)、各種組織、各種產業(yè)拓展應用范147云計算的優(yōu)勢數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢復；軟件在云端：不必下載自動升級；無所不在的計算：在任何時間，任意地點，任何設備登錄后就可以進行計算服務；無限強大的計算：具有無限空間的，無限速度。硬件為中心軟件為中心服務為中心PCC/S云計算云計算的優(yōu)勢數(shù)據(jù)在云端：不怕丟失,不必備份,可以任意點的恢復148天下大勢，合久必分，分久必合，

計算機技術的分合演義早期計算技術以“合”為特征:曲高和寡PC的發(fā)展使“分”成為了主流:舊時王謝堂前燕，飛入尋常百姓家網絡技術的發(fā)展使云計算成為了“合”的模式，計算和存儲通過網絡隱形于云端：大象無形天下大勢，合久必分，分久必合，

計算機技術的分合演義早期計算149云計算體系結構云計算的基本原理是通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務器中，企業(yè)數(shù)據(jù)中心的運行將更與互聯(lián)網相似。這使得企業(yè)能夠將資源切換到需要的應用上，根據(jù)需求訪問計算機和存儲系統(tǒng)。云計算體系結構云計算的基本原理是通過使計算分布在大量的分布式150云計算發(fā)展路線并行計算集群計算網格計算云計算云計算發(fā)展路線并行計算集群計算網格計算云計算151在動態(tài)、多機構參與的虛擬組織中協(xié)同共享資源和求解問題同時使用多種計算資源解決計算問題的過程

將需要巨大計算能力的問題分成許多小部分進行處理，最后綜合結果分布式計算

并行計算網格計算

云計算在動態(tài)、多機構參與的