大數(shù)據(jù)與云計(jì)算和物聯(lián)網(wǎng)的關(guān)系

大數(shù)據(jù)與云計(jì)算和物聯(lián)網(wǎng)的關(guān)系大數(shù)據(jù)時(shí)期的到來(lái)，是全世界知名咨詢公司麥肯錫最先提出的，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到現(xiàn)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增加和消費(fèi)者盈余浪潮的到來(lái)。”《互聯(lián)網(wǎng)進(jìn)化論》一書(shū)中提出“互聯(lián)網(wǎng)的未來(lái)功能和結(jié)構(gòu)將于人類大腦高度相似，也將具有互聯(lián)網(wǎng)虛擬感覺(jué)，虛擬運(yùn)動(dòng)，虛擬中樞，虛擬記憶神經(jīng)系統(tǒng)”，并繪制了一幅互聯(lián)網(wǎng)虛擬大腦結(jié)構(gòu)圖。物聯(lián)網(wǎng)Z\斤頻來(lái)宦器耗敬迅黃罄$蘆訊采東阱I；傳統(tǒng)互聯(lián)網(wǎng)互郎音1物聯(lián)網(wǎng)Z\斤頻來(lái)宦器耗敬迅黃罄$蘆訊采東阱I；傳統(tǒng)互聯(lián)網(wǎng)互郎音1眉（範(fàn)據(jù)海洋｝虛報(bào)翟寬亂紙聽(tīng)聯(lián)闞核作戦層虛擬感啦另締丿&J按照這一觀點(diǎn)，咱們嘗試分析目前互聯(lián)網(wǎng)最流行的四個(gè)概念————-大數(shù)據(jù)，云計(jì)算，物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)與傳統(tǒng)互聯(lián)網(wǎng)之間的關(guān)系。從這幅圖中咱們能夠看出：物聯(lián)網(wǎng)對(duì)應(yīng)了互聯(lián)網(wǎng)的感覺(jué)和運(yùn)動(dòng)神經(jīng)系統(tǒng)。云計(jì)算是互聯(lián)網(wǎng)的核心硬件層和核心軟件層的集合，也是互聯(lián)網(wǎng)中樞神經(jīng)系統(tǒng)萌芽。大數(shù)據(jù)代表了互聯(lián)網(wǎng)的信息層（數(shù)據(jù)海洋），是互聯(lián)網(wǎng)智慧和意識(shí)產(chǎn)生的基礎(chǔ)。包括物聯(lián)網(wǎng)，傳統(tǒng)互聯(lián)網(wǎng)，移動(dòng)互聯(lián)網(wǎng)在源源不斷的向互聯(lián)網(wǎng)大數(shù)據(jù)層匯聚數(shù)據(jù)和同意數(shù)據(jù)。大數(shù)據(jù)時(shí)期的到來(lái)，是全世界知名咨詢公司麥肯錫最先提出的，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到現(xiàn)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增加和消費(fèi)者盈余的到來(lái)?！苯鼛啄甏髷?shù)據(jù)一詞的持續(xù)升溫也帶來(lái)了大數(shù)據(jù)泡沫的疑慮，大數(shù)據(jù)的前景與目前、、移動(dòng)等是分不開(kāi)的，下面就來(lái)了解一下大數(shù)據(jù)與這些熱點(diǎn)的關(guān)系。大數(shù)據(jù)市場(chǎng)格局從嚴(yán)格意義上來(lái)講，早在20世紀(jì)90年代“數(shù)據(jù)倉(cāng)庫(kù)之父”的BillInmon便提出了“大數(shù)據(jù)”的概念。大數(shù)據(jù)之所以在最近走紅，主要?dú)w結(jié)于互聯(lián)網(wǎng)、移動(dòng)設(shè)備、物聯(lián)網(wǎng)和云計(jì)算等快速崛起，全世界數(shù)據(jù)量大大提升。能夠說(shuō)，移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和云計(jì)算等熱點(diǎn)崛起在專門大程度上是大數(shù)據(jù)產(chǎn)生的原因。咱們能夠通過(guò)如此一張圖片，形象的明白大數(shù)據(jù)與移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和傳統(tǒng)互聯(lián)網(wǎng)的關(guān)系。物聯(lián)網(wǎng)，移動(dòng)互聯(lián)網(wǎng)再加上傳統(tǒng)互聯(lián)網(wǎng)，天天都在產(chǎn)生海量數(shù)據(jù)，而大數(shù)據(jù)又通過(guò)云計(jì)算的形式，將這些數(shù)據(jù)挑選處置分析，提前出有效的信息，這就是大數(shù)據(jù)分析。大數(shù)據(jù)與移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和傳統(tǒng)互聯(lián)網(wǎng)作為巨頭，EMC的大數(shù)據(jù)理念是，第一從“大”入手，“大”肯定是指大型數(shù)據(jù)集，一般在10TB規(guī)模左右。很多用戶把多個(gè)數(shù)據(jù)集放在一路，形成PB級(jí)的數(shù)據(jù)量。同時(shí)從數(shù)據(jù)源來(lái)談，大數(shù)據(jù)是指這些數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，以實(shí)時(shí)、迭代的方式來(lái)實(shí)現(xiàn)。大數(shù)據(jù)來(lái)源咱們看到，各類行業(yè)都出現(xiàn)了大數(shù)據(jù)趨勢(shì)，有些可能是零售業(yè)商戶，要對(duì)零售業(yè)數(shù)據(jù)進(jìn)行分析，或是一些有關(guān)全世界天氣預(yù)報(bào)模型的數(shù)據(jù)，還有油氣行業(yè)一些地理信息數(shù)據(jù)，比如基因?qū)W分析，醫(yī)學(xué)中也有成像類的大數(shù)據(jù)，乃至電影、娛樂(lè)行業(yè)還有效于渲染的大型數(shù)據(jù)存在。大數(shù)據(jù)與現(xiàn)實(shí)生活大數(shù)據(jù)能帶來(lái)什么轉(zhuǎn)變呢？里克?斯莫蘭的“大數(shù)據(jù)人類面孔”項(xiàng)目講述了許多故事：海象通過(guò)頭頂?shù)挠|角探索海洋;借助衛(wèi)星擊準(zhǔn)蚊子;加納用短信系統(tǒng)避免假藥銷售;智能電話能夠預(yù)測(cè)誰(shuí)正在變抑郁;信用卡在利用者離婚前兩年就可以預(yù)測(cè)離婚;藥片直接將信息從人的身體傳給醫(yī)生。通過(guò)對(duì)衛(wèi)星和全世界數(shù)億傳感器、RFID標(biāo)簽、帶GPS的相機(jī)和智能電話實(shí)時(shí)搜集的數(shù)據(jù)做可視化處置，人類就可以夠感知、測(cè)量、理解和影響人類的生存方式，實(shí)現(xiàn)先輩們遙不可及的夢(mèng)想。2012年3月，里克?斯莫蘭和JenniferErwitt發(fā)動(dòng)全世界各地100多位攝影師、編輯和作家來(lái)探索大數(shù)據(jù)的世界，以驗(yàn)證它是不是象許多業(yè)界人士所說(shuō)：代表了一種從未出現(xiàn)過(guò)的工具，能夠幫忙人類面對(duì)最大的挑戰(zhàn)。大數(shù)據(jù)人類面孔-通過(guò)計(jì)步器記錄數(shù)據(jù)分析身體狀況2012年9月25日到10月2日，邀請(qǐng)全世界各地參與者通過(guò)“大數(shù)據(jù)人類面孔”這一應(yīng)用（五種語(yǔ)言的iOS和安卓版本免費(fèi)下載）來(lái)“測(cè)量咱們的世界”。這一應(yīng)用能夠讓人們用電話作為傳感器參與一系列活動(dòng)，他們同時(shí)能夠比較全世界參與者對(duì)一些值得沉思的問(wèn)題給出了什么答案。參與者能夠繪制出自己天天的路徑，分享那些帶給他們好運(yùn)的物品和儀式，了解其他人想要在一生中經(jīng)歷的特別體驗(yàn)，發(fā)覺(jué)自己身旁以前沒(méi)成心識(shí)到的秘密。參與者還能夠得出自己的“數(shù)字身影”。2012年10月2日，邀請(qǐng)媒體出席在紐約、倫敦和新加坡舉行的“指揮控制中心”大型活動(dòng)，所有參與者的數(shù)據(jù)將在活動(dòng)中加以分析、視覺(jué)化處置和詮釋。大數(shù)據(jù)領(lǐng)域的專家們和創(chuàng)新者們將通過(guò)互動(dòng)的“大數(shù)據(jù)實(shí)驗(yàn)室”分享他們的工作功效。全世界各地的觀眾能夠?qū)崟r(shí)在線觀看活動(dòng)直播。麥肯錫全世界研究機(jī)構(gòu)在發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域》中表示，充分利用大數(shù)據(jù)可幫忙全世界個(gè)人定位服務(wù)提供商增加1000億美元收入、幫忙歐洲公共部門的管理每一年提升2500億美元產(chǎn)值、幫忙美國(guó)醫(yī)療保健行業(yè)每一年提升3000億美元產(chǎn)值，并可幫忙美國(guó)零售業(yè)取得60%以上的凈利潤(rùn)增加......若是感覺(jué)此數(shù)據(jù)太過(guò)空泛，那么咱們能夠通過(guò)安防監(jiān)控在大數(shù)據(jù)方面的應(yīng)用來(lái)進(jìn)行詳細(xì)的了解。很多讀者應(yīng)該都看過(guò)電影《全民公敵》，威爾史密斯扮演的律師出此刻各地任意位置的攝像頭都會(huì)在第一時(shí)刻被發(fā)覺(jué)，這即是大數(shù)據(jù)的作用。從技術(shù)角度來(lái)看，從傳統(tǒng)的海量存儲(chǔ)監(jiān)控，到實(shí)現(xiàn)聯(lián)網(wǎng)智能化監(jiān)控即是大數(shù)據(jù)專門好的應(yīng)用。在國(guó)際多數(shù)市中，每一年行駛的車輛數(shù)據(jù)可能會(huì)達(dá)到百億級(jí)，從這些海量信息提取車牌、車身顏色，就可以夠?qū)ｉT快查出軌跡、違章等，而接下來(lái)的關(guān)聯(lián)分析就是基于大數(shù)據(jù)的基礎(chǔ)展開(kāi)。再比如大家常常利用的淘寶為例。天貓副總裁王文彬曾表示“咱們能夠取得買家的訪問(wèn)量、固定頻率、偏好商品等淺層分析。未來(lái)將有更多，不僅能看到商家銷量的高低，乃至還能夠看出其原因?！鄙碳疫€能夠通過(guò)對(duì)點(diǎn)擊量、跨店鋪點(diǎn)擊，定單流轉(zhuǎn)量乃至旺旺聊天信息等消費(fèi)者購(gòu)買行為的分析，進(jìn)而有針對(duì)性的進(jìn)行提高，達(dá)到提高銷量的目的。從人類文明出現(xiàn)到2003年，人類總共才產(chǎn)生了5EB(ExaBytes)的數(shù)據(jù)，可是當(dāng)前的人類兩天內(nèi)就創(chuàng)造出了相同的數(shù)據(jù)量，全世界90%的數(shù)據(jù)都是在過(guò)去兩年中生成的，到2020年全世界數(shù)據(jù)利用量將可能需要376億個(gè)1TB的硬盤進(jìn)行存儲(chǔ)。大數(shù)據(jù)固然，大數(shù)據(jù)并非等同于目前的海量數(shù)據(jù)。目前全世界均比較認(rèn)可IDC對(duì)“大數(shù)據(jù)”的概念：為了更經(jīng)濟(jì)地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值，而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。此概念也能夠歸納為四個(gè)特點(diǎn)，即高容量(volume)、多樣性(variety),速度(velocity),和價(jià)值(value)四個(gè)V,包括基礎(chǔ)架構(gòu)、數(shù)據(jù)管理、分析挖掘和決策支持四個(gè)層面。固然,也有其他不同的觀點(diǎn),對(duì)于大數(shù)據(jù)的概念即是規(guī)模性(Volume)、多樣性(Variety)、高速性(Velocity)和真實(shí)性(Veracity)的“4V理論”,NetApp大中華區(qū)總領(lǐng)導(dǎo)陳文所理解的大數(shù)據(jù)包括A、B、C三個(gè)要素：大分析(Analytic)，高帶寬(Bandwidth)和大內(nèi)容(Content)。大數(shù)據(jù)與云計(jì)算物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等是大數(shù)據(jù)的來(lái)源,而大數(shù)據(jù)分析則是為物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)提供有效的分析,獲取價(jià)值。云計(jì)算又與大數(shù)據(jù)有什么關(guān)系呢?那個(gè)問(wèn)題其實(shí)早在2011年,就有人分析,例如EMCWorld2011的大會(huì)主題就是“當(dāng)云計(jì)算遇見(jiàn)大數(shù)據(jù)”。云計(jì)算與大數(shù)據(jù)二者之間有很多的交集,業(yè)界主要做云的公司有谷歌、亞馬遜等都擁有大量大數(shù)據(jù)。EMC總裁基辛格強(qiáng)調(diào)大數(shù)據(jù)應(yīng)用必需在云設(shè)施上跑,這就是二者的關(guān)系——大數(shù)據(jù)離不開(kāi)云。同時(shí),支撐大數(shù)據(jù)和云計(jì)算的底層原則是一樣的,即規(guī)?；?、自動(dòng)化、資源配置、自愈性,這些都是底層的技術(shù)原則。因此基辛格以為大數(shù)據(jù)和云之間存在很多合力的地方。另一方面,隨著互聯(lián)網(wǎng)信息量的激增,用戶單個(gè)數(shù)據(jù)集達(dá)到數(shù)以TB計(jì)，有的客戶乃至已達(dá)到Pera級(jí)(1000Tera)了，用現(xiàn)有的存儲(chǔ)系統(tǒng)結(jié)構(gòu)處置數(shù)據(jù)量級(jí)較小,而且只能處置單一數(shù)據(jù)源數(shù)據(jù),面對(duì)大數(shù)據(jù)的壓力。在處置大量級(jí)和多數(shù)據(jù)源的數(shù)據(jù)能力超級(jí)弱。這也就是為何EMC收購(gòu)Greenplum,支持開(kāi)源的Hadoop計(jì)劃的目的所在?；粮窈苊靼?，大數(shù)據(jù)的挑戰(zhàn)不單單在于存儲(chǔ)和保護(hù)，數(shù)據(jù)分析能力的強(qiáng)弱，將成為那個(gè)時(shí)期的關(guān)鍵點(diǎn)：咱們已經(jīng)解決了數(shù)據(jù)存儲(chǔ)和保護(hù)的問(wèn)