終于有人把云計(jì)算、物聯(lián)網(wǎng)和大數(shù)據(jù)講明白了

01云計(jì)算

根據(jù)美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NationalInstituteofStandardsandTechnology，NIST）的定義，云計(jì)算是指能夠針對共享的可配置計(jì)算資源，按需提供方便的、泛在的網(wǎng)絡(luò)接入的模型。上述計(jì)算資源包括網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用和服務(wù)等，這些資源能夠快速地提供和回收，而所涉及的管理開銷要盡可能小。

具體來說，云模型包含五個(gè)基本特征、三個(gè)服務(wù)模型和四個(gè)部署模型。

五個(gè)基本特征：按需自助服務(wù)（on-demandself-service）廣闊的互聯(lián)網(wǎng)訪問（broadnetworkaccess）資源池（resourcepooling）快速伸縮（rapidelasticity）可度量的服務(wù)（measuredservice）

三個(gè)服務(wù)模型：軟件即服務(wù)（SoftwareasaService，SaaS）平臺即服務(wù)（PlatformasaService，PaaS）基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）

四個(gè)部署模型：私有云（privatecloud）社區(qū)云（communitycloud）公有云（publiccloud）混合云（hybridcloud）

一般來說，云計(jì)算可以被看作通過計(jì)算機(jī)通信網(wǎng)絡(luò)（例如互聯(lián)網(wǎng)）來提供計(jì)算服務(wù)的分布式系統(tǒng)，其主要目標(biāo)是利用分布式資源來解決大規(guī)模的計(jì)算問題。

云中的資源對用戶是透明的，用戶無須知曉資源所在的具體位置。這些資源能夠同時(shí)被大量用戶共享，用戶能夠在任何時(shí)間、任何地點(diǎn)訪問應(yīng)用程序和相關(guān)的數(shù)據(jù)。

云計(jì)算的體系結(jié)構(gòu)如圖1-3所示，還對三個(gè)服務(wù)模型進(jìn)行了闡述?！鴪D1-3云計(jì)算的體系結(jié)構(gòu)

1.基礎(chǔ)設(shè)施即服務(wù)

這項(xiàng)服務(wù)是云計(jì)算提供的最簡單的內(nèi)容，其涉及大規(guī)模的計(jì)算資源的交付，這些計(jì)算資源包括存儲空間、運(yùn)算能力和網(wǎng)絡(luò)帶寬等。

基礎(chǔ)設(shè)施即服務(wù)的主要優(yōu)勢是按次付費(fèi)、安全性以及可靠性，因此也被稱為硬件即服務(wù)（HardwareasaService，HaaS）。這項(xiàng)服務(wù)的典型案例有亞馬遜云（AmazonElasticComputeCloud，EC2）、谷歌計(jì)算引擎（GoogleComputeEngine，GCE）和阿里云（Aliyun）等。

2.平臺即服務(wù)

這項(xiàng)服務(wù)為云計(jì)算提供了應(yīng)用程序的接口。對于云計(jì)算來說，基礎(chǔ)設(shè)施即服務(wù)在很多應(yīng)用場景下能力不足。

隨著網(wǎng)絡(luò)應(yīng)用程序數(shù)的井噴式增長，平臺即服務(wù)的相關(guān)研究與應(yīng)用逐步涌現(xiàn)。很多全球性的跨國公司都不約而同地尋求在云計(jì)算平臺方面稱霸，就像微軟在個(gè)人電腦領(lǐng)域所處的地位一樣。平臺即服務(wù)的典型案例有谷歌應(yīng)用引擎（GoogleAppEngine，GAE）、微軟云（MicrosoftAzure）等。

3.軟件即服務(wù)

這項(xiàng)服務(wù)旨在提供終端用戶可以直接使用的服務(wù)，這里的服務(wù)可以理解為部署在互聯(lián)網(wǎng)上的軟件。這樣的服務(wù)模式在很大程度上替代了在個(gè)人電腦上運(yùn)行的傳統(tǒng)應(yīng)用程序。

軟件即服務(wù)的典型案例有思科（Cisco）的思科網(wǎng)迅（WebEx）、軟營（Salesforce）的客戶關(guān)系管理（CustomerRelationshipManagement，CRM）系統(tǒng)以及亞馬遜網(wǎng)絡(luò)服務(wù)（AmazonWebService，AWS）。

02物聯(lián)網(wǎng)

物聯(lián)網(wǎng)技術(shù)棧由三個(gè)核心層構(gòu)成，即物/設(shè)備層、連接層和物聯(lián)網(wǎng)云層，詳情如圖1-4所示。▲圖1-4物聯(lián)網(wǎng)的技術(shù)棧

在物/設(shè)備層，諸如傳感器、執(zhí)行器等物聯(lián)網(wǎng)特定的硬件可以被添加至已有的核心硬件中，嵌入式的軟件可以被修改或集成進(jìn)已有的系統(tǒng)，以便管理和操作具體的設(shè)備。

在連接層，由通信協(xié)議來實(shí)現(xiàn)單個(gè)物/設(shè)備與云之間的通信，例如消息隊(duì)列遙測傳輸（MessageQueuingTelemetryTransport，MQTT）協(xié)議。

在物聯(lián)網(wǎng)云層，設(shè)備通信協(xié)議和管理軟件用來協(xié)調(diào)、提供和管理互相連接的物/設(shè)備，由應(yīng)用平臺來實(shí)現(xiàn)物聯(lián)網(wǎng)應(yīng)用程序的開發(fā)和執(zhí)行。此外，物聯(lián)網(wǎng)云層還引入了分析與數(shù)據(jù)管理軟件來存儲、處理和分析由物/設(shè)備產(chǎn)生的數(shù)據(jù)。針對跨物/設(shè)備、人員和系統(tǒng)的過程監(jiān)測，引入了過程管理軟件來進(jìn)行定義和執(zhí)行。對于給定的目的，由物聯(lián)網(wǎng)應(yīng)用程序軟件來協(xié)調(diào)物/設(shè)備、人員和系統(tǒng)之間的交互。

在上述三層的全域范圍內(nèi)，還存在特定的軟件構(gòu)件來對物聯(lián)網(wǎng)體系整體的身份和安全進(jìn)行管理，以及提供與商業(yè)系統(tǒng)和外部信息源的集成，常見的商業(yè)系統(tǒng)和外部信息源類型有企業(yè)資源計(jì)劃（EnterpriseResourcePlanning，ERP）系統(tǒng)和客戶關(guān)系管理（CRM）系統(tǒng)，外部信息源通常是指來自第三方的信息。

在談?wù)撐锫?lián)網(wǎng)技術(shù)時(shí)，“物聯(lián)網(wǎng)平臺”（IoTplatform）是一個(gè)提及頻次很高的概念。在計(jì)算領(lǐng)域，術(shù)語“平臺”是一個(gè)相對廣泛的概念，有些文獻(xiàn)將平臺定義為一組有機(jī)結(jié)合起來的技術(shù)，基于這些技術(shù)，能夠開發(fā)其他的應(yīng)用程序。

物聯(lián)網(wǎng)平臺本質(zhì)上是軟件產(chǎn)品，其提供大量與應(yīng)用程序無關(guān)的功能，利用這些功能可以構(gòu)建物聯(lián)網(wǎng)應(yīng)用程序。對于各種不同的物聯(lián)網(wǎng)平臺，其提供者所側(cè)重的物聯(lián)網(wǎng)技術(shù)不同，因此所提供的功能集合也是不同的。

換言之，物聯(lián)網(wǎng)平臺的配置沒有統(tǒng)一的標(biāo)準(zhǔn)，但是存在眾多針對不同領(lǐng)域特定需求的物聯(lián)網(wǎng)平臺，例如ThingSpeak、DeviceHive、Xively、WSO2以及海爾COSMOPlat等。

將云計(jì)算與物聯(lián)網(wǎng)進(jìn)行對比分析，給出了兩個(gè)技術(shù)領(lǐng)域的互補(bǔ)方面，詳情如表1-1所示。

▼表1-1

云計(jì)算與物聯(lián)網(wǎng)的互補(bǔ)方面

一般來說，物聯(lián)網(wǎng)能夠在云計(jì)算的虛擬形式的無限計(jì)算能力和資源上補(bǔ)償自身的技術(shù)性限制（例如存儲、計(jì)算能力和通信能力）。

云計(jì)算能夠?yàn)槲锫?lián)網(wǎng)中服務(wù)的管理和組合提供高效的解決方案，同時(shí)能夠?qū)崿F(xiàn)利用物聯(lián)網(wǎng)中產(chǎn)生的數(shù)據(jù)的應(yīng)用程序和服務(wù)。對于物聯(lián)網(wǎng)來說，云計(jì)算能夠以更加分布式的、動(dòng)態(tài)的方式來擴(kuò)展其能處理的真實(shí)世界中物/設(shè)備的范圍，進(jìn)而交付大量實(shí)際生活中的場景所需要的服務(wù)。

在多數(shù)情況下，云計(jì)算能夠提供物與應(yīng)用程序之間的中間層，同時(shí)將實(shí)現(xiàn)應(yīng)用程序所必需的復(fù)雜性和功能都隱藏起來，這將影響未來的應(yīng)用程序開發(fā)。在未來的多云環(huán)境下，應(yīng)用程序的開發(fā)面臨著來自信息的收集、處理和傳輸?shù)确矫娴男绿魬?zhàn)。

物聯(lián)網(wǎng)在工業(yè)領(lǐng)域的應(yīng)用涵蓋了眾多方面，例如自動(dòng)化、優(yōu)化、可預(yù)測制造、運(yùn)輸?shù)取?/p>

制造（manufacturing）是物聯(lián)網(wǎng)在工業(yè)領(lǐng)域最大的市場，涉及軟件、硬件、連通性和服務(wù)等。隨著物聯(lián)網(wǎng)的引入，由原料、工件、機(jī)器、工具、庫存和物流等組成的工業(yè)系統(tǒng)構(gòu)成了實(shí)施制造過程的生產(chǎn)單元，上述這些構(gòu)件之間可以互相通信。

物聯(lián)網(wǎng)提供的連通性驅(qū)動(dòng)了各項(xiàng)操作技術(shù)（OperationalTechnology，OT）的實(shí)際性能的收斂性，這里的操作技術(shù)包括機(jī)械手、傳送帶、儀表、發(fā)電機(jī)等。在整個(gè)制造過程中，傳感器、分布式控制以及安全軟件發(fā)揮著“膠水”的作用。當(dāng)前，工業(yè)領(lǐng)域有遠(yuǎn)見的企業(yè)都將生產(chǎn)線和生產(chǎn)過程構(gòu)建在了物聯(lián)網(wǎng)之上。

運(yùn)輸（transportation）是物聯(lián)網(wǎng)在工業(yè)領(lǐng)域的第二大市場。當(dāng)前，在眾多城市中涌現(xiàn)的智能運(yùn)輸網(wǎng)絡(luò)能夠優(yōu)化傳統(tǒng)運(yùn)輸網(wǎng)絡(luò)中的路徑，生成高效、安全的路線，降低基礎(chǔ)設(shè)施的開銷并緩解交通擁塞。航空、鐵路、城際等貨運(yùn)公司能夠集成海量的數(shù)據(jù)來對需求進(jìn)行實(shí)時(shí)分析，實(shí)現(xiàn)統(tǒng)籌規(guī)劃和優(yōu)化操作。

03大數(shù)據(jù)

隨著物聯(lián)網(wǎng)和云計(jì)算技術(shù)的發(fā)展，海量的數(shù)據(jù)以前所未有的速度從異構(gòu)數(shù)據(jù)源產(chǎn)生，這些數(shù)據(jù)源所在的領(lǐng)域有醫(yī)療健康、政府機(jī)構(gòu)、社交網(wǎng)絡(luò)、環(huán)境監(jiān)測和金融市場等。

在這些景象的背后，存在大量強(qiáng)大的系統(tǒng)和分布式應(yīng)用程序來支持與數(shù)據(jù)相關(guān)的操作，例如智能電網(wǎng)（smartgrid）系統(tǒng)、醫(yī)療健康（healthcare）系統(tǒng)、零售業(yè)（retailing）系統(tǒng)、政府（government）系統(tǒng)等。

在大數(shù)據(jù)的變革發(fā)生之前，絕大多數(shù)機(jī)構(gòu)和公司都沒有能力長期保存歸檔數(shù)據(jù)，也無法高效地管理和利用大規(guī)模的數(shù)據(jù)集。實(shí)際上，現(xiàn)有的傳統(tǒng)技術(shù)能夠應(yīng)對的存儲和管理規(guī)模都是有限的。在大數(shù)據(jù)環(huán)境下，傳統(tǒng)技術(shù)缺乏可擴(kuò)展性和靈活性，其性能也無法令人滿意。

當(dāng)前，針對海量的數(shù)據(jù)集，需要設(shè)計(jì)涵蓋清洗、處理、分析、加載等操作的可行性方案。業(yè)界的公司越來越意識到針對大數(shù)據(jù)的處理與分析是使企業(yè)具有競爭力的重要因素。

1.三類定義

當(dāng)前大數(shù)據(jù)在各個(gè)領(lǐng)域的廣泛普及使得學(xué)界與業(yè)界對大數(shù)據(jù)的定義很難達(dá)成一致。不過有一點(diǎn)共識是，大數(shù)據(jù)不僅是指大量的數(shù)據(jù)。通過對現(xiàn)有大數(shù)據(jù)的定義進(jìn)行梳理，我們總結(jié)出三種對大數(shù)據(jù)進(jìn)行描述和理解的定義。

1）屬性型定義（attributivedefinition）

作為大數(shù)據(jù)研究與應(yīng)用的先驅(qū)，國際數(shù)據(jù)公司（InternationalDataCorporation，IDC）在戴爾易安信（DELLEMC）公司的資助下于2011年提出了如下大數(shù)據(jù)的定義：大數(shù)據(jù)技術(shù)描述了技術(shù)與體系結(jié)構(gòu)，其設(shè)計(jì)初衷是通過實(shí)施高速的捕獲、發(fā)現(xiàn)以及分析，來經(jīng)濟(jì)性地提取大量具有廣泛類型的數(shù)據(jù)的價(jià)值。

該定義側(cè)面描述了大數(shù)據(jù)的四個(gè)顯著特征：數(shù)量、速度、多樣化和價(jià)值。由Gartner公司分析師總結(jié)的研究報(bào)告中給出了與上述定義類似的描述，該研究指出數(shù)據(jù)的增長所帶來的挑戰(zhàn)與機(jī)遇是三個(gè)維度的，即顯著增長的數(shù)量（Volume）、速度（Velocity）和多樣化（Variety）。

盡管關(guān)于數(shù)據(jù)在三個(gè)維度的描述最初并不是要給大數(shù)據(jù)下定義，但包括IBM、微軟在內(nèi)的業(yè)界在其后的十年間都沿用上述“3V”模型來對大數(shù)據(jù)進(jìn)行描述。

2）比較型定義（comparativedefinition）

Mckinsey公司2011年給出的研究報(bào)告將大數(shù)據(jù)定義為：規(guī)模超出了典型數(shù)據(jù)庫軟件工具的捕獲、存儲、管理和分析能力的數(shù)據(jù)集。

盡管該報(bào)告沒有在具體的度量標(biāo)準(zhǔn)方面對大數(shù)據(jù)給出定義，但其引入了一個(gè)革命性的方面，即怎樣的數(shù)據(jù)集才能夠被稱為大數(shù)據(jù)。

3）架構(gòu)型定義（architecturaldefinition）

美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）對大數(shù)據(jù)的描述為：大數(shù)據(jù)是指數(shù)據(jù)的數(shù)量、獲取的速度以及數(shù)據(jù)的表示限制了使用傳統(tǒng)關(guān)系數(shù)據(jù)庫方法進(jìn)行有效分析的能力，需要使用具有良好可擴(kuò)展性的新型方法來對數(shù)據(jù)進(jìn)行高效的處理。

2.5V

以下是一些文獻(xiàn)中關(guān)于大數(shù)據(jù)特征的描述：數(shù)據(jù)的規(guī)模成為問題的一部分，并且傳統(tǒng)的技術(shù)已經(jīng)沒有能力處理這樣的數(shù)據(jù)。數(shù)據(jù)的規(guī)模迫使學(xué)界和業(yè)界不得不拋棄曾經(jīng)流行的方法而去尋找新的方法。大數(shù)據(jù)是一個(gè)囊括了在合理時(shí)間內(nèi)對潛在的超大數(shù)據(jù)集實(shí)現(xiàn)捕獲、處理、分析和可視化的范疇，并且傳統(tǒng)的信息技術(shù)無法勝任上述要求。大數(shù)據(jù)的核心必須包含三個(gè)關(guān)鍵的方面：數(shù)量多、速度快和多樣化，即著名的“3V”。

1）數(shù)量

數(shù)據(jù)的數(shù)量又稱為數(shù)據(jù)的規(guī)模，在大數(shù)據(jù)中，其是指在進(jìn)行數(shù)據(jù)處理時(shí)所面對的超大規(guī)模的數(shù)據(jù)量。目前，海量的數(shù)據(jù)持續(xù)不斷地從千百萬設(shè)備和應(yīng)用中產(chǎn)生（例如信息通信技術(shù)、智能手機(jī)、軟件代碼、社交網(wǎng)絡(luò)、傳感器以及各類日志）。McAfee公司在2012年估算：在2012年的每一天中，全球都產(chǎn)生著2.5EB的數(shù)據(jù)，并且該數(shù)值約每40個(gè)月實(shí)現(xiàn)翻倍。2013年，國際數(shù)據(jù)公司（IDC）估算全球所產(chǎn)生、復(fù)制和消費(fèi)的數(shù)據(jù)已經(jīng)達(dá)到4.4ZB，并且該數(shù)值約每兩年實(shí)現(xiàn)翻倍。到2015年，全球產(chǎn)生的數(shù)據(jù)將達(dá)到8ZB。根據(jù)IDC的研究報(bào)告，全球產(chǎn)生的數(shù)據(jù)將在2020年達(dá)到40ZB。

2）速度

在大數(shù)據(jù)中，數(shù)據(jù)的速度是指在進(jìn)行數(shù)據(jù)處理時(shí)所面對的具有高頻率和高實(shí)時(shí)性的數(shù)據(jù)流。高速生成的數(shù)據(jù)應(yīng)當(dāng)及時(shí)進(jìn)行處理，以便提取有用的信息和洞察潛在的價(jià)值。

全球知名的折扣連鎖店沃爾瑪基于消費(fèi)者的交易每小時(shí)產(chǎn)生2.5PB的數(shù)據(jù)。視頻分享類網(wǎng)站（例如優(yōu)酷、愛奇藝等）則是大數(shù)據(jù)高頻率和高實(shí)時(shí)性特征的另一個(gè)例證。

3）多樣化

在大數(shù)據(jù)中，數(shù)據(jù)的多樣化是指在進(jìn)行數(shù)據(jù)處理時(shí)所面對的具有不同語法格式的數(shù)據(jù)類型。隨著物聯(lián)網(wǎng)技術(shù)與云計(jì)算技術(shù)的普及，海量的多源異構(gòu)數(shù)據(jù)從不同的數(shù)據(jù)源以不同的數(shù)據(jù)格式持續(xù)地產(chǎn)生，典型的數(shù)據(jù)源有傳感器、音頻、視頻、文檔等。

海量的異構(gòu)數(shù)據(jù)形成各種各樣的數(shù)據(jù)集，這些數(shù)據(jù)集可能包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)集的屬性可能是公開或隱私的、共享或機(jī)密的、完整或不完整的，等等。

隨著大數(shù)據(jù)理論的發(fā)展，更多的特征逐步被納入考慮的范圍，以便對大數(shù)據(jù)做出更好的定義，例如：想象（vision），這里的想象是指一種目的；驗(yàn)證（verification），這里的驗(yàn)證是指經(jīng)過處理后的數(shù)據(jù)符合特定的要求；證實(shí)（validation），這里的證實(shí)是指前述的想象成為現(xiàn)實(shí)；復(fù)雜性（complexity），這里的復(fù)雜性是指由于數(shù)據(jù)之間關(guān)系的進(jìn)化，海量數(shù)據(jù)的組織和分析均很困難；不變性（immutability），這里的不變性是指如果進(jìn)行妥善管理，那么經(jīng)過存儲的海量數(shù)據(jù)可以永久保留。

描述大數(shù)據(jù)的五個(gè)關(guān)鍵特征（即“5V”）：數(shù)量（Volume）速度（Velocity）多樣化（Variety）準(zhǔn)確性（Veracity）價(jià)值（Value）

4）準(zhǔn)確性

在商界，決策者通常不會完全信任從大數(shù)據(jù)中提取出的信息，而會進(jìn)一步對信息進(jìn)行加工和處理，然后做出更好的決策。如果決策者不信任輸入數(shù)據(jù)，那么輸出數(shù)據(jù)也不會獲得信任，這樣的數(shù)據(jù)不會參