云計(jì)算與大數(shù)據(jù)

1、云計(jì)算與大數(shù)據(jù)胡經(jīng)國本文作者的話本文是根據(jù)有關(guān)文獻(xiàn)和資料編寫的漫話云計(jì)算系列文稿之一?，F(xiàn)作為 云計(jì)算學(xué)習(xí)筆錄，奉獻(xiàn)給云計(jì)算業(yè)外讀者，作為進(jìn)一步學(xué)習(xí)和研究的參考。希 望能夠得到大家的指教和喜歡！下面是正文一、大數(shù)據(jù)的定義表述1失數(shù)據(jù)”是指一個(gè)數(shù)據(jù)集，它的尺寸大到已經(jīng)無法由傳統(tǒng)的數(shù)據(jù)庫軟件工 具去采集、存儲(chǔ)、管理和分析?！癇igData" referes to datasets whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze

2、MGI May , 2011失數(shù)據(jù)”是指一個(gè)數(shù)據(jù)集，它的尺寸的增長已經(jīng)讓現(xiàn)有的數(shù)據(jù)庫管理工具 相形見細(xì)，這些困難包括：數(shù)據(jù)采集、存儲(chǔ)、搜索、分享、分析和可視化。Big data are datasets that grow so large that they become awkward to work with using on-hard database management tools. Difficulties include capture, storage, search, sharing, analytics, and visualizing. Wikipedia表述2大數(shù)據(jù)（

3、big data）,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn) 力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上 看，大數(shù)據(jù)是指無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超 出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。表述3大數(shù)據(jù)是指所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合 理時(shí)間內(nèi)達(dá)到掘取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策達(dá)到更積極目 的的資訊。表述4麥肯錫公司：大數(shù)據(jù)是指大小超出常規(guī)的數(shù)據(jù)庫工具獲取、存儲(chǔ)、管理和 分析能力的數(shù)據(jù)集。表述5美國咨詢公司麥肯錫對大數(shù)據(jù)的定義，就是從個(gè)體數(shù)據(jù)集的大體量入手 的：大數(shù)據(jù)是指那些很大的

4、數(shù)據(jù)集，大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采 集、存儲(chǔ)、管理和分析。傳統(tǒng)數(shù)據(jù)庫有效工作的數(shù)據(jù)上限，一般來說在10100TB;因此，10100TB通常成為大數(shù)據(jù)的門檻。無獨(dú)有偶，IDC在給大數(shù)據(jù)做定義時(shí)，也設(shè)在 100TB。其實(shí)，這種方法未 必科學(xué)。不管怎樣，有一個(gè)簡單明晰的數(shù)值來指導(dǎo)企業(yè)大數(shù)據(jù)的判斷，總是好 事。表述6維基百科對大數(shù)據(jù)的定義：所謂大數(shù)據(jù)在當(dāng)今的互聯(lián)網(wǎng)業(yè)是指這樣一種現(xiàn)象：一個(gè)網(wǎng)絡(luò)公司日常運(yùn)營所生成和積累用戶網(wǎng)絡(luò)行為數(shù)據(jù)增長如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難存在于數(shù)據(jù)的獲取、存儲(chǔ)、 搜索、共享、分析和可視化等方面?！边@些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們 所熟知白

5、多少G和多少T為單位來衡量，而是以P, E或Z為計(jì)量單位，所以 稱之為大數(shù)據(jù)。表述7國際數(shù)據(jù)公司（IDC）從大數(shù)據(jù)的4V特點(diǎn)來定義，即：海量的數(shù)據(jù)規(guī)模 （Volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（Velodty）、多樣的數(shù)據(jù)類型（Variety）、巨大的數(shù)據(jù)價(jià)值（Value）。表述8大數(shù)據(jù)是指以多元形式、從許多來源搜集而來的往往具有實(shí)時(shí)性的龐大數(shù) 據(jù)組。在企業(yè)對企業(yè)銷售的情況下，這些數(shù)據(jù)可能得自社交網(wǎng)絡(luò)、電子商務(wù)網(wǎng) 站、顧客來訪紀(jì)錄，還有許多其他來源。這些數(shù)據(jù)，并非公司顧客關(guān)系管理數(shù) 據(jù)庫的常態(tài)數(shù)據(jù)組。表述9大數(shù)據(jù)是指所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工、在合理時(shí)間內(nèi)達(dá)到 掘取、管理、處

6、理、并整理成為人類所能解讀的信息。大數(shù)據(jù)的特征，除了巨 大、快速、多樣多變之外，沒有其他。因此，大數(shù)據(jù)本質(zhì)上還是數(shù)據(jù)。表述10故名思意，大數(shù)據(jù)便是數(shù)量巨大，類型眾多，結(jié)構(gòu)復(fù)雜的數(shù)據(jù)集合。數(shù)據(jù) 具有較小的價(jià)值；而數(shù)據(jù)集合因?yàn)閿?shù)量的眾多，量變引起的質(zhì)變，所以其價(jià)值 無可估量。表述11大數(shù)據(jù)是所有數(shù)據(jù)的集合，具有 4V特征，即數(shù)據(jù)量大（Volume）、數(shù)據(jù) 類型多樣（Variety ）、生成速度快（Velocity ）,以及蘊(yùn)含巨大價(jià)值 （Value）。、大數(shù)據(jù)的特性1、大數(shù)據(jù)4V特性解讀（1）大數(shù)據(jù)的 4V特性是：Volume （大量）、Velodty （高速）、Variety （多 樣）、Val

7、ue （價(jià)值）o大數(shù)據(jù)的4V特性，或者說大數(shù)據(jù)的特性有四個(gè)層面：、數(shù)據(jù)體量巨大從TB級別，躍升到PB級別。最小基本單位是 bit ,按順序給出所有單位：bit （比特，二進(jìn)制信息單 位）、Byte （字節(jié)，1 字節(jié)=8 位二進(jìn)制）、KB MB GB TR PB ER ZR YR BB NB DR它們按照進(jìn)率1024 （ = 210）來計(jì)算，即：1 Byte = 8 bit1KB （Kilobyte ,千字節(jié)）=1024 Bytes =1024B1MB（Megabyte,兆字節(jié)，簡稱兆）=1024 KB1GB（Gigabyte ,吉字節(jié)）=1024 MB1TB （Terabyte ,太字節(jié)）=1

8、024 GB1PB （Petabyte ,拍字節(jié)）=1024 TB1EB （Exabyte ,艾字節(jié)）=1024 PB1ZB （Zettabyte ,澤字節(jié)）=1024 EB1YB （Yottabyte ,堯字節(jié)）=1024 ZB1BB （Brontobyte ） =1024 YB1N及 1024 BB1D及 1024 NB、數(shù)據(jù)類型繁多包括網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。、價(jià)值密度低以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。、處理速度快要求滿足1秒定律。1秒定律，或稱秒級定律，是指對大數(shù)據(jù)處理速度有 要求；一般要求在秒級時(shí)間范圍內(nèi)給出分析結(jié)果，時(shí)間太長就失去價(jià)值了

9、。這 個(gè)速度要求是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。2、大數(shù)據(jù)4V特性解讀（2）雖然有多種解讀，但業(yè)界一般認(rèn)為，大數(shù)據(jù)有4V特性：Volume （容量）Variety （種類）,Velocity （速度）和最重要的 Value （價(jià)值）。、Volume （容量）Volume是指大數(shù)據(jù)巨大的數(shù)據(jù)量與數(shù)據(jù)完整性。IT業(yè)界所指的數(shù)據(jù)，誕生不過60多年。而一直到個(gè)人電腦普及之前，由于存儲(chǔ)、計(jì)算和分析工具的技 術(shù)和成本限制，許多自然界和人類社會(huì)值得記錄的信號，并未形成數(shù)據(jù)。幾十 年前，氣象、地質(zhì)、石油物探、出版業(yè)、媒體業(yè)和影視業(yè)是大量、持續(xù)產(chǎn)出信 號的行業(yè)，但那時(shí)90%以上采用的是存儲(chǔ)模擬信號

10、，難以通過計(jì)算設(shè)備和軟件 進(jìn)行直接分析。擁有大量資金和人才的政府和企業(yè)，也只能把少量最關(guān)鍵的信 號，進(jìn)行抽取、轉(zhuǎn)換、裝載到數(shù)據(jù)庫中。盡管業(yè)界對達(dá)到怎樣的數(shù)量級才算是大數(shù)據(jù)并無定論，但在很多行業(yè)的應(yīng) 用場景里，數(shù)據(jù)集本身的大小并不是最重要的，是否具有完整性才是最重要 的。、Variety （種類）Variety意味著要在海量、種類繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)?；ヂ?lián)網(wǎng)時(shí) 代，各種設(shè)備通過網(wǎng)絡(luò)連成了一個(gè)整體。進(jìn)入以互動(dòng)為特征的Web2.0時(shí)代,個(gè)人計(jì)算機(jī)用戶不僅可以通過網(wǎng)絡(luò)獲取信息，還成為了信息的制造者和傳播 者。這個(gè)階段，不僅是數(shù)據(jù)量開始了爆炸式增長，數(shù)據(jù)種類也開始變得繁多。這必然促使我們對海量數(shù)據(jù)

11、進(jìn)行分析、處理和集成，找出原本看來毫無關(guān) 系的那些數(shù)據(jù)的關(guān)聯(lián)性，把似乎沒有用的數(shù)據(jù)變成有用的信息，以支持我們做 出的判斷。、Velocity （速度）Velocity可以理解為更快地滿足實(shí)時(shí)性需求。數(shù)據(jù)的實(shí)時(shí)化需求正越來越 清晰。對普通人而言，開車去吃飯，會(huì)先用移動(dòng)終端中的地圖查詢餐廳的位 置，預(yù)計(jì)行車路線的擁堵情況，了解停車場信息甚至是其他用戶對餐廳的評 論。吃飯時(shí)，會(huì)用手機(jī)拍攝食物的照片，編輯簡短評論發(fā)布到微博或者微信 上。還可以用LBS （基于位置的服務(wù)）應(yīng)用查找在同一間餐廳吃飯的人，看有 沒有好友在附近如今，通過各種有線和無線網(wǎng)絡(luò)，人和人、人和各種機(jī)器、機(jī)器和機(jī)器之 間產(chǎn)生無處不在的連

12、接。這些連接不可避免地帶來數(shù)據(jù)交換。而數(shù)據(jù)交換的關(guān) 鍵是降低延遲，以近乎實(shí)時(shí)（這意味著小于 250毫秒）的方式呈獻(xiàn)給用戶。、Value （價(jià)值）比前面3個(gè)V更重要的就是Value。它是大數(shù)據(jù)的最終意義：獲得洞察力 和價(jià)值。大數(shù)據(jù)的崛起，正是在人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)的迅速 發(fā)展驅(qū)動(dòng)下，呈現(xiàn)這么一個(gè)過程：將信號轉(zhuǎn)化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將 信息提煉為知識，以知識促成決策和行動(dòng)。就大數(shù)據(jù)的價(jià)值而言，就像在沙子里淘金，大數(shù)據(jù)規(guī)模越大，真正有價(jià)值的數(shù)據(jù)相對越少所以真正好的大數(shù)據(jù)系統(tǒng)，重要的不是越多越好，其實(shí)越少越好。開始數(shù) 據(jù)要多，最好還是要少，把 ZB、PB最終變成一個(gè)比特，也就是最后

13、的決策。 這才是最關(guān)鍵的。3、大數(shù)據(jù)的海量、多樣性、高速、易變性、海量企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如，IDC最近的報(bào)告預(yù)測，到 2020年，全球數(shù)據(jù)量將擴(kuò)大50倍。目前，大數(shù)據(jù)的規(guī)模尚是一個(gè)不斷變化的指標(biāo)， 單一數(shù)據(jù)集的規(guī)模范圍從幾十 TB到數(shù)PB不等。簡而言之，存儲(chǔ)1PB數(shù)據(jù)將 需要兩萬臺配備50GB硬盤的個(gè)人電腦。止匕外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。例如，從巴塞羅那至沙特首府 利雅得的單程航行中，一架商用噴氣飛機(jī)上收集的傳感器數(shù)據(jù)量將超過1PB。當(dāng)用一次飛行的數(shù)據(jù)量，乘以每天所有飛行的航班數(shù)，數(shù)據(jù)總量將非常驚人。、多樣性普遍認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因。這一看

14、法 部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng) 絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造 成。其中，部分傳感器安裝在火車、汽車和飛機(jī)上，每個(gè)傳感器都增加了數(shù)據(jù) 的多樣性。、高速高速描述的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度。在高速網(wǎng)絡(luò)時(shí)代，通過基于實(shí)現(xiàn) 軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢。 企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回 給用戶，以滿足他們的實(shí)時(shí)需求。根據(jù)IMS Research研究機(jī)構(gòu)關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，通過跟蹤互聯(lián)網(wǎng)設(shè) 備的激活量，發(fā)現(xiàn)聯(lián)網(wǎng)設(shè)備增長的第二波浪潮正在加速到來。本輪

15、增長后，將 涌現(xiàn)更多新型互聯(lián)網(wǎng)設(shè)備增長的浪潮。據(jù)預(yù)測，到 2020年，全球?qū)碛?20億 部互聯(lián)網(wǎng)連接設(shè)備。、易變性大數(shù)據(jù)具有多層結(jié)構(gòu)。這意味著大數(shù)據(jù)會(huì)呈現(xiàn)出多變的形式和類型。相較 傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無法使 用傳統(tǒng)的應(yīng)用軟件進(jìn)行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時(shí)間演變已擁有標(biāo)準(zhǔn)的格式，能 夠被標(biāo)準(zhǔn)的商務(wù)智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是，處理并從以各種形 式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價(jià)值。4、大數(shù)據(jù)七大特性、容量（Volume）:數(shù)據(jù)的大小決定所考慮的數(shù)據(jù)的價(jià)值和潛在的信 息。、種類(Variety ):數(shù)據(jù)類型的多樣性。、速度(Velocity ):指獲得數(shù)據(jù)的速

16、度。、可變性(Variability ):妨礙處理和有效地管理數(shù)據(jù)的過程。、真實(shí)性(Veracity ):數(shù)據(jù)的質(zhì)量。、復(fù)雜性(Complexity ):數(shù)據(jù)量巨大，來源多渠道。、價(jià)值(value ):合理運(yùn)用大數(shù)據(jù)，以低成本創(chuàng)造高價(jià)值。5、記者訪談：大數(shù)據(jù)有多大據(jù)報(bào)道，有記者就大數(shù)據(jù)有關(guān)問題進(jìn)行了訪談。記者：對于大數(shù)據(jù)，有一個(gè)形象的說法：現(xiàn)在即使是一個(gè)孩子，也可以把 一個(gè)小小的存儲(chǔ)器放入書包，隨身攜帶TB級的數(shù)據(jù)去學(xué)校上課，甚至把整個(gè)人類文明背上都不是問題。經(jīng)過大量數(shù)據(jù)的訓(xùn)練和裝備，未來的電子產(chǎn)品或者 機(jī)器可以成為大有裨益的終身數(shù)據(jù)伴侶：它可以預(yù)測你是想要一包方便面還是 一顆感冒藥；你想去旅

17、游還是選擇最不堵車的路線去看球賽；甚至還能以你的 名義飽蘸激情投入工作。大數(shù)據(jù)這個(gè)概念，看似從字面就能理解；但確實(shí)以前 沒有這么火過。首先，我們想知道的是，大數(shù)據(jù)到底有多大？吳甘沙：互聯(lián)網(wǎng)搜索、電子商務(wù)交易平臺和微博等社交網(wǎng)站，產(chǎn)生的各種 數(shù)據(jù)內(nèi)容，經(jīng)常被用來證明大數(shù)據(jù)之大。其實(shí)，在傳統(tǒng)產(chǎn)業(yè)和我們的生活中， 大數(shù)據(jù)也比比皆是。以北京交通為例，北京市交通智能化分析平臺，它的數(shù)據(jù)源來自路網(wǎng)攝像 頭/傳感器、地面公交、軌道交通、出租車，以及省際客運(yùn)、旅游、化危運(yùn) 輸、停車、租車等運(yùn)輸行業(yè)等。4萬輛浮動(dòng)車，每天產(chǎn)生2000萬條記錄；交通 卡刷卡記錄，每天1900萬條；手機(jī)定位數(shù)據(jù)，每天 1800萬條；

18、出租車運(yùn)營數(shù) 據(jù)，每天100萬條；高速ETC (Electronic Toll Collection ,(不停車)電子收費(fèi) (系統(tǒng))數(shù)據(jù)，每天50萬條這些，從數(shù)據(jù)體量和速度上，也達(dá)到了大數(shù) 據(jù)的規(guī)模。發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關(guān)性，是大數(shù)據(jù)做前人之 未做、前人所不能的機(jī)會(huì)。這也正是大數(shù)據(jù)最主要的特點(diǎn)。比如，交通狀況與其它領(lǐng)域的數(shù)據(jù)都存在較強(qiáng)的關(guān)聯(lián)性。有研究發(fā)現(xiàn)，可 以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)，晨洗的高峰時(shí)間，加上一個(gè)偏移量，通常是4045分鐘，就是交通早高峰時(shí)間。同樣，可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計(jì)出傍晚辦公樓集中 關(guān)燈的時(shí)間，加上偏移量來估計(jì)出晚上的堵車時(shí)點(diǎn)。國外的研究甚至發(fā)現(xiàn)了交 通事故

19、率與睡眠質(zhì)量的關(guān)聯(lián)，以及與社交網(wǎng)絡(luò)情感波動(dòng)的相關(guān)性。記者：IT業(yè)界所指的數(shù)據(jù)，誕生不過60多年。而一直到個(gè)人電腦普及前，由于存儲(chǔ)、計(jì)算和分析工具的技術(shù)和成本限制，許多自然界和人類社會(huì)值 得記錄的信號，并未形成數(shù)據(jù)。大數(shù)據(jù)有沒有一個(gè)門檻”？ 一些定義準(zhǔn)確嗎？吳甘沙：國際數(shù)據(jù)統(tǒng)計(jì)機(jī)構(gòu)IDC,對全世界每年創(chuàng)建和復(fù)制的信息的體量，做了估計(jì)和預(yù)測：2011年1.8ZB, 2012年2.8ZB。按照每兩年翻一番的速度，2020年將達(dá)到40ZB。這個(gè)數(shù)據(jù)怎么算出來的？ IDC秘而不宣。1.8ZB什么 概念？相當(dāng)于4500億張DVD,或6500萬年的高清視頻，或是1130億臺裝滿 數(shù)據(jù)的iPad。如果把這些i

20、Pad覆蓋到足球場，并往上堆疊，高度將達(dá)到 10.3公 里，比珠穆朗瑪峰還高。思科公司也有一個(gè)類似的預(yù)測：2016年數(shù)據(jù)移動(dòng)的總量達(dá)到1.3ZB。其實(shí)，所有這些數(shù)據(jù)加起來都不如谷歌的前CEO施密特說法有感染力：從人類文明曙光到2003年數(shù)以萬年計(jì)的時(shí)間長河里，人類一共產(chǎn)生了 5EB （天知道他怎么算出來的），而到 2010年每兩天人類就能產(chǎn)生 5EB的數(shù) 據(jù)。這類數(shù)據(jù)的預(yù)測，對于存儲(chǔ)和網(wǎng)絡(luò)企業(yè)的投資者來說，無疑能提升信心； 但對其他人來說，沒有太大意義。他們更關(guān)心的是個(gè)體行業(yè)、企業(yè)和個(gè)人數(shù)據(jù) 的狀況。美國咨詢公司麥肯錫對大數(shù)據(jù)的定義，就是從個(gè)體數(shù)據(jù)集的大體量入手 的：大數(shù)據(jù)是指那些很大的數(shù)據(jù)集

21、，大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采 集、存儲(chǔ)、管理和分析。傳統(tǒng)數(shù)據(jù)庫有效工作的數(shù)據(jù)上限，一般來說在10100TB;因此，10100TB通常成為大數(shù)據(jù)的門檻。無獨(dú)有偶，IDC在給大數(shù)據(jù)做定義時(shí)，也設(shè)在 100TB。其實(shí)，這種方法未 必科學(xué)。不管怎樣，有一個(gè)簡單明晰的數(shù)值來指導(dǎo)企業(yè)大數(shù)據(jù)的判斷，總是好 事。6、大數(shù)據(jù)的三種特性、大數(shù)據(jù)特性之一：數(shù)據(jù)的完整性和綜合性大數(shù)據(jù)的特性之一是數(shù)據(jù)的完整性和綜合性。很多業(yè)內(nèi)朋友一談起大數(shù) 據(jù)，就習(xí)慣性地盤點(diǎn)起自己那點(diǎn)存貨，或者那些可以直接從自身服務(wù)中可以獲 取的東西?？紤]到目前互聯(lián)網(wǎng)的發(fā)展還在非常初級的階段，現(xiàn)有網(wǎng)絡(luò)服務(wù)都是 簡化、扭曲、片面地對現(xiàn)實(shí)世界的濃

22、縮和裁剪。由此產(chǎn)生的數(shù)據(jù)是零亂的、破 碎的、局部的；其中所含有的含金量是極其有限的。如果同意這個(gè)世界上的萬 事萬物可以而且正在被數(shù)據(jù)化和網(wǎng)絡(luò)化，那么由此產(chǎn)生的大數(shù)據(jù)就必然是完整 的和綜合的。它不僅包括網(wǎng)絡(luò)公司通過自身服務(wù)所獲得的用戶行為數(shù)據(jù)，而且 包括社會(huì)的、經(jīng)濟(jì)的、政治的、自然的方方面面的數(shù)據(jù)。這些數(shù)據(jù)當(dāng)然分散在 不同企業(yè)、機(jī)構(gòu)和政府部門手中，匯聚整合在一起絕非易事。但操作上的困難 并不能否定大數(shù)據(jù)本身的完整性和綜合性。今天之所以討論大數(shù)據(jù)時(shí)代的到 來，是因?yàn)榛ヂ?lián)網(wǎng)發(fā)展到目前階段使得現(xiàn)實(shí)世界數(shù)據(jù)化發(fā)展到了一定程度，各 種信息終端普及到了一定程度，數(shù)據(jù)獲取的成本降到了一定程度，使得完整和 綜合

23、的數(shù)據(jù)不僅是一種理想，也正在變?yōu)楝F(xiàn)實(shí)。、大數(shù)據(jù)特性之二：數(shù)據(jù)的開放性和公共性大數(shù)據(jù)的特性之二是數(shù)據(jù)的開放性和公共性。正是因?yàn)橥暾⒕C合的大數(shù) 據(jù)難以由一家公司、機(jī)構(gòu)或政府部門所獲得，所以大數(shù)據(jù)必然產(chǎn)生于一個(gè)開放 的、公共的網(wǎng)絡(luò)環(huán)境之中。這種開放性和公共性的實(shí)現(xiàn)，取決于若干個(gè)網(wǎng)絡(luò)開 放平臺或云服務(wù)以及一系列受到法律支持或社會(huì)公認(rèn)的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范。任何 封閉的或單向獲取的數(shù)據(jù)，都不可能是大數(shù)據(jù)，無論這些數(shù)據(jù)的規(guī)模有多大。、大數(shù)據(jù)特性之三：數(shù)據(jù)的動(dòng)態(tài)性和及時(shí)性大數(shù)據(jù)的特性之三是數(shù)據(jù)的動(dòng)態(tài)性和及時(shí)性。天體物理學(xué)和理論物理學(xué)早 就依賴于從宇宙間獲取的大量數(shù)據(jù)。類似的學(xué)科還有：環(huán)境生態(tài)學(xué)、醫(yī)藥學(xué)和 自控技

24、術(shù)。但是，這和我們今天討論的大數(shù)據(jù)不是一回事。今天的大數(shù)據(jù)是基 于互聯(lián)網(wǎng)的及時(shí)動(dòng)態(tài)數(shù)據(jù)，不是歷史的或嚴(yán)格控制環(huán)境下產(chǎn)生的東西。所以，今天我們談?wù)摰拇髷?shù)據(jù)是完整綜合的、開放公共的、動(dòng)態(tài)及時(shí)的。 這樣的大數(shù)據(jù)是我們過去從未有機(jī)會(huì)獲取利用過的全新挑戰(zhàn)，也是我們未來應(yīng) 該努力去爭取利用的全新戰(zhàn)略機(jī)會(huì)。如果有人以為過去積累的那點(diǎn)數(shù)據(jù)就是大 數(shù)據(jù)，或者過去積累的數(shù)據(jù)處理利用能力和經(jīng)驗(yàn)就可以在大數(shù)據(jù)時(shí)代自然領(lǐng) 先，那不是無知就是狂妄。三、大數(shù)據(jù)的價(jià)值1、記者訪談：大數(shù)據(jù)的價(jià)值在于獲得洞察力和價(jià)值據(jù)報(bào)道，有記者就大數(shù)據(jù)有關(guān)問題進(jìn)行了訪談。記者：雖然有多種解讀，但業(yè)界一般認(rèn)為，大數(shù)據(jù)有四個(gè)“V字開頭的特性：Vo

25、lume （體量）,Velodty （速度）,Variety （種類）,Value （價(jià)值）。這 其實(shí)也是大數(shù)據(jù)概念的組成。Volume是指大數(shù)據(jù)巨大的數(shù)據(jù)量與數(shù)據(jù)完整性； Velocity可以理解為更快地滿足實(shí)時(shí)性需求；而 Variety則意味著要在海量、種 類繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)；Value最重要，它是大數(shù)據(jù)的最終意義 一-獲得洞察力和價(jià)值。簡單說，大數(shù)據(jù) 4個(gè)V：就是體量大，快速化，類型雜， 價(jià)值大。張亞勤：體量容易理解。速度可以理解為更快地滿足實(shí)時(shí)性需求。數(shù)據(jù)的 實(shí)時(shí)化需求正越來越清晰。對普通人而言，開車去吃飯，會(huì)先用移動(dòng)終端中的 地圖查詢餐廳的位置，預(yù)計(jì)行車路線的擁堵情況，了解

26、停車場信息甚至是其他 用戶對餐廳的評論。吃飯時(shí)，會(huì)用手機(jī)拍攝食物的照片，編輯簡短評論發(fā)布到 微博或者微信上，還可以用 LBS （Location Based Services.,基于位置服務(wù)）應(yīng) 用查找在同一間餐廳吃飯的人，看有沒有好友在附近 ,通過各種有線和無線網(wǎng)絡(luò)，人和人、人和各種機(jī)器、機(jī)器和機(jī)器之間，產(chǎn) 生無處不在的連接；這些連接不可避免地帶來數(shù)據(jù)交換。而數(shù)據(jù)交換的關(guān)鍵， 是降低延遲，以近乎實(shí)時(shí) 一一意味著小于250毫秒的方式呈獻(xiàn)給用戶。類型雜必然促使我們對海量數(shù)據(jù)進(jìn)行分析、處理和集成，找出原本看來毫 無關(guān)系的那些數(shù)據(jù)的關(guān)聯(lián)性；把似乎沒有用的數(shù)據(jù)變成有用的信息，以支持我 們做出的判斷；最

27、終形成大數(shù)據(jù)的價(jià)值 一一獲得洞察力和價(jià)值。大數(shù)據(jù)的崛起，正是在人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)的迅速發(fā)展 驅(qū)動(dòng)下，呈現(xiàn)這么一個(gè)過程：將信號轉(zhuǎn)化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將信息 提煉為知識，以知識促成決策和行動(dòng)。所以，真正好的大數(shù)據(jù)系統(tǒng)，重要的不 是越多越好，其實(shí)越少越好，最終變成一個(gè)決策，這才是最關(guān)鍵的。2、大數(shù)據(jù)價(jià)值具體體現(xiàn)大數(shù)據(jù)最核心的價(jià)值，在于對于海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析。相比現(xiàn)有的其 他技術(shù)而言，大數(shù)據(jù)的 廉價(jià)、迅速、優(yōu)化”這三方面的綜合成本是最優(yōu)的。大數(shù)據(jù)的價(jià)值并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本，比 數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)

28、鍵。大數(shù)據(jù)的價(jià)值具體體現(xiàn)在以下幾個(gè)方面：、對為大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)，可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營 銷；、對做小而美模式的中長尾企業(yè)，可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型；、在面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)，需要與時(shí)俱進(jìn)充分利用 大數(shù)據(jù)的價(jià)值。3、大數(shù)據(jù)和高性能的分析對企業(yè)有益的情況在這個(gè)快速發(fā)展的智能硬件時(shí)代，困擾應(yīng)用開發(fā)者的一個(gè)重要問題就是如 何在功率、覆蓋范圍、傳輸速率和成本之間找到那個(gè)微妙的平衡點(diǎn)。企業(yè)組織 利用相關(guān)數(shù)據(jù)和分析，可以幫助它們降低成本、提高效率、開發(fā)新產(chǎn)品、做出 更明智的業(yè)務(wù)決策等等。例如，通過結(jié)合大數(shù)據(jù)和高性能的分析，下面這些對 企業(yè)有益的情況都可能會(huì)發(fā)生：、及時(shí)解析故障

29、、問題和缺陷的根源，每年可能為企業(yè)節(jié)省數(shù)十億美 元。、為成千上萬的快遞車輛規(guī)劃實(shí)時(shí)交通路線，躲避擁堵。、分析所有SKU,以利潤最大化為目標(biāo)來定價(jià)和清理庫存。、根據(jù)客戶的購買習(xí)慣，為其推送他可能感興趣的優(yōu)惠信息。、從大量客戶中快速識別出金牌客戶。、使用點(diǎn)擊流分析和數(shù)據(jù)挖掘來規(guī)避欺詐行為。鏈接：SKUSKU (Stock Keeping Unit,庫存量單位)，即庫存進(jìn)出計(jì)量的基本單元， 可以是以件，盒，托盤等為單位。SKU是大型連鎖超市 DC (配送中心)物流管理的一個(gè)必要的方法。現(xiàn)在已經(jīng)被引申為產(chǎn)品統(tǒng)一編號的簡稱，每種產(chǎn)品均 對應(yīng)有唯一的SKU號。單品：對一種商品而言，當(dāng)其品牌、型號、配置、等

30、 級、花色、包裝容量、單位、生產(chǎn)日期、保質(zhì)期、用途、價(jià)格、產(chǎn)地等屬性與 其他商品存在不同時(shí)，可稱為一個(gè)單品。鏈接：點(diǎn)擊流分析點(diǎn)擊流數(shù)據(jù)(Clickstream Data),隨著 Web技術(shù)的不斷發(fā)展，電子商務(wù)活 動(dòng)客戶對企業(yè)網(wǎng)站的每一次點(diǎn)擊都會(huì)被企業(yè)網(wǎng)絡(luò)服務(wù)器記錄在日志中，由此產(chǎn) 生了點(diǎn)擊流數(shù)據(jù)。對于一個(gè)網(wǎng)站來說，點(diǎn)擊流分析(Clickstream Analysis),有時(shí)也叫做點(diǎn)擊 流分析學(xué)（Clickstream Analytics）,是收集、分析和匯報(bào)有關(guān)訪客訪問哪個(gè)頁 面、訪問頁面的順序以及每個(gè)訪客鼠標(biāo)連續(xù)點(diǎn)擊的結(jié)果（即點(diǎn)擊流）的整體數(shù) 據(jù)的過程。點(diǎn)擊流分析有兩種水平，分別是訪問流量分

31、析和電子商務(wù)分析。鏈接：數(shù)據(jù)挖掘數(shù)據(jù)挖掘（Data Mining , DM）,又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù) 庫知識發(fā)現(xiàn)（Knowledge-Discovery in Databases, KDD ）中的一個(gè)步驟。數(shù)據(jù)挖 掘一般是指從大量的數(shù)據(jù)中，自動(dòng)搜索隱藏于其中的有著特殊關(guān)系性（屬于 Association rule learning）的信息的過程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并 通過統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)（依靠過去的經(jīng)驗(yàn) 法則）和模式識別等諸多方法來實(shí)現(xiàn)上述目標(biāo)。四、云計(jì)算與大數(shù)據(jù)的關(guān)系1、云計(jì)算與大數(shù)據(jù)的關(guān)系概說云計(jì)算和大數(shù)據(jù)是一個(gè)硬幣的兩面。云計(jì)算是大

32、數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計(jì)算的一個(gè)殺手級應(yīng)用。云計(jì)算是大數(shù)據(jù)成長的驅(qū)動(dòng)力，而另一方面，由 于數(shù)據(jù)越來越多、越來越復(fù)雜、越來越實(shí)時(shí)，這就更加需要云計(jì)算去處理，所 以二者之間是相輔相成的。30年前，存儲(chǔ) 仃B數(shù)據(jù)的成本，大約是16億美元。如今存儲(chǔ)到 云”上， 只需要不到100美元。但是，存儲(chǔ)下來的數(shù)據(jù)，如果不用云計(jì)算進(jìn)行挖掘和分 析，就只是僵死的數(shù)據(jù)，沒有太大價(jià)值。目前，云計(jì)算已經(jīng)普及并成為IT行業(yè)主流技術(shù)，其實(shí)質(zhì)是在計(jì)算量越來越 大、數(shù)據(jù)越來越多、越來越動(dòng)態(tài)、越來越實(shí)時(shí)的需求背景下被催生出來的一種 基礎(chǔ)架構(gòu)和商業(yè)模式。個(gè)人用戶將文檔、照片、視頻、游戲存檔記錄上傳至云”中永久保存。企業(yè)客戶根據(jù)

33、自身需求，可以搭建自己的私有云，或托管、或租用公有云上的IT資源與服務(wù)。這些都已不是新鮮事。可以說，云”是一棵掛滿了大數(shù)據(jù)的蘋果樹。2、大數(shù)據(jù)需要云計(jì)算技術(shù)如上所述，從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一 樣密不可分。大數(shù)據(jù)必然無法使用單臺計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。它 的特色在于對海量數(shù)據(jù)的挖掘。但是，它必須依托云計(jì)算的分布式處理、分布 式數(shù)據(jù)庫、云存儲(chǔ)和/或虛擬化技術(shù)。如上所述，大數(shù)據(jù)不采用隨機(jī)分析法 （抽樣調(diào)查）這樣的捷徑，而采用對所有數(shù)據(jù)進(jìn)行分析處理的方法。大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起。因?yàn)?，?shí)時(shí)的大型數(shù)據(jù)集分析，需要分布 式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬臺

34、電腦分配工作。可以說，云計(jì)算充當(dāng) 了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。云計(jì)算思想的起源是麥卡錫在 20世紀(jì)60年代提出的：把計(jì)算能力作為一 種像水和電一樣的公用事業(yè)提供給用戶。如今，一種行之有效的模式出現(xiàn)了： 云計(jì)算提供基礎(chǔ)架構(gòu)平臺，而大數(shù)據(jù)應(yīng)用則運(yùn)行在這個(gè)平臺上。業(yè)內(nèi)人士像這樣形容這兩者的關(guān)系的：沒有大數(shù)據(jù)的信息積淀，云計(jì)算的 計(jì)算能力再強(qiáng)大，也難以找到用武之地；而沒有云計(jì)算的計(jì)算能力，則大數(shù)據(jù) 的信息積淀再豐富，也終究只是鏡花水月。那么，大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢？這里暫且列舉來說，比如：虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存 儲(chǔ)和管理技術(shù)，NoSQL （泛指非關(guān)系型數(shù)據(jù)庫

35、）、實(shí)時(shí)流數(shù)據(jù)處理、智能分析 技術(shù)（類似模式識別以及自然語言理解）等。云計(jì)算和大數(shù)據(jù)兩者之間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量 業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù)；通過云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成 本。如果將云計(jì)算與大數(shù)據(jù)進(jìn)行一些比較，最明顯的區(qū)分在以下兩個(gè)方面：第一，在概念上兩者有所不同。云計(jì)算改變了 IT,而大數(shù)據(jù)則改變了業(yè) 務(wù)。然而，大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營。第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同。云計(jì)算是 CIO （Chief Information Officer,首席信息官，一種新型的信息管理者）等關(guān)心的技術(shù)層；而大數(shù)據(jù)是 CEO （Chief Execut

36、ive Officer,首席執(zhí)行官）關(guān)注的業(yè)務(wù)層產(chǎn)品。3、大數(shù)據(jù)處理需要云計(jì)算技術(shù)配合人們研究大數(shù)據(jù)，或是利用大數(shù)據(jù)技術(shù)，其戰(zhàn)略意義并不在于是誰掌握了 多么龐大的大數(shù)據(jù)信息，而是在于誰能否將已經(jīng)捕捉到的那些含有一定意義的 數(shù)據(jù)通過專業(yè)化處理，將其變成一種數(shù)據(jù)信息資產(chǎn)。這也是大數(shù)據(jù)分析所需要 達(dá)到的真正目的。誰都不能否認(rèn)，也不可能被否認(rèn)，大數(shù)據(jù)既是一種科技，也是一種資產(chǎn)。 既然大數(shù)據(jù)是一種資產(chǎn)，那么如何利用大數(shù)據(jù)這種資產(chǎn)最終實(shí)現(xiàn)盈利，才是運(yùn) 用大數(shù)據(jù)的關(guān)鍵。可是，將大數(shù)據(jù)加工成有增值的數(shù)據(jù)，并不是一件輕而易舉 的事情。、研究大數(shù)據(jù)絕對離不開計(jì)算機(jī)云計(jì)算技術(shù)從某種觀點(diǎn)上看，沒有計(jì)算機(jī)云計(jì)算技術(shù)，就

37、不會(huì)有大數(shù)據(jù)被分析和利 用。大數(shù)據(jù)技術(shù)跟計(jì)算機(jī)云計(jì)算技術(shù)的關(guān)系，就像是一只手的手心和手背，是 絕對密不可分。因?yàn)?，分析和處理大?shù)據(jù)，是無法用某一臺計(jì)算機(jī)來完成的。 它必須需要采用計(jì)算機(jī)分布式架構(gòu)。處理大數(shù)據(jù)的特色，就在于對那些海量數(shù) 據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但是，這種分布式大數(shù)據(jù)挖掘，還必須依托計(jì)算機(jī)分 布式處理。因?yàn)椋?jì)算機(jī)分布式數(shù)據(jù)庫或是云存儲(chǔ)以及計(jì)算機(jī)虛擬化技術(shù)，可 以支撐起對大數(shù)據(jù)相關(guān)技術(shù)處理的能力。、云計(jì)算技術(shù)時(shí)代到來將大數(shù)據(jù)處理變?yōu)楝F(xiàn)實(shí)大數(shù)據(jù)內(nèi)部所含有的資產(chǎn)性質(zhì)，被計(jì)算機(jī)云技術(shù)得到了實(shí)實(shí)在在的驗(yàn)證。 由此而引出來效果，就是讓很多人都對大數(shù)據(jù)有了更多的關(guān)注或是重視。比如 著云臺的分析師

38、團(tuán)隊(duì)認(rèn)為，可用大數(shù)據(jù)來形容某家公司所創(chuàng)造的那些大量 非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，但不能將這些數(shù)據(jù)下載到關(guān)系型數(shù)據(jù)庫中進(jìn)行 處理。因?yàn)?，這樣會(huì)在分析數(shù)據(jù)中浪費(fèi)較多的時(shí)間或是金錢。他們主張，大數(shù)據(jù)分析必須要跟計(jì)算機(jī)云計(jì)算技術(shù)緊密連在一起。只有這 樣，才能將大數(shù)據(jù)的價(jià)值變成資產(chǎn)性的價(jià)值，并將大數(shù)據(jù)處理真正變成一種現(xiàn) 實(shí)。4、大數(shù)據(jù)有助于進(jìn)一步明晰云計(jì)算的價(jià)值大數(shù)據(jù)有助于進(jìn)一步明晰云計(jì)算的價(jià)值。在云計(jì)算概念剛被提出的幾年 里，許多政企行業(yè)用戶對其應(yīng)用價(jià)值一直存在疑慮。而隨著大數(shù)據(jù)的異軍突 起，云計(jì)算的價(jià)值又一次受到公眾的關(guān)注。由于云計(jì)算幫助解決了大數(shù)據(jù)無法進(jìn)行抓取、管理和處理的問題，給予了 它不同以往

39、的存儲(chǔ)和計(jì)算能力，使得結(jié)果獲取更快速、分析更智慧?？梢灶A(yù) 見，在未來云計(jì)算將成為大數(shù)據(jù)應(yīng)用分析最活躍的舞臺。同樣，大數(shù)據(jù)為云計(jì) 算大規(guī)模與分布式的計(jì)算能力，提供了應(yīng)用的空間，解決了傳統(tǒng)計(jì)算機(jī)無法解 決的問題，從而，進(jìn)一步明晰了云計(jì)算的價(jià)值。5、揭開云計(jì)算與大數(shù)據(jù)非同一般的關(guān)系通常情況下，我們?nèi)菀讓⒋髷?shù)據(jù)與云計(jì)算混淆在一起，筆者就概念定義先 做科普工作。著名的麥肯錫全球研究所給出大數(shù)據(jù)定義是一種規(guī)模大到在獲取、存儲(chǔ)、 管理、分析方面大大超出傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量 的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。而云計(jì)算，則是一種基于互聯(lián)網(wǎng)的計(jì)算方式；通過這

40、種方式，共享的軟硬 件資源和信息，可以按需求提供給計(jì)算機(jī)和其他設(shè)備。借用大數(shù)據(jù)云計(jì)算關(guān)系一文中的直白介紹，云計(jì)算是硬件資源的虛擬化， 而大數(shù)據(jù)則是海量數(shù)據(jù)的高效處理。從結(jié)果來分析，云計(jì)算注重資源分配，而 大數(shù)據(jù)則注重資源處理。一定程度上講，大數(shù)據(jù)需要云計(jì)算支撐，而云計(jì)算則 為大數(shù)據(jù)處理提供平臺。從二者的定義范圍來看，大數(shù)據(jù)要比云計(jì)算更加廣泛。大數(shù)據(jù)這一概念從 2011年誕生以來，歷經(jīng)5個(gè)年頭。中國從積極推動(dòng)兩化融合到深度融合，也有 8年之久。再者，從各地紛紛建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園可以看出，中國極其看重此次 大數(shù)據(jù)發(fā)展契機(jī)。大數(shù)據(jù)需要新處理模式，才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化 能力，來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)這個(gè)強(qiáng)大的數(shù)據(jù) 庫，擁有三層架構(gòu)體系，包括數(shù)據(jù)存儲(chǔ)、處理與分析。簡而言之，數(shù)據(jù)需要通 過存儲(chǔ)層先存儲(chǔ)下來；之后，根據(jù)要求建立數(shù)據(jù)模型體系，進(jìn)行分析產(chǎn)生相