云計(jì)算和大數(shù)據(jù)的關(guān)系

1、云計(jì)算和大數(shù)據(jù)的關(guān)系-天互數(shù)據(jù)首先、什么是云計(jì)算？云計(jì)算(英語(yǔ) ，是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備，主要是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。過去在圖中往往用云來(lái)表示電信網(wǎng)，后來(lái)也用來(lái)表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。狹義云計(jì)算指基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源；廣義云計(jì)算指服務(wù)的 交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意1味

2、著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。云計(jì)算的特征(1) 資源配置動(dòng)態(tài)化。 根據(jù)消費(fèi)者的需求動(dòng)態(tài)劃分或釋放不同的物理和虛擬資源，當(dāng)增加一個(gè)需求時(shí)，可通過增加可用的資源進(jìn)行匹配，實(shí)現(xiàn)資源的快速?gòu)椥蕴峁?；如果用戶不再使用這部分資源時(shí)，可釋放這些資源。云計(jì)算為客戶提供的這種能力是無(wú)限的，實(shí)現(xiàn)了IT資源利用的可擴(kuò)展性。(2) 需求服務(wù)自助化。 云計(jì)算為客戶提供自助化的資源服務(wù)，用戶無(wú)需同提供商交互就可自動(dòng)得到自助的計(jì)算資源能力。同時(shí)云系統(tǒng)為客戶提供一定的應(yīng)用服務(wù)目錄，客戶可采用自助方式選擇滿足自身需求的服務(wù)項(xiàng)目和內(nèi)容。(3) 以網(wǎng)絡(luò)為中心。 云計(jì)算的組件和整體構(gòu)架由網(wǎng)絡(luò)連接在一起并存在于網(wǎng)絡(luò)中

3、，同時(shí)通過網(wǎng)絡(luò)向用戶提供服務(wù)。而客戶可借助不同的終端設(shè)備，通過標(biāo)準(zhǔn)的應(yīng)用實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訪問，從而使得云計(jì)算的服務(wù)無(wú)處不在。(4) 資源的池化和透明化。對(duì)云服務(wù)的提供者而言，各種底層資源(計(jì)算、儲(chǔ)存、網(wǎng)絡(luò)、資源邏 輯等)的異構(gòu)性(如果存在某種異構(gòu)性)被屏蔽，邊界被打破，所有的資源可以被統(tǒng)一管理和調(diào)度， 成為所謂的“資源池”，從而為用戶提供按需服務(wù)；對(duì)用戶而言，這些資源是透明的，無(wú)限大的， 用戶無(wú)須了解內(nèi)部結(jié)構(gòu)，只關(guān)心自己的需求是否得到滿足即可。云計(jì)算和大數(shù)據(jù)的關(guān)系本質(zhì)上，云計(jì)算與大數(shù)據(jù)的關(guān)系是靜與動(dòng)的關(guān)系；云計(jì)算強(qiáng)調(diào)的是計(jì)算，這是動(dòng)的概念；而數(shù) 據(jù)則是計(jì)算的對(duì)象，是靜的概念。如果結(jié)合實(shí)際的應(yīng)用，前

4、者強(qiáng)調(diào)的是計(jì)算能力，或者看重的存儲(chǔ) 能力；但是這樣說(shuō)，并不意味著兩個(gè)概念就如此涇渭分明。大數(shù)據(jù)需要處理大數(shù)據(jù)的能力(數(shù)據(jù)獲 取、清潔、轉(zhuǎn)換、統(tǒng)計(jì)等能力)，其實(shí)就是強(qiáng)大的計(jì)算能力；另一方面，云計(jì)算的動(dòng)也是相對(duì)而言,比如基礎(chǔ)設(shè)施即服務(wù)中的存儲(chǔ)設(shè)備提供的主要是數(shù)據(jù)存儲(chǔ)能力，所以可謂是動(dòng)中有靜。如果數(shù)據(jù)是 財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏的利器！大數(shù)據(jù)技術(shù)和云計(jì)算的關(guān)系大數(shù)據(jù)時(shí)代的超大數(shù)據(jù)體量和占相當(dāng)比例的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存在，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)庫(kù)的管理能力，大數(shù)據(jù)技術(shù)將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)，它將幫助人們存儲(chǔ)管理好大數(shù)據(jù)并從大體量、高復(fù)雜的數(shù)據(jù)中提取價(jià)值，相關(guān)的技術(shù)

5、、產(chǎn)品將不斷涌現(xiàn)，將有可能IT行業(yè)開拓一個(gè)新的黃金時(shí)代。大數(shù)據(jù)本質(zhì)也是數(shù)據(jù)，其關(guān)鍵的技術(shù)依然逃不脫：1）大數(shù)據(jù)存儲(chǔ)和管理；2 ）大數(shù)據(jù)檢索使用（包括數(shù)據(jù)挖掘和智能分析）。圍繞大數(shù)據(jù)，一批新興的數(shù)據(jù)挖掘、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理與分析技術(shù)將不斷涌現(xiàn)，讓我們處理海量數(shù)據(jù)更加容易、更加便宜和迅速，成為企業(yè) 業(yè)務(wù)經(jīng)營(yíng)的好助手，甚至可以改變?cè)S多行業(yè)的經(jīng)營(yíng)方式。大數(shù)據(jù)的商業(yè)模式與架構(gòu)-云計(jì)算及其分布式結(jié)構(gòu)是重要途徑大數(shù)據(jù)處理技術(shù)正在改變目前計(jì)算機(jī)的運(yùn)行模式，正在改變著這個(gè)世界：它能處理幾乎各種類 型的海量數(shù)據(jù)，無(wú)論是微博、文章、電子郵件、文檔、音頻、視頻，還是其它形態(tài)的數(shù)據(jù)；它工作 的速度非常快速：實(shí)際上幾乎實(shí)

6、時(shí)；它具有普及性：因?yàn)樗玫亩际亲钇胀ǖ统杀镜挠布?計(jì)算它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算力、存儲(chǔ)空間和信 息服務(wù)。云計(jì)算及其技術(shù)給了人們廉價(jià)獲取巨量計(jì)算和存儲(chǔ)的能力，云計(jì)算分布式架構(gòu)能夠很好地 支持大數(shù)據(jù)存儲(chǔ)和處理需求。這樣的低成本硬件+低成本軟件+低成本運(yùn)維，更加經(jīng)濟(jì)和實(shí)用，使得大數(shù)據(jù)處理和利用成為可能。大數(shù)據(jù)的存儲(chǔ)和管理-云數(shù)據(jù)庫(kù)的必然很多人把NoSQL叫做云數(shù)據(jù)庫(kù)，因?yàn)槠涮幚頂?shù)據(jù)的模式完全是分布于各種低成本服務(wù)器和存儲(chǔ) 磁盤，因此它可以幫助網(wǎng)頁(yè)和各種交互性應(yīng)用快速處理過程中的海量數(shù)據(jù)。它采用分布式技術(shù)結(jié)合 了一系列技術(shù)，可以對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析

7、，滿足了大數(shù)據(jù)環(huán)境下一部分業(yè)務(wù)需求。但我說(shuō)這是 錯(cuò)誤的，至少是片面的，是無(wú)法徹底解決大數(shù)據(jù)存儲(chǔ)管理需求的。云計(jì)算對(duì)關(guān)系型數(shù)據(jù)庫(kù)的發(fā)展將 產(chǎn)生巨大的影響，而絕大多數(shù)大型業(yè)務(wù)系統(tǒng)（如銀行、證券交易等）、電子商務(wù)系統(tǒng)所使用的數(shù)據(jù)庫(kù)還是基于關(guān)系型的數(shù)據(jù)庫(kù)，隨著云計(jì)算的大量應(yīng)用，勢(shì)必對(duì)這些系統(tǒng)的構(gòu)建產(chǎn)生影響，進(jìn)而影響整 個(gè)業(yè)務(wù)系統(tǒng)及電子商務(wù)技術(shù)的發(fā)展和系統(tǒng)的運(yùn)行模式?；陉P(guān)系型數(shù)據(jù)庫(kù)服務(wù)的云數(shù)據(jù)庫(kù)產(chǎn)品將是 云數(shù)據(jù)庫(kù)的主要發(fā)展方向，云數(shù)據(jù)庫(kù)（CloudDB），提供了海量數(shù)據(jù)的并行處理能力和良好的可伸縮性等特性，提供同時(shí)支持在在線分析處理（OLAP和在線事務(wù)處理（OLTP）能力，提供了超強(qiáng)性能的數(shù)據(jù)庫(kù)云服務(wù)

8、，并成為集群環(huán)境和云計(jì)算環(huán)境的理想平臺(tái)。它是一個(gè)高度可擴(kuò)展、安全和可容錯(cuò)的 軟件，客戶能通過整合降低IT成本，管理位于多個(gè)數(shù)據(jù)，提高所有應(yīng)用程序的性能和實(shí)時(shí)性做岀更好的業(yè)務(wù)決策服務(wù)。云據(jù)庫(kù)要能夠滿足：A. 海量數(shù)據(jù)處理：對(duì)類似搜索引擎和電信運(yùn)營(yíng)商級(jí)的經(jīng)營(yíng)分析系統(tǒng)這樣大型的應(yīng)用而言，需要能夠處理PB級(jí)的數(shù)據(jù)，同時(shí)應(yīng)對(duì)百萬(wàn)級(jí)的流量。B. 大規(guī)模集群管理：分布式應(yīng)用可以更加簡(jiǎn)單地部署、應(yīng)用和管理。C. 低延遲讀寫速度：快速的響應(yīng)速度能夠極大地提高用戶的滿意度。D. 建設(shè)及運(yùn)營(yíng)成本：云計(jì)算應(yīng)用的基本要求是希望在硬件成本、軟件成本以及人力成本方面都 有大幅度的降低。所以云數(shù)據(jù)庫(kù)必須采用一些支撐云環(huán)境的相

9、關(guān)技術(shù)，比如數(shù)據(jù)節(jié)點(diǎn)動(dòng)態(tài)伸縮與熱插拔、對(duì)所有 數(shù)據(jù)提供多個(gè)副本的故障檢測(cè)與轉(zhuǎn)移機(jī)制和容錯(cuò)機(jī)制、SN (Share Nothing )體系結(jié)構(gòu)、中心管理、節(jié)點(diǎn)對(duì)等處理實(shí)現(xiàn)連通任一工作節(jié)點(diǎn)就是連入了整個(gè)云系統(tǒng)、與任務(wù)追蹤、數(shù)據(jù)壓縮技術(shù)以節(jié)省磁 盤空間同時(shí)減少磁盤 10時(shí)間等。云數(shù)據(jù)庫(kù)路線是基于傳統(tǒng)數(shù)據(jù)庫(kù)不斷升級(jí)并向云數(shù)據(jù)庫(kù)應(yīng)用靠攏，更好的適應(yīng)云計(jì)算模式，如 自動(dòng)化資源配置管理、虛擬化支持以及高可擴(kuò)展性等，才能在未來(lái)將會(huì)發(fā)揮不可估量的作用。云計(jì)算能為大數(shù)據(jù)帶來(lái)的變化首先云計(jì)算為大數(shù)據(jù)提供了可以彈性擴(kuò)展相對(duì)便宜的存儲(chǔ)空間和計(jì)算資源，使得中小企業(yè)也可 以像亞馬遜一樣通過云計(jì)算來(lái)完成大數(shù)據(jù)分析。其次，云計(jì)

10、算IT資源龐大，分布較為廣泛，是異構(gòu)系統(tǒng)較多的企業(yè)及時(shí)準(zhǔn)確處理數(shù)據(jù)的有力方 式，甚至是唯一方式。當(dāng)然大數(shù)據(jù)要走向云計(jì)算還有賴于數(shù)據(jù)通信帶寬的提高和云資源的建設(shè)，需 要確保原始數(shù)據(jù)能遷移到云環(huán)境以及資源池可以隨需彈性擴(kuò)展。數(shù)據(jù)分析集逐步擴(kuò)大，企業(yè)級(jí)數(shù)據(jù) 倉(cāng)庫(kù)將成為主流，未來(lái)還將逐步納入行業(yè)數(shù)據(jù)，政府公開數(shù)據(jù)等多來(lái)源數(shù)據(jù)。當(dāng)人們從大數(shù)據(jù)分析中嘗到甜頭后，數(shù)據(jù)分析集就會(huì)逐步擴(kuò)大。目前大部分的企業(yè)所分析的數(shù)據(jù)量一般以TB為單位，按照目前數(shù)據(jù)的發(fā)展速度，很快將會(huì)進(jìn)入PB時(shí)代。特別是目前在100 500TB 和500+TB范圍的分析數(shù)據(jù)集的數(shù)量呈3倍或4倍的增長(zhǎng)。隨著數(shù)據(jù)分析集的擴(kuò)大，以前部門層級(jí)的數(shù)據(jù)集

11、市將不能滿足大數(shù)據(jù)分析的需求，他們將成為企業(yè)及數(shù)據(jù)庫(kù)(EDW的一個(gè)子集。根據(jù) TDWI的調(diào)查，如今大概有 2/3的用戶已經(jīng)在使用企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，未來(lái)這一比例將會(huì)更高。傳統(tǒng)分析數(shù) 據(jù)庫(kù)可以正常持續(xù)， 但是會(huì)有一些變化，一方面，數(shù)據(jù)集市和操作性數(shù)據(jù)存儲(chǔ)(ODS的數(shù)量會(huì)減少，另一方面，傳統(tǒng)的數(shù)據(jù)庫(kù)廠商會(huì)提升他們產(chǎn)品的數(shù)據(jù)容量，細(xì)目數(shù)據(jù)和數(shù)據(jù)類型，以滿足大數(shù)據(jù)分 析的需要。大數(shù)據(jù)和云計(jì)算未來(lái)的發(fā)展方向和趨勢(shì)雖然大數(shù)據(jù)目前在國(guó)內(nèi)還處于初級(jí)階段，但是商業(yè)價(jià)值已經(jīng)顯現(xiàn)岀來(lái)。未來(lái)，數(shù)據(jù)可能成為最 大的交易商品。但數(shù)據(jù)量大并不能算是大數(shù)據(jù)，大數(shù)據(jù)的特征是數(shù)據(jù)量大、數(shù)據(jù)種類多、非標(biāo)準(zhǔn)化 數(shù)據(jù)的價(jià)值最大化。因此，大數(shù)據(jù)的價(jià)值是通過數(shù)據(jù)共享、交叉復(fù)用后獲取最大的數(shù)據(jù)價(jià)值。在他 看來(lái)，未來(lái)大數(shù)據(jù)將會(huì)如基礎(chǔ)設(shè)施一樣，有數(shù)據(jù)提供方、管理者、監(jiān)管者，數(shù)據(jù)的交叉復(fù)用將大數(shù) 據(jù)變成一大產(chǎn)業(yè)。大數(shù)據(jù)的整體態(tài)勢(shì)和發(fā)展趨勢(shì)，主要體現(xiàn)在幾個(gè)方面：大數(shù)據(jù)與學(xué)術(shù)、大數(shù)據(jù)與 人類的活動(dòng)，大數(shù)據(jù)的安全隱私、關(guān)鍵應(yīng)用、系統(tǒng)處理和整個(gè)產(chǎn)業(yè)的影響。大數(shù)據(jù)整體態(tài)勢(shì)上，數(shù) 據(jù)的規(guī)模將變得更大，數(shù)據(jù)資源化、數(shù)據(jù)的價(jià)值凸顯、數(shù)據(jù)私有化出現(xiàn)和聯(lián)盟共享。大數(shù)據(jù)的發(fā)展 會(huì)催生許多新興新職業(yè)，會(huì)產(chǎn)生數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師，有非常豐富的數(shù)據(jù)經(jīng)驗(yàn)的 人才會(huì)成為稀缺人才。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)共享聯(lián)盟將逐漸壯大成為