大數(shù)據(jù)云計(jì)算區(qū)別.docx

（一）關(guān)于大數(shù)據(jù)和云計(jì)算的關(guān)系分別做一句話直白解釋就是：云計(jì)算就是硬件資源的虛擬化;大數(shù)據(jù)就是海量數(shù)據(jù)的高效處理。雖然上面的一句話解釋不是非常的貼切，但是可以幫助你簡(jiǎn)單的理解二者的區(qū)別。另外，如果做一個(gè)更形象的解釋，云計(jì)算相當(dāng)于我們的計(jì)算機(jī)和操作系統(tǒng)，將大量的硬件資源虛擬化之后再進(jìn)行分配使用。大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫(kù)”，而且通觀大數(shù)據(jù)領(lǐng)域的發(fā)展也能看出，當(dāng)前的大數(shù)據(jù)處理一直在向著近似于傳統(tǒng)數(shù)據(jù)庫(kù)體驗(yàn)的方向發(fā)展，整體來(lái)看，未來(lái)的趨勢(shì)是，云計(jì)算作為計(jì)算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢(shì)是，實(shí)時(shí)交互式的查詢效率和分析能力，借用Google一篇技術(shù)論文中的話，“動(dòng)一下鼠標(biāo)就可以在秒級(jí)操作PB級(jí)別的數(shù)據(jù)”難道不讓人興奮嗎?在談大數(shù)據(jù)的時(shí)候，首先談到的就是大數(shù)據(jù)的4V特性，即類型復(fù)雜，海量，快速和價(jià)值。IBM原來(lái)談大數(shù)據(jù)的時(shí)候談3V，沒(méi)有價(jià)值這個(gè)V。而實(shí)際我們來(lái)看4V更加恰當(dāng)，價(jià)值才是大數(shù)據(jù)問(wèn)題解決的最終目標(biāo)，其它3V都是為價(jià)值目標(biāo)服務(wù)。在有了4V的概念后，就很容易簡(jiǎn)化的來(lái)理解大數(shù)據(jù)的核心，即大數(shù)據(jù)的總體架構(gòu)包括三層，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理和數(shù)據(jù)分析。類型復(fù)雜和海量由數(shù)據(jù)存儲(chǔ)層解決，快速和時(shí)效性要求由數(shù)據(jù)處理層解決，價(jià)值由數(shù)據(jù)分析層解決。數(shù)據(jù)先要通過(guò)存儲(chǔ)層存儲(chǔ)下來(lái)，然后根據(jù)數(shù)據(jù)需求和目標(biāo)來(lái)建立相應(yīng)的數(shù)據(jù)模型和數(shù)據(jù)分析指標(biāo)體系對(duì)數(shù)據(jù)進(jìn)行分析產(chǎn)生價(jià)值。而中間的時(shí)效性又通過(guò)中間數(shù)據(jù)處理層提供的強(qiáng)大的并行計(jì)算和分布式計(jì)算能力來(lái)完成。三層相互配合，讓大數(shù)據(jù)最終產(chǎn)生價(jià)值。數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)有很多分法，有結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化;也有元數(shù)據(jù)，主數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù);還可以分為GIS，視頻，文件，語(yǔ)音，業(yè)務(wù)交易類各種數(shù)據(jù)。傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足數(shù)據(jù)多樣性的存儲(chǔ)要求，因此在RDBMS基礎(chǔ)上增加了兩種類型，一種是hdfs可以直接應(yīng)用于非結(jié)構(gòu)化文件存儲(chǔ)，一種是nosql類數(shù)據(jù)庫(kù)，可以應(yīng)用于結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)處理層數(shù)據(jù)處理層核心解決問(wèn)題在于數(shù)據(jù)存儲(chǔ)出現(xiàn)分布式后帶來(lái)的數(shù)據(jù)處理上的復(fù)雜度，海量存儲(chǔ)后帶來(lái)了數(shù)據(jù)處理上的時(shí)效性要求，這些都是數(shù)據(jù)處理層要解決的問(wèn)題。數(shù)據(jù)分析層最后回到分析層，分析層重點(diǎn)是真正挖掘大數(shù)據(jù)的價(jià)值所在，而價(jià)值的挖掘核心又在于數(shù)據(jù)分析和挖掘。那么數(shù)據(jù)分析層核心仍然在于傳統(tǒng)的BI分析的內(nèi)容。包括數(shù)據(jù)的維度分析，數(shù)據(jù)的切片，數(shù)據(jù)的上鉆和下鉆，cube等。（二）云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來(lái)說(shuō)明，兩者之間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù);通過(guò)云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。大數(shù)據(jù)的本質(zhì)就是利用計(jì)算機(jī)集群來(lái)處理大批量的數(shù)據(jù)，大數(shù)據(jù)的技術(shù)關(guān)注點(diǎn)在于如何將數(shù)據(jù)分發(fā)給不同的計(jì)算機(jī)進(jìn)行存儲(chǔ)和處理。云計(jì)算的本質(zhì)就是將計(jì)算能力作為一種較小顆粒度的服務(wù)提供給用戶，按需使用和付費(fèi)，體現(xiàn)了：1.經(jīng)濟(jì)性，不需要購(gòu)買整個(gè)服務(wù)器2.快捷性，即刻使用，不需要長(zhǎng)時(shí)間的購(gòu)買和安裝部署3.彈性，隨著業(yè)務(wù)增長(zhǎng)可以購(gòu)買更多的計(jì)算資源，可以需要時(shí)購(gòu)買幾十臺(tái)服務(wù)器的1個(gè)小時(shí)時(shí)間，運(yùn)算完成就釋放4.自動(dòng)化，不需要通過(guò)人來(lái)完成資源的分配和部署，通過(guò)API可以自動(dòng)創(chuàng)建云主機(jī)等服務(wù)。云計(jì)算的技術(shù)關(guān)注點(diǎn)在于如何在一套軟硬件環(huán)境中，為不同的用戶提供服務(wù)，使得不同的用戶彼此不可見(jiàn)，并進(jìn)行資源隔離，保障每個(gè)用戶的服務(wù)質(zhì)量。在大數(shù)據(jù)和云計(jì)算的關(guān)系上，我們可以這樣理解：1.兩者都關(guān)注對(duì)資源的調(diào)度。2.大數(shù)據(jù)處理可以基于云計(jì)算平臺(tái)(如IaaS，容器)。3.大數(shù)據(jù)處理也可以作為一種云計(jì)算的服務(wù)，如AWS的EMR(Amazon Elastic MapReduce )阿里云的ODPS(Open Data ProcessingService)。如果將云計(jì)算與大數(shù)據(jù)進(jìn)行一些比較，最明顯的區(qū)分在兩個(gè)方面：第一，在概念上兩者有所不同，云計(jì)算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得