大數(shù)據(jù)與云計算zhang

大數(shù)據(jù)與云計算錢進E-mail:qjqjlqyf@163.com2013.8.2不知道BIGDATA?你out了!前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費使用這些產(chǎn)品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費得軟件產(chǎn)品，換取對用戶的理解；通過精準(zhǔn)的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘。互聯(lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！瘪R云對未來的預(yù)測，是建立在對用戶行文分析的基礎(chǔ)上。通常而言，買家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)。Gartner2011年技術(shù)成熟度曲線,大數(shù)據(jù)處于高速發(fā)展期技術(shù)演進歷史揭示未來是大數(shù)據(jù)驅(qū)動的智慧型經(jīng)濟模式什么才是大數(shù)據(jù)?指數(shù)型增長的海量數(shù)據(jù)海量數(shù)據(jù)就是大數(shù)據(jù)嗎?

大數(shù)據(jù)就是云計算嗎?

大數(shù)據(jù)的4V特性體量Volume多樣性Variety價值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析深度復(fù)雜分析（機器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報告等）實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效Value價值挖掘大數(shù)據(jù)的價值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價值密度低,是大數(shù)據(jù)的一個典型特征.Variety多樣性企業(yè)內(nèi)部的經(jīng)營交易信息;物聯(lián)網(wǎng)世界中商品,物流信息;互聯(lián)網(wǎng)世界中人與人交互信息,位置信息等是大數(shù)據(jù)的主要來源.

能夠在不同的數(shù)據(jù)類型中,進行交叉分析的技術(shù),是大數(shù)據(jù)的核心技術(shù)之一.語義分析技術(shù),圖文轉(zhuǎn)換技術(shù),模式識別技術(shù),地理信息技術(shù)等,都會在大數(shù)據(jù)分析時獲得應(yīng)用.Velocity速度1s是臨界點.對于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案,否則處理結(jié)果就是過時和無效的.實時處理的要求,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù),BI技術(shù)的關(guān)鍵差別之一.Volume數(shù)據(jù)量PB是大數(shù)據(jù)層次的臨界點.KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB對大數(shù)據(jù)的進一步理解大數(shù)據(jù)比云計算更為落地商業(yè)模式驅(qū)動應(yīng)用需求驅(qū)動云計算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)不僅僅是“大”多大？PB級比大更重要的是數(shù)據(jù)的復(fù)雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值軟件是大數(shù)據(jù)的引擎和數(shù)據(jù)中心（DataCenter）

一樣，軟件是大數(shù)據(jù)的驅(qū)動力.軟件改變世界!大數(shù)據(jù)生態(tài):軟件是引擎21社會的基礎(chǔ)設(shè)施已經(jīng)具備移動電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電iPhoneDCs傳感器。。。大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營銷通過用戶行為分析實現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象管理大數(shù)據(jù)“易”,理解大數(shù)據(jù)“難”目前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，解決高并發(fā)數(shù)據(jù)存取的性能要求及數(shù)據(jù)存儲的橫向擴展，但對非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解仍缺乏實質(zhì)性的突破和進展，這是實現(xiàn)大數(shù)據(jù)資源化、知識化、普適化的核心.非結(jié)構(gòu)化海量信息的智能化處理：自然語言理解、多媒體內(nèi)容理解、機器學(xué)習(xí)等.大數(shù)據(jù)為什么重要？更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部更高數(shù)據(jù)層面整合利用用戶”行為指紋”創(chuàng)造新商機用戶在線的每一次點擊，每一次評論，每一個視頻點播，就是大數(shù)據(jù)的典型來源?；ヂ?lián)網(wǎng)企業(yè)之所以取得令人矚目的成績，其核心的本質(zhì)就是包括用戶網(wǎng)絡(luò)操作的大數(shù)據(jù)，進行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實的需求，形成預(yù)判。這是傳統(tǒng)企業(yè)花費重金都難以企及的夢想。所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺級公司的附庸。大數(shù)據(jù)組成和展現(xiàn)方式？基于SQL語言:

面對OLAP的傳統(tǒng)行和列不基于SQL或map-reduce的:

由谷歌率先發(fā)起數(shù)據(jù)流:

基于運行商數(shù)據(jù)直接生成任意圖形新平臺技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺分析不同范圍的服務(wù)傳統(tǒng)交付模式

-

單片或基于設(shè)備的解決方案云:

能夠充分利用物理設(shè)施的彈性，以實現(xiàn)處理快速增長數(shù)據(jù)的能力“數(shù)據(jù)庫將演變成一個虛擬的，基于云計算，超級可擴展的分布式平臺。”-ForresteranalystJimKobielus新的傳輸方案新模式和新技術(shù)展現(xiàn)方式：大型控制中心、移動終端在多樣性、體量、速度三大主要特征的指引下，大數(shù)據(jù)將有新型的展現(xiàn)方式：大型控制中心和移動終端，實現(xiàn)數(shù)據(jù)的實時處理和快速決策。大數(shù)據(jù)技術(shù)將被設(shè)計用于在成本可承受（economically）的條件下，通過非常快速（velocity）的采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value），將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個細(xì)節(jié)相融合什么是BigData技術(shù)分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計算結(jié)果展現(xiàn)：云計算；標(biāo)簽云；關(guān)系圖等一些相關(guān)技術(shù)存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘大數(shù)據(jù)與云計算云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當(dāng)前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預(yù)測性分析，為國家、企業(yè)、個人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計算的最終方向。白云下面數(shù)據(jù)跑藍(lán)藍(lán)的天上白云飄如果數(shù)據(jù)是財富，那么大數(shù)據(jù)就是寶藏，而云計算就是挖掘和利用寶藏的利器！沒有強大的計算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)的積淀，云計算也只能是殺雞用的宰牛刀！大數(shù)據(jù)與云計算從技術(shù)上看，大數(shù)據(jù)根植于云計算虛擬化技術(shù)軟硬件隔離，資源整合云計算平臺管理技術(shù)大規(guī)模系統(tǒng)運營，快速故障檢測與恢復(fù)MapReduce編程模型分布式編程模型，用于并行處理大規(guī)模數(shù)據(jù)集的軟件框架海量數(shù)據(jù)存儲技術(shù)分布式存儲方式存儲數(shù)據(jù)，冗余存儲方式保證系統(tǒng)可靠海量數(shù)據(jù)管理技術(shù)NoSQL數(shù)據(jù)庫，進行海量數(shù)據(jù)管理以便后續(xù)分析挖掘大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)與云計算有相同，也有差異

大數(shù)據(jù)云計算總體關(guān)系云計算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計算提供了很有價值的用武之地相同點1.都是為數(shù)據(jù)存儲和處理服務(wù)2.都需要占用大量的存儲和計算資源，因而都要用到海量數(shù)據(jù)存儲技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapReduce等并行處理技術(shù)差異點背景

現(xiàn)有的數(shù)據(jù)處理

技術(shù)

不能勝任社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)產(chǎn)生的大量異構(gòu)數(shù)據(jù)，但這些數(shù)據(jù)存在很大價值

基于互聯(lián)網(wǎng)的相關(guān)服務(wù)日益豐富和頻繁目的充分挖掘海量數(shù)據(jù)中的信息

通過互聯(lián)網(wǎng)更好地調(diào)用、擴展和管理及存儲方面的資源和能力對象數(shù)據(jù)

IT資源、能力和應(yīng)用推動力量

從事數(shù)據(jù)存儲與處理的軟件廠商和擁有大量數(shù)據(jù)的企業(yè)

生產(chǎn)計算及存儲設(shè)備廠商、擁有計算及存儲資源的企業(yè)帶來的價值發(fā)現(xiàn)數(shù)據(jù)中的價值

節(jié)省IT部署成本2012云計算，2013大數(shù)據(jù)？美國：美國政府在2012年3月29日宣布投資兩億美元拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。中國：中國商業(yè)聯(lián)合會：副會長劉建滬介紹說，隨著互聯(lián)網(wǎng)的快速發(fā)展，中國的電子商務(wù)企業(yè)紛紛組建了數(shù)據(jù)分析部門。2011年10月，工信部確認(rèn)京滬深杭等5城市為“云計算中心”試點城市。而真正的問題或許不在于怎樣建設(shè)“云計算中心”。國家信息中心常務(wù)副主任杜平直言不諱：“應(yīng)對大數(shù)據(jù)的到來，需要不斷建基礎(chǔ)設(shè)施，但是建了干什么，有些數(shù)據(jù)需要存儲，也有很多數(shù)據(jù)可能不需要儲存?！贝髷?shù)據(jù)的市場有多大？中央財經(jīng)大學(xué)中國經(jīng)濟管理研究院博士張永力說，國外大數(shù)據(jù)行業(yè)約有1000億美元的市場，而且每年都以10%的速度在增長，增速是軟件行業(yè)的兩倍。行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石：大數(shù)據(jù)的應(yīng)用

——企業(yè)在投入IBM：IBM大數(shù)據(jù)提供的服務(wù)包括數(shù)據(jù)分析，文本分析，藍(lán)色云杉（混搭供電合作的網(wǎng)絡(luò)平臺）;業(yè)務(wù)事件處理；IBMMashupCenter的計量，監(jiān)測，和商業(yè)化服務(wù)（MMMS）IBM的大數(shù)據(jù)產(chǎn)品組合中的最新系列產(chǎn)品的InfoSphere

bigInsights，基于ApacheHadoop。該產(chǎn)品組合包括：打包的ApacheHadoop的軟件和服務(wù)，代號是bigInsights核心，用于開始大數(shù)據(jù)分析軟件被稱為bigsheet，軟件目的是幫助從大量數(shù)據(jù)中輕松、簡單、直觀的提取、批注相關(guān)信息為金融，風(fēng)險管理，媒體和娛樂等行業(yè)量身定做的行業(yè)解決方案微軟：2011年1月與惠普（具體而言是HP數(shù)據(jù)庫綜合應(yīng)用部門）合作目標(biāo)是開發(fā)了一系列能夠提升生產(chǎn)力和提高決策速度的設(shè)備。

EMC：EMC斬獲了紐交所和Nasdaq；大數(shù)據(jù)解決方案已包括40多個產(chǎn)品。Oracle：Oracle大數(shù)據(jù)機與OracleExalogic中間件云服務(wù)器、OracleExadata數(shù)據(jù)庫云服務(wù)器以及OracleExalytics商務(wù)智能云服務(wù)器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。政府職能變革重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程；在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提高應(yīng)急處置能力和安全防范能力；在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運作效率，以及個性化的服務(wù)，比如醫(yī)療、衛(wèi)生、教育等部門；解決在金融，電信領(lǐng)域等中數(shù)據(jù)分析的問題：一直得到得極大的重視，但受困于存儲能力和計算能力的限制，只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計分析；政府投入將形成示范效應(yīng)，大大推動大數(shù)據(jù)的發(fā)展。大數(shù)據(jù)的應(yīng)用

——政府“智慧大腦”智能感知互聯(lián)互通智能運營協(xié)同共享大數(shù)據(jù)的應(yīng)用

——熱點：智慧城市美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會將步入“大數(shù)據(jù)”時代?！彪y點：1、在最初就合理規(guī)劃智慧城市（深度思考哪些領(lǐng)域能夠運用）；2、在城市發(fā)展基礎(chǔ)設(shè)施和“云產(chǎn)業(yè)”的同時，更多重視“數(shù)據(jù)”的價值；3、在大數(shù)據(jù)處理領(lǐng)域的核心技術(shù)不足，需要政府更大的投入。大數(shù)據(jù)的應(yīng)用

——未來，改變一切數(shù)據(jù)的再利用：