大數(shù)據(jù)引領我們走向數(shù)據(jù)智能化時代2

大數(shù)據(jù)大數(shù)據(jù)引領我們走向數(shù)據(jù)智能化時代BigData目錄大數(shù)據(jù)的定義理解相關技術與應用機遇與挑戰(zhàn)大數(shù)據(jù)的定義理解一什么是大數(shù)據(jù)Dada大大數(shù)據(jù)的構成123大數(shù)據(jù)的定義理解大數(shù)據(jù)的“4V”特征大數(shù)據(jù)時代的背景大數(shù)據(jù)時代的背景facebook社交網(wǎng)絡淘寶、ebuy電子商務微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。20世紀90年代，數(shù)據(jù)倉庫之父的BillInmon就經(jīng)常提及BigData2011年5月，在“云計算相遇大數(shù)據(jù)”為主題的EMCWorld2011會議中，EMC拋出了BigData概念BigData名詞由來全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不息的讀5.5年…每天會有

2.88萬個小時的視頻上傳到Youtube，足夠一個人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬條消息，假設10秒鐘瀏覽一條信息，這些消息足夠一個人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬筆訂單…每個月網(wǎng)民在Facebook上要花費7千億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…新的時代，人們從信息的被動接受者變成了主動創(chuàng)造者大數(shù)據(jù)時代到來TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導致了非結構化、半結構化數(shù)據(jù)爆發(fā)式的增長根據(jù)IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在2020年之前會繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量數(shù)據(jù)量增加數(shù)據(jù)結構日趨復雜這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠遠超越了目前人力所能處理的范疇大數(shù)據(jù)時代正在來臨..大數(shù)據(jù)時代到來大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。體量Volume多樣性Variety價值密度Value速度Velocity非結構化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結構化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關信息對未來趨勢與模式的可預測分析深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能(咨詢、報告等）實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效大數(shù)據(jù)的構成大數(shù)據(jù)=海量數(shù)據(jù)+復雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結構化的、通過關系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構成。它包括了呼叫詳細記錄CDR、設備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等。可以告訴我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設計用于數(shù)據(jù)密集型處理的架構。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。大數(shù)數(shù)據(jù)據(jù)要要解解決決的的問問題題Volume海量量的的數(shù)數(shù)據(jù)據(jù)規(guī)規(guī)模模Variety多樣樣的的數(shù)數(shù)據(jù)據(jù)類類型型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速速的的數(shù)數(shù)據(jù)據(jù)流流轉轉巨大大的的數(shù)數(shù)據(jù)據(jù)價價值值相關技術與應用二大數(shù)據(jù)怎么用大數(shù)數(shù)據(jù)據(jù)時時代代的的背背景景相關關技技術術云計算與大數(shù)據(jù)大數(shù)據(jù)領的應用123相關關技技術術相關關技技術術大數(shù)數(shù)據(jù)據(jù)技技術術將將被被設設計計用用于于在在成成本本可可承承受受（（economically）的的條條件件下下，，通通過過非非常?？炜焖偎伲ǎ╲elocity）的的采采集集、、發(fā)發(fā)現(xiàn)現(xiàn)和和分分析析，，從從大大量量化化（（volumes）、、多多類類別別（（variety）的的數(shù)數(shù)據(jù)據(jù)中中提提取取價價值值（（value），，將將是是IT領領域域新新一一代代的的技技術術與與架架構構企業(yè)用以分析的數(shù)據(jù)越全面，分析的結果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務的各個細節(jié)相融合什么么是是BigData技技術術分析析技技術術：：數(shù)據(jù)據(jù)處處理理：：自自然然語語言言處處理理技技術術統(tǒng)計計和和分分析析：：A/Btest;topN排排行行榜榜；；地地域域占占比比；；文文本本情情感感分分析析數(shù)據(jù)據(jù)挖挖掘掘：：關關聯(lián)聯(lián)規(guī)規(guī)則則分分析析；；分分類類；；聚聚類類模型型預預測測：：預預測測模模型型；；機機器器學學習習；；建建模模仿仿真真大數(shù)數(shù)據(jù)據(jù)技技術術：：數(shù)據(jù)據(jù)采采集集：：ETL工工具具數(shù)據(jù)據(jù)存存取?。海宏P關系系數(shù)數(shù)據(jù)據(jù)庫庫；；NoSQL；；SQL等等基礎礎架架構構支支持持：：云云存存儲儲；；分分布布式式文文件件系系統(tǒng)統(tǒng)等等計算算結結果果展展現(xiàn)現(xiàn)：：云云計計算算；；標標簽簽云云；；關關系系圖圖等等一些些相相關關技技術術存儲儲結構構化化數(shù)數(shù)據(jù)據(jù)：：海量量數(shù)數(shù)據(jù)據(jù)的的查查詢詢、、統(tǒng)統(tǒng)計計、、更更新新等等操操作作效效率率低低非結結構構化化數(shù)數(shù)據(jù)據(jù)圖片片、、視視頻頻、、word、、pdf、、ppt等等文文件件存存儲儲不利利于于檢檢索索、、查查詢詢和和存存儲儲半結結構構化化數(shù)數(shù)據(jù)據(jù)轉換換為為結結構構化化存存儲儲按照照非非結結構構化化存存儲儲解決決方方案案：：Hadoop（（MapReduce技技術術））流計計算算（（twitter的的storm和和yahoo??！的的S4））數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘技術術領領域域的的挑挑戰(zhàn)戰(zhàn)1、對對現(xiàn)現(xiàn)有有數(shù)數(shù)據(jù)據(jù)庫庫管管理理技技術術的的挑挑戰(zhàn)戰(zhàn)傳統(tǒng)統(tǒng)的的數(shù)數(shù)據(jù)據(jù)庫庫部部署署不不能能處處理理數(shù)數(shù)TB級別別的的數(shù)數(shù)據(jù)據(jù)，，也也不不能能很很好好的的支支持持高高級級別別的的數(shù)數(shù)據(jù)據(jù)分分析析。。急急速速膨膨脹脹的的數(shù)數(shù)據(jù)據(jù)體體量量即即將將超超越越傳傳統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)庫庫的的管管理理能能力力。。如何何構構建建全全球球級級的的分分布布式式數(shù)數(shù)據(jù)據(jù)庫庫(Globally-DistributedDatabase)，可可以以擴擴展展到到數(shù)數(shù)百百萬萬的的機機器器，，數(shù)數(shù)已已百百計計的的數(shù)數(shù)據(jù)據(jù)中中心心，，上上萬萬億億的的行行數(shù)數(shù)據(jù)據(jù)。。2、經(jīng)經(jīng)典典數(shù)數(shù)據(jù)據(jù)庫庫技技術術并并沒沒有有考考慮慮數(shù)數(shù)據(jù)據(jù)的的多多類類別別（（variety）SQL（結結構構化化數(shù)數(shù)據(jù)據(jù)查查詢詢語語言言）），，在在設設計計的的一一開開始始是是沒沒有有考考慮慮非非結結構構化化數(shù)數(shù)據(jù)據(jù)的的。。3、實實時時性性的的技技術術挑挑戰(zhàn)戰(zhàn)：：一般般而而言言，，像像數(shù)數(shù)據(jù)據(jù)倉倉庫庫系系統(tǒng)統(tǒng)、、BI應用用，，對對處處理理時時間間的的要要求求并并不不高高。。因因此此這這類類應應用用往往往往運運行行1、2天獲獲得得結結果果依依然然可可行行的的。。但但實實時時處處理理的的要要求求，，是是區(qū)區(qū)別別大大數(shù)數(shù)據(jù)據(jù)應應用用和和傳傳統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)倉倉庫庫技技術術、、BI技術術的的關關鍵鍵差差別別之之一一。。網(wǎng)絡絡架架構構、、數(shù)數(shù)據(jù)據(jù)中中心心、、運運維維的的挑挑戰(zhàn)戰(zhàn)：：技術術架架構構的的挑挑戰(zhàn)戰(zhàn)：：人們們每每天天創(chuàng)創(chuàng)建建的的數(shù)數(shù)據(jù)據(jù)量量正正呈呈爆爆炸炸式式增增長長，，但但就就數(shù)數(shù)據(jù)據(jù)保保存存來來說說，，我我們們的的技技術術改改進進不不大大，，而而數(shù)數(shù)據(jù)據(jù)丟丟失失的的可可能能性性卻卻不不斷斷增增加加。。如此此龐龐大大的的數(shù)數(shù)據(jù)據(jù)量量首首先先在在存存儲儲上上就就會會是是一一個個非非常常嚴嚴重重的的問問題題，，硬硬件件的的更更新新速速度度將將是是大大數(shù)數(shù)據(jù)據(jù)發(fā)發(fā)展展的的基基石石。。大數(shù)數(shù)據(jù)據(jù)與與云云計計算算云計計算算的的模模式式是是業(yè)業(yè)務務模模式式，，本本質質是是數(shù)數(shù)據(jù)據(jù)處處理理技技術術。。數(shù)據(jù)據(jù)是是資資產(chǎn)產(chǎn)，，云云為為數(shù)數(shù)據(jù)據(jù)資資產(chǎn)產(chǎn)提提供供存存儲儲、、訪訪問問和和計計算算。。當前前云云計計算算更更偏偏重重海海量量存存儲儲和和計計算算，，以以及及提提供供的的云云服服務務，，運運行行云云應應用用，，但但是是缺缺乏乏盤盤活活數(shù)數(shù)據(jù)據(jù)資資產(chǎn)產(chǎn)的的能能力力，，挖挖掘掘價價值值性性信信息息和和預預測測性性分分析析，，為為國國家家、、企企業(yè)業(yè)、、個個人人提提供供決決策策和和服服務務，，是是大大數(shù)數(shù)據(jù)據(jù)核核心心議議題題，，也也是是云云計計算算的的最最終終方方向向。。白云下面面數(shù)據(jù)跑跑藍藍的天天上白云云飄如果數(shù)據(jù)據(jù)是財富富，那么么大數(shù)據(jù)據(jù)就是寶寶藏，而而云計算算就是挖挖掘和利利用寶藏藏的利器器！沒有有強大的的計算能能力，數(shù)數(shù)據(jù)寶藏藏終究是是鏡中花花；沒有有大數(shù)據(jù)據(jù)的積淀淀，云計計算也只只能是殺殺雞用的的宰牛刀刀！大數(shù)據(jù)與與云計算算2012云計算算，2013大大數(shù)據(jù)？？美國：美國政府府在2012年年3月29日宣宣布投資資兩億美美元拉動動大數(shù)據(jù)據(jù)相關產(chǎn)產(chǎn)業(yè)發(fā)展展，將““大數(shù)據(jù)據(jù)戰(zhàn)略””上升為為國家意意志。中國：中國商業(yè)業(yè)聯(lián)合會會：副會會長劉建建滬介紹紹說，隨隨著互聯(lián)聯(lián)網(wǎng)的快快速發(fā)展展，中國國的電子子商務企企業(yè)紛紛紛組建了了數(shù)據(jù)分分析部門門。2011年10月，工工信部確確認京滬滬深杭等等5城市市為“云云計算中中心”試試點城市市。而真真正的問問題或許許不在于于怎樣建建設“云云計算中中心”。。國家信信息中心心常務副副主任杜杜平直言言不諱：：“應對對大數(shù)據(jù)據(jù)的到來來，需要要不斷建建基礎設設施，但但是建了了干什么么，有些些數(shù)據(jù)需需要存儲儲，也有有很多數(shù)數(shù)據(jù)可能能不需要要儲存。?！贝髷?shù)據(jù)的的市場有有多大？？中央財財經(jīng)大學學中國經(jīng)經(jīng)濟管理理研究院院博士張張永力說說，國外外大數(shù)據(jù)據(jù)行業(yè)約約有1000億億美元的的市場，，而且每每年都以以10%的速度度在增長長，增速速是軟件件行業(yè)的的兩倍。。行業(yè)拓展展者，打打造大數(shù)數(shù)據(jù)行業(yè)業(yè)基石：：大數(shù)據(jù)的的應用——企業(yè)業(yè)在投入入IBM：：IBM大大數(shù)據(jù)提提供的服服務包括括數(shù)據(jù)分分析，文文本分析析，藍色色云杉（（混搭供供電合作作的網(wǎng)絡絡平臺））;業(yè)務務事件處處理；IBMMashupCenter的計計量，監(jiān)監(jiān)測，和和商業(yè)化化服務（（MMMS）IBM的的大數(shù)據(jù)據(jù)產(chǎn)品組組合中的的最新系系列產(chǎn)品品的InfoSpherebigInsights，，基于ApacheHadoop。該產(chǎn)品組組合包括括：打包的ApacheHadoop的軟件件和服務務，代號號是bigInsights核心，，用于開開始大數(shù)數(shù)據(jù)分析析軟件被稱稱為bigsheet，軟件件目的是是幫助從從大量數(shù)數(shù)據(jù)中輕輕松、簡簡單、直直觀的提提取、批批注相關關信息為金融，，風險管管理，媒媒體和娛娛樂等行行業(yè)量身身定做的的行業(yè)解解決方案案微軟：2011年1月月與惠普普（具體體而言是是HP數(shù)數(shù)據(jù)庫綜綜合應用用部門））合作作目標是是開發(fā)了了一系列列能夠提提升生產(chǎn)產(chǎn)力和提提高決策策速度的的設備。。EMC：：EMC斬斬獲了了紐交所所和Nasdaq；大數(shù)據(jù)解解決方案案已包括括40多多個產(chǎn)品品。Oracle：：Oracle大大數(shù)據(jù)機機與OracleExalogic中間間件云服服務器、、OracleExadata數(shù)數(shù)據(jù)庫云云服務器器以及OracleExalytics商務智智能云服服務器一一起組成成了甲骨骨文最廣廣泛、高高度集成成化系統(tǒng)統(tǒng)產(chǎn)品組組合。政府職能能變革重視應用用大數(shù)據(jù)據(jù)技術，，盤活各各地云計計算中心心資產(chǎn)：：把原來來大規(guī)模模投資產(chǎn)產(chǎn)業(yè)園、、物聯(lián)網(wǎng)網(wǎng)產(chǎn)業(yè)園園從政績績工程，，改造成成智慧工工程；在安防領領域，應應用大數(shù)數(shù)據(jù)技術術，提高高應急處處置能力力和安全全防范能能力；在民生領領域，應應用大數(shù)數(shù)據(jù)技術術，提升升服務能能力和運運作效率率，以及及個性化化的服務務，比如如醫(yī)療、、衛(wèi)生、、教育等等部門；；解決在金金融，電電信領域域等中數(shù)數(shù)據(jù)分析析的問題題：一直直得到得得極大的的重視，，但受困困于存儲儲能力和和計算能能力的限限制，只只局限在在交易數(shù)數(shù)型數(shù)據(jù)據(jù)的統(tǒng)計計分析；；政府投入入將形成成示范效效應，大大大推動動大數(shù)據(jù)據(jù)的發(fā)展展。大數(shù)據(jù)的的應用——政府府“智慧大腦”智能感知互聯(lián)互通智能運營協(xié)同共享大數(shù)據(jù)的的應用——熱點：智智慧城市市美國奧巴巴馬政府府在白宮宮網(wǎng)站發(fā)發(fā)布《大大數(shù)據(jù)研研究和發(fā)發(fā)展倡議議》，提提出“通通過收集集、處理理龐大而而復雜的的數(shù)據(jù)信信息，從從中獲得得知識和和洞見，，提升能能力，加加快科學學、工程程領域的的創(chuàng)新步步伐，強強化美國國國土安安全，轉轉變教育育和學習習模式””；中國工程程院院士士鄔賀銓銓說道，，“智慧慧城市是是使用智智能計算算技術使使得城市市的關鍵鍵基礎設設施的組組成和服服務更智智能、互互聯(lián)和有有效，隨隨著智慧慧城市的的建設，，社會將將步入““大數(shù)據(jù)據(jù)”時代代?！彪y點：1、在最最初就合合理規(guī)劃劃智慧城城市（深深度思考考哪些領領域能夠夠運用））；2、在城城市發(fā)展展基礎設設施和““云產(chǎn)業(yè)業(yè)”的同同時，更更多重視視“數(shù)據(jù)據(jù)”的價價值；3、在大大數(shù)據(jù)處處理領域域的核心心技術不不足，需需要政府府更大的的投入。。大數(shù)據(jù)的的應用——未來來，改變變一切數(shù)據(jù)的再再利用：：由于在信信息價值值鏈中的的特殊位位置，有有些公司司可能會會收集到到大量的的數(shù)據(jù)，，但他們們并不急急需使用用也不擅擅長再次次利用這這些數(shù)據(jù)據(jù)。例如如，移動動電話運運營商手手機用戶戶的位置置信息來來傳輸電電話信號號，這對對以他們們來說，，數(shù)據(jù)只只有狹窄窄的技術術用途。。但當它它被一些些發(fā)布個個性化位位置廣告告服務和和促銷活活動的公公司再次次利用時時，則變變得更有有價值。。大數(shù)據(jù)價價值鏈的的3大構構成：數(shù)數(shù)據(jù)本身身、技能能與思維維其中三者者兼具的的又谷歌歌公司，，谷歌在在剛開始始收集數(shù)數(shù)據(jù)的時時候就已已經(jīng)有多多次使用用數(shù)據(jù)的的想法。。比方說說，它的的街景采采集車手手機全球球定位系系統(tǒng)數(shù)據(jù)據(jù)不光是是為了創(chuàng)創(chuàng)建谷歌歌地圖，，也是為為了制成成全自動動汽車以以及谷歌歌眼鏡等等與實景景交匯的的產(chǎn)品。。未來，企企業(yè)會依依靠洞悉悉數(shù)據(jù)中中的信息息更加了了解自己己，也更更加了解解客戶。?！洞髷?shù)據(jù)據(jù)時代》》傳統(tǒng)行業(yè)業(yè)最終都都會轉變變?yōu)榇髷?shù)數(shù)據(jù)行業(yè)業(yè)，無論論是金融融服務也也、醫(yī)藥藥還是制制造業(yè)。。機遇與挑戰(zhàn)三大數(shù)據(jù)賦賦予我們們洞察未未來的能能力機遇馬云成功功預測2008年經(jīng)經(jīng)濟危機機“2008