大數(shù)據(jù)方面學習3

大數(shù)據(jù)時代不知道BIGDATA?你out了!反對派認為，我們現(xiàn)在處在一個盲目的大數(shù)據(jù)崇拜時代大數(shù)據(jù)的定義理解大數(shù)據(jù)相關技術與應用目錄facebook社交網(wǎng)絡淘寶、ebuy電子商務微博、Apps移動互聯(lián)21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。互聯(lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。大數(shù)據(jù)時代的背景GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)大數(shù)據(jù)時代的爆炸增長“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征大數(shù)據(jù)=海量數(shù)據(jù)+復雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結構化的、通過關系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構成。它包括了呼叫詳細記錄CDR、設備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設計用于數(shù)據(jù)密集型處理的架構。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。大數(shù)據(jù)的構成大數(shù)據(jù)的定義理解大數(shù)據(jù)相關技術與應用目錄1、密不可分的大數(shù)據(jù)與云計算商業(yè)模式驅動應用需求驅動云計算本身也是大數(shù)據(jù)的一種業(yè)務模式大數(shù)據(jù)是落地的云云計算的模式是業(yè)務模式，本質(zhì)是數(shù)據(jù)處理技術。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當前云計算更偏重海量存儲和計算，以及提供的云服務，運行云應用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預測性分析，為國家、企業(yè)、個人提供決策和服務，是大數(shù)據(jù)核心議題，也是云計算的最終方向。2、大數(shù)據(jù)不僅僅是“大”多大？至少PB級比大更重要的是數(shù)據(jù)的復雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值3、軟件是是大數(shù)據(jù)據(jù)的引擎擎和數(shù)據(jù)中中心（DataCenter）一樣，軟軟件是大大數(shù)據(jù)的的驅動力力，軟件件改變世世界大數(shù)據(jù)生生態(tài)：軟軟件是引引擎4、大數(shù)據(jù)據(jù)的應用用不僅僅僅是精準準營銷通過用戶戶行為分分析實現(xiàn)現(xiàn)精準營營銷是大大數(shù)據(jù)的的典型應應用，但但是大數(shù)數(shù)據(jù)在各各行各業(yè)業(yè)特別是是公共服服務領域域具有廣廣闊的應應用前景景消費行業(yè)業(yè)金融服務務食品安全全醫(yī)療衛(wèi)生生軍事交通環(huán)保保電子商務務氣象5、管理大大數(shù)據(jù)““易”理理解大數(shù)數(shù)據(jù)“難難”雖然大數(shù)數(shù)據(jù)是一一個重大大問題，，真正的的問題是是讓大數(shù)數(shù)據(jù)更有有意義目前大數(shù)數(shù)據(jù)管理理多從架架構和并并行等方方面考慮慮，解決決高并發(fā)發(fā)數(shù)據(jù)存存取的性性能要求求及數(shù)據(jù)據(jù)存儲的的橫向擴擴展，但但對非結結構化數(shù)數(shù)據(jù)的內(nèi)內(nèi)容理解解仍缺乏乏實質(zhì)性性的突破破和進展展，這是是實現(xiàn)大大數(shù)據(jù)資資源化、、知識化化、普適適化的核核心非結構化化海量信信息的智智能化處處理：自自然語言言理解、、多媒體體內(nèi)容理理解、機機器學習習等大數(shù)據(jù)的定義理解大數(shù)據(jù)相關技術與應用目錄分析技術術：數(shù)據(jù)處理理：自然然語言處處理技術術統(tǒng)計和分分析：A/Btest;topN排行榜；；地域占占比；文文本情感感分析數(shù)據(jù)挖掘掘：關聯(lián)聯(lián)規(guī)則分分析；分分類；聚聚類模型預測測：預測測模型；；機器學學習；建建模仿真真大數(shù)據(jù)技技術：數(shù)據(jù)采集集：ETL工具數(shù)據(jù)存取?。宏P系系數(shù)據(jù)庫庫；NoSQL；SQL等基礎架構支持持：云存儲；；分布式文件件系統(tǒng)等計算結果展現(xiàn)現(xiàn)：云計算；；標簽云；關關系圖等存儲結構化數(shù)據(jù)：：海量數(shù)據(jù)的查查詢、統(tǒng)計、、更新等操作作效率低非結構化數(shù)據(jù)據(jù)圖片、視頻、、word、pdf、ppt等文件存儲不利于檢索、、查詢和存儲儲半結構化數(shù)據(jù)據(jù)轉換為結構化化存儲按照非結構化化存儲解決方案：Hadoop（MapReduce技術）流計算（twitter的storm和yahoo！的S4）數(shù)據(jù)采集數(shù)據(jù)儲存數(shù)據(jù)管理數(shù)據(jù)分析與挖掘一些些相相關關技技術術行業(yè)業(yè)拓拓展展者者，，打打造造大大數(shù)數(shù)據(jù)據(jù)行行業(yè)業(yè)基基石石：：IBM：IBM大數(shù)數(shù)據(jù)據(jù)提提供供的的服服務務包包括括數(shù)數(shù)據(jù)據(jù)分分析析，，文文本本分分析析，，藍藍色色云云杉杉（（混混搭搭供供電電合合作作的的網(wǎng)網(wǎng)絡絡平平臺臺））;業(yè)務務事事件件處處理理；；IBMMashupCenter的計計量量，，監(jiān)監(jiān)測測，，和和商商業(yè)業(yè)化化服服務務（（MMMS）IBM的大大數(shù)數(shù)據(jù)據(jù)產(chǎn)產(chǎn)品品組組合合中中的的最最新新系系列列產(chǎn)產(chǎn)品品的的InfoSpherebigInsights，基基于于ApacheHadoop。該產(chǎn)產(chǎn)品品組組合合包包括括：：打包包的的ApacheHadoop的軟軟件件和和服服務務，，代代號號是是bigInsights核心心，，用用于于開開始始大大數(shù)數(shù)據(jù)據(jù)分分析析軟件件被被稱稱為為bigsheet，軟軟件件目目的的是是幫幫助助從從大大量量數(shù)數(shù)據(jù)據(jù)中中輕輕松松、、簡簡單單、、直直觀觀的的提提取取、、批批注注相相關關信信息息為金金融融，，風風險險管管理理，，媒媒體體和和娛娛樂樂等等行行業(yè)業(yè)量量身身定定做做的的行行業(yè)業(yè)解解決決方方案案微軟：：2011年1月與惠惠普（（具體體而言言是HP數(shù)據(jù)庫庫綜合合應用用部門門）合合作作目標標是開開發(fā)了了一系系列能能夠提提升生生產(chǎn)力力和提提高決決策速速度的的設備備。EMC：EMC斬獲了了紐交交所和和Nasdaq；大數(shù)據(jù)據(jù)解決決方案案已包包括40多個產(chǎn)產(chǎn)品。。Oracle：Oracle大數(shù)據(jù)據(jù)機與與OracleExalogic中間件件云服服務器器、OracleExadata數(shù)據(jù)庫庫云服服務器器以及及OracleExalytics商務智智能云云服務務器一一起組組成了了甲骨骨文最最廣泛泛、高高度集集成化化系統(tǒng)統(tǒng)產(chǎn)品品組合合。大數(shù)據(jù)的應應用——企業(yè)在投入入政府職能變變革重視應用大大數(shù)據(jù)技術術，盤活各各地云計算算中心資產(chǎn)產(chǎn)：把原來來大規(guī)模投投資產(chǎn)業(yè)園園、物聯(lián)網(wǎng)網(wǎng)產(chǎn)業(yè)園從從政績工程程，改造成成智慧工程程；在安防領域域，應用大大數(shù)據(jù)技術術，提高應應急處置能能力和安全全防范能力力；在民生領域域，應用大大數(shù)據(jù)技術術，提升服服務能力和和運作效率率，以及個個性化的服服務，比如如醫(yī)療、衛(wèi)衛(wèi)生、教育育等部門；；解決在金融融，電信領領域等中數(shù)數(shù)據(jù)分析的的問題：一一直得到得得極大的重重視，但受受困于存儲儲能力和計計算能力的的限制，只只局限在交交易數(shù)型數(shù)數(shù)據(jù)的統(tǒng)計計分析；政府投入將將形成示范范效應，大大大推動大大數(shù)據(jù)的發(fā)發(fā)展。大數(shù)據(jù)的應應用——政府“智慧大腦”智能感知互聯(lián)互通智能運營協(xié)同共享美國奧巴馬馬政府在白白宮網(wǎng)站發(fā)發(fā)布《大數(shù)據(jù)研究究和發(fā)展倡倡議》，提出“通通過收集、、處理龐大大而復雜的的數(shù)據(jù)信息息，從中獲獲得知識和和洞見，提提升能力，，加快科學學、工程領領域的創(chuàng)新新步伐，強強化美國國國土安全，，轉變教育育和學習模模式”；；中國工程院院院士鄔賀賀銓說道，，“智慧城城市是使用用智能計算算技術使得得城市的關關鍵基礎設設施的組成成和服務更更智能、互互聯(lián)和有效效，隨著智智慧城市的的建設，社社會將步入入“大數(shù)據(jù)據(jù)”時代。?！彪y點：1、在最初就就合理規(guī)劃劃智慧城市市（深度思思考哪些領領域能夠運運用）；2、在城市發(fā)發(fā)展基礎設設施和“云云產(chǎn)業(yè)”的的同時，更更多重視““數(shù)據(jù)”的的價值；3、在大數(shù)據(jù)據(jù)處理領域域的核心技技術不足，，需要政府府更大的投投入。大數(shù)據(jù)的應應用——熱點：智智慧城市市政府、金金融、電電信等行行業(yè)投資資建立大大數(shù)據(jù)的的處理分分析手段段，實現(xiàn)現(xiàn)綜合治治理、業(yè)業(yè)務開拓拓等目標標；應用用到制造造等更多多行業(yè)。。更多行業(yè)業(yè)的應用用數(shù)據(jù)的再再利用：：由于在信信息價值值鏈中的的特殊位位置，有有些公司司可能會會收集到到大量的的數(shù)據(jù)，，但他們們并不急急需使用用也不擅擅長再次次利用這這些數(shù)據(jù)據(jù)。例如如，移動動電話運運營商手手機用戶戶的位置置信息來來傳輸電電話信號號，這對對以他們們來說，，數(shù)據(jù)只只有狹窄窄的技術術用途。。但當它它被一些些發(fā)布個個性化位位置廣告告服務和和促銷活活動的公公司再次次利用時時，則變變得更有有價值。。大數(shù)據(jù)價價值鏈的的3大構成：：數(shù)據(jù)本本身、技技能與思思維其中三者者兼具的的又谷歌歌公司，，谷歌在在剛開始始收集數(shù)數(shù)據(jù)的時時候就已已經(jīng)有多多次使用用數(shù)據(jù)的的想法。。比方說說，它的的街景采采集車手手機全球球定位系系統(tǒng)數(shù)據(jù)據(jù)不光是是為了創(chuàng)創(chuàng)建谷歌歌地圖，，也是為為了制成成全自動動汽車以以及谷歌歌眼鏡等等與實景景交匯的的產(chǎn)品。。未來，企企業(yè)會依依靠洞悉悉數(shù)據(jù)中中的信息息更加了了解自己己，也更更加了解解客戶。?！洞髷?shù)據(jù)時代》傳統(tǒng)行業(yè)最終終都會轉變?yōu)闉榇髷?shù)據(jù)行業(yè)業(yè)，無論是金金融服務也、、醫(yī)藥還是制制造業(yè)。大數(shù)據(jù)的應用用——未來，改變一一切大數(shù)據(jù)賦予我我們洞察