大數(shù)據(jù)那些事

大數(shù)據(jù)那些事目錄

大數(shù)據(jù)時代1.背景歷史、時代2.認知定義特點思維3.應用全方位大變革4.未來機遇挑戰(zhàn)

5.思考正在發(fā)生的未來6.學習菜鳥進階2001年Gartner研究指出，現(xiàn)代信息社會的信息爆炸已經(jīng)演變成了數(shù)據(jù)爆炸。2008年《Nature》雜志出版?？癇igData”，分析了大量快速涌現(xiàn)數(shù)據(jù)給數(shù)據(jù)分析處理帶來的巨大挑戰(zhàn)。2011年《Science》推出關于數(shù)據(jù)處理的?？癉ealingwithdata”，討論了數(shù)據(jù)洪流（DataDeluge）所帶來的挑戰(zhàn)。5月麥肯錫全球研究院發(fā)布了《大數(shù)據(jù)：創(chuàng)新、競爭和生產力的下一個領域》研究報告。2012年3月奧巴馬總統(tǒng)宣布美國政府投資逾2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃（BDRDI）”。12月，維克托?邁爾-舍恩伯格著作的《大數(shù)據(jù)時代：生活、工作與思維的大變革》。NO.1

背景—歷史、時代4

硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)NO.1

背景—歷史、時代大數(shù)據(jù)時代到來的必然性：NO.1

背景—歷史、時代大數(shù)據(jù)時代真的來臨了么？隨著一系列標志性事件的發(fā)生和建立，人們越發(fā)感覺到大數(shù)據(jù)時代的力量。因此2013年被許多國外媒體和專家稱為“大數(shù)據(jù)元年”。當今“大社會”，三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。麥肯錫全球研究院（2011）對大數(shù)據(jù)的定義是從數(shù)據(jù)集的大體量入手的：大數(shù)據(jù)是指那些規(guī)模大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采集、存儲、管理和分析的數(shù)據(jù)集。百度百科對大數(shù)據(jù)的定義是:大數(shù)據(jù)(BigData)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。維克托?邁爾-舍恩伯格（2012）在《大數(shù)據(jù)時代》一書中主要從價值大的角度來定義大數(shù)據(jù)，他認為大數(shù)據(jù)是當今社會所獨有的一種新型的能力：以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析，獲得有巨大價值的產品和服務，或深刻的洞見。NO.2

認知—定義、特點、思維大數(shù)據(jù)(BigData)的定義數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量存儲量麥肯錫估計，全球企業(yè)2010年硬盤上存儲了超過7EB的新數(shù)據(jù)，消費者在個人電腦等設備上存儲了超過6EB的新數(shù)據(jù)。（相當于美國國會圖書館中存儲數(shù)據(jù)的4000多倍）太字節(jié)，記作TB，1TB=1024GB；拍字節(jié)，記作PB，1PB=1024TB；艾字節(jié)，記作EB，1EB=1024PB；澤字節(jié)，記作ZB，1ZB=1024EB。。。。NO.2

認知—定義、特點、思維大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量存儲量+計算量廣州超算中心16000個運算節(jié)點312萬個計算核心整體總計內存1.408PB12.4PB的硬盤陣列NO.2

認知—定義、特點、思維大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量Velocity高速處理速度快。1秒定律。這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。數(shù)據(jù)更新、增長速度快Facebook上每秒有4.1萬張照片上傳，2011年以發(fā)圖1400億張成為世界最大照片庫。NO.2

認知—定義、特點、思維大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量Velocity高速處理速度快。1秒定律。這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。Variety多樣數(shù)據(jù)類型繁多。不僅包括傳統(tǒng)的關系數(shù)據(jù)類型，也包括以網(wǎng)頁、音視頻、文檔等形式存在的未加工的、半結構化和非結構化的數(shù)據(jù)。NO.2

認知—定義、特點、思維大數(shù)據(jù)的4V特點：Volume、Velocity、Variety、Value數(shù)據(jù)體量巨大。從TB級別躍升到PB級別。Volume大量Velocity高速處理速度快。1秒定律。這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質的不同。Variety多樣數(shù)據(jù)類型繁多。不僅包括傳統(tǒng)的關系數(shù)據(jù)類型，也包括以網(wǎng)頁、音視頻、文檔等形式存在的未加工的、半結構化和非結構化的數(shù)據(jù)。Value價值

價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。NO.2認知知——定定義義、、特特點點、、思思維維大數(shù)數(shù)據(jù)據(jù)的的4V特特點點：：Volume、、Velocity、、Variety、、ValueNO.2認知知——定定義義、、特特點點、、思思維維大數(shù)數(shù)據(jù)據(jù)的的3個個思思維維變變革革“更多多”————不不是是隨隨機機樣樣本本，，而而是是全全體體數(shù)數(shù)據(jù)據(jù)當數(shù)數(shù)據(jù)據(jù)處處理理技技術術已已經(jīng)經(jīng)發(fā)發(fā)生生翻翻天天覆覆地地的的變變化化時時，，在在大大數(shù)數(shù)據(jù)據(jù)時時代代進進行行抽抽樣樣分分析析就就像像在在汽汽車車時時代代騎騎馬馬一一樣樣。。一一切切都都改改變變了了，，我我們們需需要要的的是是所所有有的的數(shù)數(shù)據(jù)據(jù)，，““樣樣本本＝＝總總體體””。?！案煤谩薄薄徊皇鞘且蛞蚬P關系系，，而而是是相相關關關關系系知道道““是是什什么么””就就夠夠了了，，沒沒必必要要知知道道““為為什什么么””。。在在大大數(shù)數(shù)據(jù)據(jù)時時代代，，我我們們不不必必非非得得知知道道現(xiàn)現(xiàn)象象背背后后的的原原因因，，而而是是要要讓讓數(shù)數(shù)據(jù)據(jù)自自己己““發(fā)發(fā)聲聲””。?！案s雜”————不不是是精精確確性性，，而而是是混混雜雜性性執(zhí)迷迷于于精精確確性性是是信信息息缺缺乏乏時時代代和和模模擬擬時時代代的的產產物物。。只只有有5%的的數(shù)數(shù)據(jù)據(jù)是是有有框框架架且且能能適適用用于于傳傳統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)庫庫的的。。如如果果不不能能接接受受混混亂亂，，剩剩下下95%的的非非框框架架數(shù)數(shù)據(jù)據(jù)都都無無法法被被利利用用，，只只有有接接受受不不精精確確性性，，我我們們才才能能打打開開一一扇扇從從未未涉涉足足的的世世界界的的窗窗戶戶。。商業(yè)業(yè)領域域社會會管管理理領領域域醫(yī)療療保保健健領領域域教育育領域域大數(shù)數(shù)據(jù)據(jù)公共共服務務電子子政務務企業(yè)業(yè)管理理商業(yè)業(yè)智能能生活活娛樂樂NO.3應用用——全全方方位位大大變變革革情報報收集集氣候候天氣氣總統(tǒng)統(tǒng)選舉舉天文文宇宙宙生物物醫(yī)學學&零售售商商電子子商商務務NO.3應用用——全全方方位位大大變變革革NO.3應用用——全全方方位位大大變變革革預計計2016年年““百百度度大大數(shù)數(shù)據(jù)據(jù)””上上線線對對外外付付費費試試用用里昂昂市市用用大大數(shù)數(shù)據(jù)據(jù)治治堵堵里昂昂市市開開發(fā)發(fā)了了一一套套決決策策支支持持優(yōu)優(yōu)化化器器，，實實時時地地報報告告交交通通的的情情況況，，并并且且來來偵偵測測擁擁堵堵的的時時間間。。NO.3應用用——全全方方位位大大變變革革利用用短短信信、、微微博博、、微微信信和和搜搜索索引引擎擎，，可可以以收收集集熱熱點點事事件件，，挖挖掘掘輿輿情情，，還還可可以以追追蹤蹤造造謠謠信信息息的的源源頭頭。。Farecast通通過過對對于于機機票票數(shù)數(shù)據(jù)據(jù)的的趨趨勢勢變變化化情情況況，，提提供供票票價價預預測測的的服服務務，，準準確確度度高高達達75%，，到到2012年年為為止止，，F(xiàn)arecast系系統(tǒng)統(tǒng)用用了了將將近近十十萬萬億億條條價價格格記記錄錄來來幫幫助助預預測測美美國國國國內內航航班班的的票票價價。。NO.3應用用——全全方方位位大大變變革革NO.3應用用——全全方方位位大大變變革革通過對全全市的歷歷史罪案案以及出出警紀錄錄得出城城市各種種罪案高發(fā)發(fā)區(qū)域，例如剁剁手區(qū)/掏包區(qū)區(qū)/性侵侵區(qū)………等等，，每天發(fā)發(fā)布提醒醒，推送送到市民民的手機機/平板板等所有有終端。。我相信信性侵區(qū)區(qū)的流氓氓早晚會會不堪重重負而投投案自首首的。大數(shù)據(jù)在在罪案預預警的應應用40天，36億人次。。這是2014年春運的的總時間間和總出出行人數(shù)數(shù)。在這這場堪稱稱人類歷歷史上最最大規(guī)模模的短期期遷徙中中，人群從哪哪兒去了了哪兒？？哪些線線路最熱熱門？在以往，，這些問問題可能能難以精精確回答答。但隨隨著技術術進步，，通過應應用“大大數(shù)據(jù)””這一技技術利器器，人們們已經(jīng)接接近“在在迷宮中中感受全全局”地地看見春春運的全全景。NO.3應用—全全方位大大變革革大數(shù)據(jù)首首次播報報春運遷遷徙實況況谷歌發(fā)現(xiàn)現(xiàn)，某些些搜索字字詞可以以很好地地標示流流感疫情情的現(xiàn)狀狀。Google流流感趨勢勢使用了了經(jīng)過匯匯總的Google搜索索數(shù)據(jù)庫庫來測流流感疫情情。谷歌流感感趨勢項項目NO.3應用—全全方位大大變革革奧巴馬的的數(shù)據(jù)團團隊對數(shù)數(shù)以千萬萬計的選選民郵件件進行了了大數(shù)據(jù)挖挖掘，精確預測測出了更更可能擁擁護奧巴巴馬的選選民類型型，并進進行了有有針對性性的宣傳傳，從而而幫助奧奧巴馬成成為了美美國歷史史上唯一一一位在在競選經(jīng)經(jīng)費處于于劣勢下下實現(xiàn)連連任的總總統(tǒng)。大數(shù)據(jù)幫幫助奧巴巴馬成功實現(xiàn)現(xiàn)連任NO.3應用—全全方位大大變革革通過大數(shù)數(shù)據(jù)你可可以知道道：一個學生生成績不不好是由由于他因因為周圍圍環(huán)境而而分心了了嗎？期末考試試不及格格是否說說明學生生未掌握握學習內內容，還還是因為為他請了了很多病病假的緣緣故？在加拿大大，教育育科技公公司“渴望學學習”（（Desire2Learn）已經(jīng)面面向高等等教育領領域的學學生，推推出了基基于過去去的學習習成績數(shù)數(shù)據(jù)預測測并改善善未來學學習成績績的大數(shù)數(shù)據(jù)服務務項目。。通過監(jiān)監(jiān)控學生生閱讀電子子化的課課程材料料、提交交電子版版的作業(yè)業(yè)、通過過在線與與同學交交流、完完成考試試與測驗驗，就能讓計計算程序序持續(xù)、、系統(tǒng)地地分析每每個學生生的教育育數(shù)據(jù)。。老師得得到的不不再是過過去那種種只展示示學生分分數(shù)與作作業(yè)的結結果，而而是像閱閱讀材料料的時間間長短等等這樣更更為詳細細的重要要信息。。這樣老師師就能及及時診斷斷問題的的所在，，提出改改進的建建議，并并預測學學生的期期末考試試成績。。NO.3應用—全全方位大大變革革新華社新新媒體中中心聯(lián)合合數(shù)托邦邦創(chuàng)意分分析工作作室抓取取了新浪浪微博博上提及及“爸爸爸去哪兒兒”45.5萬條原創(chuàng)創(chuàng)微博，，并對36.7萬獨立原原發(fā)作者者用戶（（去除疑疑似水軍軍賬戶））、1300余萬條用用戶微博博及近1億的關系系進行數(shù)數(shù)據(jù)分析析。結果發(fā)現(xiàn)現(xiàn)：《爸爸去哪哪兒》不僅成為為名副其其實的““口碑王王”，還還使娛樂樂節(jié)目發(fā)發(fā)生了很很多微妙妙變化。。大愛在那那兒！———《爸爸爸去哪哪兒》大大數(shù)據(jù)解解讀NO.3應用—全全方位大大變革革粉絲性別比例：“爸爸粉”女性占到八成。難道是因為星爸太帥？當然，這與微博中女性用戶占比較高和她們更愛分享轉評的習慣也有關。用戶年齡分布：覆蓋適齡婚育群體，觀眾氣質更顯成熟。不少適齡青年發(fā)微博稱，“看到某某，我也好想結婚，想有個這樣的兒子／女兒?！钡貐^(qū)偏好排行：《爸爸去哪兒》的觀眾明顯向GDP高地聚集。對湘派娛樂節(jié)目免疫力極強的京、滬、蘇、蜀等地罕見上榜?！栋职秩ツ膬骸菲枚惹笆》葜?，有５個GDP十強省份，涵蓋3個直轄市。這是否能說明，一部分“先富起來”的人，對親子關系有更深的焦慮和更多的期待？NO.3應用—全全方位大大變革革贊助商潛在贊助商明星同類節(jié)目競爭者節(jié)目組觀眾大數(shù)據(jù)解讀可能的受益者滿足了自己“八卦”的需求。對這個節(jié)目有了深入的了解。從《爸爸去哪兒》的成功中可以學到什么？本次贊助是否成功？成功在哪里？為以后廣告的投放提供了經(jīng)驗。了解了自己及孩子在觀眾心中的“熱度”，為下一步轉型及孩子未來的規(guī)劃提供參考。根據(jù)之前的數(shù)據(jù)分析，大膽推出了低成本同名電影并大獲成功！第二季的拍攝緊鑼密鼓地進行著……為決策提供支持。若自己的目標客戶與該節(jié)目的觀眾一致，可以考慮下一季的贊助。NO.3應用—全全方位大大變革革贊助商熱度：主冠名贊助商強勢冒出，在幾乎沒有社交媒體營銷配合下，微博熱度強勁增長。英菲尼迪從第三期開始廣告植入，話題增量立竿見影。思念水餃配合“爸爸吃神馬”等互動促銷，參與度有所增加。只是不知，三大贊助商的投入是否與這一結果完全契合？明星關注度：數(shù)據(jù)來自于每期節(jié)目播出后一周內5對父子的原發(fā)微博提及量（含昵稱）。張亮父子低調亮相，關注度逐期上升，成功實現(xiàn)實現(xiàn)“逆襲”。NO.3應用—全全方位大大變革革機遇大數(shù)據(jù)技術促進國家和社會發(fā)展大數(shù)據(jù)藍海成為企業(yè)競爭的新焦點大數(shù)據(jù)時代呼喚創(chuàng)新型人才挑戰(zhàn)大數(shù)據(jù)技術的運用仍有困難大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)NO.4未來—機機遇與挑挑戰(zhàn)大數(shù)據(jù)技技術的運運用前景景是十分分光明的的。當前前，我國國正處在在全面建建成小康康社會征征程中，，工業(yè)化化、信息息化、城城鎮(zhèn)化、、農業(yè)現(xiàn)現(xiàn)代化任任務很重重，建設設下一代代信息基基礎設施施，發(fā)展展現(xiàn)代信信息技術術產業(yè)體體系，健健全信息息安全保保障體系系，推進進信息網(wǎng)網(wǎng)絡技術術廣泛運運用，是是實現(xiàn)四四化同步步發(fā)展的的保證。。大數(shù)據(jù)據(jù)分析對對我們深深刻領會會世情和和國情，，把握規(guī)規(guī)律，實實現(xiàn)科學學發(fā)展，，做出科科學決策策具有重重要意義義，我們們必須重重新認識識數(shù)據(jù)的的重要價價值。NO.4未來—機機遇與挑挑戰(zhàn)機遇———大數(shù)據(jù)據(jù)技術促促進國家家和社會會發(fā)展大數(shù)據(jù)所所能帶來來的巨大大商業(yè)價價值，被被認為將將引領一一場足以以與20世紀計算算機革命命匹敵的的巨大變變革。大大數(shù)據(jù)正正在對每每個領域域都造成成影響，，包括商商業(yè)、經(jīng)經(jīng)濟等領領域。大大數(shù)據(jù)正正在促生生新的藍藍海，催催生新的的經(jīng)濟增增長點，，正在成成為企業(yè)業(yè)競爭的的新焦點點。在今天的的大數(shù)據(jù)據(jù)時代，，商業(yè)的的生態(tài)環(huán)環(huán)境在不不經(jīng)意間間發(fā)生了了巨大的的變化：：網(wǎng)民和和消費者者的界限限正在變變得模糊糊，無處處不在的的智能終終端，隨隨時在線線的網(wǎng)絡絡傳輸，，互動頻頻繁的社社交網(wǎng)絡絡讓以往往只是網(wǎng)網(wǎng)頁瀏覽覽者的網(wǎng)網(wǎng)民的面面孔從模模糊變得得清晰，，對于企企業(yè)來說說，他們們第一次次有機會會進行大大規(guī)模的的精準化化的消費費者行為為研究：：作為保保持著持持續(xù)變革革欲望的的企業(yè)，，主動地擁擁抱這種種變化，，從戰(zhàn)略略到戰(zhàn)術術層而開開始自我我的蛻變變和進化化將會讓讓他們更更加適應應這個新新的時代代，大數(shù)數(shù)據(jù)藍海海成為未未來競爭爭的制高高點。NO.4未來—機機遇與挑挑戰(zhàn)機遇———大數(shù)據(jù)據(jù)藍海成成為企業(yè)業(yè)競爭的的新焦點點蓋特納咨咨詢公司司預測大大數(shù)據(jù)將將為全球球帶440萬個IT新崗位和和上千萬萬個非IT崗位。麥麥肯錫公公司預測測美國到到2018年需要深深度數(shù)據(jù)據(jù)分析人人才44萬——49萬，缺口口14萬——19萬人；需需要既熟熟悉本單單位需求求又了解解大數(shù)據(jù)據(jù)技術與與應用的的管理者者150萬，這方方面的人人才缺口口更大。。中國是是人才才大國，，但能理理解與應應用大數(shù)數(shù)據(jù)的創(chuàng)新人才才更是稀稀缺資源源。NO.4未來—機機遇與挑挑戰(zhàn)機遇———大數(shù)據(jù)據(jù)時代呼呼喚創(chuàng)新新型人才才數(shù)據(jù)收集要對來自網(wǎng)絡包括物聯(lián)網(wǎng)和機構信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構的數(shù)據(jù)，還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。數(shù)據(jù)存儲要達到低成本、低能耗、高可靠性目標，要用到冗余配置、分布化和云計算技術，存儲時對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，并加入便于檢索的標簽。數(shù)據(jù)處理大數(shù)據(jù)的復雜性使得難以用傳統(tǒng)的方法描述與度量，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關聯(lián)進行語義分析，從大量動態(tài)及可能模棱兩可的數(shù)據(jù)中綜合信息，并導出可理解的內容。結果的可視化呈現(xiàn)

使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結構或類結構的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。目前，大大數(shù)據(jù)技技術的運運用仍存存在一些些困難與與挑戰(zhàn)，，體現(xiàn)在在大數(shù)據(jù)挖挖掘的四個環(huán)環(huán)節(jié)中。。NO.4未來—機機遇與挑挑戰(zhàn)挑戰(zhàn)———大數(shù)據(jù)據(jù)技術的的運用仍仍有困難難大量數(shù)據(jù)的集中存儲增加了其泄露的風險；一些敏感數(shù)據(jù)的所有權和使用權并沒有清晰界定。復雜的數(shù)據(jù)存儲在一起，可能造成企業(yè)安全管理不合規(guī)；安全防護手段更新升級慢，存在漏洞黑客可收集更多有用信息，大數(shù)據(jù)分析讓攻擊更精準；大數(shù)據(jù)為黑客發(fā)起攻擊提供了更多的機會加大隱私泄露風險對現(xiàn)有存儲和安防措施提出挑戰(zhàn)被運用到攻擊手段中NO.4未來—機機遇與挑挑戰(zhàn)挑戰(zhàn)———大數(shù)據(jù)據(jù)給信息息安全帶帶來新挑挑戰(zhàn)“棱鏡門門”引爆爆大數(shù)據(jù)據(jù)時代爭爭議斯諾登的的爆料引引起一片片嘩然，，根據(jù)他他提供的的資料，，被卷入入“棱鏡鏡門”事事件的公公司包括括微軟、、雅虎、、谷歌、、蘋果、、Facebook等9大IT業(yè)巨頭。。在“棱棱鏡門””事件開開始發(fā)酵酵之后，，這些公公司先是是趕緊出出面否認認與美國國政府的的監(jiān)視項項目進行行過合作作，并相相繼發(fā)表表聲明，，呼吁政政府采取取更透明明態(tài)度，，以證明明他們的的“清白白”。事情的起起因是美美國中情情局前職職員斯諾諾登向媒媒體爆料料，過去去6年間，美美國的情情報部門門通過一一個代號號為“棱棱鏡”的的項目，，從多家家知名互互聯(lián)網(wǎng)公公司獲取取電子郵件件、在線線聊天內內容、照照片、文文檔、視視頻等網(wǎng)網(wǎng)絡私人人數(shù)據(jù)，，跟蹤用用戶一舉舉一動。他說，，自己只只需要坐坐在辦公公桌前，，動動指指頭，敲敲敲鍵盤盤，就能能了解很很多人的的私密信信息。NO.4未來—機機遇與挑挑戰(zhàn)一方面我我們通過過對大量量用戶數(shù)數(shù)據(jù)的分分析，公公司、企企業(yè)、政政府都可可以更好好的了解解用戶行行為、消消費習慣慣的等等等，從而而可以提提供更好好的服務務。但是是另外一一方面，，這又不不可避免