XXXX大數(shù)據(jù)時代課件

1大數(shù)據(jù)時代1大數(shù)據(jù)時代2大綱

一.認識大數(shù)據(jù)時代

二.大數(shù)據(jù)的應用領域三.大數(shù)據(jù)時代的機遇與挑戰(zhàn)

2大綱一.認識大數(shù)據(jù)時代二.大數(shù)據(jù)的應用領域三.3一.認識大數(shù)據(jù)時代7：00，你被手機鬧鐘叫醒。昨晚你帶著一款小型可穿戴設備睡覺的。這個設備連接著你手機里的一款大數(shù)據(jù)的APP，你打開它就可以看到你昨晚睡覺時翻身次數(shù)、心跳和血壓狀況。根據(jù)測量結果，它建議你今天出門之前多喝點橙汁類的飲品來補充維生素。9：00，今天你要帶朋友到鄭州的二七步行街逛逛，你打開某互聯(lián)網(wǎng)公司的大數(shù)據(jù)產(chǎn)品“XX預測”，看看步行街今天預計會有多少人，再看看鄭州今天的交通預測?！癤X預測”根據(jù)以往用戶定位請求信息建議你乘地鐵前往步行街。假如給你一天大數(shù)據(jù)的生活12：00，逛了一圈，你和朋友都累了，想找個地方吃飯。你打開大數(shù)據(jù)軟件，尋找附近的餐館。通過該軟件，你可以提前看到餐館的視頻環(huán)境，看看是否人多。大數(shù)據(jù)還可以把你臉的部分打成馬賽克，你不用擔心個人信息泄露。2XXX年的一個周末3一.認識大數(shù)據(jù)時代7：00，你被手機鬧鐘叫醒。昨晚你帶著一4一.認識大數(shù)據(jù)時代14:00,吃過午飯，你想去附近的公園玩玩，但你不知道應該去紫荊山公園還是去人民公園。你又打開“XX預測”，希望它幫你分析一下，哪個公園相對不太擁擠。根據(jù)結果，你去了紫荊山公園。16：00，你正在公園里休息，收到了催繳電話費的短信。你很好奇自己過去三年每個月的消費記錄。但過去運營商只能讓你查到六個月以內(nèi)的消費信息。因為中國移動至少有5億用戶，每天至少能產(chǎn)生10次計費記錄。每天50億的計費記錄，一年下來就是1800億條記錄。這是一個大數(shù)據(jù)的存儲和歸納技術難題。但在大數(shù)據(jù)時代，過去幾年的電話通訊信息都可以查到了。22：00，晚上睡覺的時候，你家的孩子哭鬧起來。你把孩子的哭聲錄入一個大數(shù)據(jù)軟件中。軟件能告訴你孩子為什么哭。是餓了，還是哪里不舒服，還是說只是想撒撒嬌……18：00，你回到了家，你的可穿戴設備告訴你，今天你在室內(nèi)和室外的時間分別都是多少，你一天內(nèi)吸入了多少霧霾。4一.認識大數(shù)據(jù)時代14:00,吃過午飯，你想去附近的公園玩5一.認識大數(shù)據(jù)時代最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫。麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！贝髷?shù)據(jù)時代的生活令人神往，你對客觀世界的認識更進了一步，所做的決策也不再僅僅依賴主觀判斷。甚至于你的一個習慣動作、你的一次消費行為、你的一份就診記錄，都正在被巨大的數(shù)字網(wǎng)絡串聯(lián)起來。移動互聯(lián)網(wǎng)風潮洶涌。大數(shù)據(jù)正悄悄包圍著我們。甚至連世界經(jīng)濟格局也在醞釀著巨大變革！5一.認識大數(shù)據(jù)時代最早提出“大數(shù)據(jù)”時代到來的是全6一.認識大數(shù)據(jù)時代《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。亞馬遜前任首席科學家AndreasWeigend說：“數(shù)據(jù)是新的石油?！惫鸫髮W社會學教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?一.認識大數(shù)據(jù)時代《紐約時報》2012年2月的一篇7一.認識大數(shù)據(jù)時代2012年3月份美國奧巴馬政府發(fā)布了“大數(shù)據(jù)研究和發(fā)展倡議”，投資2億以上美元，正式啟動“大數(shù)據(jù)發(fā)展計劃”。計劃在科學研究、環(huán)境、生物醫(yī)學等領域利用大數(shù)據(jù)技術進行突破。奧巴馬政府的這一計劃被視為美國政府繼信息高速公路(InformationHighway)計劃之后在信息科學領域的又一重大舉措。2012年5月，聯(lián)合國發(fā)表名為《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機遇》的政務白皮書中，指出大數(shù)據(jù)對于聯(lián)合國和各國政府來說是一個歷史性的機遇，還探討了如何利用包括社交網(wǎng)絡在內(nèi)大數(shù)據(jù)資源造福人類。聯(lián)合國的大數(shù)據(jù)白皮書還建議聯(lián)合國成員國建設“脈搏實驗室”“PulseLabs”網(wǎng)絡開發(fā)大數(shù)據(jù)的潛在價值7一.認識大數(shù)據(jù)時代2012年3月份美國奧巴馬政府發(fā)一.認識大數(shù)據(jù)時代8隨著一系列標志性事件的發(fā)生和建立，人們越發(fā)感覺到大數(shù)據(jù)時代的力量。因此2013年被許多國外媒體和專家稱為“大數(shù)據(jù)元年”。當今“大社會”，三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。一.認識大數(shù)據(jù)時代8隨著一系列標志性事件的發(fā)一.認識大數(shù)據(jù)時代9拒絕大數(shù)據(jù)時代，可能會失去生命！《大數(shù)據(jù)時代：生活、工作與思維的大變革》一書的作者維克托·邁爾·舍恩伯格，如是說，“如果你是一個個人，如果你拒絕的話，可能會失去生命，如果是一個國家的話，拒絕大數(shù)據(jù)時代的話，可能失去這個國家的未來，失去一代人的未來。”

這一句話恐怕不能算作聳人聽聞，因為每當人們站在現(xiàn)在這個節(jié)點的時候，總會去眺望未來，但是未來往往在你不經(jīng)意當中已經(jīng)悄悄地來到你的身邊。一.認識大數(shù)據(jù)時代9拒絕大數(shù)據(jù)時代，可能會失去生命！10一.認識大數(shù)據(jù)時代硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)大數(shù)據(jù)時代到來的必然性：10一.認識大數(shù)據(jù)時代硬件成本的降低大數(shù)據(jù)時代到來的必然性11一.認識大數(shù)據(jù)時代什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價值的信息而受到重視?！度A爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)、無線網(wǎng)絡革命稱為引領未來繁榮發(fā)展的重大技術變革。目前對大數(shù)據(jù)尚未有一個公認的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。11一.認識大數(shù)據(jù)時代什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)12一.認識大數(shù)據(jù)時代維基百科給出的定義：大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集?！?V”定義規(guī)模性（Volume）多樣性（Variety）高速性（Velocity）“4V”定義價值性（Value）真實性（Veracity）（IDC）（IBM）12一.認識大數(shù)據(jù)時代維基百科給出的定義：“3V”定義規(guī)模性13一.認識大數(shù)據(jù)時代全球流量累計達到1EB（即10億GB）的時間一年（2001）一個月（2004）一周（2007）一天（2013）一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤全球網(wǎng)民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大數(shù)據(jù)有多“大”？13一.認識大數(shù)據(jù)時代全球流量累計達到1EB（即10億GB）14一.認識大數(shù)據(jù)時代我國網(wǎng)民數(shù)量居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站單日數(shù)據(jù)產(chǎn)生量超過5萬GB存儲量4000萬GB百度公司目前數(shù)據(jù)總量10億GB存儲網(wǎng)頁1萬億頁每天大約要處理60億次搜索請求一個8Mbps的攝像頭一小時能產(chǎn)生3.6GB的數(shù)據(jù)一個城市每月產(chǎn)生的數(shù)據(jù)達上千萬GB醫(yī)院一個病人的CT影像數(shù)據(jù)量達幾十GB全國每年需保存的數(shù)據(jù)達上百億GB14一.認識大數(shù)據(jù)時代我國網(wǎng)民數(shù)量居世界之首，每天產(chǎn)生的數(shù)據(jù)15一.認識大數(shù)據(jù)時代從數(shù)據(jù)庫(database，DB)到大數(shù)據(jù)(bigdata，BD)“池塘捕魚”VS“大海捕魚”

“魚”是待處理的數(shù)據(jù)數(shù)據(jù)規(guī)模小（以MB為處理單位）大（以GB、TB、PB為處理單位）數(shù)據(jù)類型單一（結構化為主）繁多（結構化、半結構化、非結構化）模式和數(shù)據(jù)的關系先有模式后有數(shù)據(jù)(先有池塘后有魚)先有數(shù)據(jù)后有模式模式隨數(shù)據(jù)增多不斷演變處理對象數(shù)據(jù)（池塘中的魚）(“魚”，通過某些“魚”判斷其他種類的“魚”是否存在)處理工具OnesizefitsallNosizefitsall15一.認識大數(shù)據(jù)時代從數(shù)據(jù)庫(database，DB)到大16大數(shù)據(jù)就如同蜜蜂，其主要價值是傳播花粉，自己生產(chǎn)的蜂蜜價值并不大。2013年世界范圍內(nèi)狹義的大數(shù)據(jù)產(chǎn)業(yè)產(chǎn)值只有186億美元，但廣義的大數(shù)據(jù)應用幾乎覆蓋所有產(chǎn)業(yè)。據(jù)麥肯錫公司預測，開放數(shù)據(jù)僅在教育、保健等7個行業(yè)便可釋放3.2萬億～5.4萬億美元的經(jīng)濟價值。二.大數(shù)據(jù)的應用領域16大數(shù)據(jù)就如同蜜蜂，其主要價值是傳播花粉，自己生產(chǎn)17二.大數(shù)據(jù)的應用領域天文學生物醫(yī)學電子政務氣候學企業(yè)管理教育學金融學市場營銷公共服務商業(yè)智能傳媒業(yè)生活娛樂天文學生物醫(yī)學電子政務氣候學企業(yè)管理教育學金融學市場營銷公共服務商業(yè)智能傳媒業(yè)生活娛樂總統(tǒng)選舉總統(tǒng)選舉情報學情報學圖書館學圖書館學17二.大數(shù)據(jù)的應用領域天文學生物醫(yī)學電子政務氣候學企業(yè)管理二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的數(shù)據(jù)團隊對數(shù)以千萬計的選民郵件進行了大數(shù)據(jù)挖掘，精確預測出了更可能擁護奧巴馬的選民類型，并進行了有針對性的宣傳，從而幫助奧巴馬成為了美國歷史上唯一一位在競選經(jīng)費處于劣勢下實現(xiàn)連任的總統(tǒng)。不要總喊“狼來了”，“狼”已經(jīng)來了！大數(shù)據(jù)幫助奧巴馬成功實現(xiàn)連任二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的數(shù)據(jù)二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的例子告訴我們，只要數(shù)據(jù)量夠大，夠及時，挖掘夠深刻，我們完全可以洞悉每個選民的投票幾率。迅速普及的互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)，悄然為記錄人的行為數(shù)據(jù)提供了最為便利、持久的載體。最重要的是，在這些強大的數(shù)據(jù)收集終端面前，人們沒有掩飾的意圖，從而創(chuàng)造著過去無法收集與分析的海量數(shù)據(jù)，這讓所有社會科學領域能夠從宏觀群體走向微觀個體，讓跟蹤每一個人的數(shù)據(jù)成為了可能，從而讓研究人性成為了可能。二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的例子20二.大數(shù)據(jù)的應用領域——政治領域大數(shù)據(jù)的發(fā)展，將極大地改變政府的管理模式，有利于節(jié)約政府投資、加強市場監(jiān)管能力、提高政府決策能力、提升公共服務能力，實現(xiàn)區(qū)域化管理。重“一站式”服務輕“激勵型”服務我國電子政務的發(fā)展現(xiàn)狀:重性質性政務信息輕量化性政務數(shù)據(jù)政府門戶網(wǎng)站信息以文本、圖片、視頻等非結構化信息為主，但沒有關于財政稅收、醫(yī)療保險等可量化分析的結構化數(shù)據(jù)?！耙徽臼健狈瞻ㄉ暾?、辦證、審批等，忽略了開放原生態(tài)數(shù)據(jù)激發(fā)社會主體的創(chuàng)造性、主動性。大數(shù)據(jù)在我國電子政務領域的應用20二.大數(shù)據(jù)的應用領域——政治領域大數(shù)據(jù)的21二.大數(shù)據(jù)的應用領域——政治領域從反映政府網(wǎng)站頁面吸引力的跳出率指標來看，政府網(wǎng)站用戶的總體跳出率為63.33%，即有2/3左右的用戶來到政府網(wǎng)站之后僅訪問一個頁面就離開了。說明當今以性質性為主的政府信息黏度不夠，并不能滿足社會需求，量化性政務數(shù)據(jù)才是社會真正急需的。頭疼，找不到我想要的數(shù)據(jù)！！21二.大數(shù)據(jù)的應用領域——政治領域從反映政府網(wǎng)站頁22二.大數(shù)據(jù)的應用領域——政治領域目前，我國有60多個城市，將構建“智慧城市”的目標列入“十二五規(guī)劃”中。智慧城市即利用大數(shù)據(jù)的整合和分析來治理社會。2013年兩會期間，有代表提議將發(fā)展大數(shù)據(jù)上升為國家戰(zhàn)略。大數(shù)據(jù)背景下，我國電子政務創(chuàng)新模式的轉變：關注焦點——從信息向數(shù)據(jù)轉變1增值基礎——從公開向發(fā)布、開放轉變2行為方式——從獨立向協(xié)同轉變322二.大數(shù)據(jù)的應用領域——政治領域目前，我國有6023二.大數(shù)據(jù)的應用領域——政治領域數(shù)據(jù)是生成信息和知識的原生素材如將我國城鎮(zhèn)居民醫(yī)療數(shù)據(jù)與保險數(shù)據(jù)對比分析可以優(yōu)化保險企業(yè)報銷比例，發(fā)現(xiàn)虛假報銷行為；與制藥廠數(shù)據(jù)比對分析可以調(diào)節(jié)藥品的生產(chǎn)量與銷售渠道。但醫(yī)療政策信息并不能發(fā)揮這樣的作用。數(shù)據(jù)是輿情監(jiān)督的有利依據(jù)2008年，政府公布4萬億元的經(jīng)濟刺激計劃，但社會對資金的具體去向及其準確數(shù)額卻無從得知；汶川地震災后重建近2億資金的用途也因沒有準確的數(shù)據(jù)公開而被暗箱操作，違規(guī)使用……當今電子政務中，信息公開實質是性質性信息的公開，而數(shù)據(jù)才是輿情監(jiān)督的真正證據(jù)。關注焦點——從信息向數(shù)據(jù)轉變23二.大數(shù)據(jù)的應用領域——政治領域數(shù)據(jù)是生成信息和知識的原24二.大數(shù)據(jù)的應用領域——政治領域從信息向數(shù)據(jù)的轉變是政府從后臺走向陽光的轉變。24二.大數(shù)據(jù)的應用領域——政治領域從信息向數(shù)據(jù)的轉變是政府25二.大數(shù)據(jù)的應用領域——政治領域增值基礎——從公開向發(fā)布、開放轉變大數(shù)據(jù)時代，數(shù)據(jù)增值的關鍵在于數(shù)據(jù)的整合與分析，整合的前提就是數(shù)據(jù)的開放。數(shù)據(jù)公開是意識上的、被動的；數(shù)據(jù)發(fā)布是行動上的、主動的。數(shù)據(jù)公開、發(fā)布是一條一條的；數(shù)據(jù)開放是一片一片的。政府態(tài)度從被動轉為主動；數(shù)據(jù)從點對點轉為面對面。25二.大數(shù)據(jù)的應用領域——政治領域增值基礎——從公開向發(fā)布二.大數(shù)據(jù)的應用領域——政治領域26行為方式——從獨立向協(xié)同轉變?nèi)鐫想娮诱諗?shù)據(jù)交換平臺實現(xiàn)了工商、國稅、質檢、公安、社保等20多個部門涉稅數(shù)據(jù)的共享，國稅局與地稅局通過數(shù)據(jù)比對，發(fā)現(xiàn)了25000條數(shù)據(jù)差異，落實納稅企業(yè)5000多戶，補繳稅款2700多萬元。內(nèi)部協(xié)同：各地區(qū)政府、各層級政府和各部門之間外部協(xié)同：政府與社會之間自上而下、自下而上的互動二.大數(shù)據(jù)的應用領域——政治領域26行為方式——從獨立向協(xié)同27二.大數(shù)據(jù)的應用領域——金融領域華爾街“德溫特資本市場”公司首席執(zhí)行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進而判斷民眾情緒，再以“1”到“50”進行打分。根據(jù)打分結果，霍廷再決定如何處理手中數(shù)以百萬美元計的股票。霍廷的判斷原則很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。這一招收效顯著——當年第一季度，霍廷的公司獲得了7%的收益率。你開心他就買，你焦慮他就拋！27二.大數(shù)據(jù)的應用領域——金融領域華爾街“德溫特資28二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)助力推進高頻金融交易和小額信貸高頻交易：實時性要求高、數(shù)據(jù)規(guī)模大。目前滬深兩市每天4個小時交易時間會產(chǎn)生3億條以上逐筆成交數(shù)據(jù)，通過對歷史和實時數(shù)據(jù)的挖掘創(chuàng)新，以創(chuàng)造和改進數(shù)量化交易模型，并將之應用于基于計算機模型的實時證券交易過程中。小額信貸：阿里巴巴和建行在2007年推出一個專注于小企業(yè)的貸款計劃——e貸通，阿里巴巴利用擁有的用戶信息及交易數(shù)據(jù)，通過大數(shù)據(jù)技術自動判定是否給予企業(yè)貸款；而建行坐擁巨額資金，希望貸款給無信用記錄但發(fā)展勢頭良好的小企業(yè)。到2012年底，阿里在累計服務小微企業(yè)超過20萬家，放貸300多億元，壞賬率僅為0.3%左右，低于商業(yè)銀行水平。28二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)助力推進高頻金融交29二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)協(xié)助金融企業(yè)精準營銷招商銀行通過數(shù)據(jù)分析識別出招行信用卡高價值客戶經(jīng)常出現(xiàn)在星巴克、DQ、麥當勞等場所后，通過“多倍積分累計”“積分店面兌換”等活動吸引優(yōu)質客戶；通過構建客戶流失預警模型，對流失率等級前20%的客戶發(fā)售高收益理財產(chǎn)品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點；通過對客戶交易記錄進行分析，有效識別出潛在的小微企業(yè)客戶，并利用遠程銀行和云轉介平臺實施交叉銷售，取得了良好成效。29二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)協(xié)助金融企業(yè)精準營30二.大數(shù)據(jù)的應用領域——金融領域雖然目前大數(shù)據(jù)的研究與應用在金融業(yè)還處于初級階段，但是價值已經(jīng)顯現(xiàn)出來。未來，大數(shù)據(jù)可能成為最大的金融交易產(chǎn)品。未來金融大數(shù)據(jù)將會如基礎設施一樣，有金融數(shù)據(jù)提供方、金融監(jiān)管者，金融大數(shù)據(jù)的交叉復用等，最終將成為金融業(yè)進行重要活動的基礎設施。30二.大數(shù)據(jù)的應用領域——金融領域雖然目前大數(shù)據(jù)的31315學習成績1入學率2輟學率3識字的準確率5升學率4作業(yè)的正確率6考試時答題的順序11師生互動的時長與頻率回答問題的時長、正確率課堂舉手次數(shù)回答問題的次數(shù)平均每道題花費的時間1278910學校教育中的“大數(shù)據(jù)”二.大數(shù)據(jù)的應用領域——教育領域現(xiàn)在，大數(shù)據(jù)分析已經(jīng)被應用到美國的公共教育中，成為教學改革的重要力量。31315學習成績1入學率2輟學率3識字的準確率5升學率4作32二.大數(shù)據(jù)的應用領域——教育領域美國聯(lián)邦政府教育部2012年參與了一項耗資2億美元的公共教育中的大數(shù)據(jù)計劃，旨在通過運用大數(shù)據(jù)分析來改善教育。聯(lián)邦教育部從財政預算中支出2500萬美元，用于理解學生在個性化層面是怎樣學習的。美國高中生和大學生的糟糕表現(xiàn)——高中生退學率高達30%（平均每26秒就有一個高中生退學），33%的大學生需要重修，46%的大學生無法正常畢業(yè)。大數(shù)據(jù)能否拯救美國的公立教育？比爾·蓋茨曾打賭說，利用數(shù)據(jù)分析的教育大數(shù)據(jù)能夠提高學生的學習成績，拯救美國的公立學校系統(tǒng)。他稱過去十幾年里教育領域的技術發(fā)展陷入了停滯，研發(fā)投入遠遠不夠。蓋茨充滿信心地認為，教育技術未來發(fā)展的關鍵在于數(shù)據(jù)。32二.大數(shù)據(jù)的應用領域——教育領域美國聯(lián)邦33二.大數(shù)據(jù)的應用領域——教育領域通過大數(shù)據(jù)你可以知道：一個學生成績不好是由于他因為周圍環(huán)境而分心了嗎？期末考試不及格是否說明學生未掌握學習內(nèi)容，還是因為他請了很多病假的緣故？在加拿大，教育科技公司“渴望學習”（Desire2Learn）已經(jīng)面向高等教育領域的學生，推出了基于過去的學習成績數(shù)據(jù)預測并改善未來學習成績的大數(shù)據(jù)服務項目。通過監(jiān)控學生閱讀電子化的課程材料、提交電子版的作業(yè)、通過在線與同學交流、完成考試與測驗，就能讓計算程序持續(xù)、系統(tǒng)地分析每個學生的教育數(shù)據(jù)。老師得到的不再是過去那種只展示學生分數(shù)與作業(yè)的結果，而是像閱讀材料的時間長短等這樣更為詳細的重要信息。這樣老師就能及時診斷問題的所在，提出改進的建議，并預測學生的期末考試成績。33二.大數(shù)據(jù)的應用領域——教育領域通過大數(shù)據(jù)你可以知道：34二.大數(shù)據(jù)的應用領域——生活娛樂方面愛在那兒！——《爸爸去哪兒》大數(shù)據(jù)解讀新華社新媒體中心聯(lián)合數(shù)托邦創(chuàng)意分析工作室抓取了新浪微博上提及“爸爸去哪兒”45.5萬條原創(chuàng)微博，并對36.7萬獨立原發(fā)作者用戶（去除疑似水軍賬戶）、1300余萬條用戶微博及近1億的關系進行數(shù)據(jù)分析。結果發(fā)現(xiàn)：《爸爸去哪兒》不僅成為名副其實的“口碑王”，還使娛樂節(jié)目發(fā)生了很多微妙變化。

34二.大數(shù)據(jù)的應用領域——生活娛樂方面愛在那兒！——《爸爸35二.大數(shù)據(jù)的應用領域——生活娛樂方面粉絲性別比例：“爸爸粉”女性占到八成。難道是因為星爸太帥？當然，這與微博中女性用戶占比較高和她們更愛分享轉評的習慣也有關。用戶年齡分布：覆蓋適齡婚育群體，觀眾氣質更顯成熟。不少適齡青年發(fā)微博稱，“看到某某，我也好想結婚，想有個這樣的兒子／女兒。”地區(qū)偏好排行：《爸爸去哪兒》的觀眾明顯向GDP高地聚集。對湘派娛樂節(jié)目免疫力極強的京、滬、蘇、蜀等地罕見上榜?！栋职秩ツ膬骸菲枚惹笆》葜?，有５個GDP十強省份，涵蓋3個直轄市。這是否能說明，一部分“先富起來”的人，對親子關系有更深的焦慮和更多的期待？35二.大數(shù)據(jù)的應用領域——生活娛樂方面粉絲性別比例：“爸爸36二.大數(shù)據(jù)的應用領域——生活娛樂方面贊助商熱度：主冠名贊助商強勢冒出，在幾乎沒有社交媒體營銷配合下，微博熱度強勁增長。英菲尼迪從第三期開始廣告植入，話題增量立竿見影。思念水餃配合“爸爸吃神馬”等互動促銷，參與度有所增加。只是不知，三大贊助商的投入是否與這一結果完全契合？明星關注度：數(shù)據(jù)來自于每期節(jié)目播出后一周內(nèi)5對父子的原發(fā)微博提及量（含昵稱）。張亮父子低調(diào)亮相，關注度逐期上升，成功實現(xiàn)實現(xiàn)“逆襲”。36二.大數(shù)據(jù)的應用領域——生活娛樂方面贊助商熱度：主冠名贊37贊助商潛在贊助商明星同類節(jié)目競爭者節(jié)目組觀眾大數(shù)據(jù)解讀可能的受益者二.大數(shù)據(jù)的應用領域——生活娛樂方面滿足了自己“八卦”的需求。對這個節(jié)目有了深入的了解。從《爸爸去哪兒》的成功中可以學到什么？本次贊助是否成功？成功在哪里？為以后廣告的投放提供了經(jīng)驗。了解了自己及孩子在觀眾心中的“熱度”，為下一步轉型及孩子未來的規(guī)劃提供參考。根據(jù)之前的數(shù)據(jù)分析，大膽推出了低成本同名電影并大獲成功！第二季的拍攝緊鑼密鼓地進行著……為決策提供支持。若自己的目標客戶與該節(jié)目的觀眾一致，可以考慮下一季的贊助。37贊助商潛在贊助商明星同類節(jié)目競爭者節(jié)目組觀眾大數(shù)據(jù)解讀可38二.大數(shù)據(jù)的應用領域——生活娛樂方面

40天，36億人次。這是2014年春運的總時間和總出行人數(shù)。在這場堪稱人類歷史上最大規(guī)模的短期遷徙中，人群從哪兒去了哪兒？哪些線路最熱門？在以往，這些問題可能難以精確回答。但隨著技術進步，通過應用“大數(shù)據(jù)”這一技術利器，人們已經(jīng)接近“在迷宮中感受全局”地看見春運的全景。大數(shù)據(jù)首次播報春運遷徙實況38二.大數(shù)據(jù)的應用領域——生活娛樂方面4039二.大數(shù)據(jù)的應用領域——生活娛樂方面國內(nèi)有2億手機用戶使用百度地圖，用戶每次位置變化，百度都能得到數(shù)據(jù)。把手機網(wǎng)民的定位信息匯總成大數(shù)據(jù)進行分析，就能勾勒出人們的遷徙軌跡。此次百度圖景化地展示春運情況，是基于LBS(基于地理位置的服務)技術的一次創(chuàng)新。它的數(shù)據(jù)每8小時更新一次，囊括了全國鐵路、公路和航空在內(nèi)的線路。

新聞視頻：2014年1月25日，《“據(jù)”說春運》39二.大數(shù)據(jù)的應用領域——生活娛樂方面國內(nèi)40三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)今天，大數(shù)據(jù)似乎成了“靈丹妙藥”，“包治百病”，無所不能。但千萬別把“大數(shù)據(jù)”用做解決世界上所有問題的全能辦法，無論是管理城市到消除貧困，制止恐怖襲擊、疾病流行到拯救地球環(huán)境等，以為有了“大數(shù)據(jù)”，就沒有解決不了的問題，這也是一種誤解。人類的思想、個人的文化和行為模式、不同國家及社會的存在發(fā)展都非常復雜、曲折和獨特，顯然不能全部由計算機來“數(shù)字自己說話”。無論到何時，其實都還是人在思考和“說話”。當你有了錘子，好像什么問題都看上去像釘子！40三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)今天，大數(shù)據(jù)似乎成了“41三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇大數(shù)據(jù)技術促進國家和社會發(fā)展大數(shù)據(jù)藍海成為企業(yè)競爭的新焦點大數(shù)據(jù)時代呼喚創(chuàng)新型人才挑戰(zhàn)大數(shù)據(jù)技術的運用仍有困難大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)41三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇大數(shù)據(jù)技術促進國家和社會發(fā)42三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇——大數(shù)據(jù)技術促進國家和社會發(fā)展大數(shù)據(jù)技術的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務很重，建設下一代信息基礎設施，發(fā)展現(xiàn)代信息技術產(chǎn)業(yè)體系，健全信息安全保障體系，推進信息網(wǎng)絡技術廣泛運用，是實現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對我們深刻領會世情和國情，把握規(guī)律，實現(xiàn)科學發(fā)展，做出科學決策具有重要意義，我們必須重新認識數(shù)據(jù)的重要價值。42三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇——大數(shù)據(jù)技術促進國家和社43三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)大數(shù)據(jù)所能帶來的巨大商業(yè)價值，被認為將引領一場足以與20世紀計算機革命匹敵的巨大變革。大數(shù)據(jù)正在對每個領域都造成影響，包括商業(yè)、經(jīng)濟等領域。大數(shù)據(jù)正在促生新的藍海，催生新的經(jīng)濟增長點，正在成為企業(yè)競爭的新焦點。在今天的大數(shù)據(jù)時代，商業(yè)的生態(tài)環(huán)境在不經(jīng)意間發(fā)生了巨大的變化：網(wǎng)民和消費者的界限正在變得模糊，無處不在的智能終端，隨時在線的網(wǎng)絡傳輸，互動頻繁的社交網(wǎng)絡讓以往只是網(wǎng)頁瀏覽者的網(wǎng)民的面孔從模糊變得清晰，對于企業(yè)來說，他們第一次有機會進行大規(guī)模的精準化的消費者行為研究：作為保持著持續(xù)變革欲望的企業(yè)，主動地擁抱這種變化，從戰(zhàn)略到戰(zhàn)術層而開始自我的蛻變和進化將會讓他們更加適應這個新的時代，大數(shù)據(jù)藍海成為未來競爭的制高點。機遇——大數(shù)據(jù)藍海成為企業(yè)競爭的新焦點43三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)大數(shù)據(jù)所能帶44三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇——大數(shù)據(jù)時代呼喚創(chuàng)新型人才蓋特納咨詢公司預測大數(shù)據(jù)將為全球帶440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數(shù)據(jù)分析人才44萬——49萬，缺口14萬——19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術與應用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。44三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇——大數(shù)據(jù)時代呼喚創(chuàng)新型人45三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)數(shù)據(jù)收集要對來自網(wǎng)絡包括物聯(lián)網(wǎng)和機構信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構的數(shù)據(jù)，還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。數(shù)據(jù)存儲要達到低成本、低能耗、高可靠性目標，要用到冗余配置、分布化和云計算技術，存儲時對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，并加入便于檢索的標簽。數(shù)據(jù)處理大數(shù)據(jù)的復雜性使得難以用傳統(tǒng)的方法描述與度量，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關聯(lián)進行語義分析，從大量動態(tài)及可能模棱兩可的數(shù)據(jù)中綜合信息，并導出可理解的內(nèi)容。結果的可視化呈現(xiàn)

使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結構或類結構的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。挑戰(zhàn)——大數(shù)據(jù)技術的運用仍有困難目前，大數(shù)據(jù)技術的運用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的四個環(huán)節(jié)中。45三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)數(shù)據(jù)收集要對來自網(wǎng)絡包括物大量數(shù)據(jù)的集中存儲增加了其泄露的風險；一些敏感數(shù)據(jù)的所有權和使用權并沒有清晰界定。復雜的數(shù)據(jù)存儲在一起，可能造成企業(yè)安全管理不合規(guī)；安全防護手段更新升級慢，存在漏洞黑客可收集更多有用信息，大數(shù)據(jù)分析讓攻擊更精準；大數(shù)據(jù)為黑客發(fā)起攻擊提供了更多的機會46三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)挑戰(zhàn)——大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)加大隱私泄露風險對現(xiàn)有存儲和安防措施提出挑戰(zhàn)被運用到攻擊手段中大量數(shù)據(jù)的集中存儲增加了其泄露的風險；復雜的數(shù)據(jù)存儲在一起，47三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)“棱鏡門”引爆大數(shù)據(jù)時代爭議斯諾登的爆料引起一片嘩然，根據(jù)他提供的資料，被卷入“棱鏡門”事件的公司包括微軟、雅虎、谷歌、蘋果、Facebook等9大IT業(yè)巨頭。在“棱鏡門”事件開始發(fā)酵之后，這些公司先是趕緊出面否認與美國政府的監(jiān)視項目進行過合作，并相繼發(fā)表聲明，呼吁政府采取更透明態(tài)度，以證明他們的“清白”。事情的起因是美國中情局前職員斯諾登向媒體爆料，過去6年間，美國的情報部門通過一個代號為“棱鏡”的項目，從多家知名互聯(lián)網(wǎng)公司獲取電子郵件、在線聊天內(nèi)容、照片、文檔、視頻等網(wǎng)絡私人數(shù)據(jù)，跟蹤用戶一舉一動。他說，自己只需要坐在辦公桌前，動動指頭，敲敲鍵盤，就能了解很多人的私密信息。47三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)“棱鏡門”引爆大數(shù)據(jù)時代爭議48三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)一方面我們通過對大量用戶數(shù)據(jù)的分析，公司、企業(yè)、政府都可以更好的了解用戶行為、消費習慣的等等，從而可以提供更好的服務。但是另外一方面，這又不可避免的對用戶的隱私構成威脅、挑戰(zhàn)。很多人已經(jīng)意識到，在數(shù)據(jù)的應用方面，相關法律法規(guī)的制定變得越來越重要。作為用戶，需要明確界定自己在數(shù)據(jù)的使用方面具有什么權力和義務；作為企業(yè)和政府，需要逐漸的定位清楚，在多大程度上可以并且用什么樣的方式來使用用戶的數(shù)據(jù)。在現(xiàn)有的互聯(lián)網(wǎng)結構下，我們所有的網(wǎng)絡行為對于服務提供商來說都是透明的。人們既想借助互聯(lián)網(wǎng)平臺與別人交流，又想自己不被窺探，這是完全不可能的。網(wǎng)絡隱私安全將是未來一個巨大的問題。48三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)一方面我們通過49當前,大數(shù)據(jù)的應用只是冰山一角,絕大部分隱藏在表面之下。未來，大數(shù)據(jù)所帶來的精彩值得期待！

49當前,大數(shù)據(jù)的應用只是冰山一角,絕大部分隱藏在表面之下。50ThankYou!50ThankYou!51大數(shù)據(jù)時代1大數(shù)據(jù)時代52大綱

一.認識大數(shù)據(jù)時代

二.大數(shù)據(jù)的應用領域三.大數(shù)據(jù)時代的機遇與挑戰(zhàn)

2大綱一.認識大數(shù)據(jù)時代二.大數(shù)據(jù)的應用領域三.53一.認識大數(shù)據(jù)時代7：00，你被手機鬧鐘叫醒。昨晚你帶著一款小型可穿戴設備睡覺的。這個設備連接著你手機里的一款大數(shù)據(jù)的APP，你打開它就可以看到你昨晚睡覺時翻身次數(shù)、心跳和血壓狀況。根據(jù)測量結果，它建議你今天出門之前多喝點橙汁類的飲品來補充維生素。9：00，今天你要帶朋友到鄭州的二七步行街逛逛，你打開某互聯(lián)網(wǎng)公司的大數(shù)據(jù)產(chǎn)品“XX預測”，看看步行街今天預計會有多少人，再看看鄭州今天的交通預測?！癤X預測”根據(jù)以往用戶定位請求信息建議你乘地鐵前往步行街。假如給你一天大數(shù)據(jù)的生活12：00，逛了一圈，你和朋友都累了，想找個地方吃飯。你打開大數(shù)據(jù)軟件，尋找附近的餐館。通過該軟件，你可以提前看到餐館的視頻環(huán)境，看看是否人多。大數(shù)據(jù)還可以把你臉的部分打成馬賽克，你不用擔心個人信息泄露。2XXX年的一個周末3一.認識大數(shù)據(jù)時代7：00，你被手機鬧鐘叫醒。昨晚你帶著一54一.認識大數(shù)據(jù)時代14:00,吃過午飯，你想去附近的公園玩玩，但你不知道應該去紫荊山公園還是去人民公園。你又打開“XX預測”，希望它幫你分析一下，哪個公園相對不太擁擠。根據(jù)結果，你去了紫荊山公園。16：00，你正在公園里休息，收到了催繳電話費的短信。你很好奇自己過去三年每個月的消費記錄。但過去運營商只能讓你查到六個月以內(nèi)的消費信息。因為中國移動至少有5億用戶，每天至少能產(chǎn)生10次計費記錄。每天50億的計費記錄，一年下來就是1800億條記錄。這是一個大數(shù)據(jù)的存儲和歸納技術難題。但在大數(shù)據(jù)時代，過去幾年的電話通訊信息都可以查到了。22：00，晚上睡覺的時候，你家的孩子哭鬧起來。你把孩子的哭聲錄入一個大數(shù)據(jù)軟件中。軟件能告訴你孩子為什么哭。是餓了，還是哪里不舒服，還是說只是想撒撒嬌……18：00，你回到了家，你的可穿戴設備告訴你，今天你在室內(nèi)和室外的時間分別都是多少，你一天內(nèi)吸入了多少霧霾。4一.認識大數(shù)據(jù)時代14:00,吃過午飯，你想去附近的公園玩55一.認識大數(shù)據(jù)時代最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫。麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！贝髷?shù)據(jù)時代的生活令人神往，你對客觀世界的認識更進了一步，所做的決策也不再僅僅依賴主觀判斷。甚至于你的一個習慣動作、你的一次消費行為、你的一份就診記錄，都正在被巨大的數(shù)字網(wǎng)絡串聯(lián)起來。移動互聯(lián)網(wǎng)風潮洶涌。大數(shù)據(jù)正悄悄包圍著我們。甚至連世界經(jīng)濟格局也在醞釀著巨大變革！5一.認識大數(shù)據(jù)時代最早提出“大數(shù)據(jù)”時代到來的是全56一.認識大數(shù)據(jù)時代《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟及其他領域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。亞馬遜前任首席科學家AndreasWeigend說：“數(shù)據(jù)是新的石油?！惫鸫髮W社會學教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?一.認識大數(shù)據(jù)時代《紐約時報》2012年2月的一篇57一.認識大數(shù)據(jù)時代2012年3月份美國奧巴馬政府發(fā)布了“大數(shù)據(jù)研究和發(fā)展倡議”，投資2億以上美元，正式啟動“大數(shù)據(jù)發(fā)展計劃”。計劃在科學研究、環(huán)境、生物醫(yī)學等領域利用大數(shù)據(jù)技術進行突破。奧巴馬政府的這一計劃被視為美國政府繼信息高速公路(InformationHighway)計劃之后在信息科學領域的又一重大舉措。2012年5月，聯(lián)合國發(fā)表名為《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機遇》的政務白皮書中，指出大數(shù)據(jù)對于聯(lián)合國和各國政府來說是一個歷史性的機遇，還探討了如何利用包括社交網(wǎng)絡在內(nèi)大數(shù)據(jù)資源造福人類。聯(lián)合國的大數(shù)據(jù)白皮書還建議聯(lián)合國成員國建設“脈搏實驗室”“PulseLabs”網(wǎng)絡開發(fā)大數(shù)據(jù)的潛在價值7一.認識大數(shù)據(jù)時代2012年3月份美國奧巴馬政府發(fā)一.認識大數(shù)據(jù)時代58隨著一系列標志性事件的發(fā)生和建立，人們越發(fā)感覺到大數(shù)據(jù)時代的力量。因此2013年被許多國外媒體和專家稱為“大數(shù)據(jù)元年”。當今“大社會”，三分技術，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。一.認識大數(shù)據(jù)時代8隨著一系列標志性事件的發(fā)一.認識大數(shù)據(jù)時代59拒絕大數(shù)據(jù)時代，可能會失去生命！《大數(shù)據(jù)時代：生活、工作與思維的大變革》一書的作者維克托·邁爾·舍恩伯格，如是說，“如果你是一個個人，如果你拒絕的話，可能會失去生命，如果是一個國家的話，拒絕大數(shù)據(jù)時代的話，可能失去這個國家的未來，失去一代人的未來?！?/p>

這一句話恐怕不能算作聳人聽聞，因為每當人們站在現(xiàn)在這個節(jié)點的時候，總會去眺望未來，但是未來往往在你不經(jīng)意當中已經(jīng)悄悄地來到你的身邊。一.認識大數(shù)據(jù)時代9拒絕大數(shù)據(jù)時代，可能會失去生命！60一.認識大數(shù)據(jù)時代硬件成本的降低網(wǎng)絡帶寬的提升云計算的興起網(wǎng)絡技術的發(fā)展智能終端的普及電子商務、社交網(wǎng)絡、電子地圖等的全面應用物聯(lián)網(wǎng)大數(shù)據(jù)時代到來的必然性：10一.認識大數(shù)據(jù)時代硬件成本的降低大數(shù)據(jù)時代到來的必然性61一.認識大數(shù)據(jù)時代什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價值的信息而受到重視。《華爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)、無線網(wǎng)絡革命稱為引領未來繁榮發(fā)展的重大技術變革。目前對大數(shù)據(jù)尚未有一個公認的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。11一.認識大數(shù)據(jù)時代什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)62一.認識大數(shù)據(jù)時代維基百科給出的定義：大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集?！?V”定義規(guī)模性（Volume）多樣性（Variety）高速性（Velocity）“4V”定義價值性（Value）真實性（Veracity）（IDC）（IBM）12一.認識大數(shù)據(jù)時代維基百科給出的定義：“3V”定義規(guī)模性63一.認識大數(shù)據(jù)時代全球流量累計達到1EB（即10億GB）的時間一年（2001）一個月（2004）一周（2007）一天（2013）一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤全球網(wǎng)民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大數(shù)據(jù)有多“大”？13一.認識大數(shù)據(jù)時代全球流量累計達到1EB（即10億GB）64一.認識大數(shù)據(jù)時代我國網(wǎng)民數(shù)量居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站單日數(shù)據(jù)產(chǎn)生量超過5萬GB存儲量4000萬GB百度公司目前數(shù)據(jù)總量10億GB存儲網(wǎng)頁1萬億頁每天大約要處理60億次搜索請求一個8Mbps的攝像頭一小時能產(chǎn)生3.6GB的數(shù)據(jù)一個城市每月產(chǎn)生的數(shù)據(jù)達上千萬GB醫(yī)院一個病人的CT影像數(shù)據(jù)量達幾十GB全國每年需保存的數(shù)據(jù)達上百億GB14一.認識大數(shù)據(jù)時代我國網(wǎng)民數(shù)量居世界之首，每天產(chǎn)生的數(shù)據(jù)65一.認識大數(shù)據(jù)時代從數(shù)據(jù)庫(database，DB)到大數(shù)據(jù)(bigdata，BD)“池塘捕魚”VS“大海捕魚”

“魚”是待處理的數(shù)據(jù)數(shù)據(jù)規(guī)模?。ㄒ訫B為處理單位）大（以GB、TB、PB為處理單位）數(shù)據(jù)類型單一（結構化為主）繁多（結構化、半結構化、非結構化）模式和數(shù)據(jù)的關系先有模式后有數(shù)據(jù)(先有池塘后有魚)先有數(shù)據(jù)后有模式模式隨數(shù)據(jù)增多不斷演變處理對象數(shù)據(jù)（池塘中的魚）(“魚”，通過某些“魚”判斷其他種類的“魚”是否存在)處理工具OnesizefitsallNosizefitsall15一.認識大數(shù)據(jù)時代從數(shù)據(jù)庫(database，DB)到大66大數(shù)據(jù)就如同蜜蜂，其主要價值是傳播花粉，自己生產(chǎn)的蜂蜜價值并不大。2013年世界范圍內(nèi)狹義的大數(shù)據(jù)產(chǎn)業(yè)產(chǎn)值只有186億美元，但廣義的大數(shù)據(jù)應用幾乎覆蓋所有產(chǎn)業(yè)。據(jù)麥肯錫公司預測，開放數(shù)據(jù)僅在教育、保健等7個行業(yè)便可釋放3.2萬億～5.4萬億美元的經(jīng)濟價值。二.大數(shù)據(jù)的應用領域16大數(shù)據(jù)就如同蜜蜂，其主要價值是傳播花粉，自己生產(chǎn)67二.大數(shù)據(jù)的應用領域天文學生物醫(yī)學電子政務氣候學企業(yè)管理教育學金融學市場營銷公共服務商業(yè)智能傳媒業(yè)生活娛樂天文學生物醫(yī)學電子政務氣候學企業(yè)管理教育學金融學市場營銷公共服務商業(yè)智能傳媒業(yè)生活娛樂總統(tǒng)選舉總統(tǒng)選舉情報學情報學圖書館學圖書館學17二.大數(shù)據(jù)的應用領域天文學生物醫(yī)學電子政務氣候學企業(yè)管理二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的數(shù)據(jù)團隊對數(shù)以千萬計的選民郵件進行了大數(shù)據(jù)挖掘，精確預測出了更可能擁護奧巴馬的選民類型，并進行了有針對性的宣傳，從而幫助奧巴馬成為了美國歷史上唯一一位在競選經(jīng)費處于劣勢下實現(xiàn)連任的總統(tǒng)。不要總喊“狼來了”，“狼”已經(jīng)來了！大數(shù)據(jù)幫助奧巴馬成功實現(xiàn)連任二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的數(shù)據(jù)二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的例子告訴我們，只要數(shù)據(jù)量夠大，夠及時，挖掘夠深刻，我們完全可以洞悉每個選民的投票幾率。迅速普及的互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)，悄然為記錄人的行為數(shù)據(jù)提供了最為便利、持久的載體。最重要的是，在這些強大的數(shù)據(jù)收集終端面前，人們沒有掩飾的意圖，從而創(chuàng)造著過去無法收集與分析的海量數(shù)據(jù)，這讓所有社會科學領域能夠從宏觀群體走向微觀個體，讓跟蹤每一個人的數(shù)據(jù)成為了可能，從而讓研究人性成為了可能。二.大數(shù)據(jù)的應用領域——政治領域奧巴馬的例子70二.大數(shù)據(jù)的應用領域——政治領域大數(shù)據(jù)的發(fā)展，將極大地改變政府的管理模式，有利于節(jié)約政府投資、加強市場監(jiān)管能力、提高政府決策能力、提升公共服務能力，實現(xiàn)區(qū)域化管理。重“一站式”服務輕“激勵型”服務我國電子政務的發(fā)展現(xiàn)狀:重性質性政務信息輕量化性政務數(shù)據(jù)政府門戶網(wǎng)站信息以文本、圖片、視頻等非結構化信息為主，但沒有關于財政稅收、醫(yī)療保險等可量化分析的結構化數(shù)據(jù)?！耙徽臼健狈瞻ㄉ暾?、辦證、審批等，忽略了開放原生態(tài)數(shù)據(jù)激發(fā)社會主體的創(chuàng)造性、主動性。大數(shù)據(jù)在我國電子政務領域的應用20二.大數(shù)據(jù)的應用領域——政治領域大數(shù)據(jù)的71二.大數(shù)據(jù)的應用領域——政治領域從反映政府網(wǎng)站頁面吸引力的跳出率指標來看，政府網(wǎng)站用戶的總體跳出率為63.33%，即有2/3左右的用戶來到政府網(wǎng)站之后僅訪問一個頁面就離開了。說明當今以性質性為主的政府信息黏度不夠，并不能滿足社會需求，量化性政務數(shù)據(jù)才是社會真正急需的。頭疼，找不到我想要的數(shù)據(jù)?。?1二.大數(shù)據(jù)的應用領域——政治領域從反映政府網(wǎng)站頁72二.大數(shù)據(jù)的應用領域——政治領域目前，我國有60多個城市，將構建“智慧城市”的目標列入“十二五規(guī)劃”中。智慧城市即利用大數(shù)據(jù)的整合和分析來治理社會。2013年兩會期間，有代表提議將發(fā)展大數(shù)據(jù)上升為國家戰(zhàn)略。大數(shù)據(jù)背景下，我國電子政務創(chuàng)新模式的轉變：關注焦點——從信息向數(shù)據(jù)轉變1增值基礎——從公開向發(fā)布、開放轉變2行為方式——從獨立向協(xié)同轉變322二.大數(shù)據(jù)的應用領域——政治領域目前，我國有6073二.大數(shù)據(jù)的應用領域——政治領域數(shù)據(jù)是生成信息和知識的原生素材如將我國城鎮(zhèn)居民醫(yī)療數(shù)據(jù)與保險數(shù)據(jù)對比分析可以優(yōu)化保險企業(yè)報銷比例，發(fā)現(xiàn)虛假報銷行為；與制藥廠數(shù)據(jù)比對分析可以調(diào)節(jié)藥品的生產(chǎn)量與銷售渠道。但醫(yī)療政策信息并不能發(fā)揮這樣的作用。數(shù)據(jù)是輿情監(jiān)督的有利依據(jù)2008年，政府公布4萬億元的經(jīng)濟刺激計劃，但社會對資金的具體去向及其準確數(shù)額卻無從得知；汶川地震災后重建近2億資金的用途也因沒有準確的數(shù)據(jù)公開而被暗箱操作，違規(guī)使用……當今電子政務中，信息公開實質是性質性信息的公開，而數(shù)據(jù)才是輿情監(jiān)督的真正證據(jù)。關注焦點——從信息向數(shù)據(jù)轉變23二.大數(shù)據(jù)的應用領域——政治領域數(shù)據(jù)是生成信息和知識的原74二.大數(shù)據(jù)的應用領域——政治領域從信息向數(shù)據(jù)的轉變是政府從后臺走向陽光的轉變。24二.大數(shù)據(jù)的應用領域——政治領域從信息向數(shù)據(jù)的轉變是政府75二.大數(shù)據(jù)的應用領域——政治領域增值基礎——從公開向發(fā)布、開放轉變大數(shù)據(jù)時代，數(shù)據(jù)增值的關鍵在于數(shù)據(jù)的整合與分析，整合的前提就是數(shù)據(jù)的開放。數(shù)據(jù)公開是意識上的、被動的；數(shù)據(jù)發(fā)布是行動上的、主動的。數(shù)據(jù)公開、發(fā)布是一條一條的；數(shù)據(jù)開放是一片一片的。政府態(tài)度從被動轉為主動；數(shù)據(jù)從點對點轉為面對面。25二.大數(shù)據(jù)的應用領域——政治領域增值基礎——從公開向發(fā)布二.大數(shù)據(jù)的應用領域——政治領域76行為方式——從獨立向協(xié)同轉變?nèi)鐫想娮诱諗?shù)據(jù)交換平臺實現(xiàn)了工商、國稅、質檢、公安、社保等20多個部門涉稅數(shù)據(jù)的共享，國稅局與地稅局通過數(shù)據(jù)比對，發(fā)現(xiàn)了25000條數(shù)據(jù)差異，落實納稅企業(yè)5000多戶，補繳稅款2700多萬元。內(nèi)部協(xié)同：各地區(qū)政府、各層級政府和各部門之間外部協(xié)同：政府與社會之間自上而下、自下而上的互動二.大數(shù)據(jù)的應用領域——政治領域26行為方式——從獨立向協(xié)同77二.大數(shù)據(jù)的應用領域——金融領域華爾街“德溫特資本市場”公司首席執(zhí)行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進而判斷民眾情緒，再以“1”到“50”進行打分。根據(jù)打分結果，霍廷再決定如何處理手中數(shù)以百萬美元計的股票。霍廷的判斷原則很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。這一招收效顯著——當年第一季度，霍廷的公司獲得了7%的收益率。你開心他就買，你焦慮他就拋！27二.大數(shù)據(jù)的應用領域——金融領域華爾街“德溫特資78二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)助力推進高頻金融交易和小額信貸高頻交易：實時性要求高、數(shù)據(jù)規(guī)模大。目前滬深兩市每天4個小時交易時間會產(chǎn)生3億條以上逐筆成交數(shù)據(jù)，通過對歷史和實時數(shù)據(jù)的挖掘創(chuàng)新，以創(chuàng)造和改進數(shù)量化交易模型，并將之應用于基于計算機模型的實時證券交易過程中。小額信貸：阿里巴巴和建行在2007年推出一個專注于小企業(yè)的貸款計劃——e貸通，阿里巴巴利用擁有的用戶信息及交易數(shù)據(jù)，通過大數(shù)據(jù)技術自動判定是否給予企業(yè)貸款；而建行坐擁巨額資金，希望貸款給無信用記錄但發(fā)展勢頭良好的小企業(yè)。到2012年底，阿里在累計服務小微企業(yè)超過20萬家，放貸300多億元，壞賬率僅為0.3%左右，低于商業(yè)銀行水平。28二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)助力推進高頻金融交79二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)協(xié)助金融企業(yè)精準營銷招商銀行通過數(shù)據(jù)分析識別出招行信用卡高價值客戶經(jīng)常出現(xiàn)在星巴克、DQ、麥當勞等場所后，通過“多倍積分累計”“積分店面兌換”等活動吸引優(yōu)質客戶；通過構建客戶流失預警模型，對流失率等級前20%的客戶發(fā)售高收益理財產(chǎn)品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個和7個百分點；通過對客戶交易記錄進行分析，有效識別出潛在的小微企業(yè)客戶，并利用遠程銀行和云轉介平臺實施交叉銷售，取得了良好成效。29二.大數(shù)據(jù)的應用領域——金融領域大數(shù)據(jù)協(xié)助金融企業(yè)精準營80二.大數(shù)據(jù)的應用領域——金融領域雖然目前大數(shù)據(jù)的研究與應用在金融業(yè)還處于初級階段，但是價值已經(jīng)顯現(xiàn)出來。未來，大數(shù)據(jù)可能成為最大的金融交易產(chǎn)品。未來金融大數(shù)據(jù)將會如基礎設施一樣，有金融數(shù)據(jù)提供方、金融監(jiān)管者，金融大數(shù)據(jù)的交叉復用等，最終將成為金融業(yè)進行重要活動的基礎設施。30二.大數(shù)據(jù)的應用領域——金融領域雖然目前大數(shù)據(jù)的81815學習成績1入學率2輟學率3識字的準確率5升學率4作業(yè)的正確率6考試時答題的順序11師生互動的時長與頻率回答問題的時長、正確率課堂舉手次數(shù)回答問題的次數(shù)平均每道題花費的時間1278910學校教育中的“大數(shù)據(jù)”二.大數(shù)據(jù)的應用領域——教育領域現(xiàn)在，大數(shù)據(jù)分析已經(jīng)被應用到美國的公共教育中，成為教學改革的重要力量。31315學習成績1入學率2輟學率3識字的準確率5升學率4作82二.大數(shù)據(jù)的應用領域——教育領域美國聯(lián)邦政府教育部2012年參與了一項耗資2億美元的公共教育中的大數(shù)據(jù)計劃，旨在通過運用大數(shù)據(jù)分析來改善教育。聯(lián)邦教育部從財政預算中支出2500萬美元，用于理解學生在個性化層面是怎樣學習的。美國高中生和大學生的糟糕表現(xiàn)——高中生退學率高達30%（平均每26秒就有一個高中生退學），33%的大學生需要重修，46%的大學生無法正常畢業(yè)。大數(shù)據(jù)能否拯救美國的公立教育？比爾·蓋茨曾打賭說，利用數(shù)據(jù)分析的教育大數(shù)據(jù)能夠提高學生的學習成績，拯救美國的公立學校系統(tǒng)。他稱過去十幾年里教育領域的技術發(fā)展陷入了停滯，研發(fā)投入遠遠不夠。蓋茨充滿信心地認為，教育技術未來發(fā)展的關鍵在于數(shù)據(jù)。32二.大數(shù)據(jù)的應用領域——教育領域美國聯(lián)邦83二.大數(shù)據(jù)的應用領域——教育領域通過大數(shù)據(jù)你可以知道：一個學生成績不好是由于他因為周圍環(huán)境而分心了嗎？期末考試不及格是否說明學生未掌握學習內(nèi)容，還是因為他請了很多病假的緣故？在加拿大，教育科技公司“渴望學習”（Desire2Learn）已經(jīng)面向高等教育領域的學生，推出了基于過去的學習成績數(shù)據(jù)預測并改善未來學習成績的大數(shù)據(jù)服務項目。通過監(jiān)控學生閱讀電子化的課程材料、提交電子版的作業(yè)、通過在線與同學交流、完成考試與測驗，就能讓計算程序持續(xù)、系統(tǒng)地分析每個學生的教育數(shù)據(jù)。老師得到的不再是過去那種只展示學生分數(shù)與作業(yè)的結果，而是像閱讀材料的時間長短等這樣更為詳細的重要信息。這樣老師就能及時診斷問題的所在，提出改進的建議，并預測學生的期末考試成績。33二.大數(shù)據(jù)的應用領域——教育領域通過大數(shù)據(jù)你可以知道：84二.大數(shù)據(jù)的應用領域——生活娛樂方面愛在那兒！——《爸爸去哪兒》大數(shù)據(jù)解讀新華社新媒體中心聯(lián)合數(shù)托邦創(chuàng)意分析工作室抓取了新浪微博上提及“爸爸去哪兒”45.5萬條原創(chuàng)微博，并對36.7萬獨立原發(fā)作者用戶（去除疑似水軍賬戶）、1300余萬條用戶微博及近1億的關系進行數(shù)據(jù)分析。結果發(fā)現(xiàn)：《爸爸去哪兒》不僅成為名副其實的“口碑王”，還使娛樂節(jié)目發(fā)生了很多微妙變化。

34二.大數(shù)據(jù)的應用領域——生活娛樂方面愛在那兒！——《爸爸85二.大數(shù)據(jù)的應用領域——生活娛樂方面粉絲性別比例：“爸爸粉”女性占到八成。難道是因為星爸太帥？當然，這與微博中女性用戶占比較高和她們更愛分享轉評的習慣也有關。用戶年齡分布：覆蓋適齡婚育群體，觀眾氣質更顯成熟。不少適齡青年發(fā)微博稱，“看到某某，我也好想結婚，想有個這樣的兒子／女兒?！钡貐^(qū)偏好排行：《爸爸去哪兒》的觀眾明顯向GDP高地聚集。對湘派娛樂節(jié)目免疫力極強的京、滬、蘇、蜀等地罕見上榜?！栋职秩ツ膬骸菲枚惹笆》葜?，有５個GDP十強省份，涵蓋3個直轄市。這是否能說明，一部分“先富起來”的人，對親子關系有更深的焦慮和更多的期待？35二.大數(shù)據(jù)的應用領域——生活娛樂方面粉絲性別比例：“爸爸86二.大數(shù)據(jù)的應用領域——生活娛樂方面贊助商熱度：主冠名贊助商強勢冒出，在幾乎沒有社交媒體營銷配合下，微博熱度強勁增長。英菲尼迪從第三期開始廣告植入，話題增量立竿見影。思念水餃配合“爸爸吃神馬”等互動促銷，參與度有所增加。只是不知，三大贊助商的投入是否與這一結果完全契合？明星關注度：數(shù)據(jù)來自于每期節(jié)目播出后一周內(nèi)5對父子的原發(fā)微博提及量（含昵稱）。張亮父子低調(diào)亮相，關注度逐期上升，成功實現(xiàn)實現(xiàn)“逆襲”。36二.大數(shù)據(jù)的應用領域——生活娛樂方面贊助商熱度：主冠名贊87贊助商潛在贊助商明星同類節(jié)目競爭者節(jié)目組觀眾大數(shù)據(jù)解讀可能的受益者二.大數(shù)據(jù)的應用領域——生活娛樂方面滿足了自己“八卦”的需求。對這個節(jié)目有了深入的了解。從《爸爸去哪兒》的成功中可以學到什么？本次贊助是否成功？成功在哪里？為以后廣告的投放提供了經(jīng)驗。了解了自己及孩子在觀眾心中的“熱度”，為下一步轉型及孩子未來的規(guī)劃提供參考。根據(jù)之前的數(shù)據(jù)分析，大膽推出了低成本同名電影并大獲成功！第二季的拍攝緊鑼密鼓地進行著……為決策提供支持。若自己的目標客戶與該節(jié)目的觀眾一致，可以考慮下一季的贊助。37贊助商潛在贊助商明星同類節(jié)目競爭者節(jié)目組觀眾大數(shù)據(jù)解讀可88二.大數(shù)據(jù)的應用領域——生活娛樂方面

40天，36億人次。這是2014年春運的總時間和總出行人數(shù)。在這場堪稱人類歷史上最大規(guī)模的短期遷徙中，人群從哪兒去了哪兒？哪些線路最熱門？在以往，這些問題可能難以精確回答。但隨著技術進步，通過應用“大數(shù)據(jù)”這一技術利器，人們已經(jīng)接近“在迷宮中感受全局”地看見春運的全景。大數(shù)據(jù)首次播報春運遷徙實況38二.大數(shù)據(jù)的應用領域——生活娛樂方面4089二.大數(shù)據(jù)的應用領域——生活娛樂方面國內(nèi)有2億手機用戶使用百度地圖，用戶每次位置變化，百度都能得到數(shù)據(jù)。把手機網(wǎng)民的定位信息匯總成大數(shù)據(jù)進行分析，就能勾勒出人們的遷徙軌跡。此次百度圖景化地展示春運情況，是基于LBS(基于地理位置的服務)技術的一次創(chuàng)新。它的數(shù)據(jù)每8小時更新一次，囊括了全國鐵路、公路和航空在內(nèi)的線路。

新聞視頻：2014年1月25日，《“據(jù)”說春運》39二.大數(shù)據(jù)的應用領域——生活娛樂方面國內(nèi)90三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)今天，大數(shù)據(jù)似乎成了“靈丹妙藥”，“包治百病”，無所不能。但千萬別把“大數(shù)據(jù)”用做解決世界上所有問題的全能辦法，無論是管理城市到消除貧困，制止恐怖襲擊、疾病流行到拯救地球環(huán)境等，以為有了“大數(shù)據(jù)”，就沒有解決不了的問題，這也是一種誤解。人類的思想、個人的文化和行為模式、不同國家及社會的存在發(fā)展都非常復雜、曲折和獨特，顯然不能全部由計算機來“數(shù)字自己說話”。無論到何時，其實都還是人在思考和“說話”。當你有了錘子，好像什么問題都看上去像釘子！40三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)今天，大數(shù)據(jù)似乎成了“91三.大數(shù)據(jù)時代的機遇和挑戰(zhàn)機遇大數(shù)據(jù)技術促進國家和社會發(fā)展大數(shù)據(jù)藍海成為企業(yè)競爭的新焦點大數(shù)據(jù)時代呼喚創(chuàng)新型人才挑戰(zhàn)