大數(shù)據(jù)培訓(xùn)課件

大數(shù)據(jù)培訓(xùn)課件第一頁(yè)，共51頁(yè)。大數(shù)據(jù)時(shí)代主講：明星2第二頁(yè)，共51頁(yè)。大綱

一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代

二.大數(shù)據(jù)的應(yīng)用領(lǐng)域三.大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)

3第三頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代7：00，你被手機(jī)鬧鐘叫醒。昨晚你帶著一款小型可穿戴設(shè)備睡覺的。這個(gè)設(shè)備連接著你手機(jī)里的一款大數(shù)據(jù)的APP，你打開它就可以看到你昨晚睡覺時(shí)翻身次數(shù)、心跳和血壓狀況。根據(jù)測(cè)量結(jié)果，它建議你今天出門之前多喝點(diǎn)橙汁類的飲品來補(bǔ)充維生素。9：00，今天你要帶朋友到鄭州的二七步行街逛逛，你打開某互聯(lián)網(wǎng)公司的大數(shù)據(jù)產(chǎn)品“XX預(yù)測(cè)”，看看步行街今天預(yù)計(jì)會(huì)有多少人，再看看鄭州今天的交通預(yù)測(cè)?！癤X預(yù)測(cè)”根據(jù)以往用戶定位請(qǐng)求信息建議你乘地鐵前往步行街。假如給你一天大數(shù)據(jù)的生活12：00，逛了一圈，你和朋友都累了，想找個(gè)地方吃飯。你打開大數(shù)據(jù)軟件，尋找附近的餐館。通過該軟件，你可以提前看到餐館的視頻環(huán)境，看看是否人多。大數(shù)據(jù)還可以把你臉的部分打成馬賽克，你不用擔(dān)心個(gè)人信息泄露。2XXX年的一個(gè)周末4第四頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代14:00,吃過午飯，你想去附近的公園玩玩，但你不知道應(yīng)該去紫荊山公園還是去人民公園。你又打開“XX預(yù)測(cè)”，希望它幫你分析一下，哪個(gè)公園相對(duì)不太擁擠。根據(jù)結(jié)果，你去了紫荊山公園。16：00，你正在公園里休息，收到了催繳電話費(fèi)的短信。你很好奇自己過去三年每個(gè)月的消費(fèi)記錄。但過去運(yùn)營(yíng)商只能讓你查到六個(gè)月以內(nèi)的消費(fèi)信息。因?yàn)橹袊?guó)移動(dòng)至少有5億用戶，每天至少能產(chǎn)生10次計(jì)費(fèi)記錄。每天50億的計(jì)費(fèi)記錄，一年下來就是1800億條記錄。這是一個(gè)大數(shù)據(jù)的存儲(chǔ)和歸納技術(shù)難題。但在大數(shù)據(jù)時(shí)代，過去幾年的電話通訊信息都可以查到了。22：00，晚上睡覺的時(shí)候，你家的孩子哭鬧起來。你把孩子的哭聲錄入一個(gè)大數(shù)據(jù)軟件中。軟件能告訴你孩子為什么哭。是餓了，還是哪里不舒服，還是說只是想撒撒嬌……18：00，你回到了家，你的可穿戴設(shè)備告訴你，今天你在室內(nèi)和室外的時(shí)間分別都是多少，你一天內(nèi)吸入了多少霧霾。5第五頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代最早提出“大數(shù)據(jù)”時(shí)代到來的是全球知名咨詢公司麥肯錫。麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來?！贝髷?shù)據(jù)時(shí)代的生活令人神往，你對(duì)客觀世界的認(rèn)識(shí)更進(jìn)了一步，所做的決策也不再僅僅依賴主觀判斷。甚至于你的一個(gè)習(xí)慣動(dòng)作、你的一次消費(fèi)行為、你的一份就診記錄，都正在被巨大的數(shù)字網(wǎng)絡(luò)串聯(lián)起來。移動(dòng)互聯(lián)網(wǎng)風(fēng)潮洶涌。大數(shù)據(jù)正悄悄包圍著我們。甚至連世界經(jīng)濟(jì)格局也在醞釀著巨大變革！6第六頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代《紐約時(shí)報(bào)》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。亞馬遜前任首席科學(xué)家AndreasWeigend說：“數(shù)據(jù)是新的石油?！惫鸫髮W(xué)社會(huì)學(xué)教授加里·金說：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程?！?第七頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代2012年3月份美國(guó)奧巴馬政府發(fā)布了“大數(shù)據(jù)研究和發(fā)展倡議”，投資2億以上美元，正式啟動(dòng)“大數(shù)據(jù)發(fā)展計(jì)劃”。計(jì)劃在科學(xué)研究、環(huán)境、生物醫(yī)學(xué)等領(lǐng)域利用大數(shù)據(jù)技術(shù)進(jìn)行突破。奧巴馬政府的這一計(jì)劃被視為美國(guó)政府繼信息高速公路(InformationHighway)計(jì)劃之后在信息科學(xué)領(lǐng)域的又一重大舉措。2012年5月，聯(lián)合國(guó)發(fā)表名為《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》的政務(wù)白皮書中，指出大數(shù)據(jù)對(duì)于聯(lián)合國(guó)和各國(guó)政府來說是一個(gè)歷史性的機(jī)遇，還探討了如何利用包括社交網(wǎng)絡(luò)在內(nèi)大數(shù)據(jù)資源造福人類。聯(lián)合國(guó)的大數(shù)據(jù)白皮書還建議聯(lián)合國(guó)成員國(guó)建設(shè)“脈搏實(shí)驗(yàn)室”“PulseLabs”網(wǎng)絡(luò)開發(fā)大數(shù)據(jù)的潛在價(jià)值8第八頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代隨著一系列標(biāo)志性事件的發(fā)生和建立，人們?cè)桨l(fā)感覺到大數(shù)據(jù)時(shí)代的力量。因此2013年被許多國(guó)外媒體和專家稱為“大數(shù)據(jù)元年”。當(dāng)今“大社會(huì)”，三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。9第九頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代10拒絕大數(shù)據(jù)時(shí)代，可能會(huì)失去生命！《大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革》一書的作者維克托·邁爾·舍恩伯格，如是說，“如果你是一個(gè)個(gè)人，如果你拒絕的話，可能會(huì)失去生命，如果是一個(gè)國(guó)家的話，拒絕大數(shù)據(jù)時(shí)代的話，可能失去這個(gè)國(guó)家的未來，失去一代人的未來?！?/p>

這一句話恐怕不能算作聳人聽聞，因?yàn)槊慨?dāng)人們站在現(xiàn)在這個(gè)節(jié)點(diǎn)的時(shí)候，總會(huì)去眺望未來，但是未來往往在你不經(jīng)意當(dāng)中已經(jīng)悄悄地來到你的身邊。第十頁(yè)，共51頁(yè)。11一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代到來的必然性：第十一頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代什么是“大數(shù)據(jù)”？大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價(jià)值的信息而受到重視。《華爾街日?qǐng)?bào)》將大數(shù)據(jù)時(shí)代、智能化生產(chǎn)、無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮發(fā)展的重大技術(shù)變革。目前對(duì)大數(shù)據(jù)尚未有一個(gè)公認(rèn)的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。12第十二頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代維基百科給出的定義：大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時(shí)間超過可容忍時(shí)間的數(shù)據(jù)集?！?V”定義規(guī)模性（Volume）多樣性（Variety）高速性（Velocity）“4V”定義價(jià)值性（Value）真實(shí)性（Veracity）（IDC）（IBM）13第十三頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代全球流量累計(jì)達(dá)到1EB（即10億GB）的時(shí)間一年（2001）一個(gè)月（2004）一周（2007）一天（2013）一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤全球網(wǎng)民平均每月使用流量：1M（1998）10M（2000）100M（2003）1G（2008）10G（2014）大數(shù)據(jù)有多“大”？14第十四頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代我國(guó)網(wǎng)民數(shù)量居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站單日數(shù)據(jù)產(chǎn)生量超過5萬GB存儲(chǔ)量4000萬GB百度公司目前數(shù)據(jù)總量10億GB存儲(chǔ)網(wǎng)頁(yè)1萬億頁(yè)每天大約要處理60億次搜索請(qǐng)求一個(gè)8Mbps的攝像頭一小時(shí)能產(chǎn)生3.6GB的數(shù)據(jù)一個(gè)城市每月產(chǎn)生的數(shù)據(jù)達(dá)上千萬GB醫(yī)院一個(gè)病人的CT影像數(shù)據(jù)量達(dá)幾十GB全國(guó)每年需保存的數(shù)據(jù)達(dá)上百億GB15第十五頁(yè)，共51頁(yè)。一.認(rèn)識(shí)大數(shù)據(jù)時(shí)代從數(shù)據(jù)庫(kù)(database，DB)到大數(shù)據(jù)(bigdata，BD)“池塘捕魚”VS“大海捕魚”

“魚”是待處理的數(shù)據(jù)數(shù)據(jù)規(guī)模?。ㄒ訫B為處理單位）大（以GB、TB、PB為處理單位）數(shù)據(jù)類型單一（結(jié)構(gòu)化為主）繁多（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化）模式和數(shù)據(jù)的關(guān)系先有模式后有數(shù)據(jù)(先有池塘后有魚)先有數(shù)據(jù)后有模式模式隨數(shù)據(jù)增多不斷演變處理對(duì)象數(shù)據(jù)（池塘中的魚）(“魚”，通過某些“魚”判斷其他種類的“魚”是否存在)處理工具OnesizefitsallNosizefitsall16第十六頁(yè)，共51頁(yè)。17大數(shù)據(jù)就如同蜜蜂，其主要價(jià)值是傳播花粉，自己生產(chǎn)的蜂蜜價(jià)值并不大。2013年世界范圍內(nèi)狹義的大數(shù)據(jù)產(chǎn)業(yè)產(chǎn)值只有186億美元，但廣義的大數(shù)據(jù)應(yīng)用幾乎覆蓋所有產(chǎn)業(yè)。據(jù)麥肯錫公司預(yù)測(cè)，開放數(shù)據(jù)僅在教育、保健等7個(gè)行業(yè)便可釋放3.2萬億～5.4萬億美元的經(jīng)濟(jì)價(jià)值。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域第十七頁(yè)，共51頁(yè)。18二.大數(shù)據(jù)的應(yīng)用領(lǐng)域天文學(xué)生物醫(yī)學(xué)電子政務(wù)氣候?qū)W企業(yè)管理教育學(xué)金融學(xué)市場(chǎng)營(yíng)銷公共服務(wù)商業(yè)智能傳媒業(yè)生活?yuàn)蕵诽煳膶W(xué)生物醫(yī)學(xué)電子政務(wù)氣候?qū)W企業(yè)管理教育學(xué)金融學(xué)市場(chǎng)營(yíng)銷公共服務(wù)商業(yè)智能傳媒業(yè)生活?yuàn)蕵房偨y(tǒng)選舉總統(tǒng)選舉情報(bào)學(xué)情報(bào)學(xué)圖書館學(xué)圖書館學(xué)第十八頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域奧巴馬的數(shù)據(jù)團(tuán)隊(duì)對(duì)數(shù)以千萬計(jì)的選民郵件進(jìn)行了大數(shù)據(jù)挖掘，精確預(yù)測(cè)出了更可能擁護(hù)奧巴馬的選民類型，并進(jìn)行了有針對(duì)性的宣傳，從而幫助奧巴馬成為了美國(guó)歷史上唯一一位在競(jìng)選經(jīng)費(fèi)處于劣勢(shì)下實(shí)現(xiàn)連任的總統(tǒng)。不要總喊“狼來了”，“狼”已經(jīng)來了！大數(shù)據(jù)幫助奧巴馬成功實(shí)現(xiàn)連任第十九頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域奧巴馬的例子告訴我們，只要數(shù)據(jù)量夠大，夠及時(shí)，挖掘夠深刻，我們完全可以洞悉每個(gè)選民的投票幾率。迅速普及的互聯(lián)網(wǎng)與移動(dòng)互聯(lián)網(wǎng)，悄然為記錄人的行為數(shù)據(jù)提供了最為便利、持久的載體。最重要的是，在這些強(qiáng)大的數(shù)據(jù)收集終端面前，人們沒有掩飾的意圖，從而創(chuàng)造著過去無法收集與分析的海量數(shù)據(jù)，這讓所有社會(huì)科學(xué)領(lǐng)域能夠從宏觀群體走向微觀個(gè)體，讓跟蹤每一個(gè)人的數(shù)據(jù)成為了可能，從而讓研究人性成為了可能。第二十頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域大數(shù)據(jù)的發(fā)展，將極大地改變政府的管理模式，有利于節(jié)約政府投資、加強(qiáng)市場(chǎng)監(jiān)管能力、提高政府決策能力、提升公共服務(wù)能力，實(shí)現(xiàn)區(qū)域化管理。重“一站式”服務(wù)輕“激勵(lì)型”服務(wù)我國(guó)電子政務(wù)的發(fā)展現(xiàn)狀:重性質(zhì)性政務(wù)信息輕量化性政務(wù)數(shù)據(jù)政府門戶網(wǎng)站信息以文本、圖片、視頻等非結(jié)構(gòu)化信息為主，但沒有關(guān)于財(cái)政稅收、醫(yī)療保險(xiǎn)等可量化分析的結(jié)構(gòu)化數(shù)據(jù)。“一站式”服務(wù)包括申請(qǐng)、辦證、審批等，忽略了開放原生態(tài)數(shù)據(jù)激發(fā)社會(huì)主體的創(chuàng)造性、主動(dòng)性。大數(shù)據(jù)在我國(guó)電子政務(wù)領(lǐng)域的應(yīng)用21第二十一頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域從反映政府網(wǎng)站頁(yè)面吸引力的跳出率指標(biāo)來看，政府網(wǎng)站用戶的總體跳出率為63.33%，即有2/3左右的用戶來到政府網(wǎng)站之后僅訪問一個(gè)頁(yè)面就離開了。說明當(dāng)今以性質(zhì)性為主的政府信息黏度不夠，并不能滿足社會(huì)需求，量化性政務(wù)數(shù)據(jù)才是社會(huì)真正急需的。頭疼，找不到我想要的數(shù)據(jù)??！22第二十二頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域目前，我國(guó)有60多個(gè)城市，將構(gòu)建“智慧城市”的目標(biāo)列入“十二五規(guī)劃”中。智慧城市即利用大數(shù)據(jù)的整合和分析來治理社會(huì)。2013年兩會(huì)期間，有代表提議將發(fā)展大數(shù)據(jù)上升為國(guó)家戰(zhàn)略。大數(shù)據(jù)背景下，我國(guó)電子政務(wù)創(chuàng)新模式的轉(zhuǎn)變：關(guān)注焦點(diǎn)——從信息向數(shù)據(jù)轉(zhuǎn)變1增值基礎(chǔ)——從公開向發(fā)布、開放轉(zhuǎn)變2行為方式——從獨(dú)立向協(xié)同轉(zhuǎn)變323第二十三頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域數(shù)據(jù)是生成信息和知識(shí)的原生素材如將我國(guó)城鎮(zhèn)居民醫(yī)療數(shù)據(jù)與保險(xiǎn)數(shù)據(jù)對(duì)比分析可以優(yōu)化保險(xiǎn)企業(yè)報(bào)銷比例，發(fā)現(xiàn)虛假報(bào)銷行為；與制藥廠數(shù)據(jù)比對(duì)分析可以調(diào)節(jié)藥品的生產(chǎn)量與銷售渠道。但醫(yī)療政策信息并不能發(fā)揮這樣的作用。數(shù)據(jù)是輿情監(jiān)督的有利依據(jù)2008年，政府公布4萬億元的經(jīng)濟(jì)刺激計(jì)劃，但社會(huì)對(duì)資金的具體去向及其準(zhǔn)確數(shù)額卻無從得知；汶川地震災(zāi)后重建近2億資金的用途也因沒有準(zhǔn)確的數(shù)據(jù)公開而被暗箱操作，違規(guī)使用……當(dāng)今電子政務(wù)中，信息公開實(shí)質(zhì)是性質(zhì)性信息的公開，而數(shù)據(jù)才是輿情監(jiān)督的真正證據(jù)。關(guān)注焦點(diǎn)——從信息向數(shù)據(jù)轉(zhuǎn)變24第二十四頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域從信息向數(shù)據(jù)的轉(zhuǎn)變是政府從后臺(tái)走向陽(yáng)光的轉(zhuǎn)變。25第二十五頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域增值基礎(chǔ)——從公開向發(fā)布、開放轉(zhuǎn)變大數(shù)據(jù)時(shí)代，數(shù)據(jù)增值的關(guān)鍵在于數(shù)據(jù)的整合與分析，整合的前提就是數(shù)據(jù)的開放。數(shù)據(jù)公開是意識(shí)上的、被動(dòng)的；數(shù)據(jù)發(fā)布是行動(dòng)上的、主動(dòng)的。數(shù)據(jù)公開、發(fā)布是一條一條的；數(shù)據(jù)開放是一片一片的。政府態(tài)度從被動(dòng)轉(zhuǎn)為主動(dòng)；數(shù)據(jù)從點(diǎn)對(duì)點(diǎn)轉(zhuǎn)為面對(duì)面。26第二十六頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——政治領(lǐng)域行為方式——從獨(dú)立向協(xié)同轉(zhuǎn)變?nèi)鐫?jì)南電子政務(wù)數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)了工商、國(guó)稅、質(zhì)檢、公安、社保等20多個(gè)部門涉稅數(shù)據(jù)的共享，國(guó)稅局與地稅局通過數(shù)據(jù)比對(duì)，發(fā)現(xiàn)了25000條數(shù)據(jù)差異，落實(shí)納稅企業(yè)5000多戶，補(bǔ)繳稅款2700多萬元。內(nèi)部協(xié)同：各地區(qū)政府、各層級(jí)政府和各部門之間外部協(xié)同：政府與社會(huì)之間自上而下、自下而上的互動(dòng)27第二十七頁(yè)，共51頁(yè)。28二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——金融領(lǐng)域華爾街“德溫特資本市場(chǎng)”公司首席執(zhí)行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進(jìn)而判斷民眾情緒，再以“1”到“50”進(jìn)行打分。根據(jù)打分結(jié)果，霍廷再?zèng)Q定如何處理手中數(shù)以百萬美元計(jì)的股票?；敉⒌呐袛嘣瓌t很簡(jiǎn)單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。這一招收效顯著——當(dāng)年第一季度，霍廷的公司獲得了7%的收益率。你開心他就買，你焦慮他就拋！第二十八頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——金融領(lǐng)域大數(shù)據(jù)助力推進(jìn)高頻金融交易和小額信貸高頻交易：實(shí)時(shí)性要求高、數(shù)據(jù)規(guī)模大。目前滬深兩市每天4個(gè)小時(shí)交易時(shí)間會(huì)產(chǎn)生3億條以上逐筆成交數(shù)據(jù)，通過對(duì)歷史和實(shí)時(shí)數(shù)據(jù)的挖掘創(chuàng)新，以創(chuàng)造和改進(jìn)數(shù)量化交易模型，并將之應(yīng)用于基于計(jì)算機(jī)模型的實(shí)時(shí)證券交易過程中。小額信貸：阿里巴巴和建行在2007年推出一個(gè)專注于小企業(yè)的貸款計(jì)劃——e貸通，阿里巴巴利用擁有的用戶信息及交易數(shù)據(jù)，通過大數(shù)據(jù)技術(shù)自動(dòng)判定是否給予企業(yè)貸款；而建行坐擁巨額資金，希望貸款給無信用記錄但發(fā)展勢(shì)頭良好的小企業(yè)。到2012年底，阿里在累計(jì)服務(wù)小微企業(yè)超過20萬家，放貸300多億元，壞賬率僅為0.3%左右，低于商業(yè)銀行水平。29第二十九頁(yè)，共51頁(yè)。30二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——金融領(lǐng)域大數(shù)據(jù)協(xié)助金融企業(yè)精準(zhǔn)營(yíng)銷招商銀行通過數(shù)據(jù)分析識(shí)別出招行信用卡高價(jià)值客戶經(jīng)常出現(xiàn)在星巴克、DQ、麥當(dāng)勞等場(chǎng)所后，通過“多倍積分累計(jì)”“積分店面兌換”等活動(dòng)吸引優(yōu)質(zhì)客戶；通過構(gòu)建客戶流失預(yù)警模型，對(duì)流失率等級(jí)前20%的客戶發(fā)售高收益理財(cái)產(chǎn)品予以挽留，使得金卡和金葵花卡客戶流失率分別降低了15個(gè)和7個(gè)百分點(diǎn)；通過對(duì)客戶交易記錄進(jìn)行分析，有效識(shí)別出潛在的小微企業(yè)客戶，并利用遠(yuǎn)程銀行和云轉(zhuǎn)介平臺(tái)實(shí)施交叉銷售，取得了良好成效。第三十頁(yè)，共51頁(yè)。31二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——金融領(lǐng)域雖然目前大數(shù)據(jù)的研究與應(yīng)用在金融業(yè)還處于初級(jí)階段，但是價(jià)值已經(jīng)顯現(xiàn)出來。未來，大數(shù)據(jù)可能成為最大的金融交易產(chǎn)品。未來金融大數(shù)據(jù)將會(huì)如基礎(chǔ)設(shè)施一樣，有金融數(shù)據(jù)提供方、金融監(jiān)管者，金融大數(shù)據(jù)的交叉復(fù)用等，最終將成為金融業(yè)進(jìn)行重要活動(dòng)的基礎(chǔ)設(shè)施。第三十一頁(yè)，共51頁(yè)。325學(xué)習(xí)成績(jī)1入學(xué)率2輟學(xué)率3識(shí)字的準(zhǔn)確率5升學(xué)率4作業(yè)的正確率6考試時(shí)答題的順序11師生互動(dòng)的時(shí)長(zhǎng)與頻率回答問題的時(shí)長(zhǎng)、正確率課堂舉手次數(shù)回答問題的次數(shù)平均每道題花費(fèi)的時(shí)間1278910學(xué)校教育中的“大數(shù)據(jù)”二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——教育領(lǐng)域現(xiàn)在，大數(shù)據(jù)分析已經(jīng)被應(yīng)用到美國(guó)的公共教育中，成為教學(xué)改革的重要力量。32第三十二頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——教育領(lǐng)域美國(guó)聯(lián)邦政府教育部2012年參與了一項(xiàng)耗資2億美元的公共教育中的大數(shù)據(jù)計(jì)劃，旨在通過運(yùn)用大數(shù)據(jù)分析來改善教育。聯(lián)邦教育部從財(cái)政預(yù)算中支出2500萬美元，用于理解學(xué)生在個(gè)性化層面是怎樣學(xué)習(xí)的。美國(guó)高中生和大學(xué)生的糟糕表現(xiàn)——高中生退學(xué)率高達(dá)30%（平均每26秒就有一個(gè)高中生退學(xué)），33%的大學(xué)生需要重修，46%的大學(xué)生無法正常畢業(yè)。大數(shù)據(jù)能否拯救美國(guó)的公立教育？比爾·蓋茨曾打賭說，利用數(shù)據(jù)分析的教育大數(shù)據(jù)能夠提高學(xué)生的學(xué)習(xí)成績(jī)，拯救美國(guó)的公立學(xué)校系統(tǒng)。他稱過去十幾年里教育領(lǐng)域的技術(shù)發(fā)展陷入了停滯，研發(fā)投入遠(yuǎn)遠(yuǎn)不夠。蓋茨充滿信心地認(rèn)為，教育技術(shù)未來發(fā)展的關(guān)鍵在于數(shù)據(jù)。33第三十三頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——教育領(lǐng)域通過大數(shù)據(jù)你可以知道：一個(gè)學(xué)生成績(jī)不好是由于他因?yàn)橹車h(huán)境而分心了嗎？期末考試不及格是否說明學(xué)生未掌握學(xué)習(xí)內(nèi)容，還是因?yàn)樗?qǐng)了很多病假的緣故？在加拿大，教育科技公司“渴望學(xué)習(xí)”（Desire2Learn）已經(jīng)面向高等教育領(lǐng)域的學(xué)生，推出了基于過去的學(xué)習(xí)成績(jī)數(shù)據(jù)預(yù)測(cè)并改善未來學(xué)習(xí)成績(jī)的大數(shù)據(jù)服務(wù)項(xiàng)目。通過監(jiān)控學(xué)生閱讀電子化的課程材料、提交電子版的作業(yè)、通過在線與同學(xué)交流、完成考試與測(cè)驗(yàn)，就能讓計(jì)算程序持續(xù)、系統(tǒng)地分析每個(gè)學(xué)生的教育數(shù)據(jù)。老師得到的不再是過去那種只展示學(xué)生分?jǐn)?shù)與作業(yè)的結(jié)果，而是像閱讀材料的時(shí)間長(zhǎng)短等這樣更為詳細(xì)的重要信息。這樣老師就能及時(shí)診斷問題的所在，提出改進(jìn)的建議，并預(yù)測(cè)學(xué)生的期末考試成績(jī)。34第三十四頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——生活?yuàn)蕵贩矫鎼墼谀莾海　栋职秩ツ膬骸反髷?shù)據(jù)解讀新華社新媒體中心聯(lián)合數(shù)托邦創(chuàng)意分析工作室抓取了新浪微博上提及“爸爸去哪兒”45.5萬條原創(chuàng)微博，并對(duì)36.7萬獨(dú)立原發(fā)作者用戶（去除疑似水軍賬戶）、1300余萬條用戶微博及近1億的關(guān)系進(jìn)行數(shù)據(jù)分析。結(jié)果發(fā)現(xiàn)：《爸爸去哪兒》不僅成為名副其實(shí)的“口碑王”，還使娛樂節(jié)目發(fā)生了很多微妙變化。

35第三十五頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——生活?yuàn)蕵贩矫娣劢z性別比例：“爸爸粉”女性占到八成。難道是因?yàn)樾前痔珟?？?dāng)然，這與微博中女性用戶占比較高和她們更愛分享轉(zhuǎn)評(píng)的習(xí)慣也有關(guān)。用戶年齡分布：覆蓋適齡婚育群體，觀眾氣質(zhì)更顯成熟。不少適齡青年發(fā)微博稱，“看到某某，我也好想結(jié)婚，想有個(gè)這樣的兒子／女兒?！钡貐^(qū)偏好排行：《爸爸去哪兒》的觀眾明顯向GDP高地聚集。對(duì)湘派娛樂節(jié)目免疫力極強(qiáng)的京、滬、蘇、蜀等地罕見上榜?！栋职秩ツ膬骸菲枚惹笆》葜校校祩€(gè)GDP十強(qiáng)省份，涵蓋3個(gè)直轄市。這是否能說明，一部分“先富起來”的人，對(duì)親子關(guān)系有更深的焦慮和更多的期待？36第三十六頁(yè)，共51頁(yè)。二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——生活?yuàn)蕵贩矫尜澲虩岫龋褐鞴诿澲虖?qiáng)勢(shì)冒出，在幾乎沒有社交媒體營(yíng)銷配合下，微博熱度強(qiáng)勁增長(zhǎng)。英菲尼迪從第三期開始廣告植入，話題增量立竿見影。思念水餃配合“爸爸吃神馬”等互動(dòng)促銷，參與度有所增加。只是不知，三大贊助商的投入是否與這一結(jié)果完全契合？明星關(guān)注度：數(shù)據(jù)來自于每期節(jié)目播出后一周內(nèi)5對(duì)父子的原發(fā)微博提及量（含昵稱）。張亮父子低調(diào)亮相，關(guān)注度逐期上升，成功實(shí)現(xiàn)實(shí)現(xiàn)“逆襲”。37第三十七頁(yè)，共51頁(yè)。38贊助商潛在贊助商明星同類節(jié)目競(jìng)爭(zhēng)者節(jié)目組觀眾大數(shù)據(jù)解讀可能的受益者二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——生活?yuàn)蕵贩矫鏉M足了自己“八卦”的需求。對(duì)這個(gè)節(jié)目有了深入的了解。從《爸爸去哪兒》的成功中可以學(xué)到什么？本次贊助是否成功？成功在哪里？為以后廣告的投放提供了經(jīng)驗(yàn)。了解了自己及孩子在觀眾心中的“熱度”，為下一步轉(zhuǎn)型及孩子未來的規(guī)劃提供參考。根據(jù)之前的數(shù)據(jù)分析，大膽推出了低成本同名電影并大獲成功！第二季的拍攝緊鑼密鼓地進(jìn)行著……為決策提供支持。若自己的目標(biāo)客戶與該節(jié)目的觀眾一致，可以考慮下一季的贊助。第三十八頁(yè)，共51頁(yè)。39二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——生活?yuàn)蕵贩矫?/p>

40天，36億人次。這是2014年春運(yùn)的總時(shí)間和總出行人數(shù)。在這場(chǎng)堪稱人類歷史上最大規(guī)模的短期遷徙中，人群從哪兒去了哪兒？哪些線路最熱門？在以往，這些問題可能難以精確回答。但隨著技術(shù)進(jìn)步，通過應(yīng)用“大數(shù)據(jù)”這一技術(shù)利器，人們已經(jīng)接近“在迷宮中感受全局”地看見春運(yùn)的全景。大數(shù)據(jù)首次播報(bào)春運(yùn)遷徙實(shí)況第三十九頁(yè)，共51頁(yè)。40二.大數(shù)據(jù)的應(yīng)用領(lǐng)域——生活?yuàn)蕵贩矫鎳?guó)內(nèi)有2億手機(jī)用戶使用百度地圖，用戶每次位置變化，百度都能得到數(shù)據(jù)。把手機(jī)網(wǎng)民的定位信息匯總成大數(shù)據(jù)進(jìn)行分析，就能勾勒出人們的遷徙軌跡。此次百度圖景化地展示春運(yùn)情況，是基于LBS(基于地理位置的服務(wù))技術(shù)的一次創(chuàng)新。它的數(shù)據(jù)每8小時(shí)更新一次，囊括了全國(guó)鐵路、公路和航空在內(nèi)的線路。

新聞視頻：2014年1月25日，《“據(jù)”說春運(yùn)》第四十頁(yè)，共51頁(yè)。三.大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)今天，大數(shù)據(jù)似乎成了“靈丹妙藥”，“包治百病”，無所不能。但千萬別把“大數(shù)據(jù)”用做解決世界上所有問題的全能辦法，無論是管理城市到消除貧困，制止恐怖襲擊、疾病流行到拯救地球環(huán)境等，以為有了“大數(shù)據(jù)”，就沒有解決不了的問題，這也是一種誤解。人類的思想、個(gè)人的文化和行為模式、不同國(guó)家及社會(huì)的存在發(fā)展都非常復(fù)雜、曲折和獨(dú)特，顯然不能全部由計(jì)算機(jī)來“數(shù)字自己說話”。無論到何時(shí)，其實(shí)都還是人在思考和“說話”。當(dāng)你有了錘子，好像什么問題都看上去像釘子！41第四十一頁(yè)，共51頁(yè)。三.大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)機(jī)遇大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)大數(shù)據(jù)時(shí)代呼喚創(chuàng)新型人才挑戰(zhàn)大數(shù)據(jù)技術(shù)的運(yùn)用仍有困難大數(shù)據(jù)給信息安全帶來新挑戰(zhàn)42第四十二頁(yè)，共51頁(yè)。43三.大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)機(jī)遇——大數(shù)據(jù)技術(shù)促進(jìn)國(guó)家和社會(huì)發(fā)展大數(shù)據(jù)技術(shù)的運(yùn)用前景是十分光明的。當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策具有重要意義，我們必須重新認(rèn)識(shí)數(shù)據(jù)的重要價(jià)值。第四十三頁(yè)，共51頁(yè)。44三.大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)大數(shù)據(jù)所能帶來的巨大商業(yè)價(jià)值，被認(rèn)為將引領(lǐng)一場(chǎng)足以與20世紀(jì)計(jì)算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對(duì)每個(gè)領(lǐng)域都造成影響，包括商業(yè)、經(jīng)濟(jì)等領(lǐng)域。大數(shù)據(jù)正在促生新的藍(lán)海，催生新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)，正在成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)。在今天的大數(shù)據(jù)時(shí)代，商業(yè)的生態(tài)環(huán)境在不經(jīng)意間發(fā)生了巨大的變化：網(wǎng)民和消費(fèi)者的界限正在變得模糊，無處不在的智能終端，隨時(shí)在線的網(wǎng)絡(luò)傳輸，互動(dòng)頻繁的社交網(wǎng)絡(luò)讓以往只是網(wǎng)頁(yè)瀏覽者的網(wǎng)民的面孔從模糊變得清晰，對(duì)于企業(yè)來說，他們第一次有機(jī)會(huì)進(jìn)行大規(guī)模的精準(zhǔn)化的消費(fèi)者行為研究：作為保持著持續(xù)變革欲望的企業(yè)，主動(dòng)地?fù)肀н@種變化，從戰(zhàn)略到戰(zhàn)術(shù)層而開始自我的蛻變和進(jìn)化將會(huì)讓他們更加適應(yīng)這個(gè)新的時(shí)代，大數(shù)據(jù)藍(lán)海成為未來競(jìng)爭(zhēng)的制高點(diǎn)。機(jī)遇——大數(shù)據(jù)藍(lán)海成為企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)第四十四頁(yè)，共51頁(yè)。45三.大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)機(jī)遇——大數(shù)據(jù)時(shí)代呼喚創(chuàng)新型人才蓋特納咨詢公司預(yù)測(cè)大數(shù)據(jù)將為全球帶440萬個(gè)IT新崗位和上千萬個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018年需要深度數(shù)據(jù)分析人才44萬——49萬，缺口14萬——19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。中國(guó)是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。第四十五頁(yè)，共51頁(yè)。46三.大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)數(shù)據(jù)收集要對(duì)來自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。數(shù)據(jù)存儲(chǔ)要達(dá)到低成本、低能耗、高可靠性目標(biāo)，要用到冗余配置、分布化和云計(jì)算技術(shù)，存儲(chǔ)時(shí)對(duì)數(shù)據(jù)進(jìn)行分類，通過過濾和去重，減少存儲(chǔ)量，并加入便于檢索的標(biāo)簽。數(shù)據(jù)處理大數(shù)據(jù)的復(fù)雜性使得難以用傳統(tǒng)的方法描述與度量，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語義分析，從大量動(dòng)態(tài)及可能模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理