大數(shù)據(jù)思考與報(bào)告(共30張)課件

1、大數(shù)據(jù)不僅僅是第七次信息革命！From 謝仲文第1頁，共31頁。134什么是大數(shù)據(jù)精彩案例大數(shù)據(jù)可以做什么contents2大數(shù)據(jù)的背后推手第2頁，共31頁。引言第一次信息革命第二次信息革命第三次信息革命第四次信息革命第五次信息革命第六次信息革命語言的創(chuàng)造猿人信息得以交流和傳遞文字的出現(xiàn)信息可以被儲存在文字中進(jìn)行傳播，解決了語言的時(shí)間和空間的局限性印刷術(shù)的發(fā)明擴(kuò)大了信息的交流、傳遞的容量和范圍無線電的發(fā)明電磁波傳播信息，速度增長幾十億倍電視的出現(xiàn)聲音、圖片影像、文字實(shí)現(xiàn)同時(shí)遠(yuǎn)距離實(shí)時(shí)傳播（摘自人民出版社大數(shù)據(jù)領(lǐng)導(dǎo)干部讀本）計(jì)算機(jī)與互聯(lián)網(wǎng)的使用突破了人類大腦及感覺器官加工利用信息的能力，人類進(jìn)入

2、信息社會時(shí)代第3頁，共31頁。引言第七次信息革命？現(xiàn)在我們正經(jīng)歷著一場信息革命。這不是在技術(shù)上、機(jī)器設(shè)備上、軟件上或速度上的一場革命，而是一場“概念”上的革命。以往50年信息技術(shù)的重點(diǎn)在“技術(shù)”上，目的在于提升信息傳播范圍、傳播能力和傳播效率。而新的信息革命的重點(diǎn)將會在“信息”上。彼得德魯克 21世紀(jì)的管理挑戰(zhàn)第4頁，共31頁。一、什么是大數(shù)據(jù)？0103什么是大數(shù)據(jù)大數(shù)據(jù)的特點(diǎn)02大數(shù)據(jù)的地位第5頁，共31頁。第一個(gè)吃螃蟹公司：亞馬遜成立于1995年，一開始只是個(gè)網(wǎng)上書店；最早借助“購書評論”這一數(shù)據(jù)提升銷售業(yè)績，并成功轉(zhuǎn)型、跨界?，F(xiàn)在已成為全球商品品種最多的網(wǎng)上零售商、全球第二大互聯(lián)網(wǎng)企業(yè)、

3、全球最大的云計(jì)算服務(wù)提供商。2017年2月，Brand Finance發(fā)布2017年度全球500強(qiáng)品牌榜單，亞馬遜排名第三。1.什么是大數(shù)據(jù)第6頁，共31頁。1.什么是大數(shù)據(jù)IDC 將大數(shù)據(jù)定義為4個(gè)V：Volume、Velocity、Variety、Value大數(shù)據(jù)不僅僅是“大的數(shù)據(jù)”。21世紀(jì)前10年第7頁，共31頁。阿里巴巴CTO王堅(jiān)認(rèn)為，大數(shù)據(jù)的重點(diǎn)是在線。在線數(shù)據(jù)，由數(shù)以億計(jì)的公民記者（citizen journalist，指互聯(lián)網(wǎng)上參與式報(bào)道的普通民眾）收集、組織、發(fā)布，又被無數(shù)的用戶閱讀、傳播和反饋，其形式包括數(shù)值、文本、圖像、視頻等多種多樣。社交媒體的產(chǎn)生，數(shù)據(jù)開始呈現(xiàn)爆炸式的

4、增長，大數(shù)據(jù)的提法開始進(jìn)入大眾的視野并獲得了越來越多的關(guān)注。2.大數(shù)據(jù)的特點(diǎn)在線第8頁，共31頁。2.大數(shù)據(jù)的特點(diǎn)類型多75%網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息社交媒體中產(chǎn)生的數(shù)據(jù)25%“1、2、3、4”等傳統(tǒng)數(shù)字以及符號非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)第9頁，共31頁。2.大數(shù)據(jù)的特點(diǎn)容量大美國的國會圖書館5000百度每天處理數(shù)據(jù)量根據(jù)IDC（國際數(shù)據(jù)公司）的監(jiān)測統(tǒng)計(jì)，2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到1.8ZB，而這個(gè)數(shù)值還在以每兩年翻一番的速度增長，預(yù)計(jì)到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，增長近20倍，相當(dāng)于我們地球上所有海灘沙?？倲?shù)的57倍。截至2010年，人類擁有的信息總量大概是1.

5、2Z存儲數(shù)據(jù)量最大的圖書館之一。2011年4月，擁有235TB的數(shù)據(jù)一首歌4M10241024一部電影1G1024一圖書館藏書1T1024谷歌每小時(shí)處理1P13億中國人人手1本500頁書的信息量總和=1E1024吉（G）兆（M）太（T）拍（P）艾（E）澤（Z）約為5000個(gè)美國圖書館總和第10頁，共31頁。2.大數(shù)據(jù)的特點(diǎn)數(shù)據(jù)產(chǎn)生得快一臺大型粒子對撞機(jī)里共有1.5億個(gè)傳感器每秒鐘發(fā)生粒子對撞6億次僅僅使用十萬分之一一年積累25PB的數(shù)據(jù)1TB的硬盤25000個(gè)剔除99.999%數(shù)據(jù)處理速度快大數(shù)據(jù)通過云計(jì)算，以上數(shù)據(jù)儲存僅需20分鐘共計(jì)1PB，速度1G/s，還剩144小時(shí)已完成50%存取速度快

6、第11頁，共31頁。2.大數(shù)據(jù)的特點(diǎn)應(yīng)用價(jià)值大大數(shù)據(jù)之“大”，其實(shí)并不在于其表面的“大容量”，而在于其潛在的“大價(jià)值”。如果不能把擁有的數(shù)據(jù)轉(zhuǎn)化為價(jià)值，那么擁有再多的數(shù)據(jù)也是毫無意義的。個(gè)人位置大數(shù)據(jù)服務(wù)8000億美元的市場規(guī)模麥肯錫研究院對美國的測算零售業(yè)大數(shù)據(jù)幫助企業(yè)增加60%的利潤制造業(yè)大數(shù)據(jù)降低50%的產(chǎn)品開發(fā)制造裝配成本第12頁，共31頁。2.大數(shù)據(jù)的特點(diǎn)具備大智能更加智能的社會傳感器、可穿戴式設(shè)備等微小的計(jì)算設(shè)備將進(jìn)一步普及“萬物皆互聯(lián)、無處不計(jì)算”實(shí)時(shí)收集數(shù)據(jù)確保安全行駛谷歌無人駕駛汽車第13頁，共31頁。農(nóng)耕時(shí)代最重要的資源是土地工業(yè)時(shí)代最重要的資源是石油信息時(shí)代最重要的資源是

7、？數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)3.大數(shù)據(jù)的地位第14頁，共31頁。很多做語音識別的公司，技術(shù)上相當(dāng)，屬于同一代技術(shù)。大公司都在做語音識別，包括Google、微軟在內(nèi)?？拼笥嶏w憑什么笑傲中文語音識別？一個(gè)重要的原因是：數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)科大訊飛擁有最多的中文語音數(shù)據(jù)！3.大數(shù)據(jù)的地位：一個(gè)例子同一代技術(shù)第15頁，共31頁。123保存數(shù)據(jù)的能力在增強(qiáng)處理數(shù)據(jù)的能力在增強(qiáng)生產(chǎn)數(shù)據(jù)的能力在增強(qiáng)二、大數(shù)據(jù)的 背后推手第16頁，共31頁。1.隨著存儲器硬件能力的提升，人類保存數(shù)據(jù)的能力在增強(qiáng)世界上第一款硬盤IBM商用硬盤存儲器一兆字節(jié)的存儲量需要6000多美元1955年2010年一兆字節(jié)的存儲量僅需要0.005美分2020年1

8、T硬盤=一杯咖啡的錢=一個(gè)圖書館的全部信息第17頁，共31頁。2.隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，機(jī)器生產(chǎn)數(shù)據(jù)的能力在增強(qiáng)機(jī)器產(chǎn)生的數(shù)據(jù)傳感器感知和運(yùn)輸不斷生產(chǎn)的數(shù)據(jù)移動(dòng)設(shè)備收集了大量的用戶數(shù)據(jù)第18頁，共31頁。2.隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展，人類生產(chǎn)數(shù)據(jù)的能力在增強(qiáng)人創(chuàng)造的數(shù)據(jù)社交媒體及互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展移動(dòng)設(shè)備收集了大量的用戶數(shù)據(jù)記錄各自的活動(dòng)和行為留下支付行為、空間位置、興趣愛好、信用歷史等發(fā)微博 寫微信網(wǎng)上購物每個(gè)網(wǎng)民都是數(shù)據(jù)的生產(chǎn)者第19頁，共31頁。在線數(shù)據(jù)的積累，受益于互聯(lián)網(wǎng)的飛速發(fā)展。互聯(lián)網(wǎng)基礎(chǔ)設(shè)施（包括TCP/IP協(xié)議、http協(xié)議、超鏈接等）是在線數(shù)據(jù)積累的基礎(chǔ)。人類在互聯(lián)網(wǎng)上的一切活動(dòng)，

9、都被這些互聯(lián)網(wǎng)基礎(chǔ)設(shè)施忠實(shí)地記錄下來，因此在線數(shù)據(jù)不但快速積累，而且更加客觀。在線數(shù)據(jù)的客觀性表現(xiàn)在，人們只要在互聯(lián)網(wǎng)上，無論瀏覽、點(diǎn)擊、評論，都會產(chǎn)生一系列上網(wǎng)者都沒有注意到的在線數(shù)據(jù)。2.人類生產(chǎn)數(shù)據(jù)的能力在增強(qiáng)，而且會被自動(dòng)記錄下來第20頁，共31頁。3.隨著云計(jì)算的誕生與發(fā)展，人類處理數(shù)據(jù)的能力在增強(qiáng)A 大數(shù)據(jù)B 云計(jì)算云計(jì)算一般由數(shù)量驚人的計(jì)算機(jī)群構(gòu)成，谷歌云計(jì)算擁有的服務(wù)器超過100萬臺；云計(jì)算系統(tǒng)是一個(gè)極其龐大的資源池子，用戶可以隨時(shí)、隨地、按需靈活地購買，就像購買煤氣和自來水一樣便利；云計(jì)算讓普通人體驗(yàn)每秒10萬億次的運(yùn)算能力。而如此強(qiáng)大的計(jì)算能力，可以模擬核爆炸、預(yù)測氣候變化

10、和市場發(fā)展趨勢。第21頁，共31頁。 三、大數(shù)據(jù)可以做什么？0103大數(shù)據(jù)可以發(fā)現(xiàn)規(guī)律大數(shù)據(jù)可以應(yīng)對變化02大數(shù)據(jù)是跨界的推動(dòng)力第22頁，共31頁。這不是一個(gè)笑話，而是發(fā)生在美國沃爾瑪連鎖店超市的真實(shí)案例，并一直為商家所津津樂道。原來，美國的婦女們經(jīng)常會囑咐她們的丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機(jī)會還是很多的。 是什么讓沃爾瑪發(fā)現(xiàn)了尿布和啤酒之間的關(guān)系呢？正是商家通過對超市一年多交易的大數(shù)據(jù)進(jìn)行詳細(xì)的分析，才發(fā)現(xiàn)了這對神奇的組合。1.大數(shù)據(jù)可以發(fā)現(xiàn)規(guī)律第23頁，共31頁。人生如棋，棋如人生！世界上唯一不變的就是變化！。 從棋

11、盤盤面可能出現(xiàn)的形狀來看：圍棋由181枚黑子和180枚白子組成，棋盤由縱橫19道線形成的361個(gè)交叉點(diǎn)組成。每一個(gè)點(diǎn)都可能處出現(xiàn)下黑子、下白子或空著不擺子三種情況。那么，361個(gè)交叉點(diǎn)，就有3的361次方變化的可能。從一盤棋下棋開始的每一步的變化則是：棋盤由縱橫19道線形成的361個(gè)交叉點(diǎn)組成，第一步可以下的有361個(gè)點(diǎn)，第二步則是360個(gè)點(diǎn)可以選擇，這樣理論上就是361360359358357321個(gè)變化的可能。2.大數(shù)據(jù)可以應(yīng)對變化（在狹小的領(lǐng)域內(nèi)）第24頁，共31頁。未來所有汽車，每個(gè)部件都是聯(lián)網(wǎng)的，在你撞車那一秒，京東就已知道哪個(gè)部件必須更換、哪個(gè)部件只需維修。撞車那一刻，京東的理賠就

12、已經(jīng)到位；你還沒把車拖到4s店，京東就已經(jīng)把需要更換的配件全部送達(dá)。車險(xiǎn)欺詐很嚴(yán)重，很多利潤被4S店剝走，配件價(jià)格不透明。遍布全國的京東12萬快遞員，未來既送快遞，還擔(dān)起保險(xiǎn)員，無論是上門服務(wù)還是現(xiàn)場勘探定損，都極其恐怖！這是一個(gè)跨界打劫你，卻無力反擊的時(shí)代！這是一個(gè)你醒來太慢，就不用再醒來的時(shí)代！3.大數(shù)據(jù)是跨界的推動(dòng)力第25頁，共31頁。1234大數(shù)據(jù)讓政府治理更精準(zhǔn)透明大數(shù)據(jù)讓公共服務(wù)更智慧大數(shù)據(jù)讓金融投資更理性大數(shù)據(jù)讓經(jīng)濟(jì)治理更有效 四、精彩案例第26頁，共31頁。1.大數(shù)據(jù)讓政府治理更精準(zhǔn)透明設(shè)計(jì)人員編入流感關(guān)鍵詞，如溫度計(jì)、流感癥狀、肌肉疼痛、胸悶等只要用戶輸入這些關(guān)鍵詞，系統(tǒng)就會

13、展開跟蹤分析，創(chuàng)建地區(qū)流感圖表和流感地圖預(yù)測出世界上不同國家和地區(qū)的流感傳播情況2009年，甲型H1N1流感暴發(fā)的幾周前，“谷歌流感趨勢”成功預(yù)測了流感在美國境內(nèi)的傳播，其分析結(jié)果甚至具體到特定的地區(qū)和州，并非常及時(shí)，令公共衛(wèi)生官員備感震驚。而傳統(tǒng)上，美國疾病控制中心要在流感暴發(fā)一兩周之后才可以做到這些。谷歌流感趨勢谷歌工程師認(rèn)為，搜索流感信息的人數(shù)與實(shí)際患病人數(shù)之間存在密切關(guān)聯(lián)。谷歌一周疫情報(bào)告第27頁，共31頁。2.大數(shù)據(jù)讓經(jīng)濟(jì)治理更有效支付寶“芝麻信用”“芝麻信用分”，授權(quán)開通后，每個(gè)支付寶用戶都可以看到自己的芝麻信用分。分?jǐn)?shù)越高代表信用程度越好，違約可能性越低。天貓?zhí)詫毺詫氹娪八M(fèi)電費(fèi)

14、工商學(xué)歷學(xué)籍公安內(nèi)部數(shù)據(jù)外部數(shù)據(jù)支付寶網(wǎng)購相關(guān)行為數(shù)據(jù)政府已經(jīng)開放的外部數(shù)據(jù)芝麻信用分高芝麻信用分低租車、住酒店無押金簽證無需財(cái)產(chǎn)證明找不到工作租不到房子貸不到款第28頁，共31頁。3.大數(shù)據(jù)讓公共服務(wù)更智慧高德導(dǎo)航高德公司基于位置服務(wù)大數(shù)據(jù)的能力，與烏鎮(zhèn)、古北水鎮(zhèn)兩家旅游公司合作，上線了全國首個(gè)“智慧景區(qū)”服務(wù)，解決游客在景區(qū)容易遇到的迷路、擁堵、排隊(duì)等問題。地圖渲染高德在地圖上增加游覽車、游船的線路地址，增加了重要景點(diǎn)的渲染圖分類篩選商店、衛(wèi)生間餐廳、燈景區(qū)重要地點(diǎn)信息一目了然導(dǎo)游語音當(dāng)游客走到某個(gè)對應(yīng)景點(diǎn)附近，導(dǎo)游語音會自動(dòng)播放智慧景區(qū)引入熱力圖，游客可以看到該處游客人數(shù)的多少，合理安排

15、游覽時(shí)間第29頁，共31頁。4.大數(shù)據(jù)讓金融投資更理性量化投資量化投資是指通過數(shù)量化方式及計(jì)算機(jī)程序化發(fā)出買賣指令，以獲取穩(wěn)定收益為目的的交易方式。作為一個(gè)概念，量化投資并不算新，國內(nèi)投資者早有耳聞。但真正的量化基金在國內(nèi)還比較罕見。同時(shí)，機(jī)器學(xué)習(xí)的發(fā)展也對量化投資起了促進(jìn)作用。量化選股利用數(shù)量化的方法選擇股票組合，期望該股票組合能夠獲得超越基準(zhǔn)收益率的投資行為這也是機(jī)構(gòu)投資者最普遍采用的策略。量化擇時(shí)利用數(shù)據(jù)來判斷大勢的走勢情況，是上漲還是下跌或者是盤整。高頻交易從那些人們無法利用的極為短暫的市場變化中尋求獲利的計(jì)算機(jī)化交易。算法交易利用電子平臺，輸入涉及算法的指令，以執(zhí)行預(yù)先設(shè)定好的交易策

16、略。由“機(jī)器人”發(fā)起指令，而無需人工干預(yù)。第30頁，共31頁。激勵(lì)學(xué)生學(xué)習(xí)的名言格言220、每一個(gè)成功者都有一個(gè)開始。勇于開始，才能找到成功的路。221、世界會向那些有目標(biāo)和遠(yuǎn)見的人讓路（馮兩努香港著名推銷商）222、絆腳石乃是進(jìn)身之階。223、銷售世界上第一號的產(chǎn)品不是汽車，而是自己。在你成功地把自己推銷給別人之前，你必須百分之百的把自己推銷給自己。224、即使爬到最高的山上，一次也只能腳踏實(shí)地地邁一步。225、積極思考造成積極人生，消極思考造成消極人生。226、人之所以有一張嘴，而有兩只耳朵，原因是聽的要比說的多一倍。227、別想一下造出大海，必須先由小河川開始。228、有事者，事竟成；破

17、釜沉舟，百二秦關(guān)終歸楚；苦心人，天不負(fù)；臥薪嘗膽，三千越甲可吞吳。229、以誠感人者，人亦誠而應(yīng)。230、積極的人在每一次憂患中都看到一個(gè)機(jī)會，而消極的人則在每個(gè)機(jī)會都看到某種憂患。231、出門走好路，出口說好話，出手做好事。232、旁觀者的姓名永遠(yuǎn)爬不到比賽的計(jì)分板上。233、怠惰是貧窮的制造廠。234、莫找借口失敗，只找理由成功。（不為失敗找理由，要為成功找方法）235、如果我們想要更多的玫瑰花，就必須種植更多的玫瑰樹。236、偉人之所以偉大，是因?yàn)樗c別人共處逆境時(shí)，別人失去了信心，他卻下決心實(shí)現(xiàn)自己的目標(biāo)。237、世上沒有絕望的處境，只有對處境絕望的人。238、回避現(xiàn)實(shí)的人，未來將更不理想。239、當(dāng)你感到悲哀痛苦時(shí)，最好是去學(xué)些什么東西。學(xué)習(xí)會使你永遠(yuǎn)立于不敗之地。240、偉人所達(dá)到并保持著的高處，并不是一飛就到的，而是他們在同伴們都睡著的時(shí)候，一