大數(shù)據(jù)思考與報(bào)告

1、大數(shù)據(jù)不但僅是第七次信息革命！From 謝仲文第1頁(yè)134什么是大數(shù)據(jù)精彩案例大數(shù)據(jù)能夠做什么contents2大數(shù)據(jù)背后推手第2頁(yè)引言第一次信息革命第二次信息革命第三次信息革命第四次信息革命第五次信息革命第六次信息革命語(yǔ)言創(chuàng)造猿人信息得以交流和傳遞文字出現(xiàn)信息能夠被儲(chǔ)存在文字中進(jìn)行傳輸，處理了語(yǔ)言時(shí)間和空間不足印刷術(shù)創(chuàng)造擴(kuò)大了信息交流、傳遞容量和范圍無線電創(chuàng)造電磁波傳輸信息，速度增加幾十億倍電視出現(xiàn)聲音、圖片影像、文字實(shí)現(xiàn)同時(shí)遠(yuǎn)距離實(shí)時(shí)傳輸（摘自人民出版社大數(shù)據(jù)領(lǐng)導(dǎo)干部讀本）計(jì)算機(jī)與互聯(lián)網(wǎng)使用突破了人類大腦及感覺器官加工利用信息能力，人類進(jìn)入信息社會(huì)時(shí)代第3頁(yè)引言第七次信息革命？現(xiàn)在我們正經(jīng)

2、歷著一場(chǎng)信息革命。這不是在技術(shù)上、機(jī)器設(shè)備上、軟件上或速度上一場(chǎng)革命，而是一場(chǎng)“概念”上革命。以往50年信息技術(shù)重點(diǎn)在“技術(shù)”上，目標(biāo)在于提升信息傳輸范圍、傳輸能力和傳輸效率。而新信息革命重點(diǎn)將會(huì)在“信息”上。彼得德魯克 二十一世紀(jì)管理挑戰(zhàn)第4頁(yè)一、什么是大數(shù)據(jù)？0103什么是大數(shù)據(jù)大數(shù)據(jù)特點(diǎn)02大數(shù)據(jù)地位第5頁(yè)第一個(gè)吃螃蟹企業(yè)：亞馬遜成立于1995年，一開始只是個(gè)網(wǎng)上書店；最早借助“購(gòu)書評(píng)論”這一數(shù)據(jù)提升銷售業(yè)績(jī)，并成功轉(zhuǎn)型、跨界?，F(xiàn)在已成為全球商品品種最多網(wǎng)上零售商、全球第二大互聯(lián)網(wǎng)企業(yè)、全球最大云計(jì)算服務(wù)提供商。年2月，Brand Finance公布全球500強(qiáng)品牌榜單，亞馬遜排名第三。

3、1.什么是大數(shù)據(jù)第6頁(yè)1.什么是大數(shù)據(jù)IDC 將大數(shù)據(jù)定義為4個(gè)V：Volume、Velocity、Variety、Value大數(shù)據(jù)不但僅是“大數(shù)據(jù)”。二十一世紀(jì)前第7頁(yè)阿里巴巴CTO王堅(jiān)認(rèn)為，大數(shù)據(jù)重點(diǎn)是在線。在線數(shù)據(jù)，由數(shù)以億計(jì)公民記者（citizen journalist，指互聯(lián)網(wǎng)上參加式報(bào)道普通民眾）搜集、組織、公布，又被無數(shù)用戶閱讀、傳輸和反饋，其形式包含數(shù)值、文本、圖像、視頻等各種多樣。社交媒體產(chǎn)生，數(shù)據(jù)開始展現(xiàn)爆炸式增加，大數(shù)據(jù)提法開始進(jìn)入大眾視野并取得了越來越多關(guān)注。2.大數(shù)據(jù)特點(diǎn)在線第8頁(yè)2.大數(shù)據(jù)特點(diǎn)類型多75%網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息社交媒體中產(chǎn)生數(shù)據(jù)25

4、%“1、2、3、4”等傳統(tǒng)數(shù)字以及符號(hào)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)第9頁(yè)2.大數(shù)據(jù)特點(diǎn)容量大美國(guó)國(guó)會(huì)圖書館5000baidu天天處理數(shù)據(jù)量依據(jù)IDC（國(guó)際數(shù)據(jù)企業(yè)）監(jiān)測(cè)統(tǒng)計(jì)，全球數(shù)據(jù)總量已經(jīng)到達(dá)1.8ZB，而這個(gè)數(shù)值還在以每?jī)赡攴环俣仍黾?，預(yù)計(jì)到年全球?qū)⒖偣矒碛?5ZB數(shù)據(jù)量，增加近20倍，相當(dāng)于我們地球上全部海灘沙?？倲?shù)57倍。截至，人類擁有信息總量大約是1.2Z存放數(shù)據(jù)量最大圖書館之一。4月，擁有235TB數(shù)據(jù)一首歌4M10241024一部電影1G1024一圖書館藏書1T1024谷歌每小時(shí)處理1P13億中國(guó)人人手1本500頁(yè)書信息量總和=1E1024吉（G）兆（M）太（T）拍（P）艾（E）澤

5、（Z）約為5000個(gè)美國(guó)圖書館總和第10頁(yè)2.大數(shù)據(jù)特點(diǎn)數(shù)據(jù)產(chǎn)生得快一臺(tái)大型粒子對(duì)撞機(jī)里共有1.5億個(gè)傳感器每秒鐘發(fā)生粒子對(duì)撞6億次僅僅使用十萬(wàn)分之一一年積累25PB數(shù)據(jù)1TB硬盤25000個(gè)剔除99.999%數(shù)據(jù)處理速度快大數(shù)據(jù)經(jīng)過云計(jì)算，以上數(shù)據(jù)儲(chǔ)存僅需20分鐘共計(jì)1PB，速度1G/s，還剩144小時(shí)已完成50%存取速度快第11頁(yè)2.大數(shù)據(jù)特點(diǎn)應(yīng)用價(jià)值大大數(shù)據(jù)之“大”，其實(shí)并不在于其表面“大容量”，而在于其潛在“大價(jià)值”。假如不能把擁有數(shù)據(jù)轉(zhuǎn)化為價(jià)值，那么擁有再多數(shù)據(jù)也是毫無意義。個(gè)人位置大數(shù)據(jù)服務(wù)8000億美元市場(chǎng)規(guī)模麥肯錫研究院對(duì)美國(guó)測(cè)算零售業(yè)大數(shù)據(jù)幫助企業(yè)增加60%利潤(rùn)制造業(yè)大數(shù)據(jù)降

6、低50%產(chǎn)品開發(fā)制造裝配成本第12頁(yè)2.大數(shù)據(jù)特點(diǎn)具備大智能愈加智能社會(huì)傳感器、可穿戴式設(shè)備等微小計(jì)算設(shè)備將深入普及“萬(wàn)物皆互聯(lián)、無處不計(jì)算”實(shí)時(shí)搜集數(shù)據(jù)確保安全行駛谷歌無人駕駛汽車第13頁(yè)農(nóng)耕時(shí)代最主要資源是土地工業(yè)時(shí)代最主要資源是石油信息時(shí)代最主要資源是？數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)3.大數(shù)據(jù)地位第14頁(yè)很多做語(yǔ)音識(shí)別企業(yè)，技術(shù)上相當(dāng)，屬于同一代技術(shù)。大企業(yè)都在做語(yǔ)音識(shí)別，包含Google、微軟在內(nèi)?？拼笥嶏w憑什么笑傲漢字語(yǔ)音識(shí)別？一個(gè)主要原因是：數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)科大訊飛擁有最多漢字語(yǔ)音數(shù)據(jù)！3.大數(shù)據(jù)地位：一個(gè)例子同一代技術(shù)第15頁(yè)123保留數(shù)據(jù)能力在增強(qiáng)處理數(shù)據(jù)能力在增強(qiáng)生產(chǎn)數(shù)據(jù)能力在增強(qiáng)二、大數(shù)據(jù) 背后

7、推手第16頁(yè)1.伴隨存放器硬件能力提升，人類保留數(shù)據(jù)能力在增強(qiáng)世界上第一款硬盤IBM商用硬盤存放器一兆字節(jié)存放量需要6000多美元1955年一兆字節(jié)存放量?jī)H需要0.005美分1T硬盤=一杯咖啡錢=一個(gè)圖書館全部信息第17頁(yè)2.伴隨物聯(lián)網(wǎng)技術(shù)發(fā)展，機(jī)器生產(chǎn)數(shù)據(jù)能力在增強(qiáng)機(jī)器產(chǎn)生數(shù)據(jù)傳感器感知和運(yùn)輸不停生產(chǎn)數(shù)據(jù)移動(dòng)設(shè)備搜集了大量用戶數(shù)據(jù)第18頁(yè)2.伴隨互聯(lián)網(wǎng)經(jīng)濟(jì)發(fā)展，人類生產(chǎn)數(shù)據(jù)能力在增強(qiáng)人創(chuàng)造數(shù)據(jù)社交媒體及互聯(lián)網(wǎng)經(jīng)濟(jì)發(fā)展移動(dòng)設(shè)備搜集了大量用戶數(shù)據(jù)統(tǒng)計(jì)各自活動(dòng)和行為留下支付行為、空間位置、興趣興趣、信用歷史等發(fā)微博 寫微信網(wǎng)上購(gòu)物每個(gè)網(wǎng)民都是數(shù)據(jù)生產(chǎn)者第19頁(yè)在線數(shù)據(jù)積累，受益于互聯(lián)網(wǎng)飛速發(fā)展。互

8、聯(lián)網(wǎng)基礎(chǔ)設(shè)施（包含TCP/IP協(xié)議、http協(xié)議、超鏈接等）是在線數(shù)據(jù)積累基礎(chǔ)。人類在互聯(lián)網(wǎng)上一切活動(dòng)，都被這些互聯(lián)網(wǎng)基礎(chǔ)設(shè)施忠實(shí)地統(tǒng)計(jì)下來，所以在線數(shù)據(jù)不但快速積累，而且愈加客觀。在線數(shù)據(jù)客觀性表現(xiàn)在，人們只要在互聯(lián)網(wǎng)上，不論瀏覽、點(diǎn)擊、評(píng)論，都會(huì)產(chǎn)生一系列上網(wǎng)者都沒有注意到在線數(shù)據(jù)。2.人類生產(chǎn)數(shù)據(jù)能力在增強(qiáng)，而且會(huì)被自動(dòng)統(tǒng)計(jì)下來第20頁(yè)3.伴隨云計(jì)算誕生與發(fā)展，人類處理數(shù)據(jù)能力在增強(qiáng)A 大數(shù)據(jù)B 云計(jì)算云計(jì)算普通由數(shù)量驚人計(jì)算機(jī)群組成，谷歌云計(jì)算擁有服務(wù)器超出100萬(wàn)臺(tái)；云計(jì)算系統(tǒng)是一個(gè)極其龐大資源池子，用戶能夠隨時(shí)、隨地、按需靈活地購(gòu)置，就像購(gòu)置煤氣和自來水一樣便利；云計(jì)算讓普通人體驗(yàn)

9、每秒10萬(wàn)億次運(yùn)算能力。而如此強(qiáng)大計(jì)算能力，能夠模擬核爆炸、預(yù)測(cè)氣候改變和市場(chǎng)發(fā)展趨勢(shì)。第21頁(yè) 三、大數(shù)據(jù)能夠做什么？0103大數(shù)據(jù)能夠發(fā)覺規(guī)律大數(shù)據(jù)能夠應(yīng)對(duì)改變02大數(shù)據(jù)是跨界推進(jìn)力第22頁(yè)這不是一個(gè)笑話，而是發(fā)生在美國(guó)沃爾瑪連鎖店超市真實(shí)案例，并一直為商家所津津樂道。原來，美國(guó)婦女們經(jīng)常會(huì)囑咐她們丈夫下班以后要為孩子買尿布。而丈夫在買完尿布之后又要順手買回自己愛喝啤酒，所以啤酒和尿布在一起購(gòu)置機(jī)會(huì)還是很多。 是什么讓沃爾瑪發(fā)覺了尿布和啤酒之間關(guān)系呢？正是商家經(jīng)過對(duì)超市一年多交易大數(shù)據(jù)進(jìn)行詳細(xì)分析，才發(fā)覺了這對(duì)神奇組合。1.大數(shù)據(jù)能夠發(fā)覺規(guī)律第23頁(yè)人生如棋，棋如人生！世界上唯一不變就是改

10、變！。 從棋盤盤面可能出現(xiàn)形狀來看：圍棋由181枚黑子和180枚白子組成，棋盤由縱橫19道線形成361個(gè)交叉點(diǎn)組成。每一個(gè)點(diǎn)都可能處出現(xiàn)下黑子、下白子或空著不擺子三種情況。那么，361個(gè)交叉點(diǎn)，就有3361次方改變可能。從一盤棋下棋開始每一步改變則是：棋盤由縱橫19道線形成361個(gè)交叉點(diǎn)組成，第一步能夠下有361個(gè)點(diǎn)，第二步則是360個(gè)點(diǎn)能夠選擇，這么理論上就是361360359358357321個(gè)改變可能。2.大數(shù)據(jù)能夠應(yīng)對(duì)改變（在狹小領(lǐng)域內(nèi)）第24頁(yè)未來全部汽車，每個(gè)部件都是聯(lián)網(wǎng)，在你撞車那一秒，京東就已知道哪個(gè)部件必須更換、哪個(gè)部件只需維修。撞車那一刻，京東理賠就已經(jīng)到位；你還沒把車拖到

11、4s店，京東就已經(jīng)把需要更換配件全部送達(dá)。車險(xiǎn)欺詐很嚴(yán)重，很多利潤(rùn)被4S店剝走，配件價(jià)格不透明。遍布全國(guó)京東12萬(wàn)快遞員，未來既送快遞，還擔(dān)起保險(xiǎn)員，不論是上門服務(wù)還是現(xiàn)場(chǎng)勘探定損，都極其恐怖！這是一個(gè)跨界打劫你，卻無力還擊時(shí)代！這是一個(gè)你醒來太慢，就不用再醒來時(shí)代！3.大數(shù)據(jù)是跨界推進(jìn)力第25頁(yè)1234大數(shù)據(jù)讓政府治理更精準(zhǔn)透明大數(shù)據(jù)讓公共服務(wù)更智慧大數(shù)據(jù)讓金融投資更理性大數(shù)據(jù)讓經(jīng)濟(jì)治理更有效 四、精彩案例第26頁(yè)1.大數(shù)據(jù)讓政府治理更精準(zhǔn)透明設(shè)計(jì)人員編入流感關(guān)鍵詞，如溫度計(jì)、流感癥狀、肌肉疼痛、胸悶等只要用戶輸入這些關(guān)鍵詞，系統(tǒng)就會(huì)展開跟蹤分析，創(chuàng)建地域流感圖表和流感地圖預(yù)測(cè)出世界上不一樣

12、國(guó)家和地域流感傳輸情況，甲型H1N1流感暴發(fā)幾周前，“谷歌流感趨勢(shì)”成功預(yù)測(cè)了流感在美國(guó)境內(nèi)傳輸，其分析結(jié)果甚至詳細(xì)到特定地域和州，并非常及時(shí)，令公共衛(wèi)生官員備感震驚。而傳統(tǒng)上，美國(guó)疾病控制中心要在流感暴發(fā)一兩周之后才能夠做到這些。谷歌流感趨勢(shì)谷歌工程師認(rèn)為，搜索流感信息人數(shù)與實(shí)際患病人數(shù)之間存在親密關(guān)聯(lián)。谷歌一周疫情匯報(bào)第27頁(yè)2.大數(shù)據(jù)讓經(jīng)濟(jì)治理更有效支付寶“芝麻信用”“芝麻信用分”，授權(quán)開通后，每個(gè)支付寶用戶都能夠看到自己芝麻信用分。分?jǐn)?shù)越高代表信用程度越好，違約可能性越低。天貓?zhí)詫毺詫氹娪八M(fèi)電費(fèi)工商學(xué)歷學(xué)籍公安內(nèi)部數(shù)據(jù)外部數(shù)據(jù)支付寶網(wǎng)購(gòu)相關(guān)行為數(shù)據(jù)政府已經(jīng)開放外部數(shù)據(jù)芝麻信用分高芝麻

13、信用分低租車、住酒店無押金簽證無需財(cái)產(chǎn)證實(shí)找不到工作租不到房子貸不到款第28頁(yè)3.大數(shù)據(jù)讓公共服務(wù)更智慧高德導(dǎo)航高德企業(yè)基于位置服務(wù)大數(shù)據(jù)能力，與烏鎮(zhèn)、古北水鎮(zhèn)兩家旅游企業(yè)合作，上線了全國(guó)首個(gè)“智慧景區(qū)”服務(wù)，處理游客在景區(qū)輕易碰到迷路、擁堵、排隊(duì)等問題。地圖渲染高德在地圖上增加游覽車、游船線路地址，增加了主要景點(diǎn)渲染圖分類篩選商店、衛(wèi)生間餐廳、燈景區(qū)主要地點(diǎn)信息一目了然導(dǎo)游語(yǔ)音當(dāng)游客走到某個(gè)對(duì)應(yīng)景點(diǎn)附近，導(dǎo)游語(yǔ)音會(huì)自動(dòng)播放智慧景區(qū)引入熱力圖，游客能夠看到該處游客人數(shù)多少，合理安排游覽時(shí)間第29頁(yè)4.大數(shù)據(jù)讓金融投資更理性量化投資量化投資是指經(jīng)過數(shù)量化方式及計(jì)算機(jī)程序化發(fā)出買賣指令，以獲取穩(wěn)定收益為目標(biāo)交易方式。作為一個(gè)概念，量化投資并不算新，國(guó)內(nèi)投資者早有耳聞。但真正量化基金