大數(shù)據(jù)的發(fā)展現(xiàn)狀

1、大數(shù)據(jù)的發(fā)展現(xiàn)狀2015年7月一、大數(shù)據(jù)的提出及概念123大數(shù)據(jù)的提出大數(shù)據(jù)的概念大數(shù)據(jù)的特點 大數(shù)據(jù)最早在上世紀90年代被提出，麥肯錫在2012年的評估報告中指出“大數(shù)據(jù)時代”已經(jīng)到來，使得人們對于大數(shù)據(jù)重要性的認知和關(guān)注度進一步增加。 研究機構(gòu)Gartner給出的定義：“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）二、國內(nèi)外大數(shù)據(jù)的發(fā)展現(xiàn)狀2012-2017年全球大數(shù)據(jù)市場規(guī)模 2014 年全球大數(shù)據(jù)市場規(guī)模達到285

2、億美元，同比增長53.2%。大數(shù)據(jù)成為全球IT 支出新的增長點。2014年大數(shù)據(jù)對全球IT 開支的直接或間接推動達2320 億美元，預(yù)計到2018 年這一數(shù)據(jù)將增長三倍。 2014 年，我國大數(shù)據(jù)仍處于起步發(fā)展階段，行業(yè)應(yīng)用得到快速推廣，市場規(guī)模增速明顯。2014 年，我國大數(shù)據(jù)市場規(guī)模達到75.7 億元，同比增長28.4%。2012-2016年中國大數(shù)據(jù)市場規(guī)模 視頻監(jiān)控攝像頭廣泛應(yīng)用于主要道路、熱點地區(qū)、地鐵和居民小區(qū)的安全監(jiān)視。北京超市食品架前均要求裝能清晰拍到走在架前的人的臉部。 一個8Mbps攝像頭每小時產(chǎn)生3.6GB,很多城市的攝像頭多達幾十萬個，一個月的數(shù)據(jù)量達到數(shù)百PB，若需保

3、存3個月則存儲量達EB量級。 國家稅務(wù)總局每月收集全國數(shù)據(jù)4TB，己集中的結(jié)構(gòu)化數(shù)據(jù)260TB 北京市政府部門數(shù)據(jù)庫總量2011年63PB，2012年95PB三、各大行業(yè)的數(shù)據(jù)積累與價值 政府數(shù)據(jù)被標簽和分析的數(shù)據(jù)類型比例監(jiān)控嵌入與醫(yī)療數(shù)據(jù)處理娛樂與社交媒體消費者圖像與視頻20102015202050%100% GE的每一引擎裝20個傳感器，在飛行過程中每隔一段時間通過衛(wèi)星將傳感器收集的引擎狀態(tài)傳給GE公司。每個引擎每飛行小時產(chǎn)生20TB,從倫敦到紐約每一飛行產(chǎn)生640TB級數(shù)據(jù)，GE每天收集PB級引擎數(shù)據(jù)。美國每月收集360萬次飛行記錄，監(jiān)視機隊25000個引擎。 GE通過對所生產(chǎn)的2萬臺噴

4、氣引擎的數(shù)據(jù)分析，開發(fā)的算法能夠提前一個月預(yù)測其維護需求，預(yù)測準確率達到70%。依此對噴氣引擎預(yù)防性維護，在美國就防止了不止6萬次的航班延誤或取消。如果將傳感數(shù)據(jù)收集和分析用于燃油效率上，1%的提高就能使航空業(yè)每年省20億美元。三、各大行業(yè)的數(shù)據(jù)積累與價值 制造業(yè)數(shù)據(jù) 公交一卡通每天4千萬次，地鐵一千萬人次。北京市交通調(diào)度中心每天數(shù)據(jù)增量30GB，存儲量20TB 發(fā)卡量40億張，每天近600億次交易，每秒50萬次記錄，存儲量350TB三、各大行業(yè)的數(shù)據(jù)積累與價值服務(wù)業(yè)數(shù)據(jù) 年均產(chǎn)生數(shù)據(jù)510TB(不含視頻)累計產(chǎn)生數(shù)5PB 用戶上網(wǎng)記錄每秒83萬條，對應(yīng)年數(shù)據(jù)量3.6PB 農(nóng)夫山泉每天從銷售其

5、礦泉水的超市回傳10張照片，每月3TB 企業(yè)級數(shù)據(jù)倉庫存儲量已超過350TB，積累的數(shù)據(jù)4. 5PB工商銀行 每年產(chǎn)生結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分別突破100TB和1PB，已歸檔PB級數(shù)據(jù)農(nóng)業(yè)銀行 每日約處理600G數(shù)據(jù)，存量數(shù)據(jù)超過70TB交通銀行現(xiàn)在一個病人的CT影像往往多達兩千幅，數(shù)據(jù)量己經(jīng)到了幾十個GB.如今中國大城市的醫(yī)院每天門診上萬人，全國每年門診人數(shù)更是以數(shù)十億計，住院人次己經(jīng)達到兩億人次。按照醫(yī)療行業(yè)的相關(guān)規(guī)定，一個患者的數(shù)據(jù)通常需要保留50年以上。三、各大行業(yè)的數(shù)據(jù)積累與價值醫(yī)療數(shù)據(jù)中山大學第一附屬醫(yī)院數(shù)據(jù)存儲量（TB） 淘寶每天交易超過數(shù)千萬筆，其單日數(shù)據(jù)產(chǎn)生量超過50TB, 峰

6、值時處理交易達到9萬筆/分鐘，1GB/s。在阿里數(shù)據(jù)平臺事業(yè)部的服務(wù)器上有超過100PB己處理過的數(shù)據(jù)。 百度每天要處理60億次搜索請求(谷歌為30億次)，新增10TB，處理100PB數(shù)據(jù)，每天產(chǎn)生一個TB的日志。目前存儲網(wǎng)頁數(shù)近1萬億，數(shù)據(jù)總量1000PB 騰訊騰訊QQ月活躍用戶超8億，微信用戶5億，在線人際關(guān)系鏈超1000億，每天1千億次服務(wù)調(diào)用，日新增200-300TB數(shù)據(jù)量，每月增加10%。經(jīng)壓縮后的數(shù)據(jù)總存儲量100PB 新浪微博每天有數(shù)十億外部網(wǎng)頁和API接口訪問需求。在晚上高峰期，微博每秒要接受100萬以上的響應(yīng)請求。三、各大行業(yè)的數(shù)據(jù)積累與價值互聯(lián)網(wǎng)數(shù)據(jù)圖靈獎獲得者Jim Gr

7、ay提出新摩爾定律:全球新產(chǎn)生的數(shù)據(jù)年增40%,全球信息總量每兩年就可以翻番!紅樓夢含標點共87萬字，每漢字占2B，全書1.74MB,1EB =6626億部，即全球人均100部紅樓夢，1EB可刻滿1.68億張DVD三、各大行業(yè)的數(shù)據(jù)積累與價值互聯(lián)網(wǎng)流量變化 英國醫(yī)療服務(wù)業(yè)每年價值3000億美元大約0.7%的年生產(chǎn)率增長 美國零售業(yè)可能的凈利潤增長水平為60%或以上0.51.0%的年生產(chǎn)率增長 歐洲公共部門管理每年價值2500億歐元 (約35OO億美元)大約0.5%的年生產(chǎn)率增長 制造業(yè)產(chǎn)品開發(fā)、組裝成本降低達50%運營資本降低達7% 全球個人位置數(shù)據(jù)服務(wù)提供商收入1000億美元或以上最終用戶價

8、值達7000億美元40%GDP 麥肯錫評估報告中指出大數(shù)據(jù)在政府公共服務(wù)、醫(yī)療服務(wù)、零售業(yè)、制造業(yè)、以及涉及個人位置服務(wù)等領(lǐng)域都將帶來可觀的價值海量數(shù)據(jù)可以在各個部門創(chuàng)造重大財務(wù)價值三、各大行業(yè)的數(shù)據(jù)積累與價值大數(shù)據(jù)的價值四、大數(shù)據(jù)的熱門應(yīng)用領(lǐng)域1制造業(yè) 豐田利用數(shù)據(jù)分析在試制樣車前避免了80%的缺陷；GE通過對2萬臺噴氣引擎的數(shù)據(jù)分析，能夠提前一個月預(yù)測其維護需求，預(yù)測準確率達到70%；百度將網(wǎng)民對汽車的各類搜索 請求進行大數(shù)據(jù)挖掘，幫助一汽等車企深入了解消費者需求，設(shè)計新品及資源調(diào)配2農(nóng)業(yè) 硅谷Climate公司從美國政府獲得30年的氣候、60年的農(nóng)作物收成、14TB的土壤數(shù)據(jù)，還收集25

9、0萬個地點的氣候數(shù)據(jù)，向農(nóng)戶提供天氣變化、作物、病蟲害和災(zāi)害、肥料、收獲、產(chǎn)量、市場 價格等咨詢和保險服務(wù)，承諾侮英畝的玉米利潤增加100美元，如預(yù)測有誤將將及時賠付。3商業(yè) 沃爾瑪基于每月4500萬網(wǎng)購數(shù)據(jù)，結(jié)合網(wǎng)上挖掘的對產(chǎn)品的大眾評分，開發(fā)語義搜索引擎，方便瀏覽，在線購物者增加1015%,增加銷售十多億美元。還通過對消費者購物行為分析，了解顧客購物習慣，優(yōu)化商品陳列。四、大數(shù)據(jù)的熱門應(yīng)用領(lǐng)域4金融 華爾街的銀行應(yīng)用大數(shù)據(jù)分析風險時間從3月縮短到3小時，價格計算從48小時到20分鐘，行為分析從72小時到20分鐘；交通銀行太平洋信用卡中心采用大數(shù)據(jù)信貸審批決策引擎，審批效率提高30%；阿里公

10、司基于大數(shù)據(jù)建設(shè)投融資平臺。5交通 美國UPS每天平均運輸163萬件包裹，用傳感器跟蹤46000輛車，2011年少跑了8500萬英里路程，節(jié)約了840萬加侖燃料；中遠物流公司有100多個配送中心，3000個網(wǎng)點，裝GPS的上萬輛車每月產(chǎn)生2億條信息，減排10%。6醫(yī)療 蘋果公司總裁喬布斯花費幾十萬美元獲得自身全部DNA，希望通過這種方式戰(zhàn)勝癌癥雖然愿望沒有實現(xiàn)，但也將他的生命延長了幾年；人體對藥品 代謝方式的差異 取決于個體特定的基因、酶和蛋白質(zhì)組合，因此基因信息對選擇最優(yōu)治療非常關(guān)鍵。 2014 年，大數(shù)據(jù)在公共服務(wù)中的交通、醫(yī)療、教育、預(yù)測服務(wù)等領(lǐng)域得到廣泛應(yīng)用。隨著第三方服務(wù)機構(gòu)的參與，公眾需求被不斷挖掘，應(yīng)用場景逐步豐富。 企業(yè)級大數(shù)據(jù)應(yīng)用逐漸普及，消費者行為分析、精準營銷、新業(yè)務(wù)新產(chǎn)品推廣、廣告推送、社