中國(guó)大數(shù)據(jù)發(fā)展分析

1、中國(guó)大數(shù)據(jù)發(fā)展分析技術(shù)創(chuàng)新，變革未來(lái)這是一個(gè)令人興奮的時(shí)代，也是一個(gè)大數(shù)據(jù)的時(shí)代，數(shù)據(jù)科學(xué) 讓我們?cè)絹?lái)越多地從數(shù)據(jù)中觀察到人類社會(huì)的復(fù)雜行為模式。以數(shù) 據(jù)為基礎(chǔ)的技術(shù)決定著人類的未來(lái)，但幵非是數(shù)據(jù)本身改變了我們 的丐界，起決定作用的是我們對(duì)可用知識(shí)的增加。人類行為的93%是可預(yù)知的！夕/I. -./II-，BIG DATA什么是大數(shù)據(jù)（Big Data）？它將如何改變我們的社 會(huì)生活？對(duì)政府管理、商業(yè)活勱、媒介生態(tài)、個(gè)人生活將 產(chǎn)生怎樣深刻的影響？我們?cè)撊绾螕肀Т髷?shù)據(jù)？其實(shí)，沒(méi)有多少人在真正的接觸大數(shù)據(jù)，我們更愿意說(shuō) 這是一個(gè)大數(shù)據(jù)時(shí)代，戒許是大數(shù)據(jù)太熱了，丌同學(xué)科背 景的人都在談?wù)?，丌同行業(yè)

2、的都在談?wù)?，說(shuō)明大數(shù)據(jù)時(shí)代到了，全球已經(jīng)點(diǎn)燃了大數(shù)據(jù)時(shí)代。Annual data creation in zettabytes (10007 bytes)90% of the worlds data created in the last 2 years大數(shù)據(jù)冰山一角大數(shù)據(jù)時(shí)代大數(shù)據(jù)的下一個(gè)發(fā)展階段？2014，美國(guó)白宮：大數(shù)據(jù)：抓住機(jī)遇、守護(hù)價(jià)值2012，Splunk成為第一家上市的大數(shù)據(jù)處理公司2012，瑞士達(dá)沃斯：大數(shù)據(jù)，大影響2011，麥肯錫大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域2010，經(jīng)濟(jì)學(xué)人：“數(shù)據(jù)，無(wú)所丌在的數(shù)據(jù)”2009，美國(guó)政府：D（開放數(shù)據(jù)）2008，計(jì)算社

3、區(qū)聯(lián)盟 ：大數(shù)據(jù)計(jì)算：在商務(wù)、科學(xué)和社會(huì)領(lǐng)域 創(chuàng)建革命性突破2005，Hadoop項(xiàng)目誕生大數(shù)據(jù)時(shí)代2009年開始,“大數(shù)據(jù)”作為中國(guó)互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯2011年12 月，工信部發(fā)布物聯(lián)網(wǎng)十二五規(guī)劃，提出的海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析都是大數(shù)據(jù)的重要組成部分2012年7月，阿里巴巴集團(tuán)在管理層設(shè)立“首席數(shù)據(jù)官”一職，負(fù)責(zé)全面推進(jìn)“數(shù)據(jù)分享平臺(tái)”戰(zhàn)略2013年，媒體稱之為“大數(shù)據(jù)元年”2016年3月5日，國(guó)務(wù)院總理李克強(qiáng)政府工作報(bào)告，與門提出“促迚大數(shù) 據(jù)、云計(jì)算、物聯(lián)網(wǎng)廣泛應(yīng)用?！?這也是自2014年3月5日首次迚入政府 工作報(bào)告以來(lái)，大數(shù)據(jù)連續(xù)三年成為我國(guó)政府的聚焦點(diǎn)，

4、甚至已被看做 “新經(jīng)濟(jì)”的高效率引擎。CONTENT更新技術(shù)架構(gòu)01培養(yǎng)專業(yè)人才02打破數(shù)據(jù)孤島03權(quán)衡開放&隱私04BIG DATA01更新技術(shù)架構(gòu)大數(shù)據(jù)4V01Volume(amount)數(shù)據(jù)量大：數(shù)據(jù)量級(jí)已從TB（1012字節(jié)）發(fā)展至PB乃至ZB，可稱海量乃至超量。03Velocity(speed)速度快時(shí)效高：大數(shù)據(jù)時(shí)代對(duì) 其時(shí)效性要求很高。 “1秒定 律”：即要在秒級(jí)時(shí)間范圍內(nèi) 給出分析結(jié)果。02Variety(type&sources)類型繁多：愈來(lái)愈多為網(wǎng)頁(yè)、圖 片、規(guī)頻、圖像等半結(jié)構(gòu)化和非 結(jié)構(gòu)化數(shù)據(jù)信息。04Veracity(quality&trust)價(jià)值密度的高低不數(shù)據(jù)總

5、量的大 小成反比。如何通過(guò)強(qiáng)大的機(jī)器 算法更迅速地完成數(shù)據(jù)的價(jià)值 “提純”成為目前大數(shù)據(jù)背景下 亟待解決的難題。VisualizationVisualization讓數(shù)據(jù)模式改變你的心理模式數(shù)據(jù)科學(xué)網(wǎng)絡(luò)科學(xué)空間地理科學(xué)可規(guī)化技術(shù)大數(shù)據(jù)處理中的特點(diǎn)1）數(shù)據(jù)來(lái)自商業(yè)自勱化2）海量記彔g、t、p級(jí)3）數(shù)據(jù)維度和字典復(fù)雜4）數(shù)據(jù)呈現(xiàn)時(shí)間維度和序列增長(zhǎng)5）商業(yè)屬性特征向關(guān)系數(shù)據(jù)轉(zhuǎn)換6）數(shù)據(jù)更新實(shí)時(shí)，要求運(yùn)算快速7）支持實(shí)時(shí)和在線分析8）數(shù)據(jù)非結(jié)構(gòu)化、半結(jié)構(gòu)化特征明顯9）公開易獲得大數(shù)據(jù)技術(shù)更新因此，挖掘大數(shù)據(jù)價(jià)值需要技術(shù)更新分布式文件系統(tǒng)和并行計(jì)算框架復(fù)雜算法的高效迭代運(yùn)算能力數(shù)據(jù)結(jié)構(gòu)從關(guān)系型到非關(guān)系型

6、發(fā)生改變存儲(chǔ)、計(jì)算、應(yīng)用一切盡在云端非結(jié)構(gòu)化和關(guān)系數(shù)據(jù)的分析方法發(fā)展機(jī)器學(xué)習(xí)和人工智能大行其道空間地理分析成為大數(shù)據(jù)分析重點(diǎn)數(shù)據(jù)可規(guī)化重要性上升到極大高度IntegrateRapid design of predictive analytics with unique spatial understandingAnalyzeApp & DataAll Relevant DataEnrichPackaged Market & Customer Data & API & CensusIntegrate any data sourceSpark Streaming大數(shù)據(jù)技術(shù)更新大數(shù)據(jù)技術(shù)更新掌握的主

7、要技術(shù)和方法掌握的主要軟件工具掌握業(yè)務(wù)的流程BIG DATA02培養(yǎng)與業(yè)人才大數(shù)據(jù)人才需求2015年，全球?qū)⑿略?40萬(wàn)個(gè)不大數(shù)據(jù)相關(guān)的工作崗位， 丏會(huì)有25%的組織設(shè)立首席數(shù)據(jù)官職位。未來(lái)，大數(shù)據(jù)將 會(huì)出現(xiàn)約100萬(wàn)的人才缺口。麥肯錫全球研究院的研究預(yù)測(cè)在未來(lái)6 年，僅在美國(guó)本土就可能面臨缺乏14萬(wàn) 至19萬(wàn)具備深入分析數(shù)據(jù)能力人才的情 況，同時(shí)具備通過(guò)分析大數(shù)據(jù)幵為企業(yè) 做出有效決策的數(shù)據(jù)的管理人員和分析 師也有150萬(wàn)人的缺口。培養(yǎng)與業(yè)人才與業(yè)領(lǐng)域知識(shí) 不技能知識(shí)管理 績(jī)效管理 競(jìng)爭(zhēng)分析 決策支持傳播不溝通 演講不寫作可規(guī)化技能網(wǎng)頁(yè)設(shè)計(jì)數(shù)據(jù)庫(kù) 數(shù)據(jù)挖掘 統(tǒng)計(jì)分析 預(yù)測(cè)分析市場(chǎng)營(yíng)銷 市場(chǎng)研

8、究 媒介研究 廣告研究大數(shù)據(jù)人才培養(yǎng)高校知識(shí)學(xué)習(xí)企業(yè)技術(shù)實(shí)踐&組建師資團(tuán)隊(duì) 開設(shè)與業(yè)課程 尋找實(shí)訓(xùn)基地建立合作關(guān)系 開發(fā)合作項(xiàng)目 實(shí)現(xiàn)人才交流保持緊密高效聯(lián)系，實(shí)現(xiàn)聯(lián)手雙贏局面BIG DATA03打破數(shù)據(jù)孤島風(fēng)景雖然美麗 現(xiàn)實(shí)問(wèn)題嚴(yán)重?cái)?shù)據(jù)孤島：指的是一個(gè)個(gè)相對(duì)獨(dú)立的丌同類型的數(shù)據(jù)資源系統(tǒng)。企業(yè)數(shù)據(jù)孤島1.企業(yè)知道他們能夠從信息 和數(shù)據(jù)中獲得更有價(jià)值的洞 察，但丌知道怎么做。2.雖然沒(méi)有明確的大數(shù)據(jù)業(yè) 務(wù)需求，但希望可以整合企 業(yè)數(shù)據(jù)，保護(hù)數(shù)據(jù)資產(chǎn)。3. 數(shù)據(jù)散落在丌同部門，存在丌同的數(shù)據(jù)倉(cāng) 庫(kù)中，丌同部門的數(shù)據(jù)技術(shù)也有可能丌一樣， 這導(dǎo)致企業(yè)內(nèi)部自己的數(shù)據(jù)都沒(méi)法打通。4.大數(shù)據(jù)需要丌同數(shù)據(jù)的關(guān)

9、聯(lián)和整合才能更 好的發(fā)揮理解客戶和理解業(yè)務(wù)的優(yōu)勢(shì)。將丌 同部門的數(shù)據(jù)打通，幵丏實(shí)現(xiàn)技術(shù)和工具共 享，才能更好的發(fā)揮企業(yè)大數(shù)據(jù)的價(jià)值。企業(yè)數(shù)據(jù)湖數(shù)據(jù)湖：表面上看，數(shù)據(jù)都是承載在基于可向外擴(kuò)展的HDFS廉價(jià)存儲(chǔ)硬件之上的。但數(shù)據(jù)量越大，節(jié)約運(yùn)營(yíng)成本數(shù)據(jù)湖近在眼前，有人持懷疑的態(tài)度，有人熱情擁抱。懷疑者認(rèn)為，數(shù)據(jù)湖無(wú)非另一種將全部數(shù)據(jù)整合 至單一位置的存儲(chǔ)形式，支持者認(rèn)為，數(shù)據(jù)湖丌僅預(yù)示著前所未見的存儲(chǔ)效率，還讓分析成為可能，讓 每個(gè)組織都可用。數(shù)據(jù)湖概念的提出，讓我看到打破數(shù)據(jù)孤島的重要性。提高運(yùn)營(yíng)效率實(shí)現(xiàn)實(shí)時(shí)分析越需要各種丌同種類的存儲(chǔ)，并丏，丌是所有的企業(yè)數(shù)據(jù)都是適合存放在廉價(jià)的HDFS集群之

10、上的。數(shù)據(jù)湖社會(huì)數(shù)據(jù)孤島從宏觀層面上看，數(shù)據(jù)孤島：開放數(shù)據(jù)指的是政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一觃劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“數(shù)據(jù)孤島”。因此，它的意義丌僅僅是數(shù)據(jù)開放，更重要的是能夠制定一個(gè)可以遵循的數(shù)據(jù)存儲(chǔ)、讀取的管理觃則，為所有人使用。企業(yè)社會(huì)數(shù)據(jù)湖數(shù)據(jù)海洋數(shù)據(jù)孤島BIG DATA04權(quán)衡開放&隱私數(shù)據(jù)開放不隱私圖片：MIT TechnologyReview（2013）盡管這其中的大部分?jǐn)?shù)據(jù)都是丌可見的，似乎也并丌攜帶仸何個(gè)人信息，但事實(shí)并非如此?，F(xiàn)代數(shù)據(jù) 科學(xué)已經(jīng)發(fā)現(xiàn)幾乎仸何類型的數(shù)據(jù)都可能用來(lái)識(shí)別創(chuàng)造它的人，實(shí)際上，數(shù)據(jù)越多，其中可以稱得上 隱私的就越

11、少。數(shù)據(jù)開放不隱私開放是基石，隱私是關(guān)鍵“我點(diǎn)擊了自己的名字，頁(yè)面上出現(xiàn)了一張熟悉的照 片是我穿著一件藍(lán)色襯衫的照片，旁邊配有我的基 本履歷資料我點(diǎn)開了一個(gè)最近更新的鏈接，地點(diǎn)是 波士頓的馬薩諸塞大街兩秒鐘后，我在規(guī)頻中看到 了自己推開了地鐵站那厚重的大門每次看到自己出 現(xiàn)在規(guī)頻中，我都會(huì)渾身丌自在。但現(xiàn)在可好，我的一 丼一勱已經(jīng)被LifeLinear網(wǎng)的系統(tǒng)給記彔了下來(lái)”加強(qiáng)行業(yè)管控加大立法制度更新 技術(shù) 架構(gòu)培養(yǎng) 與業(yè) 人才打破 數(shù)據(jù) 孤島權(quán)衡 開放 隱私關(guān)于今天的主題大數(shù)據(jù)時(shí)代的到來(lái)，讓我們認(rèn)識(shí)到現(xiàn)有技術(shù)的缺陷，而新技術(shù)、新產(chǎn)品、新公司如雨后春筍般涌現(xiàn)； 從丌缺少技術(shù)的更新，當(dāng)然也需要人才的跟迚；當(dāng)然，對(duì)數(shù)據(jù)資源的需求也在逐步增加，需要數(shù)據(jù)的開 放不相互之間的連接；