2017大數(shù)據(jù)與知識(shí)自動(dòng)化課件

王偉控制科學(xué)與工程學(xué)院2017年

大數(shù)據(jù)與知識(shí)自動(dòng)化王偉

大數(shù)據(jù)與知識(shí)自動(dòng)化1主要內(nèi)容一、什么是大數(shù)據(jù)二、大數(shù)據(jù)時(shí)代的思維變革三、大數(shù)據(jù)的應(yīng)用四、大數(shù)據(jù)帶來(lái)的負(fù)面作用五、大數(shù)據(jù)的發(fā)展前景六、大數(shù)據(jù)與知識(shí)自動(dòng)化主要內(nèi)容一、什么是大數(shù)據(jù)2維克托邁爾舍恩伯格、肯尼思庫(kù)克耶著，大數(shù)據(jù)時(shí)代，浙江人民出版社，2013年。維克托邁爾舍恩伯格，被譽(yù)為“大數(shù)據(jù)時(shí)代的預(yù)言家”、牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授肯尼思庫(kù)克耶，《經(jīng)濟(jì)學(xué)人》數(shù)據(jù)編輯維克托邁爾舍恩伯格、肯尼思庫(kù)克耶著，大數(shù)據(jù)時(shí)代，浙江人3在這本書中，從小數(shù)據(jù)時(shí)代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀，給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。2012年其著作《大數(shù)據(jù)》在中國(guó)社會(huì)開大數(shù)據(jù)之先河，引發(fā)了大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國(guó)和開放數(shù)據(jù)的討論。涂子沛，江西吉安人，現(xiàn)居美國(guó)硅谷。作者本科畢業(yè)于華中科技大學(xué)計(jì)算機(jī)系，研究生畢業(yè)于中山大學(xué)和卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息科學(xué)碩士學(xué)位。涂子沛，數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實(shí)與未來(lái)，中信出版社，2014年。在這本書中，從小數(shù)據(jù)時(shí)代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、42017大數(shù)據(jù)與知識(shí)自動(dòng)化課件5在人類社會(huì)發(fā)展進(jìn)程中，人們觀測(cè)自然現(xiàn)象、揭示和把握自然規(guī)律并進(jìn)而用于改善自身生存和生活狀況的活動(dòng)從來(lái)都沒有停止過(guò)。人類揭示和運(yùn)用自然規(guī)律是從觀測(cè)和記錄自然現(xiàn)象開始的，而這種觀測(cè)和記錄的結(jié)果要么就是數(shù)據(jù)，要么可以通過(guò)某種方法轉(zhuǎn)化為數(shù)據(jù)。人類把握和運(yùn)用自然規(guī)律的能力越強(qiáng)，社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)就越發(fā)展；社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)越發(fā)展，人類揭示和運(yùn)用自然規(guī)律的愿望和需求就越強(qiáng)烈，結(jié)果是獲取和存儲(chǔ)的觀測(cè)數(shù)據(jù)就會(huì)越來(lái)越多。伴隨著近代傳感器、無(wú)線通信、計(jì)算機(jī)與互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展及在各個(gè)領(lǐng)域的廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段和途徑越來(lái)越多，成本越來(lái)越低，速度越來(lái)越快，所獲數(shù)據(jù)的種類、層次和尺度也越來(lái)越多樣化，這就在廣度、深度和速度三個(gè)方面催生了大數(shù)據(jù)時(shí)代的到來(lái)。一、什么是大數(shù)據(jù)一、什么是大數(shù)據(jù)6最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫，麥肯錫稱：數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！按髷?shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日，卻因?yàn)榻陙?lái)互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。大數(shù)據(jù)作為云計(jì)算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問(wèn)的場(chǎng)所和渠道，而數(shù)據(jù)才是真正有價(jià)值的資產(chǎn)。2017大數(shù)據(jù)與知識(shí)自動(dòng)化課件7大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港口、水電、和通信網(wǎng)絡(luò)一樣不可或缺。而大數(shù)據(jù)同這些物理化的基礎(chǔ)設(shè)施不同，不會(huì)因?yàn)槿藗兊氖褂枚叟f和貶值。世界的本質(zhì)就是數(shù)據(jù)。因此大數(shù)據(jù)時(shí)代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會(huì)學(xué)和許多科學(xué)門類都會(huì)發(fā)生巨大甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類的價(jià)值體系、知識(shí)體系和生活方式。大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港8進(jìn)入2012年，大數(shù)據(jù)一詞越來(lái)越多地被提及，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。它上過(guò)《紐約時(shí)報(bào)》《華爾街日?qǐng)?bào)》的專欄封面，進(jìn)入美國(guó)白宮官網(wǎng)的新聞。數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展，雖然很多企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)問(wèn)題的隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。《紐約時(shí)報(bào)》2012年一篇專欄中所稱，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里·金說(shuō)：這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。進(jìn)入2012年，大數(shù)據(jù)一詞越來(lái)越多地被提及，人們用它來(lái)描述和9大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）……2進(jìn)制數(shù)據(jù)單位：Byte、KB(103)、MB(106)、GB(109)、TB(1012)、PB(1015)、EB(1018)、ZB(1021)、YB(1024)、DB(1027)、NB(1030)國(guó)際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2009年全球產(chǎn)生的數(shù)據(jù)量為0.8ZB，2010年增長(zhǎng)為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的。預(yù)計(jì)到2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。大數(shù)據(jù)到底有多大大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一10大數(shù)據(jù)公司的現(xiàn)狀Google公司通過(guò)大規(guī)模集群和MapReduce軟件，每個(gè)月的數(shù)據(jù)量超過(guò)400PB。百度的數(shù)據(jù)量：數(shù)百PB，每天大約要處理幾十PB數(shù)據(jù)，大多要實(shí)時(shí)處理，如微博、團(tuán)購(gòu)、秒殺。Facebook：截至2012年5月，擁有約9億用戶，是全球第一大社交網(wǎng)站，每月上傳10億照片，每天生成300TB日志數(shù)據(jù)淘寶網(wǎng)：截止2014年，淘寶網(wǎng)注冊(cè)會(huì)員超5億人每天有超過(guò)1.2億的活躍用戶，在線商品數(shù)達(dá)到10億件，淘寶網(wǎng)和天貓平臺(tái)的交易額總額超過(guò)了1.5萬(wàn)億。每天交易數(shù)千萬(wàn)，產(chǎn)生約20TB數(shù)據(jù)。Yahoo的數(shù)據(jù)量：Hadoop云計(jì)算平臺(tái)有34個(gè)集群，超過(guò)3萬(wàn)臺(tái)機(jī)器，總存儲(chǔ)容量超過(guò)100PB。大數(shù)據(jù)公司的現(xiàn)狀11中國(guó)產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國(guó)大數(shù)據(jù)行業(yè)研究分析及發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告認(rèn)為，云計(jì)算、物聯(lián)網(wǎng)、智慧城市、移動(dòng)互聯(lián)等新技術(shù)與應(yīng)用的不斷涌現(xiàn)，加速了大數(shù)據(jù)時(shí)代的到來(lái)。統(tǒng)計(jì)數(shù)據(jù)顯示，2015年國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模已達(dá)1105億元。較2014年增長(zhǎng)44.15%。其中，大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)、大數(shù)據(jù)軟件和大數(shù)據(jù)應(yīng)用分別占比64.53%、25.47%和10%。當(dāng)前，大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展，2015年全球大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模為1403億美元，預(yù)計(jì)到2020年將達(dá)到10270億美元。大數(shù)據(jù)行業(yè)的高速發(fā)展引起的巨大的數(shù)據(jù)存儲(chǔ)需求，將給傳統(tǒng)IT基礎(chǔ)設(shè)施架構(gòu)帶來(lái)巨大壓力，為帶來(lái)很大的發(fā)展機(jī)會(huì)。到2020年，形成50個(gè)大數(shù)據(jù)產(chǎn)業(yè)示范園區(qū)，引進(jìn)和培育100戶大數(shù)據(jù)龍頭企業(yè)，通過(guò)大數(shù)據(jù)帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模達(dá)20萬(wàn)億元。中國(guó)產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國(guó)大數(shù)據(jù)行業(yè)研究分12粗略地講，大數(shù)據(jù)是指在可容忍的時(shí)間內(nèi)無(wú)法用現(xiàn)有的信息技術(shù)和軟硬件工具對(duì)其進(jìn)行傳輸、存儲(chǔ)、計(jì)算與應(yīng)用等的數(shù)據(jù)集合。數(shù)據(jù)量大（Volume）

數(shù)據(jù)量大。大數(shù)據(jù)的起始計(jì)量單位至少是TB。類型繁多（Variety）

數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，甚至包括非完整和錯(cuò)誤數(shù)據(jù)?，F(xiàn)代互聯(lián)網(wǎng)上半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所占比例已達(dá)95%以上。價(jià)值密度低（Value）數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)廣泛應(yīng)用，信息感知無(wú)處不在，信息海量，但價(jià)值密度較低，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。速度快時(shí)效高（Velocity）

處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的4個(gè)特征(4V)粗略地講，大數(shù)據(jù)是指在可容忍的時(shí)間內(nèi)無(wú)法用現(xiàn)有的信息技13

1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)生。網(wǎng)絡(luò)數(shù)據(jù)有多種不同的呈現(xiàn)形式，如音視頻、圖片、文本等，導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)格式上的異構(gòu)性。

2）交互性：不同于測(cè)量和傳感獲取的大規(guī)?？茖W(xué)數(shù)據(jù)，微博等社交網(wǎng)絡(luò)興起導(dǎo)至大量網(wǎng)絡(luò)數(shù)據(jù)具有很強(qiáng)的交互性。

3）時(shí)效性：在網(wǎng)絡(luò)平臺(tái)上，每時(shí)每刻都有大量新的網(wǎng)絡(luò)數(shù)據(jù)發(fā)布，網(wǎng)絡(luò)信息內(nèi)容不斷變化，導(dǎo)致了信息傳播的時(shí)序相關(guān)性。

4）社會(huì)性：網(wǎng)絡(luò)上用戶根據(jù)自己的需要和喜好發(fā)布、回復(fù)或轉(zhuǎn)發(fā)信息，因而網(wǎng)絡(luò)數(shù)據(jù)成了對(duì)社會(huì)狀態(tài)的直接反映。

5）突發(fā)性：有些信息在傳播過(guò)程中會(huì)在短時(shí)間內(nèi)引起大量新的網(wǎng)絡(luò)數(shù)據(jù)與信息的產(chǎn)生，并使相關(guān)的網(wǎng)絡(luò)用戶形成網(wǎng)絡(luò)群體，體現(xiàn)出網(wǎng)絡(luò)大數(shù)據(jù)以及網(wǎng)絡(luò)群體的突發(fā)特性。

6）高噪聲：網(wǎng)絡(luò)數(shù)據(jù)來(lái)自于眾多不同的網(wǎng)絡(luò)用戶，具有很高的噪聲。網(wǎng)絡(luò)大數(shù)據(jù)的特點(diǎn)1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)14二、大數(shù)據(jù)時(shí)代的思維變革1.不是隨機(jī)樣本，而是全體數(shù)據(jù)更多分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少數(shù)的樣本數(shù)據(jù)。以前許多結(jié)論都是由隨機(jī)樣本完成的，如：人口普查、電視節(jié)目收視率、美國(guó)大選的支持率等等隨機(jī)樣本仍然是一種有效的方法當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時(shí)，一切都改變了。我們需要的是所有的數(shù)據(jù)。樣本=總體

二、大數(shù)據(jù)時(shí)代的思維變革152.不是精確性，而是混雜性更雜執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用傳統(tǒng)數(shù)據(jù)庫(kù)的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無(wú)法被利用，只有接受不精確性，我們才能打開一扇從沒涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更有效大數(shù)據(jù)不僅讓我們不再期望精確性，也讓我們無(wú)法實(shí)現(xiàn)精確性混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑不精確已經(jīng)滲入到數(shù)據(jù)庫(kù)這個(gè)不能容忍錯(cuò)誤的領(lǐng)域，新的數(shù)據(jù)庫(kù)的誕生-非關(guān)系數(shù)據(jù)庫(kù)

2.不是精確性，而是混雜性更雜163.不是因果關(guān)系，而是相關(guān)關(guān)系更好知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時(shí)代，我們不必非要知道現(xiàn)象背后的原因，而是要關(guān)注事物的相關(guān)關(guān)系。關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵“是什么”而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?/p>

3.不是因果關(guān)系，而是相關(guān)關(guān)系更好17《大數(shù)據(jù)時(shí)代》書中第一個(gè)例子：Google公司成功預(yù)報(bào)2009年美國(guó)甲型H1N1流感。在網(wǎng)絡(luò)上收索特定的檢索詞，如“哪些是治療咳嗽和發(fā)熱的藥物”。檢測(cè)詞條的使用頻率、時(shí)間和空間的傳播關(guān)系。共處理4.5億個(gè)不同的模型。預(yù)測(cè)結(jié)果與官方數(shù)據(jù)相關(guān)性高達(dá)97%。而且，判斷非常及時(shí)，比疾控中心早1-2周。Google、百度、搜狗等的搜索服務(wù)就是一個(gè)典型的大數(shù)據(jù)運(yùn)用，根據(jù)客戶的需求，實(shí)時(shí)從全球海量的數(shù)字資產(chǎn)中快速找出最可能的答案，呈現(xiàn)給你，就是一個(gè)典型的大數(shù)據(jù)服務(wù)。三、大數(shù)據(jù)的應(yīng)用《大數(shù)據(jù)時(shí)代》書中第一個(gè)例子：Google公司成功預(yù)報(bào)20018一個(gè)父親有一個(gè)高中生女兒，接到一個(gè)促銷嬰兒用品的廣告，父親大怒，說(shuō)商家無(wú)良。但過(guò)了兩個(gè)星期，他知道女兒確實(shí)懷孕了。你在網(wǎng)上搜索一個(gè)物品或買一個(gè)商品，網(wǎng)絡(luò)會(huì)記下你的需求，當(dāng)你以后再瀏覽網(wǎng)頁(yè)時(shí)，會(huì)自動(dòng)向你推送一些相關(guān)產(chǎn)品。一個(gè)炒股的故事。這個(gè)故事來(lái)自于2011年好萊塢的一部高智商電影《永無(wú)止境》，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股。庫(kù)珀是怎么炒股的呢?

通過(guò)海量信息的挖掘、分析，使一切趨勢(shì)都在眼前，結(jié)果在10天內(nèi)他就贏得了200萬(wàn)美元，神奇表現(xiàn)讓身邊職業(yè)投資者目瞪口呆。一個(gè)父親有一個(gè)高中生女兒，接到一個(gè)促銷嬰兒用品的廣告，父親大19微軟研究院DavidRothschid與Office團(tuán)隊(duì)共同開發(fā)了一款Excel軟件，用大數(shù)據(jù)來(lái)預(yù)測(cè)2013年奧斯卡獎(jiǎng)，結(jié)果猜中了24個(gè)獎(jiǎng)項(xiàng)中的19個(gè)。該網(wǎng)站還提供了2016年美國(guó)大選的預(yù)測(cè)結(jié)果，根據(jù)目前的數(shù)據(jù)，民主黨的希拉里·克林頓有望成為美國(guó)歷史上第一位女總統(tǒng)，幾率為32%。雅虎與社交網(wǎng)站Tumblr及知名足球數(shù)據(jù)網(wǎng)站OPTA合作預(yù)測(cè)2016年歐洲杯戰(zhàn)況。預(yù)測(cè)德國(guó)最終1:0戰(zhàn)勝衛(wèi)冕冠軍西班牙。但實(shí)際上葡萄牙1:0戰(zhàn)勝法國(guó)捧起德勞內(nèi)杯。智能電表用電統(tǒng)計(jì)。供電公司能每隔15分鐘就讀一次用電數(shù)據(jù)，而不是過(guò)去的一月一次。這不僅僅節(jié)省了抄表的人工費(fèi)用，而且由于能高頻率快速采集分析用電數(shù)據(jù)（產(chǎn)生大數(shù)據(jù)），供電公司能根據(jù)用電高峰和低谷時(shí)段制定不同的電價(jià)，利用這種價(jià)格杠桿來(lái)平抑用電高峰和低谷的波動(dòng)幅度。微軟研究院DavidRothschid與Office團(tuán)隊(duì)共20四、大數(shù)據(jù)帶來(lái)的負(fù)面作用大數(shù)據(jù)與個(gè)人隱私

科技本來(lái)就是一支雙刃劍，關(guān)鍵是誰(shuí)用和如何用。大數(shù)據(jù)也是一樣。在微信、微博等社會(huì)大數(shù)據(jù)之下如何保護(hù)個(gè)人隱私的問(wèn)題，我們的手機(jī)號(hào)碼，個(gè)人信息已成為大數(shù)據(jù)的一分子。如何保護(hù)個(gè)人？如何防止有人利用大數(shù)據(jù)技術(shù)進(jìn)行人身攻擊。個(gè)人DNA信息，是個(gè)人隱私還是公眾信息或者是科研素材

雖然警方利用DNA信息在尋找殺人兇手的案件中屢建戰(zhàn)功，但是，警方采集和利用DNA數(shù)據(jù)卻可能傷害無(wú)辜大眾的自由和隱私。四、大數(shù)據(jù)帶來(lái)的負(fù)面作用大數(shù)據(jù)與個(gè)人隱私21人類丟失了遺忘的天性

目前90%以上的信息為數(shù)字形式，讓整個(gè)人類丟失了遺忘的天性，世界被設(shè)置成記憶模式，互聯(lián)網(wǎng)記得你的一切，也就是說(shuō)：記憶成了常態(tài)，而遺忘卻變成了例外，個(gè)人隱私被侵犯的可能性也變大。谷歌一直為默默無(wú)聞?dòng)浀么蠹以S多事兒而引以為豪，但是最近發(fā)生的一件事兒，讓谷歌搜索引擎及網(wǎng)絡(luò)出版商頗為失望：一名西班牙人在谷歌搜索中，發(fā)現(xiàn)自己房屋被銀行收回拍賣的信息，他認(rèn)為這樣的搜索結(jié)果侵犯了他的隱私，要求谷歌刪除相關(guān)搜索結(jié)果。歐洲法庭在5月初對(duì)此做出了裁決，判定西班牙人勝訴，這意味著歐盟居民今后在互聯(lián)網(wǎng)隱私方面，有了相關(guān)的法律依據(jù)。人類丟失了遺忘的天性22不及時(shí)有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至國(guó)家風(fēng)險(xiǎn)。

現(xiàn)在，我們正從工業(yè)走向知業(yè)時(shí)代，社會(huì)中的許多組織過(guò)程在網(wǎng)絡(luò)環(huán)境中也變得更加動(dòng)態(tài)復(fù)雜，“大數(shù)據(jù)”實(shí)際上揭示了實(shí)時(shí)“社會(huì)信號(hào)”的到來(lái)，也必將催發(fā)未來(lái)的新型社會(huì)管理產(chǎn)業(yè)。我們必須盡快利用大數(shù)據(jù)，特別是以微信微博為代表的社會(huì)信號(hào)，創(chuàng)新社會(huì)管理，開發(fā)出各種各樣的社會(huì)管理和服務(wù)系統(tǒng)，防止在社會(huì)過(guò)程中產(chǎn)生許多“爆炸”，危害社會(huì)的健康發(fā)展。不及時(shí)有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至23發(fā)達(dá)國(guó)家對(duì)大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。美國(guó)于2012年3月發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，旨在提高人們從海量數(shù)據(jù)中提取知識(shí)的能力，加快科學(xué)發(fā)現(xiàn)與工程研發(fā)的步伐。2013年4月，美國(guó)眾議院科學(xué)、空間和技術(shù)委員會(huì)以大數(shù)據(jù)為專題舉行了聽證會(huì)；多名資深教授和國(guó)家科學(xué)基金會(huì)的高官就如何促進(jìn)海量數(shù)據(jù)的分析和利用、如何利用大數(shù)據(jù)技術(shù)激勵(lì)創(chuàng)新等問(wèn)題在聽證會(huì)上發(fā)言。2013年9月，美國(guó)國(guó)立衛(wèi)生研究院（NIH）宣布，今后4年每年提供2400萬(wàn)美元，資助6至8個(gè)“從大數(shù)據(jù)到知識(shí)發(fā)現(xiàn)的卓越中心”（簡(jiǎn)稱大數(shù)據(jù)卓越中心），以開發(fā)和推廣大數(shù)據(jù)共享、集成、分析與管理的創(chuàng)新方法、軟件和工具，從而幫助研究人員提升利用大規(guī)模復(fù)雜數(shù)據(jù)集的能力。這表明美國(guó)已把大數(shù)據(jù)技術(shù)和應(yīng)用研究上升為國(guó)家戰(zhàn)略，視為推動(dòng)經(jīng)濟(jì)復(fù)蘇的關(guān)鍵所在。五、大數(shù)據(jù)的發(fā)展前景發(fā)達(dá)國(guó)家對(duì)大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。五、大24聯(lián)合國(guó)也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對(duì)于聯(lián)合國(guó)和各國(guó)政府來(lái)說(shuō)是一個(gè)歷史性的機(jī)遇，人們?nèi)缃窨梢允褂脴O為豐富的數(shù)據(jù)資源，來(lái)對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分析，幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行。歐盟專門設(shè)立了大數(shù)據(jù)研究征集項(xiàng)目（FP7Call8），旨在以大數(shù)據(jù)基礎(chǔ)設(shè)施為先導(dǎo)，大幅度提高大數(shù)據(jù)分析算法和處理系統(tǒng)的效率。日本也推出了《活力ICT日本計(jì)劃》，把大數(shù)據(jù)研究和應(yīng)用技術(shù)視為國(guó)家發(fā)展戰(zhàn)略。而最為積極的還是眾多的IT企業(yè)。麥肯錫在一份名為《大數(shù)據(jù)，是下一輪創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》的專題研究報(bào)告中提出，“對(duì)于企業(yè)來(lái)說(shuō)，海量數(shù)據(jù)的運(yùn)用將成為未來(lái)競(jìng)爭(zhēng)和增長(zhǎng)的基礎(chǔ)”，該報(bào)告在業(yè)界引起廣泛反響。聯(lián)合國(guó)也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對(duì)于聯(lián)25各國(guó)在大數(shù)據(jù)方面的人才儲(chǔ)備

大數(shù)據(jù)時(shí)代來(lái)臨，甚至有專家認(rèn)為，所有科學(xué)都在變成數(shù)據(jù)科學(xué)。但目前市場(chǎng)上具備深入分析數(shù)據(jù)能力的人才卻十分缺乏。據(jù)業(yè)界專家估算，中國(guó)大數(shù)據(jù)市場(chǎng)的人才需求量至少有100萬(wàn)。近年來(lái)，世界各國(guó)紛紛成立數(shù)據(jù)科學(xué)研究機(jī)構(gòu)，各大學(xué)也成立相關(guān)學(xué)院培養(yǎng)人才。如美國(guó)紐約大學(xué)、英國(guó)鄧迪大學(xué)均從2013年起設(shè)立數(shù)據(jù)科學(xué)碩士學(xué)位，美國(guó)哥倫比亞大學(xué)將從2015年起設(shè)立博士學(xué)位。在國(guó)內(nèi)，香港中文大學(xué)自2008年起就設(shè)立了“數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計(jì)”科學(xué)碩士學(xué)位。清華大學(xué)新近成立了數(shù)據(jù)科學(xué)研究院，自2015年9月起開始招收研究生。西安交大、浙江大學(xué)、華東師大等高校也先后設(shè)立了數(shù)據(jù)科學(xué)研究中心。上海市啟動(dòng)“數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才培養(yǎng)計(jì)劃”，將在未來(lái)3年培養(yǎng)和引進(jìn)千名高端數(shù)據(jù)人才。各國(guó)在大數(shù)據(jù)方面的人才儲(chǔ)備26復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將在數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、生命科學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、傳播學(xué)等多學(xué)科交叉融合的基礎(chǔ)上，聚焦大數(shù)據(jù)學(xué)科建設(shè)、研究應(yīng)用和復(fù)合型人才培養(yǎng)。首批學(xué)生將于2016年9月將進(jìn)入大數(shù)據(jù)學(xué)院就讀。電子科技大學(xué)成立大數(shù)據(jù)研究中心，是目前國(guó)內(nèi)架構(gòu)最完整的大數(shù)據(jù)產(chǎn)學(xué)研一體化機(jī)構(gòu)。中心擁有安全大數(shù)據(jù)研究所，健康大數(shù)據(jù)科學(xué)研究中心，教育大數(shù)據(jù)研究所，大數(shù)據(jù)挖掘與推理研究所，移動(dòng)大數(shù)據(jù)研究所，遙感大數(shù)據(jù)研究所，大數(shù)據(jù)產(chǎn)業(yè)技術(shù)研究院和大數(shù)據(jù)協(xié)同創(chuàng)新平臺(tái)8個(gè)研究實(shí)體。復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將272016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對(duì)外經(jīng)貿(mào)大學(xué)開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”本科4年專業(yè)。2017年3月教育部公布第二批“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”名單，共有中國(guó)人民大學(xué)、復(fù)旦大學(xué)、上海紐約大學(xué)等32所學(xué)校開設(shè)本科4年專業(yè)。2016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對(duì)外經(jīng)貿(mào)大學(xué)開設(shè)28如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會(huì)遇到的第一個(gè)問(wèn)題是“應(yīng)該從哪篇論文開始讀起呢”?這里給出了深度學(xué)習(xí)論文閱讀路線圖!路線圖按照下面四個(gè)準(zhǔn)則構(gòu)建而成：從提綱到細(xì)節(jié)從經(jīng)典到前沿從通用領(lǐng)域到特定領(lǐng)域?qū)Ｗ⒂谧钕冗M(jìn)的技術(shù)你將會(huì)發(fā)現(xiàn)很多近期發(fā)表但是確實(shí)值得一讀的論文。我們將持續(xù)不斷地給這條路線圖添加論文。1.深度學(xué)習(xí)歷史和基礎(chǔ)

1.0書籍如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會(huì)遇到的第一個(gè)問(wèn)題是“應(yīng)29

1.1調(diào)查

1.2深度信念網(wǎng)絡(luò)(DBN)(深度學(xué)習(xí)開篇的里程碑)

1.3ImageNet進(jìn)展(深度學(xué)習(xí)從此爆發(fā))1.4語(yǔ)音識(shí)別進(jìn)展2.深度學(xué)習(xí)方法

2.1模型2.2優(yōu)化。。。1.1調(diào)查1.3ImageNet進(jìn)30大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過(guò)去的假設(shè)驅(qū)動(dòng)型轉(zhuǎn)化為數(shù)據(jù)驅(qū)動(dòng)型，從而將為科學(xué)技術(shù)的發(fā)展開辟一條新的途徑。有相當(dāng)數(shù)量的科研活動(dòng)是按如下兩條路徑展開的：（1）假設(shè)事物遵從某些規(guī)律，然后通過(guò)實(shí)驗(yàn)或數(shù)理邏輯的方法得到整體規(guī)律；（2）小樣本隨機(jī)取樣，進(jìn)而得出該事物集合整體上所遵循的統(tǒng)計(jì)規(guī)律。第一種路徑在沒有已知規(guī)律可循或事物各組成部分之間的關(guān)系過(guò)于復(fù)雜而難于建立模型時(shí)失效；第二種路徑在獨(dú)立同分布假設(shè)不成立或采樣的隨機(jī)性得不到保證時(shí)失效。面對(duì)各種最棘手的全球性挑戰(zhàn)，在傳統(tǒng)的理論方法因過(guò)于復(fù)雜而難以解決這些問(wèn)題時(shí)，數(shù)據(jù)驅(qū)動(dòng)可能是最有希望解決這些難題的方法。大數(shù)據(jù)開辟了新的研究模式大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過(guò)去的假設(shè)驅(qū)動(dòng)型轉(zhuǎn)化為數(shù)據(jù)驅(qū)31隨著大數(shù)據(jù)在世界各個(gè)領(lǐng)域的快速滲透和發(fā)展，2008年《Nature》出版了“BigData”?？瑥幕ヂ?lián)網(wǎng)、經(jīng)濟(jì)、超級(jí)計(jì)算、環(huán)境科學(xué)和生物醫(yī)藥等多個(gè)方面介紹了海量數(shù)據(jù)帶來(lái)的一系列技術(shù)問(wèn)題和挑戰(zhàn)。自此，“大數(shù)據(jù)”開始進(jìn)入學(xué)術(shù)界，逐漸成為備受關(guān)注的前沿研究課題。2011年，《Science》推出了數(shù)據(jù)處理?？禗ealingwithdata》。該專刊核心觀點(diǎn)是：有效組織和利用數(shù)據(jù)將能夠進(jìn)一步發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展的巨大推動(dòng)作用。隨著大數(shù)據(jù)在世界各個(gè)領(lǐng)域的快速滲透和發(fā)展，2008年《Nat322012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊《ERCIMNews》出版專刊《BigData》，重點(diǎn)討論了大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理與處理技術(shù)方面的關(guān)鍵問(wèn)題。IEEE計(jì)算機(jī)學(xué)會(huì)決定，從2013年開始，每年舉辦一次IEEEBigData國(guó)際學(xué)術(shù)會(huì)議。Springer等科技出版社也于近年來(lái)相繼創(chuàng)刊了大數(shù)據(jù)方面的國(guó)際雜志。上述情況表明，大數(shù)據(jù)已成為一門新興科學(xué)并已受到科技界廣泛重視。2012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊《ERCIM33我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國(guó)科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會(huì)議。國(guó)家自然科學(xué)基金委員會(huì)于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”列入2014年的項(xiàng)目指南中，擬以重點(diǎn)項(xiàng)目群的方式支持和推動(dòng)相關(guān)領(lǐng)域的基礎(chǔ)研究。國(guó)家發(fā)展改革委員會(huì)與地方政府主導(dǎo)的“智慧城市”計(jì)劃已開始實(shí)施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個(gè)大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計(jì)劃和專項(xiàng)研究計(jì)劃。我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的34我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國(guó)科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會(huì)議。國(guó)家自然科學(xué)基金委員會(huì)于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”列入2014年的項(xiàng)目指南中，擬以重點(diǎn)項(xiàng)目群的方式支持和推動(dòng)相關(guān)領(lǐng)域的基礎(chǔ)研究。國(guó)家發(fā)展改革委員會(huì)與地方政府主導(dǎo)的“智慧城市”計(jì)劃已開始實(shí)施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個(gè)大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計(jì)劃和專項(xiàng)研究計(jì)劃。我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的352015年11月黨的十八屆五中全會(huì)公報(bào)提出要實(shí)施“國(guó)家大數(shù)據(jù)戰(zhàn)略”，這是大數(shù)據(jù)第一次寫入黨的全會(huì)決議，標(biāo)志著大數(shù)據(jù)戰(zhàn)略正式上升為國(guó)家戰(zhàn)略。五中全會(huì)，開啟了大數(shù)據(jù)建設(shè)的新篇章。大數(shù)據(jù)的發(fā)展已經(jīng)成為當(dāng)今重要的發(fā)展領(lǐng)域，就大數(shù)據(jù)戰(zhàn)略上升為國(guó)家戰(zhàn)略而言，五中全會(huì)的公報(bào)具有五個(gè)方面的重要意義，也對(duì)應(yīng)著相應(yīng)五個(gè)方面的建設(shè)努力方向。第一，大數(shù)據(jù)戰(zhàn)略要堅(jiān)持黨的領(lǐng)導(dǎo)、政治引領(lǐng)。第二，大數(shù)據(jù)戰(zhàn)略要政府表率推動(dòng)。政府做出表率，在開放數(shù)據(jù)、開放政府建設(shè)方面做出表率和積極努力。要積極構(gòu)建政府體系的大數(shù)據(jù)，打通在部門、區(qū)域之間隔離的數(shù)據(jù)孤島，為建立統(tǒng)一高效的政府服務(wù)體系而努力。第三，大數(shù)據(jù)戰(zhàn)略要立法規(guī)范。第四，保障大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的市場(chǎng)均衡與有效競(jìng)爭(zhēng)秩序。第五，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要保障公共安全。2015年11月黨的十八屆五中全會(huì)公報(bào)提出要實(shí)施“國(guó)家大數(shù)據(jù)362016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬(wàn)億元，年均復(fù)合增長(zhǎng)率保持30%左右。同時(shí)，國(guó)內(nèi)主要的互聯(lián)網(wǎng)公司加大了在大數(shù)據(jù)領(lǐng)域的布局，并參與國(guó)家項(xiàng)目。2017年2月20日，媒體披露，百度、阿里巴巴、騰訊均經(jīng)發(fā)改委批復(fù)，參與共建多個(gè)大數(shù)據(jù)相關(guān)的國(guó)家工程實(shí)驗(yàn)室。比如阿里云參與共建“工業(yè)大數(shù)據(jù)應(yīng)用技術(shù)國(guó)家工程實(shí)驗(yàn)室”和“大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室”;百度參與共建“大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室”和“類腦智能技術(shù)及應(yīng)用國(guó)家工程實(shí)驗(yàn)室”;騰訊參與共建由清華大學(xué)牽頭承擔(dān)的“大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室”;等等。2016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-202037知識(shí)型工作自動(dòng)化：用計(jì)算機(jī)來(lái)自動(dòng)執(zhí)行之前只有人可以完成的知識(shí)工作知識(shí)工作往往需要依賴復(fù)雜分析、精細(xì)判斷和創(chuàng)造性決策等手段知識(shí)工作者：主要包括研究者、設(shè)計(jì)者、建筑師、科學(xué)家和工程師等，其主要工作是創(chuàng)造知識(shí)，他們所進(jìn)行的工作均為知識(shí)工作知識(shí)型工作自動(dòng)化六、大數(shù)據(jù)與知識(shí)自動(dòng)化知識(shí)型工作自動(dòng)化：用計(jì)算機(jī)來(lái)自動(dòng)執(zhí)行之前只有人可以完成的知識(shí)382009-2010年，帕羅奧多研究中心(PoloAltoResearchCenter，Xerox公司的獨(dú)立子公司），討論了關(guān)于“知識(shí)型工作的未來(lái)”的問(wèn)題，指出2020年知識(shí)型工作自動(dòng)化將成為工業(yè)自動(dòng)化革命后的又一次革命2012年，Intel公司的白皮書，討論了未來(lái)對(duì)知識(shí)工作者產(chǎn)生沖擊的一些變化，討論了“知識(shí)型工作的未來(lái)”問(wèn)題2013年，麥肯錫全球研究所關(guān)于2025全球趨勢(shì)的報(bào)告對(duì)知識(shí)型工作自動(dòng)化的定義以及產(chǎn)生的影響等進(jìn)行了詳細(xì)的闡述知識(shí)型工作自動(dòng)化2009-2010年，帕羅奧多研究中心(PoloAlto39知識(shí)型工作自動(dòng)化的提出源于當(dāng)前一些知識(shí)工作者的工作被機(jī)器代替的現(xiàn)狀，且計(jì)算技術(shù)、人工智能等技術(shù)仍在快速發(fā)展。例如：用軟件查找案件最相關(guān)的法律條文信息來(lái)代替律師的查找工作；用電腦代替客服人員的工作；用軟件完成銀行出納工作；一些輔助教育軟件；交易工作（計(jì)算機(jī)自動(dòng)存款、商店結(jié)賬），計(jì)算機(jī)下象棋圍棋，等等。目前：已經(jīng)對(duì)一些例行工作崗位和體力型崗位實(shí)現(xiàn)了自動(dòng)化，對(duì)于專業(yè)性工作、需要大量常識(shí)或前后聯(lián)系的工作、或基于人與人之間關(guān)系的工作尚沒有實(shí)現(xiàn)自動(dòng)化。知識(shí)型工作自動(dòng)化知識(shí)型工作自動(dòng)化的提出源于當(dāng)前一些知識(shí)工作者的工作被機(jī)器代替40世界著名的麥肯錫研究所2013年5月發(fā)表“12種顛覆性技術(shù)驅(qū)動(dòng)未來(lái)經(jīng)濟(jì)”的文章，這12種技術(shù)都具有廣泛的潛在影響，并有可能造成重大經(jīng)濟(jì)影響。這12種技術(shù)是：移動(dòng)互聯(lián)網(wǎng)、知識(shí)型工作的自動(dòng)化、物聯(lián)網(wǎng)、云計(jì)算、高級(jí)機(jī)器人、全自動(dòng)和幾乎全自動(dòng)的年輛、下―代基因組學(xué)、能源儲(chǔ)存、3D打印、高級(jí)材料、高級(jí)油氣勘探和采集技術(shù)、可再生能源。其中“知識(shí)型工作自動(dòng)化”位列第二，到2025年其經(jīng)濟(jì)規(guī)模將達(dá)到5.2-6.7萬(wàn)億美元。

知識(shí)型工作自動(dòng)化世界著名的麥肯錫研究所2013年5月發(fā)表“12種顛覆性技術(shù)41工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)2015年3月5日，第十二屆全國(guó)人民代表大會(huì)第三次會(huì)議在人民大會(huì)堂舉行開幕會(huì)。李克強(qiáng)總理提出制定“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃。李克強(qiáng)在政府工作報(bào)告中提出，“制定‘互聯(lián)網(wǎng)+’行動(dòng)計(jì)劃，推動(dòng)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合，促進(jìn)電子商務(wù)、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融健康發(fā)展，引導(dǎo)互聯(lián)網(wǎng)企業(yè)拓展國(guó)際市場(chǎng)?！薄盎ヂ?lián)網(wǎng)+”：是對(duì)傳統(tǒng)產(chǎn)業(yè)不是顛覆，而是換代升級(jí)比如，傳統(tǒng)集市+互聯(lián)網(wǎng)有了淘寶，傳統(tǒng)百貨賣場(chǎng)+互聯(lián)網(wǎng)有了京東，傳統(tǒng)銀行+互聯(lián)網(wǎng)有了支付寶，傳統(tǒng)的紅娘+互聯(lián)網(wǎng)有了世紀(jì)佳緣，傳統(tǒng)交通+互聯(lián)網(wǎng)有了快的滴滴，。。。工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)2015年3月5日，第十二屆全國(guó)42工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)工業(yè)互聯(lián)網(wǎng)的定位互聯(lián)網(wǎng)：信息物聯(lián)網(wǎng)：信息+物體工業(yè)互聯(lián)網(wǎng)：能量+信息+物質(zhì)產(chǎn)業(yè)設(shè)備與IT的融合目標(biāo)是通過(guò)高功能設(shè)備、低成本傳感器、互聯(lián)網(wǎng)、大數(shù)據(jù)收集及分析技術(shù)等的組合，大幅提高現(xiàn)有產(chǎn)業(yè)的效率并創(chuàng)造新產(chǎn)業(yè)。工業(yè)互聯(lián)網(wǎng)：GE公司2012年提出工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)工業(yè)互聯(lián)網(wǎng)的定位互聯(lián)網(wǎng)：信息產(chǎn)業(yè)43假設(shè)發(fā)展情況和互聯(lián)網(wǎng)大潮時(shí)期類似，截至2030年工業(yè)互聯(lián)網(wǎng)革命將為全球GDP帶來(lái)15萬(wàn)億美元，相當(dāng)于在計(jì)算全球經(jīng)濟(jì)總量時(shí)把美國(guó)的經(jīng)濟(jì)多加了一次。

工業(yè)互聯(lián)網(wǎng)按效率提高1％進(jìn)行估算

智能設(shè)備智能系統(tǒng)智能決策：長(zhǎng)期的愿景知識(shí)的深度利用工業(yè)互聯(lián)網(wǎng)在各產(chǎn)業(yè)的作用產(chǎn)業(yè)部門節(jié)約的種類15年的預(yù)測(cè)價(jià)值(B=10億美元)航空商業(yè)節(jié)約1%的燃料＄30B電力煤炭火力發(fā)電節(jié)約1%的燃料＄66B醫(yī)療系統(tǒng)整體系統(tǒng)效率提高1%＄63B鐵路貨物系統(tǒng)效率提高1%＄27B石油和燃?xì)饪碧胶烷_發(fā)節(jié)約1%的成本支出＄90B工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)假設(shè)發(fā)展情況和互聯(lián)網(wǎng)大潮時(shí)期類似，截至2030年工業(yè)互聯(lián)網(wǎng)革44智慧企業(yè)：2008年11月IBM提出智慧地球，2011年上海世博會(huì)展現(xiàn)“智慧城市”智慧企業(yè)

信息技術(shù)發(fā)展積累了大量的數(shù)據(jù)，亟待實(shí)現(xiàn)這些信息的深度利用程序運(yùn)算方式已無(wú)法滿足復(fù)雜環(huán)境下大數(shù)據(jù)運(yùn)算的需求，需要系統(tǒng)本身的認(rèn)知和分析，向認(rèn)知運(yùn)算發(fā)展工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)智慧企業(yè)：2008年11月IBM提出智慧地球，2011年上45智慧企業(yè)核心知識(shí)+自動(dòng)化工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)“四化”要求：協(xié)同化、智能化、透明化、精益化智慧的創(chuàng)新網(wǎng)絡(luò)智慧的制造網(wǎng)絡(luò)智慧的管理網(wǎng)絡(luò)以信息為戰(zhàn)略資產(chǎn)智慧滲透到企業(yè)的各個(gè)角落大數(shù)據(jù)工業(yè)互聯(lián)網(wǎng)支撐環(huán)境智慧企業(yè)核心知識(shí)+自動(dòng)化工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)“四化”46流程工業(yè)主要包括化工、石化、冶金、輕工、建材、制藥等行業(yè)，我國(guó)流程工業(yè)的年產(chǎn)值占全國(guó)GDP的60%以上，是我國(guó)經(jīng)濟(jì)持續(xù)增長(zhǎng)的重要支撐力量我國(guó)流程工業(yè)面臨的突出問(wèn)題是能耗高、資源消耗大，單位能耗高出先進(jìn)國(guó)家30％左右流程工業(yè)自動(dòng)化面臨的挑戰(zhàn)流程工業(yè)是國(guó)民經(jīng)濟(jì)的重要支柱產(chǎn)業(yè)。流程工業(yè)的自動(dòng)化水平直接影響企業(yè)的國(guó)際競(jìng)爭(zhēng)能力和國(guó)家節(jié)能降耗減排目標(biāo)的實(shí)現(xiàn)流程工業(yè)主要包括化工、石化、冶金、輕工、建材、制藥等行業(yè)，我47傳統(tǒng)流程工業(yè)現(xiàn)代流程工業(yè)局部、粗放全流程、精細(xì)化新挑戰(zhàn)資源能源環(huán)境產(chǎn)量能耗回收率排放質(zhì)量綜合生產(chǎn)指標(biāo)驅(qū)動(dòng)建模、控制、優(yōu)化、決策、安全運(yùn)行自動(dòng)化技術(shù)綠色化高效化智能化流程工業(yè)發(fā)展面臨的挑戰(zhàn)傳統(tǒng)流程工業(yè)現(xiàn)代流程工業(yè)局部、粗放全流程、精細(xì)化新挑戰(zhàn)資源48知識(shí)自動(dòng)化研究在大數(shù)據(jù)和網(wǎng)絡(luò)環(huán)境下的知識(shí)發(fā)現(xiàn)、知識(shí)處理與知識(shí)應(yīng)用的理論、方法及應(yīng)用技術(shù)流程工業(yè)知識(shí)自動(dòng)化研究流程工業(yè)自動(dòng)化在建模、控制、優(yōu)化及調(diào)度管理過(guò)程中對(duì)問(wèn)題需要進(jìn)行復(fù)雜分析、精確判斷和創(chuàng)新決策的知識(shí)自動(dòng)化理論、方法和應(yīng)用技術(shù)流程工業(yè)知識(shí)自動(dòng)化的內(nèi)涵知識(shí)自動(dòng)化流程工業(yè)知識(shí)自動(dòng)化的內(nèi)涵49流程工業(yè)知識(shí)自動(dòng)化的體系結(jié)構(gòu)流程工業(yè)知識(shí)自動(dòng)化的體系結(jié)構(gòu)50中國(guó)工程院、國(guó)家自然科學(xué)基金委2014年聯(lián)合設(shè)立中國(guó)工程科技中長(zhǎng)期發(fā)展戰(zhàn)略研究項(xiàng)目《大數(shù)據(jù)與制造流程知識(shí)自動(dòng)化發(fā)展戰(zhàn)略研究》主要任務(wù)：把握國(guó)際大數(shù)據(jù)與知識(shí)自動(dòng)化科技創(chuàng)新的發(fā)展趨勢(shì)深入探討大數(shù)據(jù)環(huán)境下制造流程知識(shí)自動(dòng)化的本質(zhì)內(nèi)涵明確大數(shù)據(jù)環(huán)境下制造流程知識(shí)自動(dòng)化對(duì)相關(guān)領(lǐng)域提出的挑戰(zhàn)凝練并提出與基礎(chǔ)和應(yīng)用基礎(chǔ)研究相關(guān)的關(guān)鍵科學(xué)問(wèn)題促進(jìn)和推動(dòng)制造流程知識(shí)自動(dòng)化技術(shù)和應(yīng)用研究中國(guó)工程院、國(guó)家自然科學(xué)基金委2014年聯(lián)合設(shè)立中國(guó)工程科技51流程工業(yè)知識(shí)自動(dòng)化的研究方向流程工業(yè)技術(shù)知識(shí)化的理論與方法；流程工業(yè)海量數(shù)據(jù)的知識(shí)發(fā)現(xiàn)、建模與知識(shí)學(xué)習(xí)的基礎(chǔ)理論和技術(shù)；流程工業(yè)知識(shí)型生產(chǎn)與知識(shí)自動(dòng)化；流程工業(yè)知識(shí)自動(dòng)化與控制、優(yōu)化、故障診斷、調(diào)度決策及管理；流程工業(yè)知識(shí)自動(dòng)化的軟件體系；流程工業(yè)知識(shí)自動(dòng)化技術(shù)的應(yīng)用；流程工業(yè)知識(shí)自動(dòng)化系統(tǒng)的構(gòu)建。流程工業(yè)知識(shí)自動(dòng)化的研究方向流程工業(yè)技術(shù)知識(shí)化的理論與方法；522015年國(guó)家自然科學(xué)基金委信息學(xué)部重點(diǎn)項(xiàng)目群

---流程工業(yè)知識(shí)自動(dòng)化系統(tǒng)設(shè)計(jì)方法與應(yīng)用驗(yàn)證本重點(diǎn)項(xiàng)目群要求：結(jié)合某一具體流程企業(yè)，深入開展基于大數(shù)據(jù)和云計(jì)算的、具有多層次多領(lǐng)域知識(shí)關(guān)聯(lián)功能的智慧決策、計(jì)劃和調(diào)度等知識(shí)自動(dòng)化系統(tǒng)的設(shè)計(jì)方法與應(yīng)用驗(yàn)證研究；生產(chǎn)設(shè)備優(yōu)化控制、故障診斷與安全運(yùn)行一體知識(shí)自動(dòng)化系統(tǒng)的設(shè)計(jì)方法與應(yīng)用驗(yàn)證研究；以及能將上述各智能系統(tǒng)有機(jī)地連接在一起，并具有自感知、自計(jì)算、自調(diào)節(jié)、自組織和自執(zhí)行等功能的工業(yè)認(rèn)知網(wǎng)絡(luò)設(shè)計(jì)方法與應(yīng)用驗(yàn)證研究；借以促進(jìn)我國(guó)流程工業(yè)升級(jí)發(fā)展和學(xué)科自身發(fā)展。2015年國(guó)家自然科學(xué)基金委信息學(xué)部重點(diǎn)項(xiàng)目群

-53本重點(diǎn)項(xiàng)目群下設(shè)5個(gè)研究方向：1）面向智慧企業(yè)的工業(yè)認(rèn)知網(wǎng)絡(luò)體系架構(gòu)、設(shè)計(jì)方法與應(yīng)用驗(yàn)證2）基于大數(shù)據(jù)和云計(jì)算的知識(shí)自動(dòng)化決策系統(tǒng)設(shè)計(jì)方法與應(yīng)用驗(yàn)證3）復(fù)雜多任務(wù)生產(chǎn)計(jì)劃知識(shí)自動(dòng)化系統(tǒng)設(shè)計(jì)方法與應(yīng)用驗(yàn)證4）面向復(fù)雜計(jì)劃與設(shè)備狀況的生產(chǎn)調(diào)度知識(shí)自動(dòng)化系統(tǒng)設(shè)計(jì)方法與應(yīng)用驗(yàn)證5）設(shè)備優(yōu)化控制與安全運(yùn)行一體知識(shí)自動(dòng)化系統(tǒng)設(shè)計(jì)方法與應(yīng)用驗(yàn)證本重點(diǎn)項(xiàng)目群下設(shè)5個(gè)研究方向：54

謝謝謝謝55王偉控制科學(xué)與工程學(xué)院2017年

大數(shù)據(jù)與知識(shí)自動(dòng)化王偉

大數(shù)據(jù)與知識(shí)自動(dòng)化56主要內(nèi)容一、什么是大數(shù)據(jù)二、大數(shù)據(jù)時(shí)代的思維變革三、大數(shù)據(jù)的應(yīng)用四、大數(shù)據(jù)帶來(lái)的負(fù)面作用五、大數(shù)據(jù)的發(fā)展前景六、大數(shù)據(jù)與知識(shí)自動(dòng)化主要內(nèi)容一、什么是大數(shù)據(jù)57維克托邁爾舍恩伯格、肯尼思庫(kù)克耶著，大數(shù)據(jù)時(shí)代，浙江人民出版社，2013年。維克托邁爾舍恩伯格，被譽(yù)為“大數(shù)據(jù)時(shí)代的預(yù)言家”、牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授肯尼思庫(kù)克耶，《經(jīng)濟(jì)學(xué)人》數(shù)據(jù)編輯維克托邁爾舍恩伯格、肯尼思庫(kù)克耶著，大數(shù)據(jù)時(shí)代，浙江人58在這本書中，從小數(shù)據(jù)時(shí)代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀，給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。2012年其著作《大數(shù)據(jù)》在中國(guó)社會(huì)開大數(shù)據(jù)之先河，引發(fā)了大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國(guó)和開放數(shù)據(jù)的討論。涂子沛，江西吉安人，現(xiàn)居美國(guó)硅谷。作者本科畢業(yè)于華中科技大學(xué)計(jì)算機(jī)系，研究生畢業(yè)于中山大學(xué)和卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息科學(xué)碩士學(xué)位。涂子沛，數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實(shí)與未來(lái)，中信出版社，2014年。在這本書中，從小數(shù)據(jù)時(shí)代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、592017大數(shù)據(jù)與知識(shí)自動(dòng)化課件60在人類社會(huì)發(fā)展進(jìn)程中，人們觀測(cè)自然現(xiàn)象、揭示和把握自然規(guī)律并進(jìn)而用于改善自身生存和生活狀況的活動(dòng)從來(lái)都沒有停止過(guò)。人類揭示和運(yùn)用自然規(guī)律是從觀測(cè)和記錄自然現(xiàn)象開始的，而這種觀測(cè)和記錄的結(jié)果要么就是數(shù)據(jù)，要么可以通過(guò)某種方法轉(zhuǎn)化為數(shù)據(jù)。人類把握和運(yùn)用自然規(guī)律的能力越強(qiáng)，社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)就越發(fā)展；社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)越發(fā)展，人類揭示和運(yùn)用自然規(guī)律的愿望和需求就越強(qiáng)烈，結(jié)果是獲取和存儲(chǔ)的觀測(cè)數(shù)據(jù)就會(huì)越來(lái)越多。伴隨著近代傳感器、無(wú)線通信、計(jì)算機(jī)與互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展及在各個(gè)領(lǐng)域的廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段和途徑越來(lái)越多，成本越來(lái)越低，速度越來(lái)越快，所獲數(shù)據(jù)的種類、層次和尺度也越來(lái)越多樣化，這就在廣度、深度和速度三個(gè)方面催生了大數(shù)據(jù)時(shí)代的到來(lái)。一、什么是大數(shù)據(jù)一、什么是大數(shù)據(jù)61最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫，麥肯錫稱：數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！按髷?shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日，卻因?yàn)榻陙?lái)互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。大數(shù)據(jù)作為云計(jì)算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計(jì)算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問(wèn)的場(chǎng)所和渠道，而數(shù)據(jù)才是真正有價(jià)值的資產(chǎn)。2017大數(shù)據(jù)與知識(shí)自動(dòng)化課件62大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港口、水電、和通信網(wǎng)絡(luò)一樣不可或缺。而大數(shù)據(jù)同這些物理化的基礎(chǔ)設(shè)施不同，不會(huì)因?yàn)槿藗兊氖褂枚叟f和貶值。世界的本質(zhì)就是數(shù)據(jù)。因此大數(shù)據(jù)時(shí)代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會(huì)學(xué)和許多科學(xué)門類都會(huì)發(fā)生巨大甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類的價(jià)值體系、知識(shí)體系和生活方式。大數(shù)據(jù)將逐漸成為現(xiàn)代社會(huì)基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港63進(jìn)入2012年，大數(shù)據(jù)一詞越來(lái)越多地被提及，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。它上過(guò)《紐約時(shí)報(bào)》《華爾街日?qǐng)?bào)》的專欄封面，進(jìn)入美國(guó)白宮官網(wǎng)的新聞。數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來(lái)發(fā)展，雖然很多企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長(zhǎng)帶來(lái)問(wèn)題的隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性?！都~約時(shí)報(bào)》2012年一篇專欄中所稱，“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里·金說(shuō)：這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。進(jìn)入2012年，大數(shù)據(jù)一詞越來(lái)越多地被提及，人們用它來(lái)描述和64大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）……2進(jìn)制數(shù)據(jù)單位：Byte、KB(103)、MB(106)、GB(109)、TB(1012)、PB(1015)、EB(1018)、ZB(1021)、YB(1024)、DB(1027)、NB(1030)國(guó)際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2009年全球產(chǎn)生的數(shù)據(jù)量為0.8ZB，2010年增長(zhǎng)為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的。預(yù)計(jì)到2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。大數(shù)據(jù)到底有多大大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一65大數(shù)據(jù)公司的現(xiàn)狀Google公司通過(guò)大規(guī)模集群和MapReduce軟件，每個(gè)月的數(shù)據(jù)量超過(guò)400PB。百度的數(shù)據(jù)量：數(shù)百PB，每天大約要處理幾十PB數(shù)據(jù)，大多要實(shí)時(shí)處理，如微博、團(tuán)購(gòu)、秒殺。Facebook：截至2012年5月，擁有約9億用戶，是全球第一大社交網(wǎng)站，每月上傳10億照片，每天生成300TB日志數(shù)據(jù)淘寶網(wǎng)：截止2014年，淘寶網(wǎng)注冊(cè)會(huì)員超5億人每天有超過(guò)1.2億的活躍用戶，在線商品數(shù)達(dá)到10億件，淘寶網(wǎng)和天貓平臺(tái)的交易額總額超過(guò)了1.5萬(wàn)億。每天交易數(shù)千萬(wàn)，產(chǎn)生約20TB數(shù)據(jù)。Yahoo的數(shù)據(jù)量：Hadoop云計(jì)算平臺(tái)有34個(gè)集群，超過(guò)3萬(wàn)臺(tái)機(jī)器，總存儲(chǔ)容量超過(guò)100PB。大數(shù)據(jù)公司的現(xiàn)狀66中國(guó)產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國(guó)大數(shù)據(jù)行業(yè)研究分析及發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告認(rèn)為，云計(jì)算、物聯(lián)網(wǎng)、智慧城市、移動(dòng)互聯(lián)等新技術(shù)與應(yīng)用的不斷涌現(xiàn)，加速了大數(shù)據(jù)時(shí)代的到來(lái)。統(tǒng)計(jì)數(shù)據(jù)顯示，2015年國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模已達(dá)1105億元。較2014年增長(zhǎng)44.15%。其中，大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)、大數(shù)據(jù)軟件和大數(shù)據(jù)應(yīng)用分別占比64.53%、25.47%和10%。當(dāng)前，大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展，2015年全球大數(shù)據(jù)產(chǎn)業(yè)市場(chǎng)規(guī)模為1403億美元，預(yù)計(jì)到2020年將達(dá)到10270億美元。大數(shù)據(jù)行業(yè)的高速發(fā)展引起的巨大的數(shù)據(jù)存儲(chǔ)需求，將給傳統(tǒng)IT基礎(chǔ)設(shè)施架構(gòu)帶來(lái)巨大壓力，為帶來(lái)很大的發(fā)展機(jī)會(huì)。到2020年，形成50個(gè)大數(shù)據(jù)產(chǎn)業(yè)示范園區(qū)，引進(jìn)和培育100戶大數(shù)據(jù)龍頭企業(yè)，通過(guò)大數(shù)據(jù)帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模達(dá)20萬(wàn)億元。中國(guó)產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國(guó)大數(shù)據(jù)行業(yè)研究分67粗略地講，大數(shù)據(jù)是指在可容忍的時(shí)間內(nèi)無(wú)法用現(xiàn)有的信息技術(shù)和軟硬件工具對(duì)其進(jìn)行傳輸、存儲(chǔ)、計(jì)算與應(yīng)用等的數(shù)據(jù)集合。數(shù)據(jù)量大（Volume）

數(shù)據(jù)量大。大數(shù)據(jù)的起始計(jì)量單位至少是TB。類型繁多（Variety）

數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，甚至包括非完整和錯(cuò)誤數(shù)據(jù)?，F(xiàn)代互聯(lián)網(wǎng)上半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所占比例已達(dá)95%以上。價(jià)值密度低（Value）數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)廣泛應(yīng)用，信息感知無(wú)處不在，信息海量，但價(jià)值密度較低，如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。速度快時(shí)效高（Velocity）

處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的4個(gè)特征(4V)粗略地講，大數(shù)據(jù)是指在可容忍的時(shí)間內(nèi)無(wú)法用現(xiàn)有的信息技68

1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)生。網(wǎng)絡(luò)數(shù)據(jù)有多種不同的呈現(xiàn)形式，如音視頻、圖片、文本等，導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)格式上的異構(gòu)性。

2）交互性：不同于測(cè)量和傳感獲取的大規(guī)?？茖W(xué)數(shù)據(jù)，微博等社交網(wǎng)絡(luò)興起導(dǎo)至大量網(wǎng)絡(luò)數(shù)據(jù)具有很強(qiáng)的交互性。

3）時(shí)效性：在網(wǎng)絡(luò)平臺(tái)上，每時(shí)每刻都有大量新的網(wǎng)絡(luò)數(shù)據(jù)發(fā)布，網(wǎng)絡(luò)信息內(nèi)容不斷變化，導(dǎo)致了信息傳播的時(shí)序相關(guān)性。

4）社會(huì)性：網(wǎng)絡(luò)上用戶根據(jù)自己的需要和喜好發(fā)布、回復(fù)或轉(zhuǎn)發(fā)信息，因而網(wǎng)絡(luò)數(shù)據(jù)成了對(duì)社會(huì)狀態(tài)的直接反映。

5）突發(fā)性：有些信息在傳播過(guò)程中會(huì)在短時(shí)間內(nèi)引起大量新的網(wǎng)絡(luò)數(shù)據(jù)與信息的產(chǎn)生，并使相關(guān)的網(wǎng)絡(luò)用戶形成網(wǎng)絡(luò)群體，體現(xiàn)出網(wǎng)絡(luò)大數(shù)據(jù)以及網(wǎng)絡(luò)群體的突發(fā)特性。

6）高噪聲：網(wǎng)絡(luò)數(shù)據(jù)來(lái)自于眾多不同的網(wǎng)絡(luò)用戶，具有很高的噪聲。網(wǎng)絡(luò)大數(shù)據(jù)的特點(diǎn)1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)69二、大數(shù)據(jù)時(shí)代的思維變革1.不是隨機(jī)樣本，而是全體數(shù)據(jù)更多分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少數(shù)的樣本數(shù)據(jù)。以前許多結(jié)論都是由隨機(jī)樣本完成的，如：人口普查、電視節(jié)目收視率、美國(guó)大選的支持率等等隨機(jī)樣本仍然是一種有效的方法當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時(shí)，一切都改變了。我們需要的是所有的數(shù)據(jù)。樣本=總體

二、大數(shù)據(jù)時(shí)代的思維變革702.不是精確性，而是混雜性更雜執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用傳統(tǒng)數(shù)據(jù)庫(kù)的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無(wú)法被利用，只有接受不精確性，我們才能打開一扇從沒涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更有效大數(shù)據(jù)不僅讓我們不再期望精確性，也讓我們無(wú)法實(shí)現(xiàn)精確性混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑不精確已經(jīng)滲入到數(shù)據(jù)庫(kù)這個(gè)不能容忍錯(cuò)誤的領(lǐng)域，新的數(shù)據(jù)庫(kù)的誕生-非關(guān)系數(shù)據(jù)庫(kù)

2.不是精確性，而是混雜性更雜713.不是因果關(guān)系，而是相關(guān)關(guān)系更好知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時(shí)代，我們不必非要知道現(xiàn)象背后的原因，而是要關(guān)注事物的相關(guān)關(guān)系。關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵“是什么”而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?/p>

3.不是因果關(guān)系，而是相關(guān)關(guān)系更好72《大數(shù)據(jù)時(shí)代》書中第一個(gè)例子：Google公司成功預(yù)報(bào)2009年美國(guó)甲型H1N1流感。在網(wǎng)絡(luò)上收索特定的檢索詞，如“哪些是治療咳嗽和發(fā)熱的藥物”。檢測(cè)詞條的使用頻率、時(shí)間和空間的傳播關(guān)系。共處理4.5億個(gè)不同的模型。預(yù)測(cè)結(jié)果與官方數(shù)據(jù)相關(guān)性高達(dá)97%。而且，判斷非常及時(shí)，比疾控中心早1-2周。Google、百度、搜狗等的搜索服務(wù)就是一個(gè)典型的大數(shù)據(jù)運(yùn)用，根據(jù)客戶的需求，實(shí)時(shí)從全球海量的數(shù)字資產(chǎn)中快速找出最可能的答案，呈現(xiàn)給你，就是一個(gè)典型的大數(shù)據(jù)服務(wù)。三、大數(shù)據(jù)的應(yīng)用《大數(shù)據(jù)時(shí)代》書中第一個(gè)例子：Google公司成功預(yù)報(bào)20073一個(gè)父親有一個(gè)高中生女兒，接到一個(gè)促銷嬰兒用品的廣告，父親大怒，說(shuō)商家無(wú)良。但過(guò)了兩個(gè)星期，他知道女兒確實(shí)懷孕了。你在網(wǎng)上搜索一個(gè)物品或買一個(gè)商品，網(wǎng)絡(luò)會(huì)記下你的需求，當(dāng)你以后再瀏覽網(wǎng)頁(yè)時(shí)，會(huì)自動(dòng)向你推送一些相關(guān)產(chǎn)品。一個(gè)炒股的故事。這個(gè)故事來(lái)自于2011年好萊塢的一部高智商電影《永無(wú)止境》，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股。庫(kù)珀是怎么炒股的呢?

通過(guò)海量信息的挖掘、分析，使一切趨勢(shì)都在眼前，結(jié)果在10天內(nèi)他就贏得了200萬(wàn)美元，神奇表現(xiàn)讓身邊職業(yè)投資者目瞪口呆。一個(gè)父親有一個(gè)高中生女兒，接到一個(gè)促銷嬰兒用品的廣告，父親大74微軟研究院DavidRothschid與Office團(tuán)隊(duì)共同開發(fā)了一款Excel軟件，用大數(shù)據(jù)來(lái)預(yù)測(cè)2013年奧斯卡獎(jiǎng)，結(jié)果猜中了24個(gè)獎(jiǎng)項(xiàng)中的19個(gè)。該網(wǎng)站還提供了2016年美國(guó)大選的預(yù)測(cè)結(jié)果，根據(jù)目前的數(shù)據(jù)，民主黨的希拉里·克林頓有望成為美國(guó)歷史上第一位女總統(tǒng)，幾率為32%。雅虎與社交網(wǎng)站Tumblr及知名足球數(shù)據(jù)網(wǎng)站OPTA合作預(yù)測(cè)2016年歐洲杯戰(zhàn)況。預(yù)測(cè)德國(guó)最終1:0戰(zhàn)勝衛(wèi)冕冠軍西班牙。但實(shí)際上葡萄牙1:0戰(zhàn)勝法國(guó)捧起德勞內(nèi)杯。智能電表用電統(tǒng)計(jì)。供電公司能每隔15分鐘就讀一次用電數(shù)據(jù)，而不是過(guò)去的一月一次。這不僅僅節(jié)省了抄表的人工費(fèi)用，而且由于能高頻率快速采集分析用電數(shù)據(jù)（產(chǎn)生大數(shù)據(jù)），供電公司能根據(jù)用電高峰和低谷時(shí)段制定不同的電價(jià)，利用這種價(jià)格杠桿來(lái)平抑用電高峰和低谷的波動(dòng)幅度。微軟研究院DavidRothschid與Office團(tuán)隊(duì)共75四、大數(shù)據(jù)帶來(lái)的負(fù)面作用大數(shù)據(jù)與個(gè)人隱私

科技本來(lái)就是一支雙刃劍，關(guān)鍵是誰(shuí)用和如何用。大數(shù)據(jù)也是一樣。在微信、微博等社會(huì)大數(shù)據(jù)之下如何保護(hù)個(gè)人隱私的問(wèn)題，我們的手機(jī)號(hào)碼，個(gè)人信息已成為大數(shù)據(jù)的一分子。如何保護(hù)個(gè)人？如何防止有人利用大數(shù)據(jù)技術(shù)進(jìn)行人身攻擊。個(gè)人DNA信息，是個(gè)人隱私還是公眾信息或者是科研素材

雖然警方利用DNA信息在尋找殺人兇手的案件中屢建戰(zhàn)功，但是，警方采集和利用DNA數(shù)據(jù)卻可能傷害無(wú)辜大眾的自由和隱私。四、大數(shù)據(jù)帶來(lái)的負(fù)面作用大數(shù)據(jù)與個(gè)人隱私76人類丟失了遺忘的天性

目前90%以上的信息為數(shù)字形式，讓整個(gè)人類丟失了遺忘的天性，世界被設(shè)置成記憶模式，互聯(lián)網(wǎng)記得你的一切，也就是說(shuō)：記憶成了常態(tài)，而遺忘卻變成了例外，個(gè)人隱私被侵犯的可能性也變大。谷歌一直為默默無(wú)聞?dòng)浀么蠹以S多事兒而引以為豪，但是最近發(fā)生的一件事兒，讓谷歌搜索引擎及網(wǎng)絡(luò)出版商頗為失望：一名西班牙人在谷歌搜索中，發(fā)現(xiàn)自己房屋被銀行收回拍賣的信息，他認(rèn)為這樣的搜索結(jié)果侵犯了他的隱私，要求谷歌刪除相關(guān)搜索結(jié)果。歐洲法庭在5月初對(duì)此做出了裁決，判定西班牙人勝訴，這意味著歐盟居民今后在互聯(lián)網(wǎng)隱私方面，有了相關(guān)的法律依據(jù)。人類丟失了遺忘的天性77不及時(shí)有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至國(guó)家風(fēng)險(xiǎn)。

現(xiàn)在，我們正從工業(yè)走向知業(yè)時(shí)代，社會(huì)中的許多組織過(guò)程在網(wǎng)絡(luò)環(huán)境中也變得更加動(dòng)態(tài)復(fù)雜，“大數(shù)據(jù)”實(shí)際上揭示了實(shí)時(shí)“社會(huì)信號(hào)”的到來(lái)，也必將催發(fā)未來(lái)的新型社會(huì)管理產(chǎn)業(yè)。我們必須盡快利用大數(shù)據(jù)，特別是以微信微博為代表的社會(huì)信號(hào)，創(chuàng)新社會(huì)管理，開發(fā)出各種各樣的社會(huì)管理和服務(wù)系統(tǒng)，防止在社會(huì)過(guò)程中產(chǎn)生許多“爆炸”，危害社會(huì)的健康發(fā)展。不及時(shí)有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至78發(fā)達(dá)國(guó)家對(duì)大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。美國(guó)于2012年3月發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，旨在提高人們從海量數(shù)據(jù)中提取知識(shí)的能力，加快科學(xué)發(fā)現(xiàn)與工程研發(fā)的步伐。2013年4月，美國(guó)眾議院科學(xué)、空間和技術(shù)委員會(huì)以大數(shù)據(jù)為專題舉行了聽證會(huì)；多名資深教授和國(guó)家科學(xué)基金會(huì)的高官就如何促進(jìn)海量數(shù)據(jù)的分析和利用、如何利用大數(shù)據(jù)技術(shù)激勵(lì)創(chuàng)新等問(wèn)題在聽證會(huì)上發(fā)言。2013年9月，美國(guó)國(guó)立衛(wèi)生研究院（NIH）宣布，今后4年每年提供2400萬(wàn)美元，資助6至8個(gè)“從大數(shù)據(jù)到知識(shí)發(fā)現(xiàn)的卓越中心”（簡(jiǎn)稱大數(shù)據(jù)卓越中心），以開發(fā)和推廣大數(shù)據(jù)共享、集成、分析與管理的創(chuàng)新方法、軟件和工具，從而幫助研究人員提升利用大規(guī)模復(fù)雜數(shù)據(jù)集的能力。這表明美國(guó)已把大數(shù)據(jù)技術(shù)和應(yīng)用研究上升為國(guó)家戰(zhàn)略，視為推動(dòng)經(jīng)濟(jì)復(fù)蘇的關(guān)鍵所在。五、大數(shù)據(jù)的發(fā)展前景發(fā)達(dá)國(guó)家對(duì)大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。五、大79聯(lián)合國(guó)也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對(duì)于聯(lián)合國(guó)和各國(guó)政府來(lái)說(shuō)是一個(gè)歷史性的機(jī)遇，人們?nèi)缃窨梢允褂脴O為豐富的數(shù)據(jù)資源，來(lái)對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分析，幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行。歐盟專門設(shè)立了大數(shù)據(jù)研究征集項(xiàng)目（FP7Call8），旨在以大數(shù)據(jù)基礎(chǔ)設(shè)施為先導(dǎo)，大幅度提高大數(shù)據(jù)分析算法和處理系統(tǒng)的效率。日本也推出了《活力ICT日本計(jì)劃》，把大數(shù)據(jù)研究和應(yīng)用技術(shù)視為國(guó)家發(fā)展戰(zhàn)略。而最為積極的還是眾多的IT企業(yè)。麥肯錫在一份名為《大數(shù)據(jù)，是下一輪創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》的專題研究報(bào)告中提出，“對(duì)于企業(yè)來(lái)說(shuō)，海量數(shù)據(jù)的運(yùn)用將成為未來(lái)競(jìng)爭(zhēng)和增長(zhǎng)的基礎(chǔ)”，該報(bào)告在業(yè)界引起廣泛反響。聯(lián)合國(guó)也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對(duì)于聯(lián)80各國(guó)在大數(shù)據(jù)方面的人才儲(chǔ)備

大數(shù)據(jù)時(shí)代來(lái)臨，甚至有專家認(rèn)為，所有科學(xué)都在變成數(shù)據(jù)科學(xué)。但目前市場(chǎng)上具備深入分析數(shù)據(jù)能力的人才卻十分缺乏。據(jù)業(yè)界專家估算，中國(guó)大數(shù)據(jù)市場(chǎng)的人才需求量至少有100萬(wàn)。近年來(lái)，世界各國(guó)紛紛成立數(shù)據(jù)科學(xué)研究機(jī)構(gòu)，各大學(xué)也成立相關(guān)學(xué)院培養(yǎng)人才。如美國(guó)紐約大學(xué)、英國(guó)鄧迪大學(xué)均從2013年起設(shè)立數(shù)據(jù)科學(xué)碩士學(xué)位，美國(guó)哥倫比亞大學(xué)將從2015年起設(shè)立博士學(xué)位。在國(guó)內(nèi)，香港中文大學(xué)自2008年起就設(shè)立了“數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計(jì)”科學(xué)碩士學(xué)位。清華大學(xué)新近成立了數(shù)據(jù)科學(xué)研究院，自2015年9月起開始招收研究生。西安交大、浙江大學(xué)、華東師大等高校也先后設(shè)立了數(shù)據(jù)科學(xué)研究中心。上海市啟動(dòng)“數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才培養(yǎng)計(jì)劃”，將在未來(lái)3年培養(yǎng)和引進(jìn)千名高端數(shù)據(jù)人才。各國(guó)在大數(shù)據(jù)方面的人才儲(chǔ)備81復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將在數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)、生命科學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、社會(huì)學(xué)、傳播學(xué)等多學(xué)科交叉融合的基礎(chǔ)上，聚焦大數(shù)據(jù)學(xué)科建設(shè)、研究應(yīng)用和復(fù)合型人才培養(yǎng)。首批學(xué)生將于2016年9月將進(jìn)入大數(shù)據(jù)學(xué)院就讀。電子科技大學(xué)成立大數(shù)據(jù)研究中心，是目前國(guó)內(nèi)架構(gòu)最完整的大數(shù)據(jù)產(chǎn)學(xué)研一體化機(jī)構(gòu)。中心擁有安全大數(shù)據(jù)研究所，健康大數(shù)據(jù)科學(xué)研究中心，教育大數(shù)據(jù)研究所，大數(shù)據(jù)挖掘與推理研究所，移動(dòng)大數(shù)據(jù)研究所，遙感大數(shù)據(jù)研究所，大數(shù)據(jù)產(chǎn)業(yè)技術(shù)研究院和大數(shù)據(jù)協(xié)同創(chuàng)新平臺(tái)8個(gè)研究實(shí)體。復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將822016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對(duì)外經(jīng)貿(mào)大學(xué)開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”本科4年專業(yè)。2017年3月教育部公布第二批“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”名單，共有中國(guó)人民大學(xué)、復(fù)旦大學(xué)、上海紐約大學(xué)等32所學(xué)校開設(shè)本科4年專業(yè)。2016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對(duì)外經(jīng)貿(mào)大學(xué)開設(shè)83如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會(huì)遇到的第一個(gè)問(wèn)題是“應(yīng)該從哪篇論文開始讀起呢”?這里給出了深度學(xué)習(xí)論文閱讀路線圖!路線圖按照下面四個(gè)準(zhǔn)則構(gòu)建而成：從提綱到細(xì)節(jié)從經(jīng)典到前沿從通用領(lǐng)域到特定領(lǐng)域?qū)Ｗ⒂谧钕冗M(jìn)的技術(shù)你將會(huì)發(fā)現(xiàn)很多近期發(fā)表但是確實(shí)值得一讀的論文。我們將持續(xù)不斷地給這條路線圖添加論文。1.深度學(xué)習(xí)歷史和基礎(chǔ)

1.0書籍如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會(huì)遇到的第一個(gè)問(wèn)題是“應(yīng)84

1.1調(diào)查

1.2深度信念網(wǎng)絡(luò)(DBN)(深度學(xué)習(xí)開篇的里程碑)

1.3ImageNet進(jìn)展(深度學(xué)習(xí)從此爆發(fā))1.4語(yǔ)音識(shí)別進(jìn)展2.深度學(xué)習(xí)方法

2.1模型2.2優(yōu)化。。。1.1調(diào)查1.3ImageNet進(jìn)85大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過(guò)去的假設(shè)驅(qū)動(dòng)型轉(zhuǎn)化為數(shù)據(jù)驅(qū)動(dòng)型，從而將為科學(xué)技術(shù)的發(fā)展開辟一條新的途徑。有相當(dāng)數(shù)量的科研活動(dòng)是按如下兩條路徑展開的：（1）假設(shè)事物遵從某些規(guī)律，然后通過(guò)實(shí)驗(yàn)或數(shù)理邏輯的方法得到整體規(guī)律；（2）小樣本隨機(jī)取樣，進(jìn)而得出該事物集合整體上所遵循的統(tǒng)計(jì)規(guī)律。第一種路徑在沒有已知規(guī)律可循或事物各組成部分之間的關(guān)系過(guò)于復(fù)雜而難于建立模型時(shí)失效；第二種路徑在獨(dú)立同分布假設(shè)不成立或采樣的隨機(jī)性得不到保證時(shí)失效。面對(duì)各種最棘手的全球性挑戰(zhàn)，在傳統(tǒng)的理論方法因過(guò)于復(fù)雜而難以解決這些問(wèn)題時(shí)，數(shù)據(jù)驅(qū)動(dòng)可能是最有希望解決這些難題的方法。大數(shù)據(jù)開辟了新的研究模式大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過(guò)去的假設(shè)驅(qū)動(dòng)型轉(zhuǎn)化為數(shù)據(jù)驅(qū)86隨著大數(shù)據(jù)在世界各個(gè)領(lǐng)域的快速滲透和發(fā)展，2008年《Nature》出版了“BigData”?？?，從互聯(lián)網(wǎng)、經(jīng)濟(jì)、超級(jí)計(jì)算、環(huán)境科學(xué)和生物醫(yī)藥等多個(gè)方面介紹了海量數(shù)據(jù)帶來(lái)的一系列技術(shù)問(wèn)題和挑戰(zhàn)。自此，“大數(shù)據(jù)”開始進(jìn)入學(xué)術(shù)界，逐漸成為備受關(guān)注的前沿研究課題。2011年，《Science》推出了數(shù)據(jù)處理?？禗ealingwithdata》。該?？诵挠^點(diǎn)是：有效組織和利用數(shù)據(jù)將能夠進(jìn)一步發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展的巨大推動(dòng)作用。隨著大數(shù)據(jù)在世界各個(gè)領(lǐng)域的快速滲透和發(fā)展，2008年《Nat872012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊《ERCIMNews》出版?？禕igData》，重點(diǎn)討論了大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理與處理技術(shù)方面的關(guān)鍵問(wèn)題。IEEE計(jì)算機(jī)學(xué)會(huì)決定，從2013年開始，每年舉辦一次IEEEBigData國(guó)際學(xué)術(shù)會(huì)議。Springer等科技出版社也于近年來(lái)相繼創(chuàng)刊了大數(shù)據(jù)方面的國(guó)際雜志。上述情況表明，大數(shù)據(jù)已成為一門新興科學(xué)并已受到科技界廣泛重視。2012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊《ERCIM88我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國(guó)科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會(huì)議。國(guó)家自然科學(xué)基金委員會(huì)于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”列入2014年的項(xiàng)目指南中，擬以重點(diǎn)項(xiàng)目群的方式支持和推動(dòng)相關(guān)領(lǐng)域的基礎(chǔ)研究。國(guó)家發(fā)展改革委員會(huì)與地方政府主導(dǎo)的“智慧城市”計(jì)劃已開始實(shí)施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個(gè)大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計(jì)劃和專項(xiàng)研究計(jì)劃。我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的89我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國(guó)科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會(huì)議。國(guó)家自然科學(xué)基金委員會(huì)于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問(wèn)題”列入2014年的項(xiàng)目指南中，擬以重點(diǎn)項(xiàng)目群的方式支持和推動(dòng)相關(guān)領(lǐng)域的基礎(chǔ)研究。國(guó)家發(fā)展改革委員會(huì)與地方政府主導(dǎo)的“智慧城市”計(jì)劃已開始實(shí)施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個(gè)大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計(jì)劃和專項(xiàng)研究計(jì)劃。我國(guó)科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的902015年11月黨的十八屆五中全會(huì)公報(bào)提出要實(shí)施“國(guó)家大數(shù)據(jù)戰(zhàn)略”，這是大數(shù)據(jù)第一次寫入黨的全會(huì)決議，標(biāo)志著大數(shù)據(jù)戰(zhàn)略正式上升為國(guó)家戰(zhàn)略。五中全會(huì)，開啟了大數(shù)據(jù)建設(shè)的新篇章。大數(shù)據(jù)的發(fā)展已經(jīng)成為當(dāng)今重要的發(fā)展領(lǐng)域，就大數(shù)據(jù)戰(zhàn)略上升為國(guó)家戰(zhàn)略而言，五中全會(huì)的公報(bào)具有五個(gè)方面的重要意義，也對(duì)應(yīng)著相應(yīng)五個(gè)方面的建設(shè)努力方向。第一，大數(shù)據(jù)戰(zhàn)略要堅(jiān)持黨的領(lǐng)導(dǎo)、政治引領(lǐng)。第二，大數(shù)據(jù)戰(zhàn)略要政府表率推動(dòng)。政府做出表率，在開放數(shù)據(jù)、開放政府建設(shè)方面做出表率和積極努力。要積極構(gòu)建政府體系的大數(shù)據(jù)，打通在部門、區(qū)域之間隔離的數(shù)據(jù)孤島，為建立統(tǒng)一高效的政府服務(wù)體系而努力。第三，大數(shù)據(jù)戰(zhàn)略要立法規(guī)范。第四，保障大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的市場(chǎng)均衡與有效競(jìng)爭(zhēng)秩序。第五，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要保障公共安全。2015年11月黨的十八屆五中全會(huì)公報(bào)提出要實(shí)施“國(guó)家大數(shù)據(jù)912016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬(wàn)億元，年均復(fù)合增長(zhǎng)率保持30%左右。同時(shí)，國(guó)內(nèi)主要的互聯(lián)網(wǎng)公司加大了在大數(shù)據(jù)領(lǐng)域的布局，并參與國(guó)家項(xiàng)目。2017年2月20日，媒體披露，百度、阿里巴巴、騰訊均經(jīng)發(fā)改委批復(fù)，參與共建多個(gè)大數(shù)據(jù)相關(guān)的國(guó)家工程實(shí)驗(yàn)室。比如阿里云參與共建“工業(yè)大數(shù)據(jù)應(yīng)用技術(shù)國(guó)家工程實(shí)驗(yàn)室”和“大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室”;百度參與共建“大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室”和“類腦智能技術(shù)及應(yīng)用國(guó)家工程實(shí)驗(yàn)室”;騰訊參與共建由清華大學(xué)牽頭承擔(dān)的“大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程實(shí)驗(yàn)室”;等等。2016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-202092知識(shí)型工作自動(dòng)化：用計(jì)算機(jī)來(lái)自動(dòng)執(zhí)行之前只有人可以完成的知識(shí)工作知識(shí)工作往往需要依賴復(fù)雜分析、精細(xì)判斷和創(chuàng)造性決策等手段知識(shí)工作者：主要包括研究者、設(shè)計(jì)者、建筑師、科學(xué)家和工程師等，其主要工作是創(chuàng)造知識(shí)，他們所進(jìn)行的工作均為知識(shí)工作知識(shí)型工作自動(dòng)化六、大數(shù)據(jù)與知識(shí)自動(dòng)化知識(shí)型工作自動(dòng)化：用計(jì)算機(jī)來(lái)自動(dòng)執(zhí)行之前只有人可以完成的知識(shí)932009-2010年，帕羅奧多研究中心(PoloAltoResearchCenter，Xerox公司的獨(dú)立子公司），討論了關(guān)于“知識(shí)型工作的未來(lái)”的問(wèn)題，指出2020年知識(shí)型工作自動(dòng)化將成為工業(yè)自動(dòng)化革命后的又一次革命2012年，Intel公司的白皮書，討論了未來(lái)對(duì)知識(shí)工作者產(chǎn)生沖擊的一些變化，討論了“知識(shí)型工作的未來(lái)”問(wèn)題2013年，麥肯錫全球研究所關(guān)于2025全球趨勢(shì)的報(bào)告對(duì)知識(shí)型工作自動(dòng)化的定義以及產(chǎn)生的影響等進(jìn)行了詳細(xì)的闡述知識(shí)型工作自動(dòng)化2009-2010年，帕羅奧多研究中心(PoloAlto94知識(shí)型工作自動(dòng)化的提出源于當(dāng)前一些知識(shí)工作者的工作被機(jī)器代替的現(xiàn)狀，且計(jì)算技術(shù)、人工智能等技術(shù)仍在快速發(fā)展。例如：用軟件查找案件最相關(guān)的法律條文信息來(lái)代替律師的查找工作；用電腦代替客服人員的工作；用軟件完成銀行出納工作；一些輔助教育軟件；交易工作（計(jì)算機(jī)自動(dòng)存款、商店結(jié)賬），計(jì)算機(jī)下象棋圍棋，等等。目前：已經(jīng)對(duì)一些例行工作崗位和體力型崗位實(shí)現(xiàn)了自動(dòng)化，對(duì)于專業(yè)性工作、需要大量常識(shí)或前后聯(lián)系的工作、或基于人與人之間關(guān)系的工作尚沒有實(shí)現(xiàn)自動(dòng)化。知識(shí)型工作自動(dòng)化知識(shí)型工作自動(dòng)化的提出源于當(dāng)前一些知識(shí)工作者的工作被機(jī)器代替95世界著名的麥肯錫研究所2013年5月發(fā)表“12種顛覆性技術(shù)驅(qū)動(dòng)未來(lái)經(jīng)濟(jì)”的文章，這12種技術(shù)都具有廣泛的潛在影響，并有可能造成重大經(jīng)濟(jì)影響。這12種技術(shù)是：移動(dòng)互聯(lián)網(wǎng)、知識(shí)型工作的自動(dòng)化、物聯(lián)網(wǎng)