大數(shù)據(jù)分析的深度神經(jīng)網(wǎng)絡(luò)方法課件

1、大數(shù)據(jù)分析的深度神經(jīng)網(wǎng)絡(luò)方法大數(shù)據(jù)優(yōu)秀論文提綱大數(shù)據(jù)簡介大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)2大數(shù)據(jù)商業(yè)應(yīng)用誕生全世界興起 大數(shù)據(jù)熱潮大數(shù)據(jù)分布式 存儲(chǔ)與并行計(jì) 算技術(shù)誕生Google Brain計(jì)劃，激 起大規(guī)模神經(jīng)網(wǎng)絡(luò)在 大數(shù)據(jù)分析中的應(yīng)用深度神經(jīng)網(wǎng)絡(luò)在語音大 數(shù)據(jù)、圖像大數(shù)據(jù)領(lǐng)域 接連取得巨大突破G. E. Hinton 教授在Science發(fā)表文章， 深度神經(jīng)網(wǎng)絡(luò)興起基于深度神經(jīng)網(wǎng)絡(luò)的大數(shù) 據(jù)分析方法在學(xué)術(shù)界和工 業(yè)界均取得巨大成功工信部白皮書指出：大數(shù)據(jù)分析是大 數(shù)據(jù)研究的重要環(huán)節(jié)，其中大數(shù)據(jù)分 析的神經(jīng)網(wǎng)絡(luò)方法具有良好前景“大數(shù)據(jù)”

2、一詞誕生20001997200420062011201220142015我國大數(shù)據(jù)產(chǎn)業(yè)興起大數(shù)據(jù)歷史2013美國奧巴馬政府發(fā)布了大數(shù)據(jù) 計(jì)劃，將大數(shù)據(jù)戰(zhàn)略上升為美 國國家意志國務(wù)院發(fā)布大數(shù)據(jù)發(fā)展行動(dòng)綱要，大數(shù)據(jù)正式上升為我國國家意志大數(shù)據(jù)概念體量浩大 Volume多源異構(gòu) Variety生成快速 Velocity價(jià)值稀疏 Value大數(shù)據(jù)的 基本特點(diǎn)大數(shù)據(jù)的目標(biāo)實(shí)現(xiàn)大數(shù) 據(jù)轉(zhuǎn)換為 價(jià)值4大數(shù)據(jù)的概念問題：怎樣實(shí)現(xiàn)大數(shù)據(jù)的目標(biāo)？大數(shù)據(jù)關(guān)鍵技術(shù)大 數(shù) 據(jù) 關(guān) 鍵 技 術(shù)問題：怎樣設(shè)計(jì)大數(shù)據(jù)分析方法？展示平臺(tái)大數(shù)據(jù)知識(shí)展示大數(shù)據(jù)產(chǎn)品數(shù)據(jù)平臺(tái)大數(shù)據(jù)采集，標(biāo)記大數(shù)據(jù)存儲(chǔ)，管理大數(shù)據(jù)分析是大數(shù)據(jù)轉(zhuǎn) 換為價(jià)

3、值的最重要的環(huán) 節(jié)，否則，大數(shù)據(jù)僅僅 是一堆數(shù)據(jù)而已。大數(shù)據(jù)分析是大數(shù)據(jù)轉(zhuǎn)化為價(jià)值的橋梁價(jià)值5每秒信息傳遞和交換1000億次，PB級數(shù)據(jù)同步處理聲音、溫度、氣味、圖像等數(shù)據(jù)50億本書的存儲(chǔ)容量每秒人眼數(shù)據(jù)量140.34GB在識(shí)別、判斷、預(yù)測等智能行為方面展現(xiàn)出 十分強(qiáng)大的能力優(yōu)秀的大數(shù)據(jù)處理器人類大腦是天然的大數(shù)據(jù)處理器！進(jìn)入大腦的信息被編 碼為某種數(shù)據(jù)，進(jìn)而 由大腦神經(jīng)網(wǎng)絡(luò)處理6大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)關(guān)鍵技術(shù)價(jià)值神經(jīng)網(wǎng)絡(luò)是一種模擬大腦神經(jīng)網(wǎng)絡(luò)的計(jì)算方法大數(shù)據(jù)分析是大數(shù)據(jù)轉(zhuǎn)化為價(jià)值的橋梁大數(shù)據(jù)深度神 經(jīng)網(wǎng)絡(luò)巨大 成功+=深度神經(jīng)網(wǎng)絡(luò)方法大數(shù)據(jù)分析 最成功的方法7深度神經(jīng)網(wǎng)絡(luò)歷史1960s.第一代

4、神 經(jīng)網(wǎng)絡(luò) 感知機(jī)2006年深度學(xué)習(xí)； 前饋深度 神經(jīng)網(wǎng)絡(luò)1985年第二代神 經(jīng)網(wǎng)絡(luò) BP至今 深度神經(jīng) 網(wǎng)絡(luò)在眾 多領(lǐng)域均 取得重大成功Geoffrey Hinton2004年HTM神經(jīng)網(wǎng)絡(luò)； 智能理論 新框架Jeff Hawkins2009年Recurrent神經(jīng)網(wǎng)絡(luò) 異軍突起Jrgen Schmidhuber深度神經(jīng)網(wǎng)絡(luò)方法大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶機(jī)制大腦新皮層 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法模擬大腦神經(jīng)計(jì)算的方法9提綱大數(shù)據(jù)簡介大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)10大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)科學(xué)認(rèn)為：智能 是由大腦神

5、經(jīng)網(wǎng)絡(luò)的 活動(dòng)產(chǎn)生的。幾乎所有我們所認(rèn)識(shí) 到的與智能有關(guān)的內(nèi) 容，如感知、語言、 想象力、數(shù)學(xué)、藝術(shù)、 規(guī)劃等等，都發(fā)生于 大腦新皮層。新皮層的神經(jīng)網(wǎng)絡(luò)對 智能的產(chǎn)生起至關(guān)重 要的作用。2人腦的新皮層一張餐巾大?。s1000cm )六張撲克牌厚（約2mm ）每平方毫米的面積包含了約10 萬個(gè)神經(jīng)元300億個(gè)神經(jīng)元100 萬億突觸連接11大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)視覺區(qū)域聽覺區(qū)域觸覺區(qū)域聯(lián)合區(qū)域12大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)視覺區(qū)域聽覺區(qū)域觸覺區(qū)域聯(lián)合區(qū)域不同層級區(qū)域間依靠神經(jīng)柱內(nèi)復(fù)雜的連接進(jìn)行通訊按照功能區(qū) 構(gòu)成層級結(jié)構(gòu)基因決定大腦皮層的整個(gè)結(jié)構(gòu)，包括 各個(gè)區(qū)域之間的相互連接的具體細(xì)節(jié)13大腦新皮

6、層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)新皮層連接的拓?fù)浣Y(jié)構(gòu)14當(dāng)前使用的簡單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)前饋深度神經(jīng)網(wǎng)絡(luò)-無限逼近任何非線性函數(shù)RBM神經(jīng)網(wǎng)絡(luò)2006年，G. E. Hinton教授在Science 發(fā)表文章，基于前饋深度神經(jīng)網(wǎng)絡(luò)的 大數(shù)據(jù)分析方法興起Geoffrey Hinton當(dāng)前使用的簡單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)語音識(shí)別：2012，RBM深度模型降低錯(cuò)誤率30%，是10年來最大突破圖像識(shí)別：大規(guī)模對象識(shí)別(ImageNet)正確率(95.06%)超過人類(94.9%)應(yīng) 用 領(lǐng) 域應(yīng) 用 產(chǎn) 品大數(shù)據(jù) 前饋深度神經(jīng)網(wǎng)絡(luò)4:1AlpahGovs李世石Google世界冠軍2016年03月2014年5月香港中文大學(xué)DeepID

7、2模型人臉識(shí) 別率超越人類水平2015年2月微軟亞洲研究院大規(guī)模對象識(shí) 別正確率超過人類2016年01月美國企業(yè)Enlitic開發(fā)的基于深 度學(xué)習(xí)的癌癥檢測系統(tǒng)，肺癌檢 出率超過放射技師2012年10月微軟使用深度神經(jīng)網(wǎng)絡(luò)于語音識(shí)別，發(fā)布同聲傳譯產(chǎn)品當(dāng)前使用的簡單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以LSTM神經(jīng)網(wǎng)絡(luò)為代表的，Recurrent 深度神經(jīng)網(wǎng)絡(luò)迅速興起，并廣泛應(yīng)用 于時(shí)序大數(shù)據(jù)分析Jrgen SchmidhuberRecurrent 神經(jīng)網(wǎng)絡(luò)-無限逼近非線性動(dòng)力學(xué)系統(tǒng)1()2()3()1()Continuously Recurrent Computing1()1 + 1 ()2()2()3()3()1(

8、)1()()()LSTM神經(jīng)網(wǎng)絡(luò)當(dāng)前使用的簡單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自然語言處理：顛覆傳統(tǒng)自然語言處理模式，突破自然語言處理前沿難關(guān)視覺內(nèi)容理解：將視覺對象和自然語言相結(jié)合，打造可用的視覺內(nèi)容理解產(chǎn)品語音識(shí)別：語音識(shí)別率大幅上升，入選MIT科技評論2016年十大突破技術(shù)用 領(lǐng) 域大數(shù)據(jù) Recurrent深度神經(jīng)網(wǎng)絡(luò)應(yīng)圖像問答語音識(shí)別應(yīng) 用 產(chǎn) 品在NLP的關(guān)鍵任務(wù)（接續(xù)語句預(yù)測）上，能做到20%的提升。這是問答系統(tǒng)得以發(fā)展的重 要基礎(chǔ)。當(dāng)前使用的簡單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)HTM神經(jīng)網(wǎng)絡(luò)以稀疏分布式表達(dá)為基礎(chǔ)， 實(shí)現(xiàn)“基于記憶的預(yù)測”的智能理論新框架， 并將其應(yīng)用于多種大數(shù)據(jù)分析HTM神經(jīng)網(wǎng)絡(luò)HTM神經(jīng)網(wǎng)絡(luò)-模擬

9、大腦新皮層活動(dòng)的網(wǎng)絡(luò)Jeff Hawkins當(dāng)前使用的簡單神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)/大數(shù)據(jù) HTM神經(jīng)網(wǎng)絡(luò)產(chǎn)品:Grok2.0,序列異常檢測 應(yīng)用實(shí)例：異常增漲預(yù)測異常代碼提交檢測提綱大數(shù)據(jù)簡介大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)21深度神經(jīng)網(wǎng)絡(luò)方法大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶機(jī)制大腦新皮層 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法模擬大腦神經(jīng)計(jì)算的方法22大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶新皮層連接的拓?fù)浣Y(jié)構(gòu)整個(gè)大腦皮層是一個(gè)記憶系統(tǒng)大腦皮層以恒定形式存儲(chǔ)模式大腦皮層按照層級結(jié)構(gòu)存儲(chǔ)模式大腦皮層可以存儲(chǔ)模式序列大腦皮層以自聯(lián)想方式回憶模式記憶通過學(xué)習(xí)來完成問題：

10、記憶的學(xué)習(xí)機(jī)制是什么？23大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶神經(jīng)科學(xué)：記憶以動(dòng)力學(xué)系統(tǒng) 吸引子的方式存在Seung, H. Sebastian, and DanielD. Lee. The manifold ways of perception. Science 290.5500 (2000): 2268-2269.Daniel J. Amit 現(xiàn)代神經(jīng)網(wǎng)絡(luò) 理論奠基人24Eric R. KandelColumbia University 教授 2000年諾貝爾生理學(xué)醫(yī)學(xué) 獎(jiǎng)獲得者大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶行為可以由神經(jīng)元的 活動(dòng)解釋- D. O. Hebb, 1949D. O. Hebb英國皇家學(xué)會(huì)會(huì)士

11、神經(jīng)元之間的突觸連接會(huì)隨著突觸兩端神經(jīng)元的激活而增強(qiáng)。-Hebb學(xué)習(xí)規(guī)則25大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶Jeff HawkinsHTM神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)算法：Hebb Learning神經(jīng)元之間的突觸連接會(huì)隨著突觸兩端神經(jīng)元的激活而增強(qiáng)。-Hebb學(xué)習(xí)規(guī)則大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶Back propagation algorithm從數(shù)學(xué)的優(yōu)化理論直接設(shè)計(jì)學(xué)習(xí)算法Geoffrey HintonRBM27AutoEncoder前饋深度神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)算法：Back propagation，Autoencoder，RBM大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶從數(shù)學(xué)的優(yōu)化理論直接設(shè)計(jì)學(xué)習(xí)算法Long short-term

12、 memoryt=2t=3t=t=1Backpropagation Through Time誤 差 反 向 傳 播t=1t=2t=3t=Recurrent Real Time LearningActivity gradient 前向 傳 播Recurrent深度神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)算法：BPTT，RTRL，LSTM28大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶現(xiàn)有學(xué)習(xí)算法的問題：梯度消失問題學(xué)習(xí)沖突問題12+112+1111=1= () , where 0.25which indicates will descent exponentially.1 2 3 4-14 -3 -2 -1 00.50-0.511.52S

13、igmoid梯度消失問題?輸入沖突x?輸出沖突29深度神經(jīng)網(wǎng)絡(luò)方法大腦新皮層神經(jīng)網(wǎng)絡(luò)的記憶機(jī)制大腦新皮層 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法認(rèn)知計(jì)算數(shù)學(xué)方法30提綱大數(shù)據(jù)簡介大腦新皮層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)大數(shù)據(jù)分析的深度神經(jīng)網(wǎng)絡(luò)方法大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)31大數(shù)據(jù)關(guān)鍵技術(shù)大 數(shù) 據(jù) 關(guān) 鍵 技 術(shù)大數(shù)據(jù)分析是大數(shù)據(jù)轉(zhuǎn)化為價(jià)值的橋梁價(jià)值問題：如何構(gòu)建大數(shù)據(jù)分析平臺(tái)？展示平臺(tái)大數(shù)據(jù)知識(shí)展示大數(shù)據(jù)產(chǎn)品分析平臺(tái)深度神經(jīng)網(wǎng)絡(luò)高性能計(jì)算平臺(tái)數(shù)據(jù)平臺(tái)大數(shù)據(jù)采集，標(biāo)記大數(shù)據(jù)存儲(chǔ)，管理大數(shù)據(jù)分析是大數(shù) 據(jù)轉(zhuǎn)換為價(jià)值的最 重要的環(huán)節(jié)， 否則， 大數(shù)據(jù)僅僅是一堆 數(shù)據(jù)而已。32大數(shù)據(jù)分析平臺(tái)深

14、度神經(jīng)網(wǎng)絡(luò)方法管理節(jié)點(diǎn)交 換機(jī)IB交換機(jī)以太網(wǎng)交換 機(jī)管理存儲(chǔ)節(jié) 點(diǎn)終端終端終端GPUs計(jì)算節(jié)點(diǎn)服務(wù)器計(jì)算節(jié)點(diǎn)服務(wù)器分析方法計(jì)算 平臺(tái)1()2()3()1()1()1 + 1 ()Continuously Recurrent Computing2()2()3()3()1()1()()()GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)大計(jì) 算大模 型大數(shù)據(jù)大規(guī)模計(jì)算平3臺(tái)3大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)計(jì)算模型計(jì)算模型計(jì)算模型企業(yè)應(yīng)用產(chǎn)品訓(xùn)練無限深度 網(wǎng)絡(luò)深度神經(jīng) 網(wǎng)絡(luò)圖像大數(shù)據(jù)模 型并行文本大數(shù)據(jù)語音大數(shù)據(jù)輸入輸出統(tǒng) 一 數(shù)據(jù) 接 口大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)學(xué)習(xí)算法學(xué)習(xí)算法學(xué)習(xí)算法設(shè)備0設(shè)備1設(shè)備2大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)全部建設(shè)完成后總體規(guī)模計(jì)算服務(wù)器15臺(tái)CPU120塊K80 GPU 計(jì)算卡60塊GPU單精度浮點(diǎn)計(jì)算能力 500 Tflops集群總計(jì)算能力達(dá)到 700 Tflops34大數(shù)據(jù)分析GPU深度神經(jīng)網(wǎng)絡(luò)計(jì)算平臺(tái)大數(shù)據(jù)分 析GPU深 度神經(jīng)網(wǎng) 絡(luò)計(jì)算平 臺(tái)視頻大 數(shù)據(jù)研 究組文本大 數(shù)據(jù)研 究組語音大 數(shù)據(jù)研 究組大數(shù)據(jù)研究團(tuán)隊(duì)在研產(chǎn)品四川話識(shí)別一個(gè)燈塔在一 個(gè)建筑物上面一只熊貓?jiān)谝粋€(gè)樹枝上圖像內(nèi)容理解詩詞精靈干細(xì)胞追蹤系統(tǒng)35文本大數(shù)據(jù)研究產(chǎn)品-詩詞精靈自動(dòng)生成唐詩宋詞詩詞卜算子詠梅今日探春芳