深度卷積神經網絡課件

目錄神經網絡簡要介紹冫經典深度神經網絡模型·LeNetAlexNet·VGGNetNetworkinNetwork(MIN)GoogLeNet·ResNet深度學習框架及實例深度學習在計算機視覺中的應用目錄1目錄神經網絡簡要介紹產經典深度神經網絡模型AlexNetVGGNetNetworkinNetwork(MINResNet深度學習框架簡介在計算機視覺中的應用目錄2神經網絡簡要介紹多層神經網路第一次興起(1958年)神經網絡興衰史知機,由于沒有引入不能求解異或問題。單己經網絡第二次興起(1986年):將BP(BackPropagation)算法用于AN的訓練過程第三次興起(2012年):深度卷積神經網絡的興起直到現在定BP算法:信號的正向傳播和誤差的反向傳播。神經網絡簡要介紹3深度卷積神經網絡介紹機器學習機器學習,神經網絡,神經網絡深度學習之間的關系深度學習CNN/RNN深度卷積神經網絡介紹4人工神經網絡發(fā)展歷程第二次高潮:第三次浪潮GE.Hintonr第次高潮:1SVYlecur萌芽期ibOostingAndrewSchapire95Robfergus1940s196s1980s200s模型感知器模型|Hopfield網絡深度網絡閾值加和自適應Boltzman機DBN模型線性單元BP算法Heb學習LeCun98DeepCNn規(guī)則RNN低谷人工神經網絡發(fā)展歷程5人工神經網絡發(fā)展歷程DeepLearning,Science2006(vol.313,pp504-507)ReducingtheDimensionalityofDatawithNeuralNetworksGE.Hinton'andR.R.Salakhutdinoy兩個重要的信息1.具有多個隱層的人工神經網絡具有優(yōu)異的特征學習能力,學習得到的特征對數據有更本質的刻畫,從而有利于可視化或分類2.深度神經網絡在訓練上的難度,可以通過“逐層初始化”Layer-wisePre-training))來有效克服Neuralnetworksarecomingback!人工神經網絡發(fā)展歷程6人工神經網絡發(fā)展歷程在語音識別取得重大突破2011年以來,錯誤率降低20-30%!2012年11月,微軟在天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng),講演者用英文演講,后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯,以及中文語音合成,效果非常流暢。人工神經網絡發(fā)展歷程7人工神經網絡發(fā)展歷程ooglebraini項目(紐約時報2012年6月報道)Diagona:水吳恩達2011年開始,GoogleBrain項目采用1500CPUCorep的并行計算平臺訓練“深層神經網絡”,在圖像識別等領域獲取巨大成功!人工神經網絡發(fā)展歷程8人工神經網絡發(fā)展歷程AlphabetAlphaGoMaster90柯潔A0elo100:0戰(zhàn)勝Lee版本,89:11戰(zhàn)勝Master版本harAn2017年12017年10AlphaGoLee64李世石AlphaZero:最大特點是無需人類棋譜,僅利用圍棋規(guī)AlphaGoFan5:0樊麾人工神經網絡發(fā)展歷程9人工神經網絡發(fā)展歷程flickrEiteramazon發(fā)展基礎:BE'FILI3)bayou√數據爆炸:圖像數據、文本數據、語音數REUTERS9據、社交網絡數據、科學計算等A√計算性能大幅提高為什么有效淺層神經網絡可以近似任意函數,為何多層?√深層網絡結構中,高層可以綜合應用低層信息√低層關注“局部”,高層關注“全局”、更具有語義化信息?！虨樽赃m應地學習非線性處理過程提供了一種可能的簡潔、普適的結構模型?！烫卣魈崛∨c分類器可以一起學習。人工神經網絡發(fā)展歷程10深度卷積神經網絡課件11深度卷積神經網絡課件12深度卷積神經網絡課件13深度卷積神經網絡課件14深度卷積神經網絡課件15深度卷積神經網絡課件16深度卷積神經網絡課件17深度卷積神經網絡課件18深度卷積神經網絡課件19深度卷積神經網絡課件20深度卷積神經網絡課件21深度卷積神經網絡課件22深度卷積神經網絡課件23深度卷積神經網絡課件24深度卷積神經網絡課件25深度卷積神經網絡課件26深度卷積神經網絡課件27深度卷積神經網絡課件28深度卷積神經網絡課件29深度卷積神經網絡課件30深度卷積神經網絡課件31深度卷積神經網絡課件32深度卷積神經網絡課件33深度卷積神經網絡課件34深度卷積神經網絡課件35深度卷積神經網絡課件36深度卷積神經網絡課件37深度卷積神經網絡課件38深度卷積神經網絡課件39深度卷積神經網絡課件40深度卷積神經網絡課件41深度卷積神經網絡課件42深度卷積神經網絡課件43深度卷積神經網絡課件44深度卷積神經網絡課件45深度卷積神經網絡課件46深度卷積神經網絡課件47深度卷積神經網絡課件48深度卷積神經網絡課件49深度卷積神經網絡課件50深度卷積神經網絡課件51深度卷積神經網絡課件52深度卷積神經網絡課件53深度卷積神經網絡課件54深度卷積神經網絡課件55深度卷積神經網絡課件56深度卷積神經網絡課件57深度卷積神經網絡課件58深度卷積神經網絡課件59深度卷積神經網絡課件60深度卷積神經網絡課件61深度卷積神經網絡課件62深度卷積神經網絡課件63深度卷積神經網絡課件64深度卷積神經網絡課件65深度卷積神經網絡課件66深度卷積神經網絡課件67深度卷積神經網絡課件68深度卷積神經網絡課件69深度卷積神經網絡課件70深度卷積神經網絡課件71深度卷積神經網絡課件72深度卷積神經網絡課件73深度卷積神經網絡課件74深度卷積神經網絡課件75深度卷積神經網絡課件76深度卷積神經網絡課件77深度卷積神經網絡課件78深度卷積神經網絡課件79深度卷積神經網絡課件80深度卷積神經網絡課件81深度卷積神經網絡課件82深度卷積神經網絡課件83深度卷積神經網絡課件84深度卷積神經網絡課件85深度卷積神經網絡課件86深度卷積神經網絡課件87深度卷積神經網絡課件88深度卷積神經網絡課件89深度卷積神經網絡課件90深度卷積神經網絡課件91深度卷積神經網絡課件92深度卷積神經網絡課件93深度卷積神經網絡課件94深度卷積神經網絡課件95深度卷積神經網絡課件96深度卷積神經網絡課件97深度卷積神經網絡課件98深度卷積神經網絡課件99深度卷積神經網絡課件100深度卷積神經網絡課件101深度卷積神經網絡課件102深度卷積神經網絡課件103深度卷積神經網絡課件104深度卷積神經網絡課件105深度卷積神經網絡課件106目錄神經網絡簡要介紹冫經典深度神經網絡模型·LeNetAlexNet·VGGNetNetworkinNetwork(MIN)GoogLeNet·ResNet深度學習框架及實例深度學習在計算機視覺中的應用目錄107目錄神經網絡簡要介紹產經典深度神經網絡模型AlexNetVGGNetNetworkinNetwork(MINResNet深度學習框架簡介在計算機視覺中的應用目錄108神經網絡簡要介紹多層神經網路第一次興起(1958年)神經網絡興衰史知機,由于沒有引入不能求解異或問題。單己經網絡第二次興起(1986年):將BP(BackPropagation)算法用于AN的訓練過程第三次興起(2012年):深度卷積神經網絡的興起直到現在定BP算法:信號的正向傳播和誤差的反向傳播。神經網絡簡要介紹109深度卷積神經網絡介紹機器學習機器學習,神經網絡,神經網絡深度學習之間的關系深度學習CNN/RNN深度卷積神經網絡介紹110人工神經網絡發(fā)展歷程第二次高潮:第三次浪潮GE.Hintonr第次高潮:1SVYlecur萌芽期ibOostingAndrewSchapire95Robfergus1940s196s1980s200s模型感知器模型|Hopfield網絡深度網絡閾值加和自適應Boltzman機DBN模型線性單元BP算法Heb學習LeCun98DeepCNn規(guī)則RNN低谷人工神經網絡發(fā)展歷程111人工神經網絡發(fā)展歷程DeepLearning,Science2006(vol.313,pp504-507)ReducingtheDimensionalityofDatawithNeuralNetworksGE.Hinton'andR.R.Salakhutdinoy兩個重要的信息1.具有多個隱層的人工神經網絡具有優(yōu)異的特征學習能力,學習得到的特征對數據有更本質的刻畫,從而有利于可視化或分類2.深度神經網絡在訓練上的難度,可以通過“逐層初始化”Layer-wisePre-training))來有效克服Neuralnetworksarecomingback!人工神經網絡發(fā)展歷程112人工神經網絡發(fā)展歷程在語音識別取得重大突破2011年以來,錯誤率降低20-30%!2012年11月,微軟在天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng),講演者用英文演講,后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯,以及中文語音合成,效果非常流暢。人工神經網絡發(fā)展歷程113人工神經網絡發(fā)展歷程ooglebraini項目(紐約時報2012年6月報道)Diagona:水吳恩達2011年開始,GoogleBrain項目采用1500CPUCorep的并行計算平臺訓練“深層神經網絡”,在圖像識別等領域獲取巨大成功!人工神經網絡發(fā)展歷程114人工神經網絡發(fā)展歷程AlphabetAlphaGoMaster90柯潔A0elo100:0戰(zhàn)勝Lee版本,89:11戰(zhàn)勝Master版本harAn2017年12017年10AlphaGoLee64李世石AlphaZero:最大特點是無需人類棋譜,僅利用圍棋規(guī)AlphaGoFan5:0樊麾人工神經網絡發(fā)展歷程115人工神經網絡發(fā)展歷程flickrEiteramazon發(fā)展基礎:BE'FILI3)bayou√數據爆炸:圖像數據、文本數據、語音數REUTERS9據、社交網絡數據、科學計算等A√計算性能大幅提高為什么有效淺層神經網絡可以近似任意函數,為何多層?√深層網絡結構中,高層可以綜合應用低層信息√低層關注“局部”,高層關注“全局”、更具有語義化信息?！虨樽赃m應地學習非線性處理過程提供了一種可能的簡潔、普適的結構模型?！烫卣魈崛∨c分類器可以一起學習。人工神經網絡發(fā)展歷程116深度卷積神經網絡課件117深度卷積神經網絡課件118深度卷積神經網絡課件119深度卷積神經網絡課件120深度卷積神經網絡課件121深度卷積神經網絡課件122深度卷積神經網絡課件123深度卷積神經網絡課件124深度卷積神經網絡課件125深度卷積神經網絡課件126深度卷積神經網絡課件127深度卷積神經網絡課件128深度卷積神經網絡課件129深度卷積神經網絡課件130深度卷積神經網絡課件131深度卷積神經網絡課件132深度卷積神經網絡課件133深度卷積神經網絡課件134深度卷積神經網絡課件135深度卷積神經網絡課件136深度卷積神經網絡課件137深度卷積神經網絡課件138深度卷積神經網絡課件139深度卷積神經網絡課件140深度卷積神經網絡課件141深度卷積神經網絡課件142深度卷積神經網絡課件143深度卷積神經網絡課件144深度卷積神經網絡課件145深度卷積神經網絡課件146深度卷積神經網絡課件147深度卷積神經網絡課件148深度卷積神經網絡課件149深度卷積神經網絡課件150深度卷積神經網絡課件151深度卷積神經網絡課件152深度卷積神經網絡課件153深度卷積神經網絡課件154深度卷積神經網絡課件155深度卷積神經網絡課件156深度卷積神經網絡課件157深度卷積神經網絡課件158深度卷積神經網絡課件159深度卷積神經網絡課件160深度卷積神經網絡課件161深度卷積神經網絡課件162深度卷積神經網絡課件163深度卷積神經網絡課件164深度卷積神經網絡課件165深度卷積神經網絡課件166深度卷積神經網絡課件167深度卷積神經網絡課件168深度卷積神經網絡課件169深度卷積神經網絡課件170