Bengio和LeCun在NIPS2016上的演講

1、選自 NIPS2016 機器之心整理編輯： 杜夏德 NIPS 2016 召開至今，干貨滿滿， Google 、吳恩達、 IanGoodfellow 等 公司和學(xué)者的演講、展示的材料不斷放出。今天小編又給大 家?guī)韮晌恢匕跫墝W(xué)者 Yoshua Bengio 和 Yann LeCun 在 NIPS2106 上的講演材料。 Bengio 主要介紹從生物學(xué)角度介 紹了深度學(xué)習(xí)， 而 LeCun 講解了基于能量的 GAN 及其對抗 訓(xùn)練的方法。點擊閱讀原文即可下載兩份材料的 PDF1 【生 物學(xué)可信深度學(xué)習(xí)】 Towards biologically plausible deep learning by

2、 Yoshua BengioP2-5. 深度學(xué)習(xí)的核心議題是信 用分配也就是，隱藏層要做什么才能對其他層及該網(wǎng)絡(luò)更大 的目標(biāo)有用？現(xiàn)有的方法是反向傳播算法及玻爾茲曼機中 的隨機松弛。但是強化學(xué)習(xí)不行，因為方差會隨著神經(jīng)元獲 得的信用數(shù)量呈線性上升。那么大腦有時如何做的呢？生物 學(xué)上可信的反向傳播。連續(xù) Hopfield 神經(jīng)網(wǎng)絡(luò)的能量函數(shù) 變異 P6-9. 作為推理的神經(jīng)計算需要對稱性， 巧合的是沒有 強制對稱的自動編碼器最終會有對稱權(quán)重。反向傳播不需要 嚴格的對稱。 P10-13 如何在負相中進行快速推理（后驗采 樣）。對于深度生成網(wǎng)絡(luò)的快速推理前饋初始化在生物學(xué)上 是可信的。誤差的傳遞是件

3、好事，因為它能實現(xiàn)一種和諧。 而誤差的傳遞其實就是增量目標(biāo)的傳遞。 P15-22 我們?nèi)绾斡?xùn)練一個執(zhí)行計算的物理系統(tǒng)？首先要實現(xiàn)動態(tài)平衡P23-26STDP 連接平衡傳播產(chǎn)生 STDP 一個微分對比的 Hebbian 更新 P27. 繼承反向傳播的特性 P28. 誤差傳遞等 于增量目標(biāo)的傳遞 P29-30. 平衡傳播包括作為前饋網(wǎng)絡(luò)中 一個特例的一般反向傳播 P31. 開放性的問題擺脫能量公式 的局部極小值，同時泛化到被其動力學(xué)限制的系統(tǒng)中，還要 學(xué)習(xí)過渡算子( transition operator )，這樣就可以避免權(quán)重 對稱約束將這些想法推廣到無監(jiān)督學(xué)習(xí)中一段時間后反向 傳播會怎么樣呢？

4、 P32. STDP vs 反 STDP ：可能嗎？ P33. Variational WalkbackP34.GAN 在大腦中的部署和 Actor-Critic 算法：質(zhì)疑單一目標(biāo)優(yōu)化 Dogma2. 【能量 GAN 與對抗方法】 Energy-Based GANs & other Adversarial things by Yann LeCunP2. 無監(jiān)督學(xué)習(xí) P3. 基于能量的無 監(jiān)督學(xué)習(xí)學(xué)習(xí)一個滿足以下兩個條件的能量函數(shù)在數(shù)據(jù)流 形上取值較低在其他地方取值較高 P4-5. 在帶有能量函數(shù) 的變量之間撲捉相關(guān)性 ( dependencies )P6. 學(xué)習(xí)該能量函 數(shù) P7-9. 塑造能量函數(shù)的 7 個策略 P10-22 對抗訓(xùn)練。難 點是在不確定的情況下預(yù)測。基于能量的無監(jiān)督學(xué)習(xí)對抗訓(xùn) 練：一個可訓(xùn)練的目標(biāo)函數(shù)基于能量的 GAN 。 EBGAN 損 失函數(shù) EBGAN 的解決方法是納什均衡 ENGAN 中的 D 是一個梯形網(wǎng)絡(luò)基于能量的EBGAN 在128 X 128像素的ImagNet上訓(xùn)練的結(jié)果?；谀芰康?EBGAN 在256 X 256像素的 ImagNet 上訓(xùn)練的結(jié)果。 P23-34 視頻預(yù)測(經(jīng)過 對抗訓(xùn)練)用于視頻預(yù)測的多尺度卷積網(wǎng)絡(luò)不能使用平方誤 差：模糊預(yù)測預(yù)測的無監(jiān)督學(xué)習(xí)視頻預(yù)測：預(yù)測