面向人工神經(jīng)網(wǎng)絡的新型神經(jīng)元模型研究

面向人工神經(jīng)網(wǎng)絡的新型神經(jīng)元模型研究ResearchonNewNeuronModelforArtificialNeuralNetworkPPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

453研究背景及現(xiàn)狀12總結(jié)與展望6目錄CONTENTS基于物理模型的通用神經(jīng)元模型：IC神經(jīng)元基于IC神經(jīng)元的近似等變3D圖神經(jīng)網(wǎng)絡設計基于IC神經(jīng)元的深度卷積神經(jīng)網(wǎng)絡設計基于IC神經(jīng)元的記憶型遞歸神經(jīng)網(wǎng)絡設計研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20243ResNet-18神經(jīng)網(wǎng)絡模型與神經(jīng)元模型的關(guān)系神經(jīng)網(wǎng)絡模型：神經(jīng)網(wǎng)絡是最常用的機器學習技術(shù)之一，被廣泛應用于各種學習任務神經(jīng)網(wǎng)絡通常由很多相似模塊組合而成，其泛化性能依賴組件的性能ResidualBlockConvolutionMPNeuron神經(jīng)元模型：具有擬合或?qū)W習能力的最小單元神經(jīng)網(wǎng)絡的設計可以分為多個層次，神經(jīng)元模型屬于最基礎的層次，它也是高層次模塊設計的基石基礎單元研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20244發(fā)展歷程第一代神經(jīng)元：MP神經(jīng)元問世1943年第二代神經(jīng)元：脈沖神經(jīng)網(wǎng)絡問世感知器模型提出，神經(jīng)網(wǎng)絡雛形出現(xiàn)1957年重大事件：1943年，McCulloch-Pitts神經(jīng)元模型問世，它基于輸入信號的加權(quán)和與閾值的比較來產(chǎn)生輸出1957年，感知機模型問世，它組合多個MP神經(jīng)元，通過學習算法調(diào)整權(quán)重1980年，脈沖神經(jīng)元問世，它是一種更貼近生物神經(jīng)元的模型，用脈沖信號傳遞信息上個世紀90年代，基于MP神經(jīng)元和脈沖神經(jīng)網(wǎng)絡的學習理論相繼提出，有效促進了神經(jīng)網(wǎng)絡的應用進入21世紀，算力的提升推動深度神經(jīng)網(wǎng)絡發(fā)展，MP神經(jīng)元得到了極大的應用，與此同時，科學家也在不斷探索新型的神經(jīng)元或者計算單元學習理論有效支撐了神經(jīng)元的研究1980年1990-2000年2000年至今深度學習時代，MP神經(jīng)元模型得到極大應用和拓展研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20245神經(jīng)元模型設計面臨的挑戰(zhàn)表示能力計算可行性高效的非線性函數(shù)形式輕量級的結(jié)構(gòu)可拓展的結(jié)構(gòu)支持常見計算設備研究背景

研究現(xiàn)狀困難挑戰(zhàn)研究方案9/29/20246神經(jīng)元模型設計的意義目前大部分神經(jīng)網(wǎng)絡模型設計的工作都是基于高層次的模塊，針對神經(jīng)元的研究較少，大部分工作依然基于MP神經(jīng)元多數(shù)研究的方向新型神經(jīng)元設計的意義在于：廣泛提升已有網(wǎng)絡模型的性能廣泛應用于基于網(wǎng)絡的學習任務促進神經(jīng)網(wǎng)絡上層模塊的設計和研究研究背景

研究現(xiàn)狀相關(guān)工作困難挑戰(zhàn)研究方案9/29/20247神經(jīng)元模型設計的意義針對神經(jīng)元設計的困難，本文探索和設計高性能的神經(jīng)元結(jié)構(gòu)從實用性角度出發(fā)，本文將提出的神經(jīng)元結(jié)構(gòu)應用到多種主流網(wǎng)絡架構(gòu)中，探索專用計算結(jié)構(gòu)基于物理模型的通用神經(jīng)元模型

ICNeuron9/29/20248工作動機提出方法實驗驗證分析總結(jié)9/29/20249可擴展性通用神經(jīng)元設計面臨的挑戰(zhàn)通過增加神經(jīng)元，神經(jīng)網(wǎng)絡可以獲得更大的模型容量，解決更復雜的現(xiàn)實問題。構(gòu)建拓展神經(jīng)元淺層模型深層模型高效處理效率表達能力線性神經(jīng)元帶有激活函數(shù)的神經(jīng)元表達能力：神經(jīng)網(wǎng)絡表示未知分布的能力，這種能力依賴于基礎神經(jīng)元的非線性函數(shù)形式。DNN輸入輸出“Cat”0.01ms神經(jīng)網(wǎng)絡由若干神經(jīng)元組成，其計算消耗取決于神經(jīng)元的計算量和參數(shù)量。脈沖神經(jīng)元MP神經(jīng)元處理效率高靈活地可拓展性非線性函數(shù)簡單，表達能力受限處理效率低拓展性差且依賴神經(jīng)計算芯片能夠表達時序信息……工作動機

提出方法實驗驗證分析總結(jié)9/29/202410物理啟發(fā)系統(tǒng)啟發(fā)物理量(速度)地傳遞演化數(shù)值信號的傳遞神經(jīng)元建?？梢允芤嬗诙喾N交叉學科，物理體系建模的神經(jīng)元往往具有更好的數(shù)理解釋性。物理碰撞模型與信息傳遞系統(tǒng)具有一定相關(guān)性，能夠協(xié)助建模神經(jīng)元模型：工作動機

提出方法實驗驗證分析總結(jié)9/29/202411基礎IC神經(jīng)元

工作動機

提出方法實驗驗證分析總結(jié)9/29/202412非線性函數(shù)的對比根據(jù)ReLU函數(shù)性質(zhì)拆分IC神經(jīng)元：其中

基礎IC神經(jīng)元的數(shù)學意義：通過一個超平面函數(shù)切分輸入空間，以此增加輸出非線性模式超平面共享輸入的權(quán)重，降低模型復雜度MP神經(jīng)元IC神經(jīng)元XOR實驗：單個MP神經(jīng)元無法解決XOR問題單個IC神經(jīng)元通過增加非線性模式解決線性不可分問題工作動機

提出方法實驗驗證分析總結(jié)9/29/202413基礎IC神經(jīng)元與MP神經(jīng)元之間的對比

MP神經(jīng)元

基礎IC神經(jīng)元結(jié)構(gòu)輕量易于拓展與集成易于訓練非線性表示能力弱與MP相同量級的參數(shù)量和計算量支持MP神經(jīng)元的各種拓展和集成方式共享MP神經(jīng)元的各種訓練策略更強的非線性表示能力工作動機

提出方法實驗驗證分析總結(jié)9/29/202414基于可調(diào)節(jié)平面的IC神經(jīng)元

工作動機

提出方法實驗驗證分析總結(jié)9/29/202415在主流網(wǎng)絡架構(gòu)中的簡單應用全連接神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡遞歸神經(jīng)網(wǎng)絡……

工作動機提出方法實驗驗證分析總結(jié)9/29/202416IC全連接層分類精度對比IC全連接層復雜度對比通用全連接神經(jīng)網(wǎng)絡對比在七個不同領域的分類任務中，相比MP神經(jīng)元，IC網(wǎng)絡都取得穩(wěn)定提升；IC神經(jīng)網(wǎng)絡和MP神經(jīng)網(wǎng)絡的計算消耗基本保持一致；IC-B結(jié)構(gòu)是省略w’的基礎IC神經(jīng)元，它間接表明了強表示能力主要來自切分輸入空間的結(jié)構(gòu)。工作動機提出方法實驗驗證分析總結(jié)9/29/202417IC神經(jīng)元應用于卷積和遞歸神經(jīng)網(wǎng)絡ImageNet數(shù)據(jù)集1.IC結(jié)構(gòu)具有泛用性，能夠提升卷積和循環(huán)結(jié)構(gòu)的表示能力；IC-RNN實驗效果IC-CNN實驗效果工作動機提出方法實驗驗證分析總結(jié)9/29/202418IC神經(jīng)元應用于深度神經(jīng)網(wǎng)絡ImageNet數(shù)據(jù)集Cifar數(shù)據(jù)集PascalVOC數(shù)據(jù)集IC神經(jīng)元能夠應用于各種各樣的深度神經(jīng)網(wǎng)絡，并取得性能上的提升；在深度模型中，IC神經(jīng)元可能會增加模型的過擬合風險，表現(xiàn)為訓練集明顯提升，驗證集微弱提升。工作動機提出方法實驗驗證分析總結(jié)9/29/202419消融實驗：擴大參數(shù)量對比對于一些任務，簡單地擴大模型(增加深度和寬度)不一定會直接帶來泛化性能上的提升相比于擴大已有模型的結(jié)構(gòu)，用IC神經(jīng)元替換MP神經(jīng)元是一種更經(jīng)濟，更有效的方法在實際任務中，哪種策略更好：1.將MP神經(jīng)元替換為IC神經(jīng)元2.增加原有模型的大小(增加深度FC-A，增加寬度FC-B)擴大參數(shù)量后的分類效果擴大參數(shù)量后的計算消耗工作動機提出方法實驗驗證分析總結(jié)

9/29/202420消融實驗：激活函數(shù)影響IC神經(jīng)元在不同激活函數(shù)上表現(xiàn)出相似的實驗效果，進一步體現(xiàn)了IC神經(jīng)元在已有神經(jīng)網(wǎng)絡中的泛用性未來會進一步探索IC神經(jīng)元與其它激活函數(shù)的結(jié)合以上所有實驗中，IC神經(jīng)元都基于ReLU或者Sigmoid函數(shù)，本實驗驗證其它激活函數(shù)對IC神經(jīng)元是否有效激活函數(shù)消融實驗工作動機提出方法實驗驗證分析總結(jié)9/29/202421動機當下深度神經(jīng)網(wǎng)絡被廣泛使用，然后神經(jīng)元模型依然是上個世紀的MP神經(jīng)元，探索高性能的神經(jīng)元模型對深度學習乃至整個神經(jīng)網(wǎng)絡領域具有重要意義。模型本章提出一種通用的IC神經(jīng)元，通過切分線性表示，它能獲得更強大的表示能力。IC神經(jīng)元能夠應用到各種基于MP神經(jīng)元的體系中。本章通過多領域的分類數(shù)據(jù)集驗證了IC神經(jīng)元的有效性。本章將IC神經(jīng)元應用到一些主流網(wǎng)絡架構(gòu)中，并驗證了其泛用性。實驗基于IC神經(jīng)元的深度卷積神經(jīng)網(wǎng)絡設計：

IC-CNN+9/29/202422工作動機提出方法實驗驗證分析總結(jié)9/29/202423高維數(shù)據(jù)IC神經(jīng)元在深度卷積神經(jīng)網(wǎng)絡中的瓶頸深度卷積神經(jīng)網(wǎng)絡通常用于處理圖像等數(shù)據(jù)，其特點為維度高，數(shù)據(jù)特征復雜線性的切分超平面通過切分輸入空間，提升濾波器對局部區(qū)域細粒度特征的學習輸入瓶頸數(shù)據(jù)1數(shù)據(jù)2訓練后，IC神經(jīng)元中切分超平面固定，且表現(xiàn)為線性，難以學習高維空間中的復雜特征工作動機提出方法實驗驗證分析總結(jié)9/29/202424IC神經(jīng)元在深度卷積神經(jīng)網(wǎng)絡中的瓶頸由基礎IC神經(jīng)元構(gòu)成的卷積操作(IC-CNN)在高維數(shù)據(jù)下，IC神經(jīng)元無法用切分輸入空間的方式去表示復雜的數(shù)據(jù)分布，大部分神經(jīng)元退化為MP神經(jīng)元

深度模型中IC神經(jīng)元的提升較小如何在高維數(shù)據(jù)和深度模型中更有效地應用IC神經(jīng)元？工作動機

提出方法實驗驗證分析總結(jié)9/29/202425更適用高維數(shù)據(jù)的IC卷積結(jié)構(gòu)：IC-CNN+IC-CNN數(shù)學形式：IC-CNN+數(shù)學形式：

IC-CNN+特點將劃分輸入空間的線性超平面轉(zhuǎn)化為一超曲面超曲面的形式通過神經(jīng)網(wǎng)絡學習得到工作動機

提出方法實驗驗證分析總結(jié)9/29/202426IC-CNN+中的超曲面表示

工作動機

提出方法實驗驗證分析總結(jié)9/29/202427動態(tài)卷積核方法：不基于靜態(tài)的卷積核基于靜態(tài)的卷積核CondConvDyConvDCDODConv效果相對更好可以輕松植入已有的深度卷積模型參數(shù)量大于傳統(tǒng)卷積忽略局部特征和動態(tài)卷積核之間的關(guān)系可以設計出參數(shù)量小的輕量級模型效果相對較差忽略局部特征和動態(tài)卷積核之間的關(guān)系DRConvWeightNet

工作動機

提出方法實驗驗證分析總結(jié)9/29/202428動態(tài)卷積模塊優(yōu)化：LADConv

工作動機

提出方法實驗驗證分析總結(jié)9/29/202429LADConv的應用直接將LADConv應用于傳統(tǒng)卷積應用更方便，結(jié)構(gòu)更簡單考慮所有卷積核的動態(tài)化，參數(shù)量較大并行訓練存在困難將LADConv應用于IC-CNN+每一層只生成一項動態(tài)卷積核，參數(shù)量更小并行化效率更高實驗效果略低于直接應用LADConv工作動機提出方法實驗驗證分析總結(jié)9/29/202430IC-CNN+實驗效果ImageNet下個各種模型的精度和計算消耗對比IC-CNN+表現(xiàn)出明顯優(yōu)于基礎IC-CNN的性能IC-CNN+保持了IC神經(jīng)元輕量性的特點在與當下主流卷積即插即用模塊的對比中，IC-CNN+取得最好結(jié)果工作動機提出方法實驗驗證分析總結(jié)9/29/202431LADConv實驗效果LADConv可以獨立用于替換傳統(tǒng)卷積，并取得優(yōu)異效果LADConv的效果超過了目前所有的動態(tài)卷積核方法工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202432消融實驗：LADConv與IC神經(jīng)元的結(jié)合效率IC-CNN+依賴于IC神經(jīng)元和動態(tài)卷積，本實驗探索動態(tài)卷積類型對IC-CNN+性能的影響IC神經(jīng)元與其它動態(tài)卷積方法組合也能取得性能上的提升實驗表明LADConv是最適合IC神經(jīng)元的動態(tài)卷積方法，他們組合的效果超越了其它方法工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202433消融實驗：探索LADConv方法的工作原理LADConv的核心思想是提取關(guān)鍵局部特征，將這一步轉(zhuǎn)換為別的方法進行消融實驗超參數(shù)消融實驗消融實驗驗證了LADConv以及IC-CNN+的的性能依賴于提取關(guān)鍵局部特征通過調(diào)節(jié)LADConv中的超參數(shù)可以尋找到準確率和計算消耗的平衡工作動機提出方法實驗驗證分析總結(jié)9/29/202434動機IC神經(jīng)元在應用到高維圖像數(shù)據(jù)時，其表達能力會受到明顯限制。模型本章將動態(tài)卷積的技術(shù)引入IC神經(jīng)元，拓展了其表示高維數(shù)據(jù)的能力。本章也對IC-CNN+中用到的動態(tài)卷積技術(shù)進行研究，提出了一種更適配IC神經(jīng)元的動態(tài)卷積。本章通過深度學習實驗驗證了IC神經(jīng)元+動態(tài)卷積技術(shù)可以有效提升模型泛化性能。實驗基于IC神經(jīng)元的近似等變3D圖神經(jīng)網(wǎng)絡設計：

IC-GNN+9/29/202435工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202436IC神經(jīng)元在3D任務中的瓶頸3D任務中的數(shù)學約束3D任務(分子，點云)通常要求神經(jīng)網(wǎng)絡學習到的節(jié)點特征具備SO(3)變換不變性或等變性。瓶頸盡管IC神經(jīng)元可以促進捕獲細粒度節(jié)點特征，但不滿足等變/不變約束，損傷模型泛化性能。IC神經(jīng)元工作機理3D結(jié)構(gòu)通常用圖神經(jīng)網(wǎng)絡(GNN)提取特征，IC神經(jīng)元可以提升GNN對節(jié)點特征的有效表示。當輸入經(jīng)過旋轉(zhuǎn)后，模型輸出也經(jīng)過相同的旋轉(zhuǎn)倘若輸出不能保證等變性，模型無法再廣泛的3D模型中泛化/應用工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202437現(xiàn)有等變性、不變性方法等變神經(jīng)元手工特征GemNetSchNetPaiNNTFNSEGNNEquiformer提取不變的手工特征(距離，夾角等)，構(gòu)建等變和不變特征模型結(jié)構(gòu)易于理解模型表達能力上限差，過分依賴手工特征的質(zhì)量可遷移性差通過等變?nèi)罕硎咀詣訉W習等變或不變特征自動學習等變特征和不變特征易于構(gòu)建，遷移性強表達能力受限于等變?nèi)罕硎镜碾A數(shù)復雜度高GemNet代表代表TFN目前主流研究方向工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202438等變神經(jīng)元及其瓶頸(IC-GNN+核心動機)輸入線性部分非線性部分球諧函數(shù)等變線性變換Gate操作CG張量乘積不受約束的任意向量線性變換哈達瑪積非線性激活等變神經(jīng)元傳統(tǒng)神經(jīng)元

等變神經(jīng)元表示能力理論：等變神經(jīng)元與傳統(tǒng)神經(jīng)元區(qū)別工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202439等變神經(jīng)元及其瓶頸(IC-GNN+核心動機)是否可以結(jié)合IC神經(jīng)元和等變操作，即保證了等變性又顯著提升了模型的表達能力？利用GWL區(qū)分同構(gòu)圖測試可以定性測量GNN的表達能力左圖表示用GWL區(qū)分n重對稱模型的任務，常用于衡量等變模型的表達能力最大階數(shù)為n的等變神經(jīng)元只能識別n重對稱當輸入為同樣階數(shù)的群表示，IC神經(jīng)元表現(xiàn)出最強的表達能力實驗結(jié)果工作動機

提出方法核心貢獻實驗驗證分析總結(jié)9/29/202440結(jié)合了等變操作的IC神經(jīng)元：IC-GNN+圖神經(jīng)網(wǎng)絡工作原理：消息計算和消息聚合提取空間幾何信息的核心操作：消息計算，傳統(tǒng)等變神經(jīng)元基于CG張量積計算出有效地消息：CG張量乘積可通過旋轉(zhuǎn)至局部坐標系簡化：旋轉(zhuǎn)至局部坐標系圖示圖與公式等價工作動機

提出方法核心貢獻實驗驗證分析總結(jié)9/29/202441結(jié)合了等變操作的IC神經(jīng)元：IC-GNN+IC神經(jīng)元的逼近理論與MP神經(jīng)元相似，即“近似任意連續(xù)函數(shù)”“連續(xù)函數(shù)”包含“連續(xù)等變函數(shù)”結(jié)合n重對稱圖的實驗，IC神經(jīng)元有可能學習到基于高階數(shù)的等變函數(shù)

為什么可以這樣代替？通過旋轉(zhuǎn)到局部坐標系，IC神經(jīng)元只用學習如何擬合一種矩陣乘法，而不是復雜的張量積疑問主要答案次要答案工作動機

提出方法核心貢獻實驗驗證分析總結(jié)42結(jié)合了等變操作的IC神經(jīng)元：IC-GNN+上述結(jié)構(gòu)依然存在問題：旋轉(zhuǎn)到局部坐標系時，有多種旋轉(zhuǎn)方式，即存在多個，實驗中只能隨機選擇其中一種，引入隨機性。IC神經(jīng)元本身的數(shù)學結(jié)構(gòu)不是等變的，轉(zhuǎn)換到局部坐標系只能降低學習等變性的難度，不能保證等變性。優(yōu)化

工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202443分子數(shù)據(jù)集上的實驗效果分子數(shù)據(jù)的輸入是一種3D結(jié)構(gòu)，通過該結(jié)構(gòu)預測分子的各種屬性，存在以下幾種性質(zhì)：分子任務要求嚴格的等變性或不變性。分子模型中原子之間的相互作用關(guān)系非常復雜，傳統(tǒng)的模型難以準確學習。超大型分子數(shù)據(jù)集：OC20OC20是一非常龐大的數(shù)據(jù)集，有利于IC-GNN+學習到準確的等變性。OC20中的分子模型非常復雜，IC-GNN+在損傷等變性的基礎上取得最好的泛化性能，反映了它強大的表達能力。在未見過的數(shù)據(jù)分布(OOD)上，IC-GNN+表現(xiàn)突出。工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202444分子數(shù)據(jù)集上的實驗效果小型分子數(shù)據(jù)集可能會導致IC-GNN+無法學習到有效地學習到等變性，導致泛化性能地嚴重衰退。小型分子數(shù)據(jù)集：QM9對比方法皆滿足嚴格的等變性IC-GNN+在與嚴格等變模型對比中有四項指標達到第一，且大部分指標都達到先進水平小數(shù)據(jù)集可通過SO(3)數(shù)據(jù)增加提升IC-GNN+對等變性的學習能力工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202445點云數(shù)據(jù)集上的實驗效果點云數(shù)據(jù)的輸入也是3D結(jié)構(gòu)，通過該結(jié)構(gòu)判斷點云的幾何屬性，并應用到下游任務，存在以下特性：點集采集時存在誤差，不滿足嚴格的等變，點云數(shù)據(jù)更注重一篇區(qū)域的等變性。點數(shù)較多，點集稠密所表示的幾何特征比較淺顯，容易學習到點云數(shù)據(jù)集ModelNet40IC-GNN+在點云分類中取得了優(yōu)于其它點云特征模型的性能。由于點云幾何特征更容易習得，大部分對比方法不考慮等變性不變性約束。但在更復雜的點云體系中可能存在問題，復雜體系中IC-GNN+學習效果更好。IC-GNN+中的近似等變性可能契合點云數(shù)據(jù)的非嚴格等變性。點云數(shù)據(jù)的非嚴格等變性工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202446消融實驗IC-GNN+中近似等變性是否是有效的？近似等變性通過一如更強的表達能力達到最高的泛化能力。近似等變性可以提升特征在下游任務的可用性。等變性消融實驗ModelNet40測試集旋轉(zhuǎn)下，模型的性能變化工作動機提出方法實驗驗證分析總結(jié)9/29/202447動機IC神經(jīng)元雖然能提升模型的表達能力，但在3D任務中，它不滿足任務固有的等變性/不變性數(shù)學約束。模型本章將IC神經(jīng)元與等變?nèi)罕硎炯夹g(shù)進行結(jié)合。IC神經(jīng)元能夠有效地拓展了目前等變神經(jīng)網(wǎng)絡的表示能力。等變?nèi)罕硎緦C神經(jīng)元添加數(shù)學約束，促使其學習到近似的等變性。本章通過點云和分子上的實驗證明了，IC神經(jīng)元和等變?nèi)罕硎镜慕Y(jié)合能有效提升模型的泛化性能。實驗基于IC神經(jīng)元的記憶型遞歸神經(jīng)網(wǎng)絡：

IC-RNN+9/29/202448工作動機提出方法實驗驗證分析總結(jié)9/29/202449IC神經(jīng)元在時序任務中的瓶頸長期依賴表示長期依賴表示對時序數(shù)據(jù)中長距離的單元進行建模，該表示是很多時序任務的基石。瓶頸IC神經(jīng)元與RNN的簡單結(jié)合只能提升對每個時刻輸入的表示能力，當RNN模型的性能受限于長期依賴表示時，引入IC神經(jīng)元并不能有效提升性能。IC神經(jīng)元不具備擬合時序特征的能力IC神經(jīng)元可以提高神經(jīng)網(wǎng)絡對靜態(tài)非線性函數(shù)或分布的表示能力，不擅長表示時序特征。時間序列數(shù)據(jù)時間跨度較小的依賴時間跨度較長的依賴工作動機提出方法實驗驗證分析總結(jié)9/29/202450經(jīng)典長期依賴模型LSTMGRUTransformer

是否可以將解決長期依賴的思想引入RNN中的IC神經(jīng)元，以提升ICRNN處理復雜時序任務的能力？工作動機

提出方法

實驗驗證分析總結(jié)9/29/202451

引入記憶機制的IC遞歸計算單元：IC-RNN+特點通過時間戳選擇是否釋放歷史狀態(tài)，能夠捕獲更長的依賴關(guān)系神經(jīng)元層面的操作，結(jié)構(gòu)更靈活工作動機

提出方法

實驗驗證分析總結(jié)9/29/202452引入記憶機制的IC遞歸計算單元：IC-RNN+

工作動機提出方法實驗驗證分析總結(jié)9/29/202453與經(jīng)典長期依賴模型的對比文本分類任務反映了模型對文本的理解以下任務中，IMDB是評論數(shù)據(jù)集，文本相對較短，且格式隨意Arxiv包含長文本數(shù)據(jù)，更注重長期依賴關(guān)系?；AIC-RNN不能捕獲長期依賴關(guān)系，效果較差在與其它基礎模型對比中，IC-RNN+在三項任務中取得最好效果，間接驗證了記憶模塊的有效性IC-RNN+在一些任務上能取得與Transformer媲美的結(jié)果工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202454與經(jīng)典長期依賴模型的對比時間序列數(shù)據(jù)通常具有周期性，其結(jié)果反映了模型對周期特征的擬合程度一些長周期數(shù)據(jù)也需要捕捉長期依賴關(guān)系在周期性時序數(shù)據(jù)上，IC-RNN+表現(xiàn)出比LSTM和GRU更好的泛化能力IC-RNN+有望與一些時間序列預測的技巧結(jié)合，取得更好效果工作動機提出方法核心貢獻實驗驗證分析總結(jié)9/29/202455消融實驗：記憶/遺忘單元模塊記憶/遺忘單元是捕獲長程依賴關(guān)系的核心缺少遺忘模塊可能會使歷史信息冗余，干擾模型動態(tài)遺忘時間有利于捕獲不同長度依賴關(guān)系隱藏狀態(tài)對歷史狀態(tài)的貢獻也很重要工作動機提出方法實驗驗證分析總結(jié)9/29/202456動機IC不具備時空表示能力，它與RNN的簡單結(jié)合不能提取長期依賴關(guān)系，而長期依賴是自然語言處理或者時間序列處理中很常見的問題。模型本章提出一種新型記憶/遺忘單元，并將其植入到IC神經(jīng)元內(nèi)部，使其能夠提取到相聚較遠的歷史信息。本章通過文本分類和時間序列預測的實驗驗證了IC-RNN+能夠?qū)W習到長期依賴，在一些有挑戰(zhàn)的任務中，與主流的Transformer模型效果不相上下。實驗總結(jié)與展望9/29/202457工作總結(jié)

未來展望研究成果9/29/202458通用神經(jīng)元：IC神經(jīng)元IC神經(jīng)元與深度卷積網(wǎng)絡的結(jié)合IC-CNN+IC神經(jīng)元與等變圖網(wǎng)絡的結(jié)合IC-GNN+IC神經(jīng)元與長期依賴遞歸網(wǎng)絡的結(jié)合IC-RNN+本章提出了一種通用的IC神經(jīng)元結(jié)構(gòu)對IC神經(jīng)元表達能力進行了分析將IC神經(jīng)元初步應用到主流的網(wǎng)絡框架中并驗證其性能本章將IC神經(jīng)元應用到高維圖像數(shù)據(jù)或者深度卷積網(wǎng)絡中利用動態(tài)化方法解決了IC神經(jīng)元在高維數(shù)據(jù)中表達受限的問題本章將IC神經(jīng)元應用到3D數(shù)據(jù)或者等變圖神經(jīng)網(wǎng)絡中結(jié)合了IC神經(jīng)元與等變操作，突破了傳統(tǒng)圖神經(jīng)網(wǎng)絡表達能力上限，并保持了近似等變性本章將IC神經(jīng)元應用到序列數(shù)據(jù)或者長期依賴遞歸神經(jīng)網(wǎng)絡中結(jié)合了IC神經(jīng)元與記憶遺忘機制，使得IC-RNN能夠?qū)W習長期依賴，適用與廣泛的序列任務工作總結(jié)未來展望研究成果9/29/202459Transformer架構(gòu)中應用Transformer也是當今主流的神經(jīng)網(wǎng)絡計算模塊，將IC神經(jīng)元與Transformer中的核心組件結(jié)合是未來的一個研究點優(yōu)化IC神經(jīng)元的結(jié)構(gòu)IC神經(jīng)元通過將線性空間劃分來增強表示能力，優(yōu)化這一過程可能會進一步提升IC神經(jīng)元的表示能力。應用于具體的任務本文給出了IC神經(jīng)元及其變體在多個領域中的核心任務上(分類，預測)的表現(xiàn)。未來可以將IC神經(jīng)元應用到更具體的任務上，驗證其應用價值。已發(fā)表論文工作總結(jié)

未來展望研究成果9/29/202460在投論文JunyiAn,ChaoQu,ZhipengZhou,FengleiCao,YinghuiXu,YuanQi,FuraoShen.HybridDirectionalGraphNeuralNetworkforMolecules.InternationalC