智能科學(xué)中的神經(jīng)計(jì)算

智能科學(xué)中的神經(jīng)計(jì)算第1頁(yè)，共52頁(yè)，2023年，2月20日，星期五內(nèi)容提要一、引言二、神經(jīng)網(wǎng)絡(luò)三、功能柱四、同步問(wèn)題五、神經(jīng)場(chǎng)六、結(jié)束語(yǔ)第2頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/10210多年的醞釀，1151人的參與兩次會(huì)議：2001-05-11NSF預(yù)備會(huì)2001-12-03NSF/DOC(79人)政府及國(guó)家實(shí)驗(yàn)室32人大學(xué)28人企業(yè)及非政府組織19人2004-03成立ConvergingTechnologiesBarAssociation(CTBA)

科學(xué)發(fā)展大趨勢(shì)

美國(guó)關(guān)于NBIC會(huì)聚技術(shù)的戰(zhàn)略研討第3頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/103InfoCognoBioNanoEnhancingHumanPerformanceNewHumanbeingNewIndustriesNewSocietyNewApplicationsNewSciencesNewEducation

科學(xué)發(fā)展大趨勢(shì)第4頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/104第一次浪潮第二次浪潮第三次浪潮第四次浪潮1990

2020

2050

20802100創(chuàng)新步伐數(shù)字網(wǎng)絡(luò)軟件新媒體生物基因（蛋白質(zhì)）納米材料腦科學(xué)智能技術(shù)？？？？？？對(duì)21世紀(jì)技術(shù)創(chuàng)新浪潮長(zhǎng)波的猜想第5頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/105第一次浪潮第二次浪潮第三次浪潮第四次浪潮第五次浪潮1785

1845

1900

195019901999

2020

創(chuàng)新步伐水力紡織鐵蒸汽鐵路鋼電化學(xué)品內(nèi)燃機(jī)石油化學(xué)電子航空數(shù)字網(wǎng)絡(luò)軟件新媒體60年55年50年40年30年技術(shù)創(chuàng)新浪潮的經(jīng)濟(jì)長(zhǎng)波規(guī)律（康德拉捷夫）機(jī)械化鐵路化電氣化電子化數(shù)字化第6頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/106

科學(xué)發(fā)展大趨勢(shì)

21世紀(jì):

智能科學(xué)

智能科學(xué)是一門交叉學(xué)科，主要由

F腦科學(xué)

F認(rèn)知科學(xué)

F人工智能等學(xué)科共同研究智能行為的基本理論和實(shí)現(xiàn)技術(shù)。

第7頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/107神經(jīng)元第8頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/108McCulloch-Pitts神經(jīng)元現(xiàn)代的神經(jīng)網(wǎng)絡(luò)開始于McCulloch,Pitts（1943）的先驅(qū)工作.在他們的經(jīng)典論文里，McCulloch,Pitts結(jié)合了神經(jīng)生理學(xué)和數(shù)理邏輯的研究描述了一個(gè)神經(jīng)網(wǎng)絡(luò)的邏輯分析,他們的神經(jīng)元模型假定遵循有-無(wú)模型律。如果如此簡(jiǎn)單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置連接權(quán)值并且同步操作,McCulloch,Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算函數(shù)。這是一個(gè)有重大意義的結(jié)果，有了它標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能的誕生.第9頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/109McCulloch-Pitts神經(jīng)元第10頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1010Hebb學(xué)習(xí)假說(shuō)1949年，Hebb的書《行為組織學(xué)》,他在里面第一次清楚說(shuō)明了突觸修正的生理學(xué)習(xí)規(guī)則。特別的，

Hebb提出大腦的連接隨著生物學(xué)會(huì)不同功能任務(wù)而連續(xù)地變化的，

神經(jīng)組織就是由這種變化創(chuàng)建起來(lái)的.Hebb繼承了

Ramony和

Cajal早期的假設(shè)并引入自己的現(xiàn)在著名的學(xué)習(xí)假說(shuō)，兩個(gè)神經(jīng)元之間的可變突觸被突觸兩端神經(jīng)元的重復(fù)的激活加強(qiáng)了。Hebb的書在心理學(xué)家中有廣泛的影響，但遺憾的是對(duì)工程界卻影響很少或沒(méi)有。第11頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1011感知器

Rosenblatt(1958)在他有關(guān)感知器的研究著作中提出了模式識(shí)別問(wèn)題的新方法，一種新的監(jiān)督學(xué)習(xí)方法.所為的感知器收斂定理使Rosenblatt的工作取得圓滿的成功。他于1960年提出感知器收斂定理的第一個(gè)證明（1960）。Widrow和Hoff介紹了最小平均平方(leastmeansquare,LMS)算法并用它構(gòu)成了Adaline(adaptivelinearelement).感知器和Adaline的區(qū)別在于訓(xùn)練過(guò)程。第12頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1012感知器

1969年，Minsky和Papert合作發(fā)表了頗有影響的Perceptron一書，得出了消極悲觀的論點(diǎn)，加上數(shù)字計(jì)算機(jī)正處于全盛時(shí)期并在人工智能領(lǐng)域取得顯著成就，70年代人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。第13頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1013Hopfield網(wǎng)絡(luò)

1982年，Hoopfield用能量函數(shù)的思想形成一種具有對(duì)稱連接的遞歸網(wǎng)絡(luò)所執(zhí)行的計(jì)算的新方法。這類具有反饋的特殊神經(jīng)網(wǎng)絡(luò)在80年代引起了大量的關(guān)注，產(chǎn)生了著名的Hopfield網(wǎng)絡(luò)。盡管Hopfield網(wǎng)絡(luò)不可能是真正的神經(jīng)生物系統(tǒng)模型，他們包涵的原理，即在動(dòng)態(tài)的穩(wěn)定網(wǎng)絡(luò)中存儲(chǔ)信息原理的，是極深刻的。第14頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1014神經(jīng)計(jì)算自適應(yīng)共振理論（ART）自組織特征映射理論Hinton等人最近提出了

Helmboltz機(jī)

徐雷提出的

Ying-Yang機(jī)理論模型

甘利俊一(S.Amari)開創(chuàng)和發(fā)展的基于統(tǒng)計(jì)流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究第15頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1015模式結(jié)構(gòu)Hinton提出了簡(jiǎn)單的有監(jiān)督學(xué)習(xí)理論只能把神經(jīng)網(wǎng)絡(luò)引向死亡描述,提出了建立通過(guò)神經(jīng)網(wǎng)絡(luò)抽取模式結(jié)構(gòu)為目標(biāo),形成外界環(huán)境在神經(jīng)網(wǎng)絡(luò)中形成內(nèi)在表示的機(jī)理作為發(fā)展人工神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。第16頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1016智能科學(xué)

智能不僅要功能模擬,而且要機(jī)理模擬Actionsfromthoughts(Nature409,2001)

第17頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1017神經(jīng)元第18頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1018突觸可塑性第19頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1019神經(jīng)元模型神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中基本的信息處理單元，他由下列部分組成:一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值W1,W2,…,Wm通過(guò)加法器功能，將計(jì)算輸入的權(quán)值之和激勵(lì)函數(shù)限制神經(jīng)元輸出的幅度第20頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1020神經(jīng)元模型InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputyx1x2xmw2wmw1w0x0=+1第21頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1021大腦神經(jīng)系統(tǒng)神經(jīng)系統(tǒng)是多層次的。這些不同層次的研究互相啟示，互相推動(dòng)。在低層次（細(xì)胞、分子水平）上的工作為較高層次的觀察提供分析的基礎(chǔ)，而較高層次的觀察又有助于引導(dǎo)低層次工作的方向和體現(xiàn)其功能意義。第22頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1022神經(jīng)網(wǎng)絡(luò)第23頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1023神經(jīng)網(wǎng)絡(luò)

第24頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1024神經(jīng)網(wǎng)絡(luò)第25頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1025

功能柱20世紀(jì)60年代末，美國(guó)科學(xué)家發(fā)現(xiàn)，在大腦視覺皮層中，具有相同圖像特征選擇性和相同感受野位置的眾多神經(jīng)細(xì)胞，以垂直于大腦表面的方式排列成柱狀結(jié)構(gòu)———功能柱。30多年來(lái)，腦研究領(lǐng)域一直將垂直的柱狀結(jié)構(gòu)看作大腦功能組織的一個(gè)基本原則。但是，傳統(tǒng)的功能柱研究還不能闡釋視覺系統(tǒng)究竟是如何處理大范圍復(fù)雜圖像信息的。第26頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1026功能柱

中科院上海生命科學(xué)研究院神經(jīng)科學(xué)研究所李朝義實(shí)驗(yàn)室通過(guò)對(duì)貓的視皮層的研究，發(fā)現(xiàn)在初級(jí)視皮層中存在一種與處理大范圍復(fù)雜圖形特征有關(guān)的功能結(jié)構(gòu)。與目前所有已知結(jié)構(gòu)不同，它不是柱狀的，而是形成許許多多直徑約300微米的小球，分散地鑲嵌在已知的垂直功能柱中。這是在簡(jiǎn)單特征功能柱基礎(chǔ)上所形成的第二級(jí)功能筑構(gòu)，處理各種更復(fù)雜的圖像信息。視覺系統(tǒng)可能正是通過(guò)這種神經(jīng)機(jī)制，以有限的信息量把目標(biāo)物從復(fù)雜的背景圖像中分離出來(lái)。第27頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1027功能柱1972年:Wilson-Cowan方程來(lái)描述功能柱;1990年:Shuster等人模擬視皮層中發(fā)現(xiàn)的同步振蕩;1993年:Jansen等人提出了耦合功能柱模型產(chǎn)生了類EEG波形和誘發(fā)電位；1994年:Fukai設(shè)計(jì)了功能柱式的網(wǎng)絡(luò)模型來(lái)模擬視覺圖樣的獲取;1997年:Hansel等人根據(jù)視皮層朝向柱的結(jié)構(gòu)構(gòu)建了一個(gè)超柱模型，研究其中的同步性和混沌特性，并對(duì)朝向選擇性的功能柱機(jī)理做出解釋;1998年:Fransén等人把傳統(tǒng)網(wǎng)絡(luò)中的單細(xì)胞代換成多細(xì)胞構(gòu)成的功能柱，來(lái)模擬工作記憶

第28頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1028功能柱中國(guó)科學(xué)院生物物理所視覺信息加工重點(diǎn)實(shí)驗(yàn)室中國(guó)科學(xué)院計(jì)算研究所李速①

齊翔林①

胡宏②

汪云九①

功能柱結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型中的同步振蕩現(xiàn)象

功能柱是一個(gè)振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動(dòng)的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

第29頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1029功能柱Rose-Hindmarsh方程來(lái)描述單神經(jīng)元:

x:代表膜電位，y:表示快速回復(fù)電流，z:描述慢變化的調(diào)整電流，Isyn

表示突觸電流，Istim表示外界輸入第30頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1030功能柱模型采用基于電流的突觸模型，在突觸前細(xì)胞的每個(gè)動(dòng)作電位都將觸發(fā)突觸后細(xì)胞的Isyn

輸入。突觸電流

Isyn

表示為:

gsyn

為膜電導(dǎo)1,2時(shí)間常數(shù)Vsyn

表示突觸后電位第31頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1031功能柱第32頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1032同源功能柱第33頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1033異源功能柱第34頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1034功能柱

功能柱是一個(gè)振蕩子，而且表明功能柱可以成為皮層多樣化的節(jié)律活動(dòng)的發(fā)生源，EEG中的各種節(jié)律均可以在結(jié)構(gòu)具有普遍性的功能柱中找到生理基礎(chǔ)。

第35頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1035功能柱功能柱是介于單神經(jīng)元和皮層腦區(qū)之間的一種中間層次的單元，理解這種中間層次的單元的活動(dòng)特點(diǎn)，能夠?yàn)槟X科學(xué)中微觀現(xiàn)象和宏觀現(xiàn)象的研究之間建立一座橋梁

第36頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1036信息幾何信息幾何（InformationGeometry）是采用（Riemann流形上的）微分幾何方法來(lái)研究統(tǒng)計(jì)問(wèn)題的理論。

Efron首先在統(tǒng)計(jì)學(xué)中采用微分幾何方法（1975)甘利俊一（S.Amari）引入α-聯(lián)絡(luò),并應(yīng)用到神經(jīng)網(wǎng)絡(luò)的研究中

zhuhaiyu等人研究了貝葉斯信息幾何（BayesInformationGeometry)第37頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1037統(tǒng)計(jì)流形概率神經(jīng)網(wǎng)絡(luò)模型（統(tǒng)計(jì)學(xué)習(xí)機(jī)）：

P(y|x;Θ)=Ф(y–F(x,W))Θ∈Rn指數(shù)簇（Exponentialfamilies）流形人工神經(jīng)網(wǎng)絡(luò)正態(tài)分布Boltzmann機(jī)混合專家神經(jīng)網(wǎng)絡(luò)彎曲指數(shù)簇流形人工神經(jīng)網(wǎng)絡(luò)神經(jīng)場(chǎng)理論第38頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1038樸素貝葉斯分類器(NBC)

Bayesian網(wǎng)絡(luò)的簡(jiǎn)化樸素Bayesian假設(shè)：特征向量的各分量間相對(duì)于決策變量是相對(duì)獨(dú)立降低計(jì)算復(fù)雜度更加直觀簡(jiǎn)潔可能降低分類、預(yù)測(cè)精度第39頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1039Fisher分Fisher分：

Fisher信息矩陣I可寫為：Fisher分映射：第40頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1040基于Fisher分樸素貝葉斯分類器(NBC)目標(biāo)：提高NBC的分類精度方向：改進(jìn)屬性間的條件獨(dú)立性關(guān)系途徑：基于Fisher分重構(gòu)屬性集，在此基礎(chǔ)上建立樸素貝葉斯分類器第41頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1041神經(jīng)場(chǎng)動(dòng)力學(xué)Wilson-CowanAmariErmentrout-Cowan…….第42頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1042神經(jīng)場(chǎng)

神經(jīng)場(chǎng)研究的出發(fā)點(diǎn)是信息處理系統(tǒng)的整體結(jié)構(gòu),一般的系統(tǒng)表示為非歐氏空間(在一定拓?fù)浣Y(jié)構(gòu)下形成流形)。研究的一個(gè)關(guān)鍵就是建立環(huán)境結(jié)構(gòu)流形與神經(jīng)流形的耦合關(guān)系,用流形的思想、拓?fù)涞母拍詈徒y(tǒng)計(jì)推理來(lái)研究整體結(jié)構(gòu)所具有的性質(zhì),利用整體不變性質(zhì),處理和分析表示結(jié)構(gòu)與神經(jīng)流形的優(yōu)化逼近過(guò)程。第43頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1043一維一層第44頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1044自組織神經(jīng)場(chǎng)動(dòng)力學(xué)presynapticfield第45頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1045拓?fù)溆成渥越M織amplificationtopologypatchstructure(colummarstructure)dynamicalinstabilityWillshaw-MalsburgTakeuchi-AmariKohonensignalspaceneuralfield第46頁(yè)，共52頁(yè)，2023年，2月20日，星期五2023/4/1046神經(jīng)場(chǎng)

............HiddenUnitsInputUnits

OutputUnits

x

yzFieldOrganizationMode