神經(jīng)網(wǎng)絡(luò)原理

物流人工智能技術(shù)技能培訓(xùn)項(xiàng)目四神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)任務(wù)一神經(jīng)網(wǎng)絡(luò)原理目錄CONTENTS神經(jīng)元的結(jié)構(gòu)和工作原理PART1神經(jīng)網(wǎng)路的發(fā)展歷史PART2人工神經(jīng)網(wǎng)絡(luò)分類(lèi)PART3過(guò)程與方法：知識(shí)與技能：1.了解什么是神經(jīng)網(wǎng)絡(luò)；2.了解神經(jīng)網(wǎng)絡(luò)的原理。在學(xué)習(xí)動(dòng)畫(huà)視頻的過(guò)程中，理解其基本工作原理，了解其實(shí)際應(yīng)用價(jià)值。情感、態(tài)度與價(jià)值觀：1.提升對(duì)人工智能的認(rèn)識(shí)，發(fā)展辯證思維，客觀認(rèn)識(shí)人工智能技術(shù)對(duì)社會(huì)的影響，培養(yǎng)正確的科學(xué)技術(shù)應(yīng)用觀。2.堅(jiān)定擁護(hù)中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)和我國(guó)社會(huì)主義制度。【教學(xué)目標(biāo)】什么是神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)能干什么用？神經(jīng)網(wǎng)絡(luò)原理是什么？1.生物神經(jīng)網(wǎng)絡(luò)1000億！一、神經(jīng)元的結(jié)構(gòu)和工作原理細(xì)胞核樹(shù)突軸突神經(jīng)末梢一、神經(jīng)元的結(jié)構(gòu)和工作原理一、神經(jīng)元的結(jié)構(gòu)和工作原理興奮狀態(tài)一、神經(jīng)元的結(jié)構(gòu)和工作原理興奮狀態(tài)一、神經(jīng)元的結(jié)構(gòu)和工作原理一、神經(jīng)元的結(jié)構(gòu)和工作原理2.人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)樹(shù)突輸入激活函數(shù)權(quán)重輸出軸突學(xué)習(xí)訓(xùn)練一、神經(jīng)元的結(jié)構(gòu)和工作原理1.人工神經(jīng)網(wǎng)絡(luò)起源-萌芽期1943年，心理學(xué)家沃倫?麥卡洛克（Warren

McCulloch）和數(shù)學(xué)家沃爾特?皮茨（WalterPitts）發(fā)表了神經(jīng)網(wǎng)絡(luò)的開(kāi)山之作:《AlogicalCalculusofIdeasImmanentinNervousActivity》WalterPittsWarren

McCulloch萌芽期（20世紀(jì)40年代）羅素芝加哥大學(xué)卡爾納普1949年，認(rèn)知生理心理學(xué)家唐納德·赫布（DonaldO.Hebb）發(fā)表了文章：《OrganizationofBehavior》麥卡洛克McCulloch-Pitts模型MP采用手動(dòng)分配權(quán)重的方式Hebb規(guī)則神經(jīng)元學(xué)習(xí)法則關(guān)聯(lián)度與被同時(shí)激活的概率有關(guān)二、神經(jīng)網(wǎng)路的發(fā)展歷史2.人工神經(jīng)網(wǎng)絡(luò)起源-第一次大發(fā)展期1957年，弗蘭克·羅森布拉特（FrankRosenblatt），提出了感知機(jī)模型，也被稱(chēng)為是單層的人工神經(jīng)網(wǎng)絡(luò)。FrankRosenblatt大發(fā)展期（1950-1968）1962年，羅森布拉特出了本書(shū):《神經(jīng)動(dòng)力學(xué)原理：感知機(jī)和大腦機(jī)制的理論》（PrinciplesofNeurodynamics:PerceptronsandtheTheoryofBrainMechanisms）二、神經(jīng)網(wǎng)路的發(fā)展歷史3.人工神經(jīng)網(wǎng)絡(luò)起源-第一次低潮期1969年，明斯基（MarvinLeeMinsky）和MIT教授佩伯特（SeymourPapert）發(fā)表《感知機(jī)：計(jì)算幾何學(xué)》（Perceptrons:AnIntroductiontoComputationalGeometry）低潮期（1969-1982）MarvinLeeMinskySeymourPapert“羅森布拉特的論文大多沒(méi)有科學(xué)價(jià)值”批判的方式指出了感知機(jī)模型的缺陷，即單層神經(jīng)網(wǎng)絡(luò)不能解決“異或”問(wèn)題1974年，哈佛大學(xué)的博士生沃波斯（PaulWerbos）在其博士論文中提出通過(guò)在神經(jīng)網(wǎng)絡(luò)上多加一層，并使用后向傳播學(xué)習(xí)算法，可以解決“異或”問(wèn)題。即使如此，由于當(dāng)時(shí)正值神經(jīng)網(wǎng)絡(luò)發(fā)展的低谷期，該論文并未引起足夠重視。二、神經(jīng)網(wǎng)路的發(fā)展歷史4.人工神經(jīng)網(wǎng)絡(luò)起源-第二次大發(fā)展期第二次大發(fā)展期（1983-1995）1982年，加州理工的霍普菲爾德（JohnHopfield）提出以他名字命名的一種新的神經(jīng)網(wǎng)絡(luò)，可以解決一類(lèi)組合優(yōu)化問(wèn)題。JohnHopfield隨后，由心理學(xué)家魯梅爾哈特（DavidRumelhart）、麥克利蘭德（JamesMcLelland）和計(jì)算機(jī)學(xué)家辛頓（GeoffreyHinton）等人掀起了連接主義運(yùn)動(dòng)，其代表性成果是被稱(chēng)為神經(jīng)網(wǎng)絡(luò)圣經(jīng)的著名文集：《并行與分布式處理》（ParallelandDistributedProcessing），帶來(lái)了上世紀(jì)80-90年代的神經(jīng)網(wǎng)絡(luò)繁榮期。1984年，霍普菲爾德用模擬集成電路實(shí)現(xiàn)了自己的模型。二、神經(jīng)網(wǎng)路的發(fā)展歷史5.人工神經(jīng)網(wǎng)絡(luò)起源-第二次低潮期第二次低潮期（1996-2000）1995年，美國(guó)貝爾實(shí)驗(yàn)室的萬(wàn)普尼克（Vapnik）和科爾特斯（Cortes）提出了支持向量機(jī)（SVM），SVM快速發(fā)展起來(lái)，統(tǒng)計(jì)學(xué)習(xí)理論也快速發(fā)展起來(lái)。由于SVM具有完善的理論體系，其效果也非常理想，再加上神經(jīng)網(wǎng)絡(luò)本身隨著網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練數(shù)據(jù)的難度也會(huì)成倍增加，這些因素使得神經(jīng)網(wǎng)絡(luò)20世紀(jì)90年代中后期再次陷入發(fā)展的低谷。Vapnik二、神經(jīng)網(wǎng)路的發(fā)展歷史6.人工神經(jīng)網(wǎng)絡(luò)起源-第三次大發(fā)展期第三次發(fā)展期（2001-至今）21世紀(jì)互聯(lián)網(wǎng)的快速發(fā)展給了神經(jīng)網(wǎng)絡(luò)更大的舞臺(tái)，2006年辛頓（Hinton）和學(xué)生一起在Science發(fā)表了利用RBM編碼的深層學(xué)習(xí)的論文：《利用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)的維度》（ReducingtheDimensionalityofDatawithNeuralNetworks），提出了在神經(jīng)網(wǎng)絡(luò)中降維和逐層預(yù)訓(xùn)練的方法，開(kāi)啟了深度學(xué)習(xí)領(lǐng)域的大門(mén)。Hinton2012年，在ImageNet圖像識(shí)別國(guó)際大賽中，辛頓的算法把錯(cuò)誤率控制在了15%以下，超過(guò)第二名10%的差距。二、神經(jīng)網(wǎng)路的發(fā)展歷史2018

圖靈獎(jiǎng)GeoffreyHinton人工智能教父YannLecunYoshuaBengio加拿大多倫多大學(xué)任教谷歌建設(shè)著名的谷歌大腦跟隨辛頓從事博士后研究卷積神經(jīng)網(wǎng)絡(luò)Facebook負(fù)責(zé)其人工智能實(shí)驗(yàn)室蒙特利爾大學(xué)任教自然語(yǔ)言領(lǐng)域二、神經(jīng)網(wǎng)路的發(fā)展歷史人工神經(jīng)網(wǎng)絡(luò)發(fā)展史神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)感知機(jī)BP神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)CNN循環(huán)神經(jīng)網(wǎng)絡(luò)RNNHopfield網(wǎng)絡(luò)前饋網(wǎng)絡(luò)無(wú)反饋聯(lián)想記憶網(wǎng)絡(luò)有反饋二、神經(jīng)網(wǎng)路的發(fā)展歷史【課后小結(jié)】神經(jīng)網(wǎng)絡(luò)原理神經(jīng)元的結(jié)構(gòu)和工作原理1.生物神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)路的發(fā)展歷史