人工神經(jīng)網(wǎng)絡(luò)課件1課件

人工神經(jīng)網(wǎng)絡(luò)

及其經(jīng)濟管理應(yīng)用TheApplicationofANNtoEconomics&Management第一章導論什么是人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）人腦結(jié)構(gòu)對ANN的啟示ANN的特點人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史ANN在經(jīng)濟管理領(lǐng)域的應(yīng)用什么是ArtificialNeuralNetworkNeuralnetworksarecomposedofsimpleelementsoperatinginparallel.Theseelementsareinspiredbybiologicalnervoussystems.Asinnature,thenetworkfunctionisdeterminedlargelybytheconnectionsbetweenelements.Wecantrainaneuralnetworktoperformaparticularfunctionbyadjustingthevaluesoftheconnections(weights)betweenelements.模擬人腦，人工智能（AI）的基礎(chǔ)之一。人腦結(jié)構(gòu)人腦是由大量神經(jīng)細胞組成的復雜網(wǎng)絡(luò)。神經(jīng)細胞與神經(jīng)傳導人腦功能的基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)對人腦進行模擬的兩條道路黑箱方法－功能模擬－電子計算機白箱方法－結(jié)構(gòu)模擬－智能機器（ANN）電子計算機（或稱為VonNeumann計算機）以邏輯代數(shù)為基本原理，模擬人的邏輯思維。人工神經(jīng)網(wǎng)絡(luò)試圖模擬人腦的結(jié)構(gòu)從而得到類似于人腦的功能。人腦與電腦共同點：獲取、傳遞、存儲、處理、輸出信息（知識）。不同點：電腦：程序性、串行工作方式、儲用分離、易損（Robust）、精確性。人腦：單元結(jié)構(gòu)簡單、整體結(jié)構(gòu)復雜；并行處理；具有自主學習能力（環(huán)境可塑性）；聯(lián)想功能；遺忘功能；復雜決策；高冗余、自我恢復；非線性特征明顯。ANN的特點ANN是AI（ArtificialIntelligence）的一個分支。致力于從結(jié)構(gòu)上模仿人腦的功能。分為軟件模仿和硬件模仿。1、采用大規(guī)模分布式結(jié)構(gòu)，通過學習具有非線性輸入輸出影射能力。2、通過學習存儲知識，具有適應(yīng)性、容錯性及泛化能力（舉一反三）。ANN的軟件模擬—MatlabToolboxMATLAB?isahigh-performancelanguagefortechnicalcomputing.ThenameMATLABstandsformatrixlaboratory.Typicalusesinclude：MathandcomputationAlgorithmdevelopmentDataacquisitionModeling,simulation,andprototypingDataanalysis,exploration,andvisualizationScientificandengineeringgraphicsApplicationdevelopmentincludinggraphicaluserinterfacebuildingANN的發(fā)展歷史奠基時期早在十九世紀初就已經(jīng)有人關(guān)注人類神經(jīng)活動的復制。1943年McCulloch&Pitts發(fā)表“神經(jīng)活動中蘊涵的思想與邏輯活動”成為這一領(lǐng)域的奠基之作，其來源是神經(jīng)生理學。1946年ENIAC建成，1948年Wiener完成Cybernetics，開創(chuàng)了電子計算機的時代，從不同的方面做出了貢獻。1949年，DonaldHebb提出了著名的Hebb學習規(guī)則。Hebb學習規(guī)則“如果相互連接的兩個神經(jīng)元都興奮，則二者的聯(lián)系將加強”——“TheOrganizationofBehavior”Hebb是一個心理學家，他的理論一開始并沒有受到工程界的重視。（Why？）但是稍后Rochester等人的研究證明，在引入控制論和信息論（Shannon）的相關(guān)約束后，Hebb規(guī)則是一貫而通用的，并構(gòu)成了其他學習規(guī)則的基礎(chǔ)。沉默期：要命的XOR問題XOR（0，0）＝0XOR（1，1）＝0XOR（0，1）＝1XOR（1，0）＝1(0,0)(0,1)(1,1)(1,0)復興期：DARPA1980年，Grossberg提出解決競爭學習問題的自適應(yīng)共振理論。1982年，Hopfield用能量函數(shù)構(gòu)造了一種遞歸網(wǎng)絡(luò)計算方法——BP網(wǎng)等常用ANN的直接基礎(chǔ)。物質(zhì)基礎(chǔ)：傳統(tǒng)計算機計算能力的飛速發(fā)展為他的對手ＡＮＮ提供了理想的平臺。先進制造工藝使得制造專屬于ANN的硬件成為可能。現(xiàn)實世界對復雜信號處理的強烈需求——美國國防部的DARPA——聲納探測系統(tǒng)。當前ANN在經(jīng)濟管理領(lǐng)域的應(yīng)用復雜函數(shù)關(guān)系分析與逼近－－隱含數(shù)學模型預測決策支持系統(tǒng)（神經(jīng)專家系統(tǒng)）因素（模式）分類與識別優(yōu)化問題知識工程總之，我們把ANN當做一種方法。SimpleNeuronAneuronwithasinglescalarinputand（no）bias神經(jīng)元模型結(jié)構(gòu)AneuronwithasingleR-elementinputvector

表達為有向圖的神經(jīng)元模型規(guī)則1：信號僅沿著定義好的箭頭方向在連接上流動。規(guī)則2：節(jié)點信號輸出等于進入節(jié)點信號的代數(shù)和規(guī)則3：節(jié)點信號沿每個外向連接向外傳遞并獨立于激活函數(shù)。輸入信號向量連接權(quán)重誘導局部域加法器輸出一個神經(jīng)元的狀態(tài)定義為它的輸出信號或誘導局部域。激活函數(shù)類型

TransferFunction線性函數(shù)lineartransferfunctionpurelin(n)=n激活函數(shù)類型

TransferFunction分段線性函數(shù)Saturatinglineartransferfunctionsatlin(n)=0,ifn<=0;n,if0<=n<=1;1,if1<=nsatlins(n)=-1,ifn<=-1;n,if-1<=n<=1;1,if1<=n網(wǎng)絡(luò)模型結(jié)構(gòu)－多層前饋網(wǎng)源節(jié)點輸入層隱藏神經(jīng)元層神經(jīng)元輸出層一個完全連接網(wǎng)絡(luò)。理論上隱層可以有N個。隱層的存在可以使網(wǎng)絡(luò)具有很強的能力（如泛函逼近能力）隱層神經(jīng)元的學習算法是一個難點。應(yīng)用十分廣泛。（如BP網(wǎng)）網(wǎng)絡(luò)模型結(jié)構(gòu)－遞歸網(wǎng)絡(luò)無隱層、無自反饋遞歸網(wǎng)絡(luò)延遲遞歸網(wǎng)絡(luò)也可以是有隱層的。左圖為清晰起見沒有完全連接，實際上是否完全連接取決于設(shè)計者的目的。由于反饋環(huán)的存在，這種網(wǎng)絡(luò)可以實現(xiàn)非線性動態(tài)行為。讓數(shù)據(jù)說話

——神經(jīng)網(wǎng)絡(luò)的知識表達ANN的知識表達是內(nèi)嵌的。內(nèi)嵌的結(jié)果是神經(jīng)元之間的連接發(fā)生變化。整體性：單獨某個連接的變化也許并無意義。規(guī)則1：類似的輸入通常產(chǎn)生類似的表示規(guī)則2：不同類輸入給出差別很大的表示規(guī)則3：如果某特征很重要，則表達涉及大量的神經(jīng)元規(guī)則4：先驗信息和不變性可事先附加于網(wǎng)絡(luò)。如何讓外部刺激產(chǎn)生知識？神經(jīng)元之間連接權(quán)重的調(diào)整是表達知識的最基本方法。如何按照前述四個規(guī)則調(diào)整權(quán)重成為關(guān)鍵問題。學習算法學習算法的種類：誤差修正學習基于記憶的學習Hebb學習