人工神經(jīng)網(wǎng)絡(luò)及其經(jīng)濟(jì)管理應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)

及其經(jīng)濟(jì)管理應(yīng)用TheApplicationofANNtoEconomics&Management第一章導(dǎo)論什么是人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）人腦結(jié)構(gòu)對(duì)ANN的啟示ANN的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史ANN在經(jīng)濟(jì)管理領(lǐng)域的應(yīng)用什么是ArtificialNeuralNetworkNeuralnetworksarecomposedofsimpleelementsoperatinginparallel.Theseelementsareinspiredbybiologicalnervoussystems.Asinnature,thenetworkfunctionisdeterminedlargelybytheconnectionsbetweenelements.Wecantrainaneuralnetworktoperformaparticularfunctionbyadjustingthevaluesoftheconnections(weights)betweenelements.模擬人腦，人工智能（AI）的基礎(chǔ)之一。人腦結(jié)構(gòu)對(duì)ANN的啟示Howhumanbrainworks?StimuliPreceptorEffecter人腦結(jié)構(gòu)人腦是由大量神經(jīng)細(xì)胞組成的復(fù)雜網(wǎng)絡(luò)。神經(jīng)細(xì)胞與神經(jīng)傳導(dǎo)人腦功能的基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)人腦功能Who？？？？？？對(duì)人腦進(jìn)行模擬的兩條道路黑箱方法－功能模擬－電子計(jì)算機(jī)白箱方法－結(jié)構(gòu)模擬－智能機(jī)器（ANN）電子計(jì)算機(jī)（或稱為VonNeumann計(jì)算機(jī)）以邏輯代數(shù)為基本原理，模擬人的邏輯思維。人工神經(jīng)網(wǎng)絡(luò)試圖模擬人腦的結(jié)構(gòu)從而得到類似于人腦的功能。人腦與電腦共同點(diǎn)：獲取、傳遞、存儲(chǔ)、處理、輸出信息（知識(shí)）。不同點(diǎn)：電腦：程序性、串行工作方式、儲(chǔ)用分離、易損（Robust）、精確性。人腦：單元結(jié)構(gòu)簡單、整體結(jié)構(gòu)復(fù)雜；并行處理；具有自主學(xué)習(xí)能力（環(huán)境可塑性）；聯(lián)想功能；遺忘功能；復(fù)雜決策；高冗余、自我恢復(fù)；非線性特征明顯。ANN的特點(diǎn)ANN是AI（ArtificialIntelligence）的一個(gè)分支。致力于從結(jié)構(gòu)上模仿人腦的功能。分為軟件模仿和硬件模仿。1、采用大規(guī)模分布式結(jié)構(gòu)，通過學(xué)習(xí)具有非線性輸入輸出影射能力。2、通過學(xué)習(xí)存儲(chǔ)知識(shí)，具有適應(yīng)性、容錯(cuò)性及泛化能力（舉一反三）。ANN的基本工作原理從環(huán)境樣本中學(xué)習(xí)，學(xué)習(xí)的結(jié)果存儲(chǔ)于連接之中（不可見），學(xué)習(xí)的過程叫做訓(xùn)練，訓(xùn)練成功的ANN可以用來解決特定的問題。學(xué)習(xí)的規(guī)則是ANN的核心，但學(xué)習(xí)規(guī)則與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)，以下是有監(jiān)督學(xué)習(xí)的一般工作原理。ANN的軟件模擬—MatlabToolboxMATLAB?isahigh-performancelanguagefortechnicalcomputing.ThenameMATLABstandsformatrixlaboratory.Typicalusesinclude：MathandcomputationAlgorithmdevelopmentDataacquisitionModeling,simulation,andprototypingDataanalysis,exploration,andvisualizationScientificandengineeringgraphicsApplicationdevelopmentincludinggraphicaluserinterfacebuildingANN的發(fā)展歷史奠基時(shí)期早在十九世紀(jì)初就已經(jīng)有人關(guān)注人類神經(jīng)活動(dòng)的復(fù)制。1943年McCulloch&Pitts發(fā)表“神經(jīng)活動(dòng)中蘊(yùn)涵的思想與邏輯活動(dòng)”成為這一領(lǐng)域的奠基之作，其來源是神經(jīng)生理學(xué)。1946年ENIAC建成，1948年Wiener完成Cybernetics，開創(chuàng)了電子計(jì)算機(jī)的時(shí)代，從不同的方面做出了貢獻(xiàn)。1949年，DonaldHebb提出了著名的Hebb學(xué)習(xí)規(guī)則。Hebb學(xué)習(xí)規(guī)則“如果相互連接的兩個(gè)神經(jīng)元都興奮，則二者的聯(lián)系將加強(qiáng)”——“TheOrganizationofBehavior”Hebb是一個(gè)心理學(xué)家，他的理論一開始并沒有受到工程界的重視。（Why？）但是稍后Rochester等人的研究證明，在引入控制論和信息論（Shannon）的相關(guān)約束后，Hebb規(guī)則是一貫而通用的，并構(gòu)成了其他學(xué)習(xí)規(guī)則的基礎(chǔ)。ANN的發(fā)展歷史第一次研究熱潮——1950‘s1957年，Rosenblatt發(fā)明感知機(jī)和ADALineWidrow&Hoff提出著名的最小均方（LMS）算法。但出現(xiàn)了惡炒問題——人工大腦就要問世了！被發(fā)現(xiàn)無法解決一個(gè)簡單的XOR問題。遭到Minsky和Papert等人的全面否定。沉默期：要命的XOR問題XOR（0，0）＝0XOR（1，1）＝0XOR（0，1）＝1XOR（1，0）＝1(0,0)(0,1)(1,1)(1,0)復(fù)興期：DARPA1980年，Grossberg提出解決競(jìng)爭(zhēng)學(xué)習(xí)問題的自適應(yīng)共振理論。1982年，Hopfield用能量函數(shù)構(gòu)造了一種遞歸網(wǎng)絡(luò)計(jì)算方法——BP網(wǎng)等常用ANN的直接基礎(chǔ)。物質(zhì)基礎(chǔ)：傳統(tǒng)計(jì)算機(jī)計(jì)算能力的飛速發(fā)展為他的對(duì)手ＡＮＮ提供了理想的平臺(tái)。先進(jìn)制造工藝使得制造專屬于ANN的硬件成為可能?，F(xiàn)實(shí)世界對(duì)復(fù)雜信號(hào)處理的強(qiáng)烈需求——美國國防部的DARPA——聲納探測(cè)系統(tǒng)。當(dāng)前ANN在經(jīng)濟(jì)管理領(lǐng)域的應(yīng)用復(fù)雜函數(shù)關(guān)系分析與逼近－－隱含數(shù)學(xué)模型預(yù)測(cè)決策支持系統(tǒng)（神經(jīng)專家系統(tǒng)）因素（模式）分類與識(shí)別優(yōu)化問題知識(shí)工程總之，我們把ANN當(dāng)做一種方法。第二章ANN的基本原理ANN表達(dá)的四個(gè)基本要素：1、神經(jīng)元模型結(jié)構(gòu)2、激活函數(shù)類型3、網(wǎng)絡(luò)模型結(jié)構(gòu)4、學(xué)習(xí)算法SimpleNeuronAneuronwithasinglescalarinputand（no）bias神經(jīng)元模型結(jié)構(gòu)AneuronwithasingleR-elementinputvector

表達(dá)為有向圖的神經(jīng)元模型規(guī)則1：信號(hào)僅沿著定義好的箭頭方向在連接上流動(dòng)。規(guī)則2：節(jié)點(diǎn)信號(hào)輸出等于進(jìn)入節(jié)點(diǎn)信號(hào)的代數(shù)和規(guī)則3：節(jié)點(diǎn)信號(hào)沿每個(gè)外向連接向外傳遞并獨(dú)立于激活函數(shù)。輸入信號(hào)向量連接權(quán)重誘導(dǎo)局部域加法器輸出