神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)模型第1頁，共32頁，2023年，2月20日，星期六

事實上，人類腦部組織可以縱分為各有所司的兩部分：左腦與右腦。左腦負責(zé)邏輯與算術(shù)功能，右腦負責(zé)情緒、形象辨認與直覺。雖然正常人在生活上兩者都必須應(yīng)用，但是大多數(shù)的人僅擅長其中一個?？茖W(xué)家與數(shù)學(xué)家屬于左腦導(dǎo)向型，藝術(shù)家與作家則較傾向右腦導(dǎo)向，即借重右腦來處理感覺、抽象概念的處理。以傳統(tǒng)財務(wù)學(xué)或投資學(xué)中的基本分析與技術(shù)分析來說，二者均較傾向于左腦導(dǎo)向，需要大量的數(shù)學(xué)運算或邏輯推論。第2頁，共32頁，2023年，2月20日，星期六

但是在對信用風(fēng)險進行評價時，除了數(shù)量方面的客觀分析外，主觀的定性方面的評價也具有極為重要的份量。也就是說，各項信息在人類大腦中已經(jīng)累積的知識架構(gòu)下，經(jīng)過復(fù)雜的接收、處理、傳送等程序，才作出最后的判斷與決策。此一處理過程仍像個黑箱難以掌握，需要借助一個具有右腦導(dǎo)向的工具來處理，而人工神經(jīng)網(wǎng)絡(luò)與模糊分析就是在這樣的目的下第3頁，共32頁，2023年，2月20日，星期六所發(fā)展出來的處理工具，因為人工神經(jīng)網(wǎng)絡(luò)就是設(shè)法辨認投入資料當(dāng)中的隱藏關(guān)系，再憑以預(yù)測未來趨勢，很像右腦的功能；模糊分析則容許模糊的資料概念，不要求非黑即白的數(shù)值特性，更接近人類思考的模式。第4頁，共32頁，2023年，2月20日，星期六第一節(jié)人工神經(jīng)網(wǎng)絡(luò)

據(jù)一般估算，人類腦部是由約1000億個神經(jīng)細胞（neuron）所組成，而每一個神經(jīng)細胞都是一個處理單元，負責(zé)接收與結(jié)合來自其他神經(jīng)細胞的信息。在同一時刻，腦中千千萬萬個神經(jīng)細胞都在同步處理各種信息的接收與傳遞，這種復(fù)雜而精細的過程，使人類能夠記憶、思考、累積經(jīng)驗，具有極高的學(xué)習(xí)能力，而非任何統(tǒng)計方法所能完全取代或是模擬出來的。第5頁，共32頁，2023年，2月20日，星期六有基于此，試圖仿照生物神經(jīng)系統(tǒng)，將學(xué)習(xí)經(jīng)驗納入評估模型，即成為一個社會科學(xué)努力的目標(biāo)。人工神經(jīng)網(wǎng)絡(luò)就是在此一信念下所發(fā)展出來的一種方法。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展可追溯自1943年麥庫洛克與彼特（McCullock&Pitts）兩位教授所發(fā)表的一篇論文“ALogicalCalculusofideasImmanentinNervousActivity”①，該篇論文奠定了人工神經(jīng)網(wǎng)絡(luò)發(fā)展的理論基礎(chǔ)。第6頁，共32頁，2023年，2月20日，星期六一、基本特質(zhì)與結(jié)構(gòu)1．基本特質(zhì)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)建是由生物神經(jīng)網(wǎng)絡(luò)所得到的靈感，基本上是在模擬生物神經(jīng)系統(tǒng)，結(jié)合相關(guān)知識，建立一個簡化的神經(jīng)系統(tǒng)模式，希望能夠擁有類似人類大腦平行計算及自我學(xué)習(xí)的能力。所謂自我學(xué)習(xí)，是利用不斷重復(fù)的訓(xùn)練過程，使系統(tǒng)本身能夠累積經(jīng)驗，達到學(xué)習(xí)效果。第7頁，共32頁，2023年，2月20日，星期六在人工神經(jīng)網(wǎng)絡(luò)中，使用了大量的平行網(wǎng)絡(luò)，網(wǎng)絡(luò)上布滿非線性的計算單元（節(jié)點）。網(wǎng)絡(luò)上一個運作周期就是一個訓(xùn)練過程，由信號運算特性、網(wǎng)絡(luò)拓撲及學(xué)習(xí)算法組成。訓(xùn)練過程中所有的知識都是以權(quán)值方式儲存于節(jié)點上，來自其他的神經(jīng)元所送出的信號，經(jīng)過節(jié)點上的整合函數(shù)加權(quán)總和，再通過非線性函數(shù)的轉(zhuǎn)換，將信號輸出至其他神經(jīng)元，此一程序通過大量的神經(jīng)元彼此錯綜復(fù)雜的相連，便形成一個基本的人工神經(jīng)網(wǎng)絡(luò)架構(gòu)。第8頁，共32頁，2023年，2月20日，星期六其中每經(jīng)過一次訓(xùn)練過程，就將模擬的結(jié)果與實際狀況作比較，將其中的差異回饋到系統(tǒng)中，以調(diào)整節(jié)點的強度，如此即能獲致自我組織及自我學(xué)習(xí)的效果。在與環(huán)境互動時，亦可調(diào)整自身的結(jié)構(gòu)，以使系統(tǒng)結(jié)果能接近真實狀況；人工神經(jīng)網(wǎng)絡(luò)還具有容錯（faulttolerance）的特性，若是網(wǎng)絡(luò)中有數(shù)個單元遭到損壞，不致影響整個網(wǎng)絡(luò)的功能。第9頁，共32頁，2023年，2月20日，星期六訓(xùn)練完成后的網(wǎng)絡(luò)，就等于具備了一個智慧模組，再有任何資料輸入，即可借助隱含在其中的知識來判斷輸入資料的屬性。2．基本結(jié)構(gòu)生物的神經(jīng)細胞可分為三大部分：感知神經(jīng)元（sensoryneuron）、運動神經(jīng)元（motorneuron）與銜接神經(jīng)元（Interneuron）。第10頁，共32頁，2023年，2月20日，星期六感知神經(jīng)元負責(zé)接收及傳送訊息，運動神經(jīng)元負責(zé)將信號由腦部傳送出去，而銜接神經(jīng)元是作為神經(jīng)間的連接。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)即是模仿生物的神經(jīng)細胞，分為三層：輸入層、隱藏層與輸出層。每一層內(nèi)包括若干代表處理單元的節(jié)點。輸入層的節(jié)點負責(zé)接收外在信息（見圖16—1）。不同于人腦，人腦的輸入機制是五官，負責(zé)接收各種影像、聲音、味道、碰觸等的輸入信息，

第11頁，共32頁，2023年，2月20日，星期六而人工神經(jīng)網(wǎng)絡(luò)所接受的輸入則是各種變量的數(shù)量化資料，—個輸入變量對應(yīng)一個輸入節(jié)點；隱藏層的節(jié)點負責(zé)處理輸入層傳來的信息，并轉(zhuǎn)化成中間結(jié)果傳遞給輸出層，隱藏層并不限定一層，也可以增加為兩層甚至更多；而輸出層的節(jié)點就以該輸出值與期望輸出值比較后，得到系統(tǒng)最后的結(jié)果，并將結(jié)果輸出。第12頁，共32頁，2023年，2月20日，星期六同一層內(nèi)的節(jié)點相互沒有聯(lián)結(jié)，相鄰層的節(jié)點則完全聯(lián)結(jié)。每一個聯(lián)結(jié)都有一個權(quán)值，以權(quán)值的大小代表傳來信息的重要程度。事實上，權(quán)值正代表了網(wǎng)絡(luò)中的知識，是經(jīng)過許多次的訓(xùn)練過程所要學(xué)到的結(jié)果。第13頁，共32頁，2023年，2月20日，星期六

圖18—1人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第14頁，共32頁，2023年，2月20日，星期六3．學(xué)習(xí)模式人工神經(jīng)網(wǎng)絡(luò)借助調(diào)整處理單元間的權(quán)值來學(xué)習(xí)輸入/輸出間的關(guān)系，使網(wǎng)絡(luò)結(jié)構(gòu)能接近真實。但是有一點必須強調(diào)，人工神經(jīng)網(wǎng)絡(luò)的設(shè)計，基本上是模仿人類右腦辨認型態(tài)的功能，如果是屬于精確邏輯的演算，人工神經(jīng)網(wǎng)絡(luò)并不在行，例如要計算3+3，人類可以利用左腦很精確地算出答案是6，第15頁，共32頁，2023年，2月20日，星期六然而，人工神經(jīng)網(wǎng)絡(luò)卻不具有這樣的能力，而可能估計出5.933或者6.007之類的數(shù)字。換言之，如果屬于定義清楚的數(shù)學(xué)問題，卻利用人工神經(jīng)網(wǎng)絡(luò)來解決，并不妥當(dāng)。人工神經(jīng)網(wǎng)絡(luò)最擅長之處，在于復(fù)雜關(guān)系的辨認或是型態(tài)的對比。第16頁，共32頁，2023年，2月20日，星期六

人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)模式，若按照網(wǎng)絡(luò)神經(jīng)間的聯(lián)結(jié)強弱來劃分類，大致可分成三類：（1）固定權(quán)重型：不需要任何學(xué)習(xí)法則。（2）監(jiān)督式學(xué)習(xí)（supervisedlearning）：在訓(xùn)練過程中，直接將網(wǎng)絡(luò)結(jié)果與實際（正確）結(jié)果比較，再不斷調(diào)整聯(lián)結(jié)強度，來降低實際輸出資料與目標(biāo)輸出資料之間的差距，一直到此一差距小于一定的臨界值為止。第17頁，共32頁，2023年，2月20日，星期六此種學(xué)習(xí)模式稱為監(jiān)督式學(xué)習(xí)。在監(jiān)督式學(xué)習(xí)模式中，又可因解碼方式的不同而分為前向傳播式與反向傳播式兩種監(jiān)督學(xué)習(xí)方法。（3）無監(jiān)督式學(xué)習(xí)（unsupervisedlearning）：在訓(xùn)練過程中，只有輸入值，沒有目標(biāo)輸出資料，讓網(wǎng)絡(luò)自行學(xué)習(xí)及調(diào)整，又稱為自組織（self-organization）學(xué)習(xí)。運用在信用風(fēng)險管理方面，以監(jiān)督式中的反向傳播式為主，以下就對此一方法作一簡要說明。第18頁，共32頁，2023年，2月20日，星期六既然是“監(jiān)督式”學(xué)習(xí)模式，就要將各樣本的實際結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，作為每次學(xué)習(xí)修正的標(biāo)桿。在反向傳播算法中，以反饋方式修正權(quán)重，先由輸出層開始預(yù)先計算各節(jié)點的實際輸出值與目標(biāo)輸出值的均方誤差，在求取最小誤差的目的下，以梯度下降方式，逐次減低實際輸出與目標(biāo)輸出的均方誤差，據(jù)以調(diào)整權(quán)值與閥值。第19頁，共32頁，2023年，2月20日，星期六每次權(quán)值的調(diào)整幅度與均方差的大小成正比，均方差愈大，表示目前的權(quán)值結(jié)構(gòu)偏離實際愈遠，所需調(diào)整幅度愈大。當(dāng)所有的樣本被送入網(wǎng)絡(luò)完成學(xué)習(xí)，稱為一期（epoch）。經(jīng)過多期學(xué)習(xí)，誤差不斷降低，直到收斂至一穩(wěn)定極小值為止。第20頁，共32頁，2023年，2月20日，星期六在各種轉(zhuǎn)換函數(shù)中以Sigmoid函數(shù)最常見，以下即以Sigmoid轉(zhuǎn)換函數(shù)例示說明。以Hk表示隱藏層第k節(jié)點的輸出值：其中：表示隱藏層的第k節(jié)點的閥值；Wik表示輸入層第i節(jié)點對隱藏層第k節(jié)點的權(quán)重。第21頁，共32頁，2023年，2月20日，星期六在運用人工神經(jīng)網(wǎng)絡(luò)的過程中，由干網(wǎng)絡(luò)本身錯綜復(fù)雜，中間的程序難以找到可資依循的脈絡(luò)，因此，所有的“經(jīng)驗”都經(jīng)由學(xué)習(xí)過程以權(quán)重的方式儲存在網(wǎng)絡(luò)聯(lián)結(jié)中，但是整個訓(xùn)練與執(zhí)行的詳細過程，完全是黑箱操作，外界無從了解。這和一般統(tǒng)計模型或是決策樹模式中，規(guī)則是由專家所制定，恰好相反。第22頁，共32頁，2023年，2月20日，星期六二、實際應(yīng)用中需要考慮的幾個問題1、應(yīng)用范圍。神經(jīng)網(wǎng)絡(luò)模型是通過樣本的學(xué)習(xí)來構(gòu)建的因此，應(yīng)用范圍受到一定限制，尤其是難以適用于訓(xùn)練樣本不清楚或者訓(xùn)練集和測試集之間存在較大偏差或者精度要求很高的系統(tǒng)。2、模型選取。目前人們已推出上百種類型神經(jīng)網(wǎng)絡(luò)，原則上都可以用于信用風(fēng)險估計，但常用的是BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)。第23頁，共32頁，2023年，2月20日，星期六3、訓(xùn)練樣本特征提取。這是神經(jīng)網(wǎng)絡(luò)建模時最關(guān)鍵、最困難的事情。其困難在于樣本本身含有不確定性和噪聲。4、結(jié)構(gòu)設(shè)計。包括網(wǎng)絡(luò)層數(shù)、節(jié)點數(shù)等，其核心問題是隱含層要取幾層，每層節(jié)點數(shù)應(yīng)取多少。隱含層具有抽象的作用，即它能從輸入提取特征。要精確地確定隱含層的節(jié)點數(shù)是困難的，一般要求盡可能地減少隱含層節(jié)點數(shù)目，這樣有利于提高網(wǎng)絡(luò)泛化能力（反映的是網(wǎng)絡(luò)對噪聲和失真的處理能力）。第24頁，共32頁，2023年，2月20日，星期六5、激勵函數(shù)設(shè)計。激勵函數(shù)是神經(jīng)元核心所在，它決定了神經(jīng)元的運動功能。目前常用的是Sigmoid函數(shù)。6、收斂穩(wěn)定問題。網(wǎng)絡(luò)的訓(xùn)練最終要求收斂到給定的精度，其收斂速度、精度等都和訓(xùn)練算法有關(guān)。BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)算法問題，歸根到底是一個非線性優(yōu)化設(shè)計問題。第25頁，共32頁，2023年，2月20日，星期六

7、性能評價（檢驗）問題。與傳統(tǒng)的模型一樣，網(wǎng)絡(luò)也需要用測試集進行檢驗和評價。主要考察網(wǎng)絡(luò)對測試集的學(xué)習(xí)精度、穩(wěn)定性和泛化能力等指標(biāo)。第26頁，共32頁，2023年，2月20日，星期六

三、神經(jīng)網(wǎng)絡(luò)的優(yōu)點1、它主要是根據(jù)樣本數(shù)據(jù)，通過學(xué)習(xí)和訓(xùn)練，找出輸入和輸出之間的內(nèi)在聯(lián)系，從而求得問題的解。而不是完全依據(jù)對問題的經(jīng)驗知識和規(guī)則，因而具有自適應(yīng)功能。2、能夠處理那些有噪聲或不完全的數(shù)據(jù)，具有泛化功能。3、人工神經(jīng)網(wǎng)絡(luò)是處理非線性問題的強有力工具。第27頁，共32頁，2023年，2月20日，星期六

第二節(jié)計算例以前面曾舉過的銀行授信樣本為例，將128筆資料輸入人工神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)軟件，可以得到分類結(jié)果如下：將所有樣本分為信用高、中、低及最低四組（見表18—3），分類正確率93%，另有6%左右的樣本被列入“未知”，是因為在給定的訓(xùn)練次數(shù)下，有很多樣本介于灰色地帶，或是相鄰兩級間的界限亦不清楚，程序無法判斷受測樣本究竟應(yīng)屬于那一個組。第28頁，共32頁，2023年，2月20日，星期六若將組數(shù)由四組減為信用高、中、低三組（見表18—4），分類測正確率高達99%。如果只分為二組來判斷（見表18—5），分類正確率亦高達98.4%。因此，如果單由訓(xùn)練樣本的分類正確率來看，人工神經(jīng)網(wǎng)絡(luò)確實具有相當(dāng)優(yōu)異的分類能力，但是對訓(xùn)練樣本以外的應(yīng)用是否也具有很高的預(yù)測力，則須進一步作實證研究方能推斷。第29頁，共32頁，2023年，2月20日，星期六表18-3分為四組的人工神經(jīng)網(wǎng)絡(luò)分類結(jié)果實際組別最低風(fēng)險次低風(fēng)險中度中險高度風(fēng)險樣本數(shù)正確錯誤未知2522123534

01383503302802預(yù)測組別最低風(fēng)險次低風(fēng)險中度風(fēng)險高度風(fēng)險220100340000

35000028第30頁，共32頁，2023年，2月20日，星期六表18-4