第五章神經(jīng)網(wǎng)絡(luò)模型

1、 第五章第五章 神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型 前面所介紹的分析方法，都是利用統(tǒng)前面所介紹的分析方法，都是利用統(tǒng)計(jì)方法的推論原理。以邏輯推算數(shù)量資計(jì)方法的推論原理。以邏輯推算數(shù)量資料是統(tǒng)計(jì)方法的特色，也是它的限制，料是統(tǒng)計(jì)方法的特色，也是它的限制，因?yàn)槿祟?lèi)對(duì)事情的判斷并不只是依靠邏因?yàn)槿祟?lèi)對(duì)事情的判斷并不只是依靠邏輯數(shù)量分析，絕大多數(shù)都要參照各方面輯數(shù)量分析，絕大多數(shù)都要參照各方面的信息，包括文字的、畫(huà)面的、抽象的的信息，包括文字的、畫(huà)面的、抽象的信息，才作出最后的判斷與決策。信息，才作出最后的判斷與決策。 事實(shí)上，人類(lèi)腦部組織可以縱分為各有所司的兩部分：左腦與右腦。左腦負(fù)責(zé)邏輯與算術(shù)功能，右腦負(fù)責(zé)

2、情緒、形象辨認(rèn)與直覺(jué)。雖然正常人在生活上兩者都必須應(yīng)用，但是大多數(shù)的人僅擅長(zhǎng)其中一個(gè)。科學(xué)家與數(shù)學(xué)家屬于左腦導(dǎo)向型，藝術(shù)家與作家則較傾向右腦導(dǎo)向，即借重右腦來(lái)處理感覺(jué)、抽象概念的處理。以傳統(tǒng)財(cái)務(wù)學(xué)或投資學(xué)中的基本分析與技術(shù)分析來(lái)說(shuō)，二者均較傾向于左腦導(dǎo)向，需要大量的數(shù)學(xué)運(yùn)算或邏輯推論。 但是在對(duì)信用風(fēng)險(xiǎn)進(jìn)行評(píng)價(jià)時(shí)，除了數(shù)量方面的客觀(guān)分析外，主觀(guān)的定性方面的評(píng)價(jià)也具有極為重要的份量。也就是說(shuō)，各項(xiàng)信息在人類(lèi)大腦中已經(jīng)累積的知識(shí)架構(gòu)下，經(jīng)過(guò)復(fù)雜的接收、處理、傳送等程序，才作出最后的判斷與決策。此一處理過(guò)程仍像個(gè)黑箱難以掌握，需要借助一個(gè)具有右腦導(dǎo)向的工具來(lái)處理，而人工神經(jīng)網(wǎng)絡(luò)與模糊分析就是在這樣的

3、目的下 所發(fā)展出來(lái)的處理工具，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)就是設(shè)法辨認(rèn)投入資料當(dāng)中的隱藏關(guān)系，再憑以預(yù)測(cè)未來(lái)趨勢(shì)，很像右腦的功能；模糊分析則容許模糊的資料概念，不要求非黑即白的數(shù)值特性，更接近人類(lèi)思考的模式。 第一節(jié)第一節(jié) 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 據(jù)一般估算，人類(lèi)腦部是由約1 000億個(gè)神經(jīng)細(xì)胞（neuron）所組成，而每一個(gè)神經(jīng)細(xì)胞都是一個(gè)處理單元，負(fù)責(zé)接收與結(jié)合來(lái)自其他神經(jīng)細(xì)胞的信息。在同一時(shí)刻，腦中千千萬(wàn)萬(wàn)個(gè)神經(jīng)細(xì)胞都在同步處理各種信息的接收與傳遞，這種復(fù)雜而精細(xì)的過(guò)程，使人類(lèi)能夠記憶、思考、累積經(jīng)驗(yàn)，具有極高的學(xué)習(xí)能力，而非任何統(tǒng)計(jì)方法所能完全取代或是模擬出來(lái)的。 有基于此，試圖仿照生物神經(jīng)系統(tǒng)

4、，將學(xué)習(xí)經(jīng)驗(yàn)納入評(píng)估模型，即成為一個(gè)社會(huì)科學(xué)努力的目標(biāo)。人工神經(jīng)網(wǎng)絡(luò)就是在此一信念下所發(fā)展出來(lái)的一種方法。 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展可追溯自1943年麥庫(kù)洛克與彼特（mccullock & pitts）兩位教授所發(fā)表的一篇論文“a logical calculus of ideas immanent in nervous activity”，該篇論文奠定了人工神經(jīng)網(wǎng)絡(luò)發(fā)展的理論基礎(chǔ)。 一、基本特質(zhì)與結(jié)構(gòu)一、基本特質(zhì)與結(jié)構(gòu) 1基本特質(zhì) 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)建是由生物神經(jīng)網(wǎng)絡(luò)所得到的靈感，基本上是在模擬生物神經(jīng)系統(tǒng)，結(jié)合相關(guān)知識(shí)，建立一個(gè)簡(jiǎn)化的神經(jīng)系統(tǒng)模式，希望能夠擁有類(lèi)似人類(lèi)大腦平行計(jì)算及自我學(xué)習(xí)的能力。

5、所謂自我學(xué)習(xí)，是利用不斷重復(fù)的訓(xùn)練過(guò)程，使系統(tǒng)本身能夠累積經(jīng)驗(yàn)，達(dá)到學(xué)習(xí)效果。在人工神經(jīng)網(wǎng)絡(luò)中，使用了大量的平行網(wǎng)絡(luò)，網(wǎng)絡(luò)上布滿(mǎn)非線(xiàn)性的計(jì)算單元（節(jié)點(diǎn)）。網(wǎng)絡(luò)上一個(gè)運(yùn)作周期就是一個(gè)訓(xùn)練過(guò)程，由信號(hào)運(yùn)算特性、網(wǎng)絡(luò)拓?fù)浼皩W(xué)習(xí)算法組成。訓(xùn)練過(guò)程中所有的知識(shí)都是以權(quán)值方式儲(chǔ)存于節(jié)點(diǎn)上，來(lái)自其他的神經(jīng)元所送出的信號(hào)，經(jīng)過(guò)節(jié)點(diǎn)上的整合函數(shù)加權(quán)總和，再通過(guò)非線(xiàn)性函數(shù)的轉(zhuǎn)換，將信號(hào)輸出至其他神經(jīng)元，此一程序通過(guò)大量的神經(jīng)元彼此錯(cuò)綜復(fù)雜的相連，便形成一個(gè)基本的人工神經(jīng)網(wǎng)絡(luò)架構(gòu)。 其中每經(jīng)過(guò)一次訓(xùn)練過(guò)程，就將模擬的結(jié)果與實(shí)際狀況作比較，將其中的差異回饋到系統(tǒng)中，以調(diào)整節(jié)點(diǎn)的強(qiáng)度，如此即能獲致自我組織及自我學(xué)習(xí)的效

6、果。在與環(huán)境互動(dòng)時(shí)，亦可調(diào)整自身的結(jié)構(gòu)，以使系統(tǒng)結(jié)果能接近真實(shí)狀況；人工神經(jīng)網(wǎng)絡(luò)還具有容錯(cuò)（fault tolerance）的特性，若是網(wǎng)絡(luò)中有數(shù)個(gè)單元遭到損壞，不致影響整個(gè)網(wǎng)絡(luò)的功能。訓(xùn)練完成后的網(wǎng)絡(luò)，就等于具備了一個(gè)智慧模組，再有任何資料輸入，即可借助隱含在其中的知識(shí)來(lái)判斷輸入資料的屬性。 2基本結(jié)構(gòu) 生物的神經(jīng)細(xì)胞可分為三大部分：感知神經(jīng)元（sensory neuron）、運(yùn)動(dòng)神經(jīng)元（motorneuron）與銜接神經(jīng)元（interneuron）。 感知神經(jīng)元負(fù)責(zé)接收及傳送訊息，運(yùn)動(dòng)神經(jīng)元負(fù)責(zé)將信號(hào)由腦部傳送出去，而銜接神經(jīng)元是作為神經(jīng)間的連接。人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)即是模仿生物的神經(jīng)細(xì)

7、胞，分為三層：輸入層、隱藏層與輸出層。每一層內(nèi)包括若干代表處理單元的節(jié)點(diǎn)。輸入層的節(jié)點(diǎn)負(fù)責(zé)接收外在信息（見(jiàn)圖161）。不同于人腦，人腦的輸入機(jī)制是五官，負(fù)責(zé)接收各種影像、聲音、味道、碰觸等的輸入信息， 而人工神經(jīng)網(wǎng)絡(luò)所接受的輸入則是各種變量的數(shù)量化資料，個(gè)輸入變量對(duì)應(yīng)一個(gè)輸入節(jié)點(diǎn)；隱藏層的節(jié)點(diǎn)負(fù)責(zé)處理輸入層傳來(lái)的信息，并轉(zhuǎn)化成中間結(jié)果傳遞給輸出層，隱藏層并不限定一層，也可以增加為兩層甚至更多；而輸出層的節(jié)點(diǎn)就以該輸出值與期望輸出值比較后，得到系統(tǒng)最后的結(jié)果，并將結(jié)果輸出。同一層內(nèi)的節(jié)點(diǎn)相互沒(méi)有聯(lián)結(jié)，相鄰層的節(jié)點(diǎn)則完全聯(lián)結(jié)。每一個(gè)聯(lián)結(jié)都有一個(gè)權(quán)值，以權(quán)值的大小代表傳來(lái)信息的重要程度。事實(shí)上，權(quán)值

8、正代表了網(wǎng)絡(luò)中的知識(shí)，是經(jīng)過(guò)許多次的訓(xùn)練過(guò)程所要學(xué)到的結(jié)果。 圖181 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3學(xué)習(xí)模式 人工神經(jīng)網(wǎng)絡(luò)借助調(diào)整處理單元間的權(quán)值來(lái)學(xué)習(xí)輸入/輸出間的關(guān)系，使網(wǎng)絡(luò)結(jié)構(gòu)能接近真實(shí)。但是有一點(diǎn)必須強(qiáng)調(diào)，人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，基本上是模仿人類(lèi)右腦辨認(rèn)型態(tài)的功能，如果是屬于精確邏輯的演算，人工神經(jīng)網(wǎng)絡(luò)并不在行，例如要計(jì)算3+3，人類(lèi)可以利用左腦很精確地算出答案是6， 然而，人工神經(jīng)網(wǎng)絡(luò)卻不具有這樣的能力，而可能估計(jì)出5.933或者6.007之類(lèi)的數(shù)字。換言之，如果屬于定義清楚的數(shù)學(xué)問(wèn)題，卻利用人工神經(jīng)網(wǎng)絡(luò)來(lái)解決，并不妥當(dāng)。人工神經(jīng)網(wǎng)絡(luò)最擅長(zhǎng)之處，在于復(fù)雜關(guān)系的辨認(rèn)或是型態(tài)的對(duì)比。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)

9、習(xí)模式，若按照網(wǎng)絡(luò)神經(jīng)間的聯(lián)結(jié)強(qiáng)弱來(lái)劃分類(lèi)，大致可分成三類(lèi)： （1）固定權(quán)重型：不需要任何學(xué)習(xí)法則。 （2）監(jiān)督式學(xué)習(xí)（supervised learning）：在訓(xùn)練過(guò)程中，直接將網(wǎng)絡(luò)結(jié)果與實(shí)際（正確）結(jié)果比較，再不斷調(diào)整聯(lián)結(jié)強(qiáng)度，來(lái)降低實(shí)際輸出資料與目標(biāo)輸出資料之間的差距，一直到此一差距小于一定的臨界值為止。 此種學(xué)習(xí)模式稱(chēng)為監(jiān)督式學(xué)習(xí)。在監(jiān)督式學(xué)習(xí)模式中，又可因解碼方式的不同而分為前向傳播式與反向傳播式兩種監(jiān)督學(xué)習(xí)方法。 （3）無(wú)監(jiān)督式學(xué)習(xí)（unsupervised learning）：在訓(xùn)練過(guò)程中，只有輸入值，沒(méi)有目標(biāo)輸出資料，讓網(wǎng)絡(luò)自行學(xué)習(xí)及調(diào)整，又稱(chēng)為自組織（self-organi

10、zation）學(xué)習(xí)。 運(yùn)用在信用風(fēng)險(xiǎn)管理方面，以監(jiān)督式中的反向傳播式為主，以下就對(duì)此一方法作一簡(jiǎn)要說(shuō)明。 既然是“監(jiān)督式”學(xué)習(xí)模式，就要將各樣本的實(shí)際結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，作為每次學(xué)習(xí)修正的標(biāo)桿。在反向傳播算法中，以反饋方式修正權(quán)重，先由輸出層開(kāi)始預(yù)先計(jì)算各節(jié)點(diǎn)的實(shí)際輸出值與目標(biāo)輸出值的均方誤差，在求取最小誤差的目的下，以梯度下降方式，逐次減低實(shí)際輸出與目標(biāo)輸出的均方誤差，據(jù)以調(diào)整權(quán)值與閥值。 每次權(quán)值的調(diào)整幅度與均方差的大小成正比，均方差愈大，表示目前的權(quán)值結(jié)構(gòu)偏離實(shí)際愈遠(yuǎn)，所需調(diào)整幅度愈大。當(dāng)所有的樣本被送入網(wǎng)絡(luò)完成學(xué)習(xí)，稱(chēng)為一期（epoch）。經(jīng)過(guò)多期學(xué)習(xí)，誤差不斷降低，直到收斂至

11、一穩(wěn)定極小值為止。在各種轉(zhuǎn)換函數(shù)中以sigmoid函數(shù)最常見(jiàn)，以下即以sigmoid轉(zhuǎn)換函數(shù)例示說(shuō)明。以hk表示隱藏層第k節(jié)點(diǎn)的輸出值：其中：表示隱藏層的第k節(jié)點(diǎn)的閥值；wik表示輸入層第i節(jié)點(diǎn)對(duì)隱藏層第k節(jié)點(diǎn)的權(quán)重。1)exp(1 kiikikxwh在運(yùn)用人工神經(jīng)網(wǎng)絡(luò)的過(guò)程中，由干網(wǎng)絡(luò)本身錯(cuò)綜復(fù)雜，中間的程序難以找到可資依循的脈絡(luò)，因此，所有的“經(jīng)驗(yàn)”都經(jīng)由學(xué)習(xí)過(guò)程以權(quán)重的方式儲(chǔ)存在網(wǎng)絡(luò)聯(lián)結(jié)中，但是整個(gè)訓(xùn)練與執(zhí)行的詳細(xì)過(guò)程，完全是黑箱操作，外界無(wú)從了解。這和一般統(tǒng)計(jì)模型或是決策樹(shù)模式中，規(guī)則是由專(zhuān)家所制定，恰好相反。二、實(shí)際應(yīng)用中需要考慮的幾個(gè)問(wèn)題二、實(shí)際應(yīng)用中需要考慮的幾個(gè)問(wèn)題 1、應(yīng)用范

12、圍。神經(jīng)網(wǎng)絡(luò)模型是通過(guò)樣本的學(xué)習(xí)來(lái)構(gòu)建的因此，應(yīng)用范圍受到一定限制，尤其是難以適用于訓(xùn)練樣本不清楚或者訓(xùn)練集和測(cè)試集之間存在較大偏差或者精度要求很高的系統(tǒng)。 2、模型選取。目前人們已推出上百種類(lèi)型神經(jīng)網(wǎng)絡(luò)，原則上都可以用于信用風(fēng)險(xiǎn)估計(jì)，但常用的是bp(back propagation ) 神經(jīng)網(wǎng)絡(luò)。 3、訓(xùn)練樣本特征提取。這是神經(jīng)網(wǎng)絡(luò)建模時(shí)最關(guān)鍵、最困難的事情。其困難在于樣本本身含有不確定性和噪聲。 4、結(jié)構(gòu)設(shè)計(jì)。包括網(wǎng)絡(luò)層數(shù)、節(jié)點(diǎn)數(shù)等，其核心問(wèn)題是隱含層要取幾層，每層節(jié)點(diǎn)數(shù)應(yīng)取多少。隱含層具有抽象的作用，即它能從輸入提取特征。要精確地確定隱含層的節(jié)點(diǎn)數(shù)是困難的，一般要求盡可能地減少隱含層節(jié)點(diǎn)

13、數(shù)目，這樣有利于提高網(wǎng)絡(luò)泛化能力（反映的是網(wǎng)絡(luò)對(duì)噪聲和失真的處理能力）。 5、激勵(lì)函數(shù)設(shè)計(jì)。激勵(lì)函數(shù)是神經(jīng)元核心所在，它決定了神經(jīng)元的運(yùn)動(dòng)功能。目前常用的是sigmoid函數(shù)。 6、收斂穩(wěn)定問(wèn)題。網(wǎng)絡(luò)的訓(xùn)練最終要求收斂到給定的精度，其收斂速度、精度等都和訓(xùn)練算法有關(guān)。bp(back propagation ) 神經(jīng)網(wǎng)絡(luò)算法問(wèn)題，歸根到底是一個(gè)非線(xiàn)性?xún)?yōu)化設(shè)計(jì)問(wèn)題。 7、性能評(píng)價(jià)（檢驗(yàn)）問(wèn)題。與 傳統(tǒng)的模型一樣，網(wǎng)絡(luò)也需要用測(cè)試集進(jìn)行檢驗(yàn)和評(píng)價(jià)。主要考察網(wǎng)絡(luò)對(duì)測(cè)試集的學(xué)習(xí)精度、穩(wěn)定性和泛化能力等指標(biāo)。 三、神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)三、神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn) 1、它主要是根據(jù)樣本數(shù)據(jù)，通過(guò)學(xué)習(xí)和訓(xùn)練，找出輸入和輸出之

14、間的內(nèi)在聯(lián)系，從而求得問(wèn)題的解。而不是完全依據(jù)對(duì)問(wèn)題的經(jīng)驗(yàn)知識(shí)和規(guī)則，因而具有自適應(yīng)功能。 2、能夠處理那些有噪聲或不完全的數(shù)據(jù)，具有泛化功能。 3、 人工神經(jīng)網(wǎng)絡(luò)是處理非線(xiàn)性問(wèn)題的強(qiáng)有力工具。 第二節(jié)第二節(jié) 計(jì)算例計(jì)算例 以前面曾舉過(guò)的銀行授信樣本為例，將128筆資料輸入人工神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)軟件，可以得到分類(lèi)結(jié)果如下：將所有樣本分為信用高、中、低及最低四組（見(jiàn)表183），分類(lèi)正確率93%，另有6%左右的樣本被列入“未知”，是因?yàn)樵诮o定的訓(xùn)練次數(shù)下，有很多樣本介于灰色地帶，或是相鄰兩級(jí)間的界限亦不清楚，程序無(wú)法判斷受測(cè)樣本究竟應(yīng)屬于那一個(gè)組。 若將組數(shù)由四組減為信用高、中、低三組（見(jiàn)表184），分類(lèi)測(cè)正確率高達(dá)99%。如果只分為二組來(lái)判斷（見(jiàn)表185），分類(lèi)正確率亦高達(dá)98.4%。因此，如果單由訓(xùn)練樣本的分類(lèi)正確率來(lái)看，人工神經(jīng)網(wǎng)絡(luò)確實(shí)具有相當(dāng)優(yōu)異的分類(lèi)能力，但是對(duì)訓(xùn)練樣本以外的應(yīng)用是否也具有很高的預(yù)測(cè)力，則須進(jìn)一步作實(shí)證研究方能推斷。表表18-3 分為四組的人工神經(jīng)網(wǎng)絡(luò)分類(lèi)結(jié)果分為四組的人工神經(jīng)網(wǎng)絡(luò)分類(lèi)結(jié)果實(shí)際組別最低風(fēng)險(xiǎn)次低風(fēng)險(xiǎn)中度中險(xiǎn)高