數(shù)據(jù)挖掘與應(yīng)用(八)

1、1第八講第八講神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)（1 1）2生物神經(jīng)元生物神經(jīng)元3人工神經(jīng)元人工神經(jīng)元 v1, ,vs為輸入為輸入“樹突樹突”的各信號的各信號; 它們按照連接權(quán)它們按照連接權(quán)w1j, ,wsj ，通過神經(jīng)元內(nèi)的組合函數(shù)，通過神經(jīng)元內(nèi)的組合函數(shù)j()組合成組合成uj ; uj再通過神經(jīng)元內(nèi)的激活函數(shù)再通過神經(jīng)元內(nèi)的激活函數(shù)Aj()得到輸出得到輸出zj，沿，沿“軸突軸突” 傳送給其他神經(jīng)元。傳送給其他神經(jīng)元。4人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)最常用的神經(jīng)網(wǎng)絡(luò)是如圖所示的多層感知器。最常用的神經(jīng)網(wǎng)絡(luò)是如圖所示的多層感知器。5人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 各個(gè)自變量通過輸入層的神經(jīng)元輸入到網(wǎng)絡(luò)各個(gè)自變量通過輸入層

2、的神經(jīng)元輸入到網(wǎng)絡(luò); 輸入層的各個(gè)神經(jīng)元和第一層隱藏層的各個(gè)神經(jīng)元連接輸入層的各個(gè)神經(jīng)元和第一層隱藏層的各個(gè)神經(jīng)元連接; 每一層隱藏層的各個(gè)神經(jīng)元和下一層每一層隱藏層的各個(gè)神經(jīng)元和下一層(可能是隱藏層或輸出層可能是隱藏層或輸出層)的各個(gè)神經(jīng)元相連接的各個(gè)神經(jīng)元相連接; 輸入的自變量通過各個(gè)隱藏層的神經(jīng)元進(jìn)行轉(zhuǎn)換后，在輸出輸入的自變量通過各個(gè)隱藏層的神經(jīng)元進(jìn)行轉(zhuǎn)換后，在輸出層形成輸出值作為對因變量的預(yù)測值。層形成輸出值作為對因變量的預(yù)測值。6神經(jīng)網(wǎng)絡(luò)可以對一個(gè)或多個(gè)因變量進(jìn)行預(yù)測。神經(jīng)網(wǎng)絡(luò)可以對一個(gè)或多個(gè)因變量進(jìn)行預(yù)測。神經(jīng)網(wǎng)絡(luò)的因變量神經(jīng)網(wǎng)絡(luò)的因變量例如，如果因變量是有例如，如果因變量是有K種

3、取值種取值(K2)的分類變量，通常的分類變量，通常在輸出層使用在輸出層使用K-1個(gè)神經(jīng)元個(gè)神經(jīng)元;再如，因變量可以是多個(gè)相關(guān)聯(lián)的連續(xù)變量，甚至是不再如，因變量可以是多個(gè)相關(guān)聯(lián)的連續(xù)變量，甚至是不同類型的變量。同類型的變量。7單個(gè)神經(jīng)元的組合函數(shù)單個(gè)神經(jīng)元的組合函數(shù)單個(gè)神經(jīng)元常用的組合函數(shù)為線性組合函數(shù)：單個(gè)神經(jīng)元常用的組合函數(shù)為線性組合函數(shù)：其中其中bj是神經(jīng)元是神經(jīng)元j的偏差項(xiàng)。的偏差項(xiàng)。也可以假設(shè)對同一層的也可以假設(shè)對同一層的J個(gè)神經(jīng)元而言，對個(gè)神經(jīng)元而言，對vr的連接權(quán)的連接權(quán)wrj的值都一樣，而只有偏差項(xiàng)的值都一樣，而只有偏差項(xiàng)bj不一樣不一樣(j=1, ,J)。8單個(gè)神經(jīng)元的激活函數(shù)

4、單個(gè)神經(jīng)元的激活函數(shù)單個(gè)神經(jīng)元最常用的激活函數(shù)是單個(gè)神經(jīng)元最常用的激活函數(shù)是S型函數(shù)，它們能將組合型函數(shù)，它們能將組合函數(shù)產(chǎn)生的可能無限的值通過連續(xù)單調(diào)的非線性轉(zhuǎn)換變成有限函數(shù)產(chǎn)生的可能無限的值通過連續(xù)單調(diào)的非線性轉(zhuǎn)換變成有限的輸出值，的輸出值，這也是試圖模擬生物神經(jīng)元的結(jié)果。這也是試圖模擬生物神經(jīng)元的結(jié)果。9激活函數(shù)激活函數(shù)常用的常用的S型函數(shù)列舉如下型函數(shù)列舉如下:Logistic函數(shù)函數(shù):10激活函數(shù)激活函數(shù)Tanh函數(shù)函數(shù):Elliott函數(shù)函數(shù):Arctan函數(shù)函數(shù):11激活函數(shù)激活函數(shù)各各S型激活函數(shù)的輸出范圍不一樣型激活函數(shù)的輸出范圍不一樣:Logistic函數(shù)的輸出范圍在函數(shù)的

5、輸出范圍在0到到1之間之間;其他三個(gè)函數(shù)的輸出范圍在其他三個(gè)函數(shù)的輸出范圍在-1到到1之間。之間。各各S型激活函數(shù)輸入變量的有效范圍也不一樣。當(dāng)型激活函數(shù)輸入變量的有效范圍也不一樣。當(dāng)u的值偏的值偏離離0時(shí)時(shí):Tanh函數(shù)很快就達(dá)到邊界值函數(shù)很快就達(dá)到邊界值;Logistic函數(shù)相對而言更慢達(dá)到邊界值函數(shù)相對而言更慢達(dá)到邊界值;Elliott和和Arctan函數(shù)變化則更加緩慢。函數(shù)變化則更加緩慢。12激活函數(shù)激活函數(shù)還有一些激活函數(shù)將可能無限的輸入值通過連續(xù)但不單調(diào)還有一些激活函數(shù)將可能無限的輸入值通過連續(xù)但不單調(diào)的非線性轉(zhuǎn)換變成有限的輸出值的非線性轉(zhuǎn)換變成有限的輸出值: :高斯函數(shù)高斯函數(shù):

6、補(bǔ)高斯函數(shù)補(bǔ)高斯函數(shù):高斯函數(shù)和補(bǔ)高斯函數(shù)都是關(guān)于高斯函數(shù)和補(bǔ)高斯函數(shù)都是關(guān)于u=0對稱的，高斯函數(shù)在對稱的，高斯函數(shù)在u=0處達(dá)到最大值，而補(bǔ)高斯函數(shù)在處達(dá)到最大值，而補(bǔ)高斯函數(shù)在u=0處達(dá)到最小值。處達(dá)到最小值。13激活函數(shù)激活函數(shù)正弦和余弦函數(shù)關(guān)于正弦和余弦函數(shù)關(guān)于u都是周期性的。都是周期性的。正弦函數(shù)正弦函數(shù):余弦函數(shù)余弦函數(shù):14激活函數(shù)激活函數(shù)其它一些激活函數(shù)有其它一些激活函數(shù)有:指數(shù)函數(shù)指數(shù)函數(shù):Softmax函數(shù)函數(shù):對同一層的對同一層的J個(gè)神經(jīng)元而言，對個(gè)神經(jīng)元而言，對j=1, ,J,Softmax函數(shù)保證了同一層的函數(shù)保證了同一層的J個(gè)神經(jīng)元的輸出值加和為個(gè)神經(jīng)元的輸出值加

7、和為1。15激活函數(shù)激活函數(shù)恒等函數(shù)恒等函數(shù):倒數(shù)函數(shù)倒數(shù)函數(shù):平方函數(shù)平方函數(shù):16神經(jīng)網(wǎng)絡(luò)模型（一）神經(jīng)網(wǎng)絡(luò)模型（一）多層感知器多層感知器多層感知器通常在隱藏層使用線性組合函數(shù)和多層感知器通常在隱藏層使用線性組合函數(shù)和S型激活函型激活函數(shù)數(shù)，在輸出層使用線性組合函數(shù)和與，在輸出層使用線性組合函數(shù)和與因變量相適應(yīng)的激活函因變量相適應(yīng)的激活函數(shù)數(shù)。多層感知器可以形成很復(fù)雜的非線性模型。多層感知器可以形成很復(fù)雜的非線性模型。17神經(jīng)網(wǎng)絡(luò)模型（一）神經(jīng)網(wǎng)絡(luò)模型（一）多層感知器多層感知器例如，在上圖中，如果隱藏層使用線性組合函數(shù)和例如，在上圖中，如果隱藏層使用線性組合函數(shù)和Logistic激活函數(shù)，

8、那么兩個(gè)隱藏神經(jīng)元的輸出為：激活函數(shù)，那么兩個(gè)隱藏神經(jīng)元的輸出為：18神經(jīng)網(wǎng)絡(luò)模型（一）神經(jīng)網(wǎng)絡(luò)模型（一）多層感知器多層感知器如果輸出層使用線性組合函數(shù)和指數(shù)激活函數(shù)，那么整個(gè)如果輸出層使用線性組合函數(shù)和指數(shù)激活函數(shù)，那么整個(gè)網(wǎng)絡(luò)的輸出為：網(wǎng)絡(luò)的輸出為：19神經(jīng)網(wǎng)絡(luò)模型（一）神經(jīng)網(wǎng)絡(luò)模型（一）多層感知器多層感知器多層感知器是一種通用的近似器多層感知器是一種通用的近似器(Universal Approximator)，只要給予足夠的數(shù)據(jù)、隱藏神經(jīng)元和訓(xùn)練時(shí)間，含一個(gè)隱藏層只要給予足夠的數(shù)據(jù)、隱藏神經(jīng)元和訓(xùn)練時(shí)間，含一個(gè)隱藏層的多層感知器就能夠以任意精確度近似自變量和因變量之間幾的多層感知器就能夠

9、以任意精確度近似自變量和因變量之間幾乎任何形式的函數(shù)。乎任何形式的函數(shù)。更多的隱藏層可能減少隱藏神經(jīng)元和參數(shù)的數(shù)目，提高模更多的隱藏層可能減少隱藏神經(jīng)元和參數(shù)的數(shù)目，提高模型的可推廣性。型的可推廣性。20神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)(Radio Basis Network Function，簡稱，簡稱RBNF) 是另一種常用的神經(jīng)網(wǎng)絡(luò)。是另一種常用的神經(jīng)網(wǎng)絡(luò)。它通常只含有一層隱藏層，其中各隱藏神經(jīng)元使用徑向組它通常只含有一層隱藏層，其中各隱藏神經(jīng)元使用徑向組合函數(shù)合函數(shù)：其中，其中，(W1j, ,Wsj)是第是第j個(gè)隱藏神經(jīng)元的中

10、心個(gè)隱藏神經(jīng)元的中心; j和和j是高是高度和精度參數(shù)，也可以假設(shè)對各隱藏神經(jīng)元而言，度和精度參數(shù)，也可以假設(shè)對各隱藏神經(jīng)元而言， j或或j的取值的取值都一樣。都一樣。21神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)各隱藏單元的激活函數(shù)為指數(shù)函數(shù)或各隱藏單元的激活函數(shù)為指數(shù)函數(shù)或Softmax函數(shù)。函數(shù)。 若使用指數(shù)函數(shù)，隱藏神經(jīng)元若使用指數(shù)函數(shù)，隱藏神經(jīng)元j的輸出值為：的輸出值為：這正比于一個(gè)多元正態(tài)分布的概率密度函數(shù)這正比于一個(gè)多元正態(tài)分布的概率密度函數(shù); 若使用若使用Softmax函數(shù)，這些輸出值在隱藏層進(jìn)行了正則化，使函數(shù)，這些輸出值在隱藏層進(jìn)行了正則化，使得各隱藏神

11、經(jīng)元的輸出值加和為得各隱藏神經(jīng)元的輸出值加和為1。徑向基函數(shù)網(wǎng)絡(luò)的輸出層通常采用徑向基函數(shù)網(wǎng)絡(luò)的輸出層通常采用線性組合函數(shù)線性組合函數(shù)和與因變和與因變量相適應(yīng)的激活函數(shù)。量相適應(yīng)的激活函數(shù)。22神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)也可以形成很復(fù)雜的非線性模型，它近徑向基函數(shù)網(wǎng)絡(luò)也可以形成很復(fù)雜的非線性模型，它近似函數(shù)的功能和多層感知器類似。似函數(shù)的功能和多層感知器類似。例如，在上圖中，如果隱藏層使用徑向組合函數(shù)和例如，在上圖中，如果隱藏層使用徑向組合函數(shù)和Softmax激活函數(shù)，那么兩個(gè)隱藏神經(jīng)元的輸出為：激活函數(shù)，那么兩個(gè)隱藏神經(jīng)元的輸出為：23神經(jīng)

12、網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)如果輸出層使用線性激活函數(shù)和指數(shù)激活函數(shù)，那么整如果輸出層使用線性激活函數(shù)和指數(shù)激活函數(shù)，那么整個(gè)網(wǎng)絡(luò)的輸出為：個(gè)網(wǎng)絡(luò)的輸出為：24神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)隱藏層使用指數(shù)激活函數(shù)的徑向基函數(shù)網(wǎng)絡(luò)被稱為普通徑隱藏層使用指數(shù)激活函數(shù)的徑向基函數(shù)網(wǎng)絡(luò)被稱為普通徑向基數(shù)網(wǎng)絡(luò)向基數(shù)網(wǎng)絡(luò)(Ordinary RBNF，簡稱，簡稱ORBNF)，其中各隱藏神經(jīng)，其中各隱藏神經(jīng)元應(yīng)不使用高度參數(shù)元應(yīng)不使用高度參數(shù)j ，否則它們與隱藏神經(jīng)元到輸出單元的，否則它們與隱藏神經(jīng)元到輸出單元的連接權(quán)形成冗余參數(shù)。連接權(quán)形成冗

13、余參數(shù)。25神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)舉例而言，如果前圖中的隱藏單元的激活函數(shù)為帶高度舉例而言，如果前圖中的隱藏單元的激活函數(shù)為帶高度參數(shù)的指數(shù)函數(shù)，那么兩個(gè)隱藏神經(jīng)元的輸出為：參數(shù)的指數(shù)函數(shù)，那么兩個(gè)隱藏神經(jīng)元的輸出為：26整個(gè)網(wǎng)絡(luò)的輸出為：整個(gè)網(wǎng)絡(luò)的輸出為：神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)很明顯，我們只能估計(jì)很明顯，我們只能估計(jì)11(或或22)而根本無法單獨(dú)估計(jì)而根本無法單獨(dú)估計(jì)1和和1(或或2和和2)，于是它們形成冗余。，于是它們形成冗余。27隱藏層使用隱藏層使用Softmax函數(shù)的徑向基函數(shù)網(wǎng)絡(luò)稱為正則化徑向函數(shù)的徑

14、向基函數(shù)網(wǎng)絡(luò)稱為正則化徑向基函數(shù)網(wǎng)絡(luò)基函數(shù)網(wǎng)絡(luò)(Normalized RBNF，簡稱，簡稱NRBNF)，這時(shí)可使用高，這時(shí)可使用高度參數(shù)度參數(shù)j。神經(jīng)網(wǎng)絡(luò)模型（二）神經(jīng)網(wǎng)絡(luò)模型（二）徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)28神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)優(yōu)點(diǎn)優(yōu)點(diǎn)1:神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)具有很大的靈活性。神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)具有很大的靈活性。每一層的各個(gè)神經(jīng)單元并非一定要全部連接到下一層的各每一層的各個(gè)神經(jīng)單元并非一定要全部連接到下一層的各個(gè)神經(jīng)單元，可以去掉一些連接個(gè)神經(jīng)單元，可以去掉一些連接;輸入神經(jīng)元也并非一定要連接到隱藏神經(jīng)元再連接到輸出輸入神經(jīng)元也并非一定要連接到隱藏神經(jīng)元再連接到輸出神經(jīng)元，

15、而可以跳過隱藏層直接連接到輸出神經(jīng)元。神經(jīng)元，而可以跳過隱藏層直接連接到輸出神經(jīng)元。優(yōu)點(diǎn)優(yōu)點(diǎn)2:神經(jīng)網(wǎng)絡(luò)模型能夠很好地近似自變量與因變量之間神經(jīng)網(wǎng)絡(luò)模型能夠很好地近似自變量與因變量之間的任意函數(shù)關(guān)系。的任意函數(shù)關(guān)系。29神經(jīng)網(wǎng)絡(luò)模型的缺點(diǎn)神經(jīng)網(wǎng)絡(luò)模型的缺點(diǎn)因?yàn)樽宰兞颗c因變量之間的關(guān)系是復(fù)雜而非線性的，神經(jīng)因?yàn)樽宰兞颗c因變量之間的關(guān)系是復(fù)雜而非線性的，神經(jīng)網(wǎng)絡(luò)模型的一大缺點(diǎn)是很難進(jìn)行解釋。網(wǎng)絡(luò)模型的一大缺點(diǎn)是很難進(jìn)行解釋。30神經(jīng)網(wǎng)絡(luò)模型與廣義線性模型神經(jīng)網(wǎng)絡(luò)模型與廣義線性模型一些典型的神經(jīng)網(wǎng)絡(luò)模型可以看作是廣義線性模型的推廣。一些典型的神經(jīng)網(wǎng)絡(luò)模型可以看作是廣義線性模型的推廣。令令表示因變量表

16、示因變量Y分布的位置參數(shù)。分布的位置參數(shù)。廣義線性模型：系統(tǒng)成分使用連接函數(shù)廣義線性模型：系統(tǒng)成分使用連接函數(shù)=g()。再令。再令=+xT。神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型:如果在輸出層使用線性組合函數(shù)，可令如果在輸出層使用線性組合函數(shù)，可令為組合之后的值為組合之后的值:其中其中h為隱藏層各神經(jīng)元的輸出值組成的向量。為隱藏層各神經(jīng)元的輸出值組成的向量。31神經(jīng)網(wǎng)絡(luò)模型與廣義線性模型神經(jīng)網(wǎng)絡(luò)模型與廣義線性模型神經(jīng)網(wǎng)絡(luò)模型相當(dāng)于與廣義線性模型使用了同樣的連接函神經(jīng)網(wǎng)絡(luò)模型相當(dāng)于與廣義線性模型使用了同樣的連接函數(shù)，但卻用數(shù)，但卻用x的函數(shù)的線性組合替代了廣義線性模型中的函數(shù)的線性組合替代了廣義線性模型中x的

17、線性的線性組合組合(注意到向量注意到向量h所含的每一個(gè)隱藏神經(jīng)元的輸出值都是輸入所含的每一個(gè)隱藏神經(jīng)元的輸出值都是輸入x的函數(shù)的函數(shù))。設(shè)輸出層的激活函數(shù)為設(shè)輸出層的激活函數(shù)為A，并令神經(jīng)網(wǎng)絡(luò)的輸出值為，并令神經(jīng)網(wǎng)絡(luò)的輸出值為=A()。如果讓。如果讓A等于等于g的逆函數(shù)，那么：的逆函數(shù)，那么：=A-1()=g()=。3232誤差函數(shù)誤差函數(shù)設(shè)數(shù)據(jù)集為設(shè)數(shù)據(jù)集為(xi, yi), i=1, ,N，i為與觀測為與觀測i對應(yīng)的對應(yīng)的值。值。根據(jù)根據(jù)i與與yi的差異可定義誤差函數(shù)，誤差函數(shù)越小，模型擬的差異可定義誤差函數(shù)，誤差函數(shù)越小，模型擬合效果越好。合效果越好。一種常用的誤差函數(shù)是對數(shù)似然函數(shù)的負(fù)

18、值一種常用的誤差函數(shù)是對數(shù)似然函數(shù)的負(fù)值;當(dāng)當(dāng)Y的分布屬的分布屬于指數(shù)族分布時(shí)，還可使用偏差來定義誤差函數(shù)。于指數(shù)族分布時(shí)，還可使用偏差來定義誤差函數(shù)。下面根據(jù)因變量的不同取值類型討論神經(jīng)網(wǎng)絡(luò)模型輸出層下面根據(jù)因變量的不同取值類型討論神經(jīng)網(wǎng)絡(luò)模型輸出層的誤差函數(shù)，具體可參照廣義線性模型一節(jié)內(nèi)容。的誤差函數(shù)，具體可參照廣義線性模型一節(jié)內(nèi)容。3333情形一情形一:因變量為二值變量因變量為二值變量與邏輯回歸相對應(yīng)與邏輯回歸相對應(yīng):不失一般性，設(shè)因變量不失一般性，設(shè)因變量Y的取值為的取值為0或或1。神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)網(wǎng)絡(luò)的輸出代表代表Y取值為取值為1的概率。的概率。Y滿足參數(shù)為滿足參數(shù)為的的伯努力分布

19、，沒有刻度參數(shù)。伯努力分布，沒有刻度參數(shù)。輸出層的激活函數(shù)采用輸出層的激活函數(shù)采用Logistic函數(shù)，也就是邏輯連接函數(shù)函數(shù)，也就是邏輯連接函數(shù)逆函數(shù)逆函數(shù):343434情形二情形二:因變量為名義變量因變量為名義變量與多項(xiàng)邏輯回歸相對應(yīng)與多項(xiàng)邏輯回歸相對應(yīng): 令令(l)表示表示Y取值為取值為l的概率的概率l=(1, ,K)，它們滿足，它們滿足(l) + (K) =1。對。對l=1, ,K ，令：，令： 因變量因變量Y的取值為的取值為1, ,K，各取值之間是無序的。，各取值之間是無序的。那么那么(Y(l) , ,Y(K)滿足參數(shù)為滿足參數(shù)為(1, (l), ,(K)的多項(xiàng)分布，的多項(xiàng)分布，沒有

20、刻度參數(shù)。沒有刻度參數(shù)。神經(jīng)網(wǎng)絡(luò)的輸出層含神經(jīng)網(wǎng)絡(luò)的輸出層含K-1個(gè)輸出單元，激活函數(shù)采用恒等個(gè)輸出單元，激活函數(shù)采用恒等函數(shù)。網(wǎng)絡(luò)輸出值函數(shù)。網(wǎng)絡(luò)輸出值l (l=1, ,K-1)表示：表示：35353535情形三情形三:因變量為定序變量因變量為定序變量與定序邏輯回歸相對應(yīng)與定序邏輯回歸相對應(yīng):因變量因變量Y的取值為的取值為1, ,K，但各取值之間是有序的。，但各取值之間是有序的。神經(jīng)網(wǎng)絡(luò)的輸出層含神經(jīng)網(wǎng)絡(luò)的輸出層含K-1個(gè)輸出單元，輸出值個(gè)輸出單元，輸出值(l)表示表示Y取值取值小于或等于小于或等于l的概率的概率(l=1, ,K-1)，它們滿足，它們滿足0(1)(2) (K-1)(K)=1。

21、對。對l=1, ,K，令：，令：那么那么(Y(1) , ,Y(K)滿足參數(shù)為滿足參數(shù)為 (1, (1),(2)-(1), , 1-(K-1)的的多項(xiàng)分布，沒有刻度參數(shù)。多項(xiàng)分布，沒有刻度參數(shù)。36情形三情形三:因變量為定序變量因變量為定序變量輸出層的組合函數(shù)為斜率相等的線性組合函數(shù)輸出層的組合函數(shù)為斜率相等的線性組合函數(shù):輸出層的激活函數(shù)采用輸出層的激活函數(shù)采用Logistic函數(shù)，也就是邏輯連接函數(shù)函數(shù)，也就是邏輯連接函數(shù)的逆函數(shù)的逆函數(shù):37情形四情形四:因變量為計(jì)數(shù)變量因變量為計(jì)數(shù)變量與泊松回歸相對應(yīng)與泊松回歸相對應(yīng):因變量因變量Y的取值為的取值為1,2, ,代表某事件發(fā)生的次數(shù)。代表某

22、事件發(fā)生的次數(shù)。神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)網(wǎng)絡(luò)的輸出代表代表Y的均值。設(shè)的均值。設(shè)Y滿足泊松分布，沒有滿足泊松分布，沒有刻度參數(shù)?？潭葏?shù)。輸出層的激活函數(shù)采用指數(shù)函數(shù)，也就是對數(shù)連接函數(shù)的輸出層的激活函數(shù)采用指數(shù)函數(shù)，也就是對數(shù)連接函數(shù)的逆函數(shù)逆函數(shù):38情形五情形五:因變量為非負(fù)連續(xù)變量因變量為非負(fù)連續(xù)變量因變量因變量Y的取值連續(xù)非負(fù)的取值連續(xù)非負(fù)(例如，收入、銷售額例如，收入、銷售額)。類似于廣。類似于廣義線性模型的各種情況，義線性模型的各種情況，Y的分布可能是泊松、伽馬或正態(tài)分布。的分布可能是泊松、伽馬或正態(tài)分布。神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)網(wǎng)絡(luò)的輸出代表代表Y的均值。的均值。輸出層的激活函數(shù)采用指數(shù)函數(shù)，也就是對數(shù)連接函數(shù)的輸出層的激活函數(shù)采用指數(shù)函數(shù)，也就是對數(shù)連接函數(shù)的逆函數(shù)逆函數(shù):39情