激勵(lì)函數(shù)和損失函數(shù)

1.1

機(jī)學(xué)習(xí)概覽歡迎進(jìn)入《數(shù)據(jù)科學(xué)與機(jī)器學(xué)習(xí)》課程學(xué)習(xí)第4單元機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)（DNN）

深度神經(jīng)網(wǎng)絡(luò)（DNN）感知器02

從生物元到人工神經(jīng)元01多層感知器與反向傳播03激活函數(shù)和損失函數(shù)05

多層神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）04梯度下降算法（SGD）06激活函數(shù)激活函數(shù)的作用如果一個(gè)神經(jīng)元的輸出通過(guò)一個(gè)非線性函數(shù)，整個(gè)神經(jīng)網(wǎng)絡(luò)模型就不再是線性的了，這個(gè)非線性函數(shù)就是激活函數(shù)。激活函數(shù)加入非線性因素，主要是解決線性模型表達(dá)能力不足的問(wèn)題。

圖1：

激活函數(shù)激活函數(shù)常用的激活函數(shù)有sigmoid、tanh、relu和softmax。舉個(gè)簡(jiǎn)單的例子，二分類問(wèn)題，如果不使用激活函數(shù)，例如使用簡(jiǎn)單的邏輯回歸，只能作簡(jiǎn)單的線性劃分（左圖）如果使用激活函數(shù)，則可以實(shí)現(xiàn)非線性劃分，如右圖所示：圖2：激活函數(shù)的作用激活函數(shù)

Sigmoid函數(shù)公式：Sigmoid函數(shù)的取值范圍在(0,1)之間，單調(diào)連續(xù)，求導(dǎo)容易，一般用于二分類神經(jīng)網(wǎng)絡(luò)的輸出層。圖3：Sigmoid函數(shù)圖形激活函數(shù)tanh函數(shù)公式：tanh函數(shù)的取值范圍在(-1,1)之間，單調(diào)連續(xù)，求導(dǎo)容易。

相比于Sigmoid函數(shù)，tanh函數(shù)的優(yōu)點(diǎn)主要有兩個(gè)：其一，收斂速度更快，如下圖所示，tanh函數(shù)線性區(qū)斜率較Sigmoid更大一些。在此區(qū)域內(nèi)訓(xùn)練速度會(huì)更快。其二，tanh函數(shù)輸出均值為零，不響應(yīng)訓(xùn)練速度。圖4：tanh函數(shù)激活函數(shù)Relu函數(shù)公式：

ReLU函數(shù)是最近幾年比較火熱的激活函數(shù)之一。相比Sigmoid和tanh函數(shù)，其主要優(yōu)點(diǎn)包括以下幾個(gè)方面：

沒(méi)有飽和區(qū)，不存在梯度消失問(wèn)題。沒(méi)有復(fù)雜的指數(shù)運(yùn)算，計(jì)算簡(jiǎn)單、效率提高。實(shí)際收斂速度較快，大約是Sigmoid/tanh的6倍。比Sigmoid更符合生物學(xué)神經(jīng)激活機(jī)制。圖5：Relu函數(shù)激活函數(shù)Relu衍生函數(shù)

除了relu本身外，TensorFlow后續(xù)又有相關(guān)ReLU衍生的激活函數(shù)，比如：ReLU6、SReLU、LeakyReLU、PReLU、RReLU、CReLU。圖6：Relu函數(shù)衍生激活函數(shù)Softmax函數(shù)公式：

Softmax函數(shù)可以把它的輸入，通常被稱為logits或者logitscores，處理成0到1之間，并且能夠把輸出歸一化到和為1。這意味著softmax函數(shù)與分類的概率分布等價(jià)。它是一個(gè)網(wǎng)絡(luò)預(yù)測(cè)多分類問(wèn)題的最佳輸出激活函數(shù)。圖7：Softmax函數(shù)實(shí)現(xiàn)多分類預(yù)測(cè)損失函數(shù)損失函數(shù)的作用損失函數(shù)就是用來(lái)表現(xiàn)預(yù)測(cè)與實(shí)際數(shù)據(jù)的差距程度，損失函數(shù)用來(lái)衡量網(wǎng)絡(luò)的準(zhǔn)確性。損失函數(shù)（lossfunction）是用來(lái)估量你模型的預(yù)測(cè)值f(x)與真實(shí)值Y的不一致程度，它是一個(gè)非負(fù)實(shí)值函數(shù),通常使用L(Y,f(x))來(lái)表示，損失函數(shù)越小，模型的魯棒性就越好。圖8：損失函數(shù)的作用損失函數(shù)常用的損失函數(shù)（1）平方損失（Squareloss）的標(biāo)準(zhǔn)形式：當(dāng)樣本個(gè)數(shù)為n時(shí)，此時(shí)的損失函數(shù)變?yōu)椋篩-f(X)表示的是殘差，整個(gè)式子表示的是殘差的平方和，而我們的目的就是最小化這個(gè)目標(biāo)函數(shù)值（注：該式子未加入正則項(xiàng)），也就是最小化殘差的平方和（residualsumofsquares，RSS）。損失函數(shù)常用的損失函數(shù)（2）均方誤差（MSE）的標(biāo)準(zhǔn)形式：均方誤差（MSE）是最常用的回歸損失函數(shù)。MSE是目標(biāo)變量和預(yù)測(cè)值之間的平方距離之和。損失函數(shù)常用的損失函數(shù)（3）交叉熵的標(biāo)準(zhǔn)形式：交叉熵是信息論中一個(gè)重要概念，主要用于度量?jī)蓚€(gè)概率分布間的差異性。在TensorFlow中常見(jiàn)的交叉熵函數(shù)，有sigmoid交叉熵函數(shù)，softmax交叉熵函數(shù)，加權(quán)sigmoid交叉熵函數(shù)。損失函數(shù)線性回歸問(wèn)題一般使用均方差作為最小損失函數(shù)。多分類問(wèn)題，如果使用s