深度學(xué)習(xí)應(yīng)用開(kāi)發(fā) 課件 cha4 4-認(rèn)識(shí)激活函數(shù)

目錄1激活函數(shù)的概念01任務(wù)02任務(wù)激活函數(shù)的性質(zhì)03任務(wù)激活函數(shù)的作用常用的激活函數(shù)04任務(wù)1激活函數(shù)的概念1激活函數(shù)的概念激活函數(shù)在前面也提到過(guò)，神經(jīng)網(wǎng)絡(luò)神經(jīng)元中，輸入的inputs通過(guò)加權(quán)，求和后，還被作用了一個(gè)非線性函數(shù)，這個(gè)函數(shù)就是激活函數(shù)

（ActivationFunction）。2激活函數(shù)的作用2激活函數(shù)的作用神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的主要作用是提供網(wǎng)絡(luò)的非線性建模能力，激活函數(shù)一般而言是非線性函數(shù)；假設(shè)一個(gè)示例神經(jīng)網(wǎng)絡(luò)中僅包含線性卷積和全連接運(yùn)算，那么該網(wǎng)絡(luò)僅能夠表達(dá)線性映射，即便增加網(wǎng)絡(luò)的深度也依舊還是線性映射，難以有效建模實(shí)際環(huán)境中非線性分布的數(shù)據(jù)；加入（非線性）激活函數(shù)之后，深度神經(jīng)網(wǎng)絡(luò)才具備了分層的非線性映射學(xué)習(xí)能力。3激活函數(shù)的性質(zhì)3激活函數(shù)的性質(zhì)非線性：激活函數(shù)給神經(jīng)元引入了非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以任意逼近任何非線性函數(shù)，一般激活函數(shù)是非線性函數(shù)；可微性：當(dāng)優(yōu)化方法是基于梯度的時(shí)候，這個(gè)性質(zhì)是必須，Δy=A×Δx+ο(Δx)；單調(diào)性：

當(dāng)激活函數(shù)是單調(diào)的時(shí)候，單層網(wǎng)絡(luò)能夠保證是凸函數(shù)；輸出與輸入值相差不大：

保證神經(jīng)網(wǎng)絡(luò)的高效訓(xùn)練，y≈x；輸出值的范圍：當(dāng)激活函數(shù)輸出值是有限的時(shí)候，基于梯度的優(yōu)化方法會(huì)更加穩(wěn)定。4常用的激活函數(shù)4常用的激活函數(shù)（1）SigmoidSigmoid函數(shù)也叫Logistic函數(shù)，定義為:4常用的激活函數(shù)優(yōu)點(diǎn)：能夠把??∈??的輸入“壓縮”到??∈[0,1]區(qū)間，可以通過(guò)Sigmoid函數(shù)將輸出轉(zhuǎn)譯為概率輸出；Sigmoid函數(shù)連續(xù)可導(dǎo)，相對(duì)于階躍函數(shù)，可以直接利用梯度下降算法優(yōu)化網(wǎng)絡(luò)參數(shù)，應(yīng)用的非常廣泛

不足：在輸入值較大或較小時(shí)，易出現(xiàn)梯度值接近于0的現(xiàn)象，稱為梯度彌散現(xiàn)象，網(wǎng)絡(luò)參數(shù)長(zhǎng)時(shí)間得不到更新，很難訓(xùn)練較深層次的網(wǎng)絡(luò)模型。實(shí)現(xiàn)：在TensorFlow中，可以通過(guò)tf.nn.sigmoid()實(shí)現(xiàn)Sigmoid函數(shù)4常用的激活函數(shù)（2）ReLU（RectifiedLinearUnit，修正線性單元）定義為:4常用的激活函數(shù)優(yōu)點(diǎn)：ReLU函數(shù)的設(shè)計(jì)源自神經(jīng)科學(xué)，計(jì)算十分簡(jiǎn)單，同時(shí)有著優(yōu)良的梯度特性，在大量的深度學(xué)習(xí)應(yīng)用中被驗(yàn)證非常有效，是應(yīng)用最廣泛的激活函數(shù)之一。不足：ReLU函數(shù)在x<0時(shí)梯度值恒為0，也可能會(huì)造成梯度彌散現(xiàn)象。實(shí)現(xiàn)：在TensorFlow中，可以通過(guò)tf.nn.relu實(shí)現(xiàn)ReLU函數(shù)。4常用的激活函數(shù)（3）softmax將輸出值映射到[0,1]區(qū)間，且滿足所有的輸出值之和為1的特性，適用于多分類問(wèn)題，表示每個(gè)類別的概率.定義為:優(yōu)點(diǎn)：提高了數(shù)值計(jì)算的穩(wěn)定性；不足：容易因輸入值偏大