人工神經(jīng)網(wǎng)絡(luò)函數(shù)導(dǎo)數(shù)最值

人工神經(jīng)網(wǎng)絡(luò)函數(shù)導(dǎo)數(shù)最值第1頁，課件共99頁，創(chuàng)作于2023年2月2第四章

函數(shù)、導(dǎo)數(shù)、最值1.導(dǎo)數(shù)和方向?qū)?shù)

2.導(dǎo)數(shù)的幾何意義3.函數(shù)的最值4.梯度下降法第2頁，課件共99頁，創(chuàng)作于2023年2月3導(dǎo)數(shù)的概念函數(shù)f(x)在x=x0處的瞬時(shí)變化率為：我們稱它為函數(shù)f(x)在x=x0處的導(dǎo)數(shù)．記作：第3頁，課件共99頁，創(chuàng)作于2023年2月4導(dǎo)數(shù)的概念xoyx0x0+xx0+xyx<0x>0y=f(x)比如,y=f(x),如圖第4頁，課件共99頁，創(chuàng)作于2023年2月5方向?qū)?shù)的概念表示在x0處沿x

軸正方向的變化率.表示在x0處沿x

軸負(fù)方向的變化率.第5頁，課件共99頁，創(chuàng)作于2023年2月6方向?qū)?shù)的概念又比如,z=f(x,y),偏導(dǎo)數(shù)分別表示函數(shù)在點(diǎn)(x0,y0)沿x軸方向,沿y軸方向的變化率.第6頁，課件共99頁，創(chuàng)作于2023年2月7方向?qū)?shù)的概念如圖xoyzx0(x0,y0)y第7頁，課件共99頁，創(chuàng)作于2023年2月8方向?qū)?shù)的概念表示在(x0,y0)處沿y

軸正方向的變化率.表示在(x0,y0)處沿y

軸負(fù)方向的變化率.第8頁，課件共99頁，創(chuàng)作于2023年2月9方向?qū)?shù)的概念yxzoz=f(x,y)X0M0即f'x

(x0,y0)表示y=y0與z=f(x,y)的交線在M0處的切線對(duì)x的斜率.T11

:z=f(x,y0)1y0把偏導(dǎo)數(shù)概念略加推廣即可得到方向?qū)?shù)的概念.第9頁，課件共99頁，創(chuàng)作于2023年2月10方向?qū)?shù)的概念yxzoz=f(x,y)M0X022

:z=f(x0,y)即f'y

(x0,y0)表示x=x0與z=f(x,y)的交線在M0處的切線對(duì)y的斜率.x0T2第10頁，課件共99頁，創(chuàng)作于2023年2月11方向?qū)?shù)的概念如圖xoyzM0lX0=(x0,y0)X=(x0+x,

y0+y)MN第11頁，課件共99頁，創(chuàng)作于2023年2月12方向?qū)?shù)的概念若z=f(X)=f(x,y)在X0=(x0,y0)處偏導(dǎo)存在.則在X0處沿x

軸正向的方向?qū)?shù),第12頁，課件共99頁，創(chuàng)作于2023年2月13方向?qū)?shù)的概念在X0處沿x

軸負(fù)方向的方向?qū)?shù),同樣可得沿y

軸正向的方向?qū)?shù)為f'y(x0,y0),而沿y

軸負(fù)方向的方向?qū)?shù)為–f'y(x0,y0).第13頁，課件共99頁，創(chuàng)作于2023年2月14導(dǎo)數(shù)的概念設(shè)求例：解：第14頁，課件共99頁，創(chuàng)作于2023年2月導(dǎo)數(shù)的幾何意義βy=f(x)PQMΔxΔyOxyβPy=f(x)QMΔxΔyOxy

如圖,曲線C是函數(shù)y=f(x)的圖象,P(x0,y0)是曲線C上的任意一點(diǎn),Q(x0+Δx,y0+Δy)為P鄰近一點(diǎn),PQ為C的割線,PM//x軸,QM//y軸,β為PQ的傾斜角.斜率!則第15頁，課件共99頁，創(chuàng)作于2023年2月導(dǎo)數(shù)的幾何意義PQoxyy=f(x)割線切線T請(qǐng)看當(dāng)點(diǎn)Q沿著曲線逐漸向點(diǎn)P接近時(shí),割線PQ繞著點(diǎn)P逐漸轉(zhuǎn)動(dòng)的情況.第16頁，課件共99頁，創(chuàng)作于2023年2月導(dǎo)數(shù)的幾何意義

設(shè)切線的傾斜角為α,那么當(dāng)Δx→0時(shí),割線PQ的斜率,稱為曲線在點(diǎn)P處的切線的斜率.①提供了求曲線上某點(diǎn)切線的斜率的一種方法;

②切線斜率的本質(zhì)——函數(shù)在x=x0處的導(dǎo)數(shù).第17頁，課件共99頁，創(chuàng)作于2023年2月(3)當(dāng)t=t2

時(shí),曲線h(t)

在t2處的切線l2的斜率h’(t2)<0.故在t=t2

附近曲線下降,即函數(shù)h(t)

在t=t2

附近也單調(diào)遞減.導(dǎo)數(shù)的幾何意義例曲線h(t)在t0,t1,t2附近的變化情況.解:可用曲線h(t)

在

t0,t1,t2

處的切線刻畫曲線h(t)

在上述三個(gè)時(shí)刻附近的變化情況.(1)當(dāng)t=t0

時(shí),曲線h(t)

在t0

處的切線l0

平行于x軸.故在t=t0

附近曲線比較平坦,幾乎沒有升降.(2)當(dāng)t=t1

時(shí),曲線h(t)

在t1

處的切線l1的斜率h’(t1)<0.故在t=t1

附近曲線下降,即函數(shù)h(t)

在t=t1

附近單調(diào)遞減.tohl0t0t1l1t2l2t4t3

從圖可以看出，直線

l1

的傾斜程度小于直線l2

的傾斜程度，這說明h(t)曲線在l1

附近比在l2

附近下降得緩慢第18頁，課件共99頁，創(chuàng)作于2023年2月aby=f(x)xoyy=f(x)xoyabf'(x)>0f'(x)<0設(shè)函數(shù)y=f(x)在某個(gè)區(qū)間內(nèi)可導(dǎo)，函數(shù)單調(diào)性與導(dǎo)數(shù)關(guān)系為增函數(shù)為減函數(shù)為常數(shù)第19頁，課件共99頁，創(chuàng)作于2023年2月凹凸曲線的凹凸性第20頁，課件共99頁，創(chuàng)作于2023年2月定理:設(shè)f(x)在[a,b]上連續(xù)，在(a,b)內(nèi)具有一階和二階導(dǎo)數(shù)，那么例1解所以曲線是凸的。曲線的凹凸性第21頁，課件共99頁，創(chuàng)作于2023年2月例2解曲線的凹凸性第22頁，課件共99頁，創(chuàng)作于2023年2月拐點(diǎn)定義：曲線的凹凸性一般地，設(shè)y=f(x)在I上連續(xù)，x0是I的內(nèi)點(diǎn)，如果曲線y=f(x)在經(jīng)過點(diǎn)(x0，f(x0))時(shí)，曲線的凹凸性改變了，那么稱點(diǎn)(x0，f(x0))為這曲線的拐點(diǎn)。第23頁，課件共99頁，創(chuàng)作于2023年2月解凹的凸的凹的拐點(diǎn)拐點(diǎn)曲線的凹凸性第24頁，課件共99頁，創(chuàng)作于2023年2月25

下圖是導(dǎo)函數(shù)的圖象,試找出函數(shù)的極值點(diǎn),并指出哪些是極大值點(diǎn),哪些是極小值點(diǎn).abxyx1Ox2x3x4x5x6第25頁，課件共99頁，創(chuàng)作于2023年2月函數(shù)的極值定義設(shè)函數(shù)f(x)在點(diǎn)x0附近有定義，如果對(duì)x0附近的所有點(diǎn)，都有f(x)<f(x0),則f(x0)是函數(shù)f(x)的一個(gè)極大值，記作y極大值=f(x0)；如果對(duì)x0附近的所有點(diǎn)，都有f(x)>f(x0),則f(x0)是函數(shù)f(x)的一個(gè)極小值，記作y極小值=f(x0)；函數(shù)的極大值與極小值統(tǒng)稱為極值

使函數(shù)取得極值的點(diǎn)x0稱為極值點(diǎn)第26頁，課件共99頁，創(chuàng)作于2023年2月用導(dǎo)數(shù)法求解函數(shù)極值的步驟(1)求導(dǎo)函數(shù)f'(x)；(2)求解方程f'(x)=0；(3)檢查f'(x)在方程f'(x)=0的根的左右的符號(hào),并根據(jù)符號(hào)確定極大值與極小值.口訣：左負(fù)右正為極小，左正右負(fù)為極大。第27頁，課件共99頁，創(chuàng)作于2023年2月函數(shù)極值的判定定理如果函數(shù)f(x)在x0附近有連續(xù)的二階導(dǎo)數(shù)f"(x)，f'(x0)＝0，f"(x)≠0，那么⑴若f"(x0)＜0，則函數(shù)f(x)在點(diǎn)x0處取得極大值⑵若f"(x0)＞0，則函數(shù)f(x)在點(diǎn)x0處取得極小值第28頁，課件共99頁，創(chuàng)作于2023年2月例：求下列函數(shù)的極值f(x)＝2x3－3x2解：f'(x)＝6x2－6x，f"(x)＝12x－6令6x2－6x＝0，得駐點(diǎn)為x1＝1，x2＝0∵f"(1)＝6＞0，f"(0)＝－6＜0把x1＝1，x2＝0代入原函數(shù)計(jì)算得f(1)＝－1、

f(0)＝0∴當(dāng)x＝1時(shí)，y極?。剑?，x＝0時(shí)，y極大＝0函數(shù)極值的判定第29頁，課件共99頁，創(chuàng)作于2023年2月例：求下列函數(shù)的極值f(x)＝sinx＋cosx，x∈[0,2π]解：f'(x)＝cosx－sinx，令cosx－sinx＝0，得駐點(diǎn)為x1＝，x2＝，又f"(x)＝－sinx－cosx，把x1＝，x2＝代入原函數(shù)計(jì)算得f()＝、f()＝－。所以當(dāng)x＝時(shí)，y極大＝，x＝時(shí)，y極?。剑璠注意]如果f'(x0)＝0，f"(x0)＝0或不存在，本定理無效，則需要考察點(diǎn)x0兩邊f(xié)'(x0)的符號(hào)來判定是否為函數(shù)的極值點(diǎn)。函數(shù)極值的判定第30頁，課件共99頁，創(chuàng)作于2023年2月實(shí)例問題的實(shí)質(zhì)：?jiǎn)栴}：一塊長(zhǎng)方形的金屬板，四個(gè)頂點(diǎn)的坐標(biāo)是(1,1)，(5,1)，(1,3)，(5,3)．在坐標(biāo)原點(diǎn)處有一個(gè)火焰，它使金屬板受熱．假定板上任意一點(diǎn)處的溫度與該點(diǎn)到原點(diǎn)的距離成反比．在(3,2)處有一個(gè)螞蟻，問這只螞蟻應(yīng)沿什么方向爬行才能最快到達(dá)較涼快的地點(diǎn)？應(yīng)沿由熱變冷變化最驟烈的方向（即梯度方向）爬行．第31頁，課件共99頁，創(chuàng)作于2023年2月梯度的概念第32頁，課件共99頁，創(chuàng)作于2023年2月在幾何上表示一個(gè)曲面曲面被平面所截得所得曲線在xoy面上投影如圖等高線梯度為等高線上的法向量梯度的概念第33頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第34頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第35頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第36頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第37頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第38頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第39頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第40頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第41頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第42頁，課件共99頁，創(chuàng)作于2023年2月等高線的畫法第43頁，課件共99頁，創(chuàng)作于2023年2月例如,等高線的畫法第44頁，課件共99頁，創(chuàng)作于2023年2月梯度與等高線的關(guān)系：第45頁，課件共99頁，創(chuàng)作于2023年2月類似于二元函數(shù)，此梯度也是一個(gè)向量，其方向與取得最大方向?qū)?shù)的方向一致，其模為方向?qū)?shù)的最大值.梯度的概念可以推廣到三元函數(shù)第46頁，課件共99頁，創(chuàng)作于2023年2月梯度的概念可以推廣到三元函數(shù)第47頁，課件共99頁，創(chuàng)作于2023年2月在處梯度解由梯度計(jì)算公式得故梯度的概念可以推廣到三元函數(shù)第48頁，課件共99頁，創(chuàng)作于2023年2月49梯度下降法又稱最速下降法。函數(shù)J(a)在某點(diǎn)ak的梯度是一個(gè)向量，其方向是J(a)增長(zhǎng)最快的方向。顯然，負(fù)梯度方向是J(a)減少最快的方向。在梯度下降法中，求某函數(shù)極大值時(shí)，沿著梯度方向走，可以最快達(dá)到極大點(diǎn)；反之，沿著負(fù)梯度方向走，則最快地達(dá)到極小點(diǎn)。梯度下降法第49頁，課件共99頁，創(chuàng)作于2023年2月梯度下降法第50頁，課件共99頁，創(chuàng)作于2023年2月51求函數(shù)J(a)極小值的問題，可以選擇任意初始點(diǎn)a0，從a0出發(fā)沿著負(fù)梯度方向走，可使得J(a)下降最快。s(0)：點(diǎn)a0的搜索方向。梯度下降法第51頁，課件共99頁，創(chuàng)作于2023年2月52對(duì)于任意點(diǎn)ak，可以定義ak點(diǎn)的負(fù)梯度搜索方向的單位向量為:從ak點(diǎn)出發(fā)，沿著方向走一步，步長(zhǎng)為,得到新點(diǎn)ak+1,表示為：梯度下降法第52頁，課件共99頁，創(chuàng)作于2023年2月53梯度下降法第53頁，課件共99頁，創(chuàng)作于2023年2月54因此，在新點(diǎn)ak+1，函數(shù)J(a)的函數(shù)值為：所有的ak組成一個(gè)序列，該序列由迭代算法生成

a0,a1,a2,….,ak,ak+1,...該序列在一定條件下收斂于使得J(a)最小的解a*迭代算法公式：梯度下降法第54頁，課件共99頁，創(chuàng)作于2023年2月55迭代算法公式：關(guān)鍵問題：如何設(shè)計(jì)步長(zhǎng)如果選得太小，則算法收斂慢，如果選得太大，

可能會(huì)導(dǎo)致發(fā)散。

梯度下降法第55頁，課件共99頁，創(chuàng)作于2023年2月56梯度法的迭代過程：選取初始點(diǎn)a0，給定允許誤差α>0,β>0,并令k=0。計(jì)算負(fù)梯度及其單位向量。檢查是否滿足條件，若滿足則轉(zhuǎn)8，否則繼續(xù)。計(jì)算最佳步長(zhǎng)。令：計(jì)算并檢驗(yàn)另一判據(jù)：，滿足轉(zhuǎn)8，否則繼續(xù)。令k=k+1,轉(zhuǎn)2。輸出結(jié)果，結(jié)束。梯度下降法第56頁，課件共99頁，創(chuàng)作于2023年2月57目標(biāo)函數(shù)曲面J(W)第57頁，課件共99頁，創(chuàng)作于2023年2月58目標(biāo)函數(shù)曲面J(W)--連續(xù)、可微第58頁，課件共99頁，創(chuàng)作于2023年2月59目標(biāo)函數(shù)曲面J(W)--連續(xù)、可微第59頁，課件共99頁，創(chuàng)作于2023年2月60全局極小點(diǎn)第60頁，課件共99頁，創(chuàng)作于2023年2月61局部極小點(diǎn)1第61頁，課件共99頁，創(chuàng)作于2023年2月62局部極小點(diǎn)2第62頁，課件共99頁，創(chuàng)作于2023年2月63目標(biāo)函數(shù)曲面J(W)第63頁，課件共99頁，創(chuàng)作于2023年2月64目標(biāo)函數(shù)曲面J(W)--連續(xù)第64頁，課件共99頁，創(chuàng)作于2023年2月65目標(biāo)函數(shù)曲面J(W)--連續(xù)、可微第65頁，課件共99頁，創(chuàng)作于2023年2月66初始狀態(tài)1第66頁，課件共99頁，創(chuàng)作于2023年2月67搜索尋優(yōu)－－梯度下降第67頁，課件共99頁，創(chuàng)作于2023年2月68搜索尋優(yōu)－－梯度下降第68頁，課件共99頁，創(chuàng)作于2023年2月69搜索尋優(yōu)－－梯度下降第69頁，課件共99頁，創(chuàng)作于2023年2月70搜索尋優(yōu)－－梯度下降第70頁，課件共99頁，創(chuàng)作于2023年2月71搜索尋優(yōu)－－梯度下降第71頁，課件共99頁，創(chuàng)作于2023年2月72搜索尋優(yōu)－－梯度下降第72頁，課件共99頁，創(chuàng)作于2023年2月73搜索尋優(yōu)－－梯度下降第73頁，課件共99頁，創(chuàng)作于2023年2月74搜索尋優(yōu)－－梯度下降第74頁，課件共99頁，創(chuàng)作于2023年2月75搜索尋優(yōu)－－梯度下降第75頁，課件共99頁，創(chuàng)作于2023年2月76搜索尋優(yōu)－－梯度下降第76頁，課件共99頁，創(chuàng)作于2023