人工智能數(shù)學(xué)基礎(chǔ) 課件 第5章　最優(yōu)化理論與算法

高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：本次課特別強調(diào)基礎(chǔ)數(shù)學(xué)概念的深刻理解，以及它們的幾何意義。目標(biāo)：本次課主要介紹優(yōu)化理論及算法中常用的凸集、凸函數(shù)、凸函數(shù)的判斷等概念和方法。4提綱：

優(yōu)化問題引例凸集凸函數(shù)凸函數(shù)的判定5優(yōu)化問題引例

6優(yōu)化問題引例

7凸集---凸集的定義

8凸集---常見的幾種凸集

9凸集---常見的幾種凸集

10凸集---常見的幾種凸集

11凸集---基本性質(zhì)

12凸集---基本性質(zhì)

13凸集---基本性質(zhì)

14凸集---基本性質(zhì)

15凸集---基本性質(zhì)

16凸集---基本性質(zhì)

17凸函數(shù)：定義

18凸函數(shù)：幾何意義本質(zhì)是函數(shù)的上境圖是凸集19凸函數(shù)：Jensen不等式

注意：該結(jié)論是定義的推廣這里利用了歸納假設(shè)20凸函數(shù)：基本性質(zhì)

凸函數(shù)：基本性質(zhì)

凸函數(shù)：基本性質(zhì)

凸函數(shù)的判定除了根據(jù)凸函數(shù)的定義判定一個函數(shù)是否是凸函數(shù)以外，下面介紹幾個常見的判定一個函數(shù)是否是凸函數(shù)的方法。凸函數(shù)的判定

凸函數(shù)的判定

凸函數(shù)的判定

凸函數(shù)的判定：定理2的幾何意義該圖也表明，對于一個可微的凸函數(shù)，它圖形上面任意一點的切平面，位于它的的圖形的下方。凸函數(shù)的判定

凸函數(shù)的判定

凸函數(shù)的判定

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

34思路：本次課特別強調(diào)采用圖形化方法理解優(yōu)化算法的設(shè)計思路。目標(biāo)：本次課主要介紹優(yōu)化問題的定義、優(yōu)化算法的一般設(shè)計思路、可行方向與下降方向。35提綱：

最優(yōu)化問題及解的定義優(yōu)化算法的一般思路可行方向與下降方向36最優(yōu)化問題及解的定義

37最優(yōu)化問題及解的定義

38最優(yōu)化問題及解的定義

39最優(yōu)化問題及解的定義

40最優(yōu)化問題及解的定義

41優(yōu)化算法的一般思路

42優(yōu)化算法的一般思路：線性搜索

43優(yōu)化算法的一般思路：線性搜索

44優(yōu)化算法的一般思路：線性搜索從上面可知，該類算法包括三個基本要素，即初始點、搜索方向和迭代步長。事實上，很多優(yōu)化算法的設(shè)計以及支撐優(yōu)化算法設(shè)計的基本理論都是圍繞這三個基本要素展開的。在討論具體的算法設(shè)計和相關(guān)理論分析之前，我們通過下面一個簡單的優(yōu)化問題，以圖例的形式，對算法1及它的三個基本要素給出幾何表示，幫助理解算法的內(nèi)涵。45優(yōu)化算法的一般思路：線性搜索

46優(yōu)化算法的一般思路：線性搜索

47優(yōu)化算法的一般思路：信賴域法

48優(yōu)化算法的一般思路：信賴域法

49優(yōu)化算法的一般思路：信賴域法同樣借助于例5.2的優(yōu)化問題，對算法5.2給出幾何解釋。50優(yōu)化算法的一般思路：信賴域法

51優(yōu)化算法的一般思路：信賴域法52優(yōu)化算法的一般思路：信賴域法53優(yōu)化算法的一般思路：信賴域法

54可行方向與下降方向

55可行方向與下降方向

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

59目標(biāo)：本次課主要介紹優(yōu)化理論及算法中常用的最優(yōu)性條件、KKT條件。思路：本次課內(nèi)容是優(yōu)化理論及算法中最重要的基礎(chǔ)內(nèi)容，要從理論、算法設(shè)計思路、工程實踐對它們進行深入理解。60提綱：

最優(yōu)性條件無約束問題的最優(yōu)性條件約束問題的最優(yōu)性條件KKT條件61最優(yōu)性條件

62無約束問題的最優(yōu)性條件：

一個基礎(chǔ)性的結(jié)論63無約束問題的最優(yōu)性條件：

64無約束問題的最優(yōu)性條件：

65無約束問題的最優(yōu)性條件：

66無約束問題的最優(yōu)性條件：

67無約束問題的最優(yōu)性條件：

68無約束問題的最優(yōu)性條件：

69約束問題的最優(yōu)性條件

70約束問題的最優(yōu)性條件

71約束問題的最優(yōu)性條件

72約束問題的最優(yōu)性條件

73約束問題的最優(yōu)性條件

74約束問題的最優(yōu)性條件：幾何意義約束問題最優(yōu)性條件的幾何解釋75約束問題的最優(yōu)性條件：幾何意義

76約束問題的最優(yōu)性條件：幾何意義

77約束問題的最優(yōu)性條件：幾何意義

78約束問題的最優(yōu)性條件：思考題

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

82目標(biāo)：本次課主要介紹優(yōu)化理論及算法中常用的最優(yōu)性條件、KKT條件。思路：本次課內(nèi)容是優(yōu)化理論及算法中最重要的基礎(chǔ)內(nèi)容，要從理論、算法設(shè)計思路、工程實踐對它們進行深入理解。83提綱：

最優(yōu)性條件無約束問題的最優(yōu)性條件約束問題的最優(yōu)性條件KKT條件84KKT條件

85KKT條件：約束問題一般形式

86KKT條件：有效約束

87KKT條件：有效約束集的表示

88KKT條件：優(yōu)化問題的等價表示舉例

89KKT條件：優(yōu)化問題的有效約束舉例

90KKT條件：FritzJohn條件

91KKT條件：FritzJohn條件

92KKT條件：拉格朗日函數(shù)和拉格朗日乘子

93KKT條件

94KKT條件

95KKT條件

96KKT條件

謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

100目標(biāo)：本次課主要介紹梯度下降算法、隨機梯度下降算法。思路：梯度下降算法和隨機梯度下降算法是兩個最常用的優(yōu)化算法，這里更強調(diào)在機器學(xué)習(xí)框架下應(yīng)用隨機梯度下降算法。101提綱：

最速下降方向梯度下降算法隨機梯度下降算法102最速下降方向

103最速下降方向:負(fù)梯度方向

104最速下降方向:負(fù)梯度方向

105梯度下降算法：算法

梯度下降法：機器學(xué)習(xí)線性模型版本初始化每個Δ??_??為0對于訓(xùn)練樣例training_examples中的每個<x,t>，做：

遇到終止條件之前，做以下操作：其中，D是訓(xùn)練樣例集合107梯度下降算法：缺點

108梯度下降算法：終止條件

109隨機梯度下降算法：算法思路在深度學(xué)習(xí)算法中，廣泛使用的是隨機梯度算法。一般需要根據(jù)原始模型的輸出與期望的輸出構(gòu)建損失函數(shù)，然后通過優(yōu)化算法對損失函數(shù)進行優(yōu)化，使得模型在訓(xùn)練樣本集上損失函數(shù)的值最小，以便尋找到模型最優(yōu)的參數(shù)。在求解深度網(wǎng)絡(luò)模型參數(shù)中，使用最多的是梯度下降算法的一種變種，稱為隨機梯度下降算法（SGD）。由于深度學(xué)習(xí)中，訓(xùn)練樣本數(shù)量可能比較大，我們可能要對訓(xùn)練樣本進行隨機采樣和分塊，每次只是隨機地抽取一個樣本或一批樣本（一個Batch），根據(jù)該樣本或該批樣本得到的損失誤差值來更新模型參數(shù)，這就是隨機梯度下降算法的基本思路。110隨機梯度下降算法：算法思路

111隨機梯度下降算法：問題問題：這樣計算的梯度不是真正的最速下降方向，而是對最速下降方向的近似。正是由于隨機梯度下降算法每次計算的梯度有一定的偏差，隨機梯度下降算法中每次的搜索方向不一定是下降方向，這樣會導(dǎo)致迭代過程中損失函數(shù)下降曲線會出現(xiàn)一些波動，有時甚至?xí)霈F(xiàn)不收斂的可能性，但是在實際使用中效果比較好。112隨機梯度下降算法：算法

隨機梯度下降法：機器學(xué)習(xí)線性模型版本

對于訓(xùn)練樣例training_examples中的樣本，每次取一個<x,t>，做把實例x輸入到此單元，計算輸出o

隨機梯度下降法：文獻閱讀SebastianRuder.Anoverviewofgradientdescentoptimizationalgorithms大家主要閱讀1、2、3和4.1、4.2、4.3和4.6，并實現(xiàn)2中的代碼。論文已經(jīng)發(fā)到課程群里面了謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

118目標(biāo)：本次課主要介紹牛頓法、擬牛頓法。思路：牛頓法和擬牛頓法也是兩個最常用的優(yōu)化算法，理解它們的設(shè)計思路，比較它們與梯度下降的復(fù)雜度。119提綱：

牛頓法擬牛頓法120牛頓法

121

牛頓法122

牛頓法123

牛頓法牛頓法

牛頓法上面說明了牛頓法在收斂性上具有較好的性質(zhì)。但是，當(dāng)初始點遠(yuǎn)離局部最優(yōu)點時，牛頓法也有可能不收斂，主要是牛頓方向不一定是下降方向。牛頓法也存在計算量比較大的缺陷，因為牛頓法需要計算當(dāng)前點的梯度、黑塞矩陣和黑塞矩陣的逆矩陣。牛頓法也可能面臨黑塞矩陣不可逆或近似不可逆的情況。針對牛頓法的缺陷和可能存在的問題，存在許多改進的牛頓法，最經(jīng)典的就是下面的擬牛頓法。思考：為什么牛頓方向不一定是下降方向？擬牛頓法

擬牛頓法

擬牛頓法：DFP算法

擬牛頓法：DFP算法

擬牛頓法：BFGS算法

擬牛頓法：BFGS算法

論文閱讀與代碼實現(xiàn)

1論文閱讀：DaiYH.AperfectexamplefortheBFGSmethod.Mathematicalprogramming,2013,138(1-2):501-5302代碼實現(xiàn)參考：https:///blog/2790196/謝謝！交流碰撞火花Exchangeproducessparks努力向前！高等工程數(shù)學(xué)

互動啟迪智慧CommunicationenlightenswisdomAdvancedEngineeringMathematics參考教材：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

136目標(biāo)：本次課主要介紹優(yōu)化算法在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用。思路：在機器學(xué)習(xí)框架下，理解最優(yōu)化算法的工程應(yīng)用。137提綱：

人工神經(jīng)網(wǎng)絡(luò)簡介優(yōu)化算法求解機器學(xué)習(xí)問題神經(jīng)網(wǎng)絡(luò)中的反向傳播算法138人工神經(jīng)網(wǎng)絡(luò)簡介：

生物學(xué)背景：“神經(jīng)網(wǎng)絡(luò)”這個詞實際是來自于生物學(xué)，是由大量的神經(jīng)元細(xì)胞以不同方式連接構(gòu)成的一個復(fù)雜網(wǎng)絡(luò)系統(tǒng)。它具有非線性、自適應(yīng)、自學(xué)習(xí)、并行分布式處理等典型特性。人工神經(jīng)網(wǎng)絡(luò)：人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進行信息處理。它的信息處理功能是由網(wǎng)絡(luò)單元（神經(jīng)元）的輸入輸出特性（激活特性）、網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)（神經(jīng)元的連接方式）、連接權(quán)大小（突觸聯(lián)系強度）和神經(jīng)元的閾值（可視為特殊的連接權(quán)）等決定。要點：人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks——ANNs）提供了一種普遍

實用、健壯的方法，來從樣例中學(xué)習(xí)值為實數(shù)、離散或向量的函數(shù)。

139神經(jīng)網(wǎng)絡(luò)表示：人工神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元處理單元構(gòu)成，是對生物神經(jīng)系統(tǒng)的模擬。人工神經(jīng)元模型是生物神經(jīng)元的抽象和模擬，是神經(jīng)網(wǎng)絡(luò)的最基本處理單元，神經(jīng)元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。常見的處理單元包括：感知器（perceptron）、線性單元（linearunit）和sigmoid單元（sigmoidunit）。3.1處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數(shù)據(jù)；輸出單元實現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)其本質(zhì)是通過網(wǎng)絡(luò)的變換和動力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。人工神經(jīng)網(wǎng)絡(luò)簡介：1403.2ALVINN系統(tǒng)：

ALVINN系統(tǒng)是一個它是ANN學(xué)習(xí)的一個及人工神經(jīng)網(wǎng)絡(luò)簡介：30個輸出單元4個隱藏單元30X32個輸入學(xué)習(xí)到的權(quán)重學(xué)習(xí)駕駛汽車的ANN，典型實例。ANN學(xué)習(xí)就是為網(wǎng)絡(luò)中的每一條邊選取權(quán)值。優(yōu)化算法求解機器學(xué)習(xí)問題的一般模式

優(yōu)化算法求解機器學(xué)習(xí)問題的一般模式

反向傳播算法1多層網(wǎng)絡(luò)：單個感知器僅能表示線性決策面。相反，反向傳播算法所學(xué)習(xí)的多層網(wǎng)絡(luò)能夠表示種類繁多的非線性曲面。下圖描述了一個典型的多層網(wǎng)絡(luò)和它的決策曲面,它比前面的單個單元的線性決策面表征能力更強。上面的網(wǎng)絡(luò)是用來訓(xùn)練識別10種出現(xiàn)在“h_d”（例如“had”，“hid”）間的元音。它的輸入由兩個參數(shù)F1和F2組成，它們是通過對聲音的頻譜分析得到的。網(wǎng)絡(luò)的10個輸出對應(yīng)于10個可能的元音。這個網(wǎng)絡(luò)的預(yù)測是其中有最大值的輸出。右圖畫出了學(xué)到的網(wǎng)絡(luò)所代表的高度非線性決策面。圖中的點表示測試樣例，它們與用來訓(xùn)練這個網(wǎng)絡(luò)的樣例是完全不同的

反向傳播算法

反向傳播算法

反向傳播算法

算法解釋

算法權(quán)值調(diào)整的推導(dǎo)

算法權(quán)值調(diào)整的推導(dǎo)

算法補充說明

是沖量常數(shù)收斂性和局部極小值反向傳播算法實現(xiàn)了一種對可能的網(wǎng)絡(luò)權(quán)值空間的梯度下降搜索，它迭代地減