現(xiàn)代機(jī)器學(xué)習(xí) 課件 第2章 數(shù)學(xué)基礎(chǔ)知識

第2章數(shù)學(xué)基礎(chǔ)知識2.1矩陣論基礎(chǔ)2.2最優(yōu)化基礎(chǔ)2.3統(tǒng)計學(xué)習(xí)基礎(chǔ)本章小結(jié)

2.1矩陣論基礎(chǔ)

2.1.1矩陣代數(shù)基礎(chǔ)

矩陣就是一種矩形數(shù)表,如日常生活中的學(xué)生成績登記表、產(chǎn)品產(chǎn)量表等都可以抽象地使用矩陣的形式進(jìn)行表示。

由m×n個數(shù)構(gòu)成的m行n列的矩形數(shù)表就稱為m×n矩陣,通常采用黑斜體的大寫字母來表示,具體如下:

記作Am×n,也可記作A=(aij)m×n,矩陣中的元素aij稱為矩陣的元。為了簡化實(shí)際計算,通常定義一些具有獨(dú)特特性的矩陣。

下面介紹幾種常用的特殊矩陣:

(1)零矩陣:矩陣的元都為0的矩陣稱為零矩陣,記為O。從定義中可以看出,零矩陣沒有固定的行數(shù)與列數(shù),其內(nèi)部的每個元均為0。

(2)行(列)向量:只有一行(列)的矩陣被稱為行(列)矩陣或者行(列)向量,通常采用小寫黑體字母表示,如a,b,…。值得注意的是,在一般計算中列向量和行向量均可被使用,兩者并無明顯的差別,如

(3)n階方陣:行數(shù)與列數(shù)均為n的矩陣被稱為n階矩陣,也稱為n階方陣,如An×n。方陣的左上角到右下角的連線,形似多邊形的對角線,稱為方陣的主對角線。根據(jù)主對角線對矩陣進(jìn)行劃分,若主對角線及其以下的元全為0,則稱該矩陣為上三角形矩陣;若主對角線及其以上的元全為0,則稱該矩陣為下三角形矩陣;若主對角線以外的元全為0,則稱該矩陣為對角矩陣。

(4)單位矩陣:當(dāng)對角矩陣中主對角線上的元都為1時,稱這樣的矩陣為單位矩陣,記為E。單位矩陣對于矩陣的運(yùn)算來說有著重要的意義,任何矩陣與其相乘都等于該矩陣本身。

1.矩陣運(yùn)算

矩陣的運(yùn)算主要包括矩陣的線性運(yùn)算與矩陣的乘法。矩陣的線性運(yùn)算即矩陣的加法與數(shù)乘,矩陣的加法只能用于兩個同型矩陣相加,其結(jié)果為兩個矩陣中對應(yīng)的元相加,而矩陣的數(shù)乘是指與其相乘的數(shù)值分別與矩陣中的每個元相乘。

通常,矩陣的線性運(yùn)算均滿足以下規(guī)律:

其中,A,B,C為矩陣,k,l為常數(shù)。

矩陣的乘法指兩個矩陣相乘,假設(shè)有兩個矩陣Am×p和Bp×n,則其乘積為Cm×n=AB,矩陣Cm×n的每個元素可通過下式計算獲得:

其中,aij,bij,cij分別代表了矩陣A,B,C中第i行第j列的元。

兩個同型的矩陣還有一種特殊的乘積叫作哈達(dá)瑪積,它表示兩個相乘的矩陣中的對應(yīng)元分別相乘,記為A☉B(tài)。

2.矩陣的常用變換

矩陣的冪:對一個方陣A進(jìn)行冪的運(yùn)算是將k個方陣A連續(xù)相乘,稱為A的k次冪,記作Ak,如下所示:

矩陣的轉(zhuǎn)置:將一個矩陣A的行與同序數(shù)的列對應(yīng)的元素值進(jìn)行交換,得到的矩陣稱為A的轉(zhuǎn)置,記作AT。已知矩陣A為

矩陣的轉(zhuǎn)置滿足以下幾個運(yùn)算規(guī)律:

對于方陣A,若A的轉(zhuǎn)置等于A,即AT=A,則方陣A稱為對稱矩陣;若方陣A的轉(zhuǎn)置等于-A,即AT=-A,則方陣A稱為反對稱矩陣。若A為一個n階方陣,且存在n階方陣B,使得

其中,E表示n階單位矩陣,則稱矩陣A是可逆的,且B是A的逆矩陣。

初等行變換與初等列變換統(tǒng)稱為初等變換,且初等變換具有對稱性與傳遞性。

初等變換的三種基本操作:

(1)互換矩陣第i行(列)與第j行(列)的位置。

(2)用一個非零常數(shù)k乘以矩陣第i行(列)的每一個元。

(3)將矩陣第j行(列)所有的元的k倍分別加到第i行(列)的對應(yīng)元上。

2.1.2-矩陣方程求解

矩陣方程即未知數(shù)為矩陣的方程。最常見的矩陣方程如下:

其中,A為m×n矩陣,x是n×1的列向量,b為m×1的列向量。

式(2-8)一般表示一個線性方程組,該方程組中每一個方程都是線性的:

其中:

2.1.3矩陣分析

1.行列式

由于行列式的一般計算公式均是依據(jù)排列的相關(guān)概念定義的,因此在介紹行列式的定義之前先介紹排列的概念。排列是指將n個不同的正整數(shù)按一定的規(guī)則排成有序的一列,

從而構(gòu)成一個n元排列。在n元排列中,若有一個較大的數(shù)排在一個較小的數(shù)之前,那么這兩個數(shù)就構(gòu)成了一個逆序,排列中所包含的逆序的總個數(shù)稱為該排列的逆序數(shù),記為

其中,i1,i2,…,in表示一個排列。假設(shè)有一個n階矩陣A:

該矩陣的行列式表示為

2.矩陣的秩

矩陣的秩是矩陣的一個重要數(shù)值特征,它能夠反映矩陣特性,然而,其與行列式不同的是任意矩陣都存在秩。

已知矩陣Am×n,任意取其k行與l列(k≤m且l≤n),矩陣中位于這些行與列交叉處的元按原先的相對順序可以構(gòu)成一個新的矩陣,稱這樣的矩陣為矩陣A的k×m子矩陣。當(dāng)k=m時,此子矩陣就有了行列式,該行列式稱為矩陣A的一個k階子式。在矩陣Am×n中,如果存在一個不為0的r階子式,且其所有的r+1階子式全為0,則稱r為矩陣A的秩,記為R(A)。矩陣的秩代表著矩陣中最大的不為零的子式的階數(shù)。值得注意的是,零矩陣的秩為0,即R(O)=0。

3.特征值與特征向量

矩陣的特征值與特征向量,對于方程組的求解、微分方程的運(yùn)算、簡化高次矩陣等都有著重要的意義。

已知一個n階方陣A,如果存在數(shù)λ和n維非零列向量x,使得

則稱λ為矩陣A的特征值,非零列向量x稱為矩陣A屬于特征值λ的特征向量。

假設(shè)有m個n維向量{α1,α2,…,αm},且存在一組不全為0的數(shù){k1,k2,…,km},使得

則稱α1,α2,…,αm線性相關(guān);否則,稱α1,α2,…,αm線性無關(guān)。若一個向量β等于多個向量的線性組合α1,α2,…,αm,則稱向量β可由這些向量線性表示。根據(jù)式(2-21)可知,矩陣的特征向量是一個列向量,且該向量能夠使矩陣與其乘積和該向量線性相關(guān)。

2.2-最優(yōu)化基礎(chǔ)

2.2.1最小二乘與線性規(guī)劃線性回歸作為最常見的一種回歸,可用于預(yù)測和分類。線性回歸的主要目的是通過訓(xùn)練樣本找到一個與樣本數(shù)據(jù)最為吻合的線性函數(shù),以解決線性問題。目前,最常用的線性回歸方法是最小二乘法和梯度下降法。最小二乘法(又稱最小平方法)作為一種求解無約束最優(yōu)化問題的常用方法,通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。

最小二乘法的核心思想是通過最小化求得未知的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和,使得擬合對象最大限度逼近目標(biāo)對象。最小二乘法可用于曲線擬合,解決回歸問題,其目標(biāo)函數(shù)由若干個函數(shù)的平方和構(gòu)成。當(dāng)每個構(gòu)成函數(shù)為線性函數(shù)時,即為線性最小二乘問題;當(dāng)構(gòu)成函數(shù)含有非線性函數(shù)時,稱為非線性最小二乘問題。

最小二乘問題是回歸分析、最優(yōu)控制、參數(shù)估計等問題的基礎(chǔ),具有一系列統(tǒng)計方面的解釋。例如向量的最大似然估計和受高斯測量誤差影響的線性測量。識別一個優(yōu)化問題

是否是最小二乘問題是比較直觀的,只需要驗證目標(biāo)函數(shù)是否是一個二次函數(shù)即可。

2.2.2-凸優(yōu)化

凸優(yōu)化(又稱為凸最小化)是最優(yōu)化問題中非常重要的一個子領(lǐng)域,是指求取最小值的目標(biāo)函數(shù)為凸函數(shù)的一類優(yōu)化問題。同時滿足目標(biāo)函數(shù)為凸函數(shù),且優(yōu)化變量的可行域為

凸集的最優(yōu)化問題為凸優(yōu)化問題。

1.凸集的定義

對于N維空間中點(diǎn)的集合,如果對集合中的任意兩個點(diǎn)x和y,以及實(shí)數(shù)0≤θ≤1都有θx+(1-θ)y∈C,則該集合稱為凸集,即凸集包含兩個不同點(diǎn)之間直線上的所有點(diǎn)。圖2.1是凸集和非凸集的例子。圖2.1凸集與非凸集

2.凸函數(shù)的定義

在函數(shù)的定義域內(nèi),如果對于任意x和y,滿足條件f(θx+(1-θ)y)≤θf(x)+(1-θ)f(y),則該函數(shù)為凸函數(shù)。如圖2.2所示的一元函數(shù)就是凸函數(shù)。從幾何角度可以看到,凸函數(shù)在任何點(diǎn)的切線都位于函數(shù)的下方。圖2.2-凸函數(shù)

2.2.3非線性優(yōu)化

非線性優(yōu)化問題的研究核心是最優(yōu)解的存在及其結(jié)構(gòu)性質(zhì)、求解算法及性能分析。非線性優(yōu)化問題廣泛存在于決策、調(diào)度、系統(tǒng)運(yùn)行等各個領(lǐng)域,并且在實(shí)際工程中往往存在多解,增加了求解難度,如何精確、快速、魯棒地通過計算得到高質(zhì)量局部最優(yōu)解,甚至全局最優(yōu)解一直是各種求解算法面臨的挑戰(zhàn)。

1.非線性最小二乘法

2.一階梯度和二階梯度法

首先,我們將目標(biāo)函數(shù)在x附近進(jìn)行泰勒展開,即

其中J(x)是f(x)關(guān)于x的導(dǎo)數(shù)(雅可比矩陣),H(x)是二階導(dǎo)數(shù)(海森矩陣)。我們可以選擇保留泰勒公式的一階導(dǎo)數(shù)和二階導(dǎo)數(shù),如果保留一階導(dǎo)數(shù),則增量的解就是Δx*=-JT(x),即沿著梯度相反的方向前進(jìn),目標(biāo)函數(shù)下降得最快。

3.高斯牛頓法

4.LM算法

高斯牛頓法采用二階泰勒展開來近似,只有在展開點(diǎn)附近才會有比較好的近似效果。LM(Levenberg-Marquard)在信賴算法中給變化量Δx添加一個信賴區(qū)域來限制Δx大小,并認(rèn)為區(qū)域內(nèi)近似是有效的,否則近似不準(zhǔn)確。

2.3統(tǒng)計學(xué)習(xí)基礎(chǔ)

2.3.1條件概率條件概率是統(tǒng)計學(xué)中的一個重要概念,其意義是在某個事件A已經(jīng)發(fā)生的條件下,另一個事件B發(fā)生的概率,記為P(B|A)。定義:假設(shè)有A,B兩個事件,且P(A)>0,則

推廣該公式,設(shè)事件總數(shù)為a,事件A所包含的事件數(shù)量為b,事件同時發(fā)生所包含的事件數(shù)量為c,可得

我們一般將上述公式作為條件概率的定義,且條件概率一定滿足以下三個條件:

(1)非負(fù)性:對于任意事件,P(B|A)≥0;

(2)規(guī)范性:對于必然事件,P(B|A)=1;

(3)可列可加性:設(shè)B1,B2,…是兩兩互不相容的事件,則

2.3.2-期望與方差

數(shù)學(xué)期望,簡稱期望,也被稱為均值。

定義:設(shè)離散型隨機(jī)變量X的分布律為

數(shù)學(xué)期望有如下幾個性質(zhì):

(1)常數(shù)C的期望是C,即E(C)=C。

(2)設(shè)X是一個隨機(jī)變量,C是常數(shù),則有

(3)設(shè)X,Y是兩個隨機(jī)變量,則有

(4)設(shè)X,Y是兩個相互獨(dú)立的隨機(jī)變量,則有

接下來,我們將進(jìn)一步介紹另一個常用的數(shù)學(xué)特征——方差。方差是用來度量隨機(jī)變量X與其期望E(X)的偏離程度的一個數(shù)學(xué)特征。

定義:設(shè)X是一個隨機(jī)變量,若{E[X-E(X)]2}存在,則稱{E[X-E(X)]2-}為X的方差,記為D(X),即

從上式不難看出,如果D(X)的值比較小,則說明隨機(jī)變量X的取值與其數(shù)學(xué)期望的偏離程度不大,也就是說,X的取值集中在其數(shù)學(xué)期望E(X)周圍。相反,如果D(X)的值比較大,則說明隨機(jī)變量X的取值與其數(shù)學(xué)期望的偏離程度較大,即X的取值不集中在其數(shù)學(xué)期望E(X)周圍。

另外,為了方便計算,方差還可以按照下面的公式來進(jìn)行計算:

2.3.3最大似然估計

最大似然估計將求解似然函數(shù)取得最大值時的參數(shù)值θ作為估計量,且此處的參數(shù)θ是一個未知的確定量,而不是一個隨機(jī)量。

最大似然估計量θ可通過求解

獲得。

為了簡便地計算,也可以將似然函數(shù)定義為

因為對數(shù)函數(shù)是一個單調(diào)遞增的函數(shù),所以容易證