《機器學習-Python實戰(zhàn)（微課版）》課件 第二章 機器學習數(shù)學基礎(chǔ)

第二章機器學習數(shù)學基礎(chǔ)本章主要講述機器學習中相關(guān)的數(shù)學概念、包括線性代數(shù)，多元微積分及概率統(tǒng)計等相關(guān)知識。通過本節(jié)學習可以：熟悉機器學習中數(shù)學的用法熟悉機器學習中線性代數(shù)熟悉機器學習中多元微積分熟悉機器學習中概率與統(tǒng)計相關(guān)知識點學習目標線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分在機器學習的科學研究與工程實踐中，經(jīng)常會遇到m*n線性方程組。它使用m個方程描述個n未知量之間的線性關(guān)系。這一線性方程組很容易用矩陣-向量形式簡記為：向量空間??1,??2,?,????線性相關(guān)

?至少有一個向量可以用其余向量線性表示。??1,??2,?,????線性無關(guān)，??1,??2,?,????，??線性相關(guān)

???可以由??1,??2,?,????唯一線性表示。??可以由??1,??2,?,????線性表示

???(??1,??2,?,????)=??(??1,??2,?,????,??)。向量組的線性表示設(shè)??(????×??)=??，則??的秩??(??)與??的行列向量組的線性相關(guān)性關(guān)系為：若??(????×??)=??=??，則??的行向量組線性無關(guān)。若??(????×??)=??<??，則??的行向量組線性相關(guān)。若??(????×??)=??=??，則??的列向量組線性無關(guān)。若??(????×??)=??<??，則??的列向量組線性相關(guān)。向量組的秩與矩陣的秩之間的關(guān)系若??1,??2,?,????與??1,??2,?,????是向量空間??的兩組基，則基變換公式為：其中??是可逆矩陣，稱為由基??1,??2,?,????到基??1,??2,?,????的過渡矩陣。??維向量空間的基變換公式及過渡矩陣線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分A稱為矩陣，是一個按照長方陣列排列的復數(shù)或?qū)崝?shù)集合。x跟b代表n*1向量和m*1向量。矩陣向量矩陣A可以是線性系統(tǒng)、濾波器、無線信道等的符號表示；而科學和工程中遇到的向量可分為三種：物理向量：泛指既有幅值，又有方向的物理量，如速度、加速度、位移等。幾何向量：為了將物理向量可視化，常用帶方向的(簡稱有向)線段表示，這種有向線段稱為幾何向量。代數(shù)向量：兒何向量可以用代數(shù)形式表示。向量矩陣的加法設(shè)??=(

),??=(

)是兩個??×??矩陣，則??×??矩陣??=(

)=

+

稱為矩陣??與??的和，記為??+??=??。矩陣的數(shù)乘設(shè)??=(aij)是??×??矩陣，??是一個常數(shù)，則??×??矩陣(kaij)稱為數(shù)??與矩陣??的數(shù)乘，記為k??。矩陣的乘法設(shè)??=(aij)是??×??矩陣，??=(bij)是??×??矩陣，那么??×??矩陣??=(cij)，其中cij=ai1b1j+ai2b2j

+?+ainbnj

=

稱為????的乘積，記為??=????。矩陣線性運算(????)??=??,(????)??=????????,(????)??=??????,(??±??)??=????±????

????、?????、???三者之間的關(guān)系??可逆?????=??;?|??|≠0;???(??)=??;

???可以表示為初等矩陣的乘積；

???無零特征值；

?Ax=0只有零解。有關(guān)?????的結(jié)論這里A,B均可為逆矩陣。分塊求逆公式線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分統(tǒng)計學是研究如何搜集資料、整理資料和進行量化分析、推斷的一門科學，在科學計算、工業(yè)和金融等領(lǐng)域有著重要應(yīng)用，統(tǒng)計分析是機器學習的基本方法與統(tǒng)計分析相關(guān)的基本概念有以下幾個總體：根據(jù)定目的確定的所要研究事物的全體樣本：從總體中隨機抽取的若干個體構(gòu)成的集合推斷：以樣本所包含的信息為基礎(chǔ)對總體的某些特征作出判斷、預(yù)測和估計推斷可靠性：對推斷結(jié)果從概率上的確認，作為決策的重要依據(jù)統(tǒng)計分析分為描述性統(tǒng)計和推斷性統(tǒng)計，描述性統(tǒng)計是通過對樣本進行整理、分析并就數(shù)據(jù)的分布情況獲取有意義的信息，從而得到結(jié)論。推斷統(tǒng)計又分為參數(shù)估計和假設(shè)檢驗，參數(shù)估計是對樣本整體中某個數(shù)值進行估計，如推斷總體平均數(shù)等，而假設(shè)檢驗是通過對所做的推斷驗證，從而進擇行才方案統(tǒng)計分析

統(tǒng)計基礎(chǔ)議程

統(tǒng)計基礎(chǔ)議程均值、標準差、方差、協(xié)方差均值描述的是樣本集合的平均值標準差描述是樣本集合的各個樣本點到均值的距離分布，描述的是樣本集的分散程度在機器學習中的方差就是估計值與其期望值的統(tǒng)計方差。如果進行多次重復驗證的過程，就會發(fā)現(xiàn)模型在訓練集上的表現(xiàn)并不固定，會出現(xiàn)波動，這些波動越大，它的方差就越大協(xié)方差主要用來度量兩個隨機變量關(guān)系，如果結(jié)果為正值，則說明兩者是正相關(guān)的；結(jié)果為負值，說明兩者是負相關(guān)的；如果為0，就是統(tǒng)計上的“相互獨立”統(tǒng)計基礎(chǔ)議程

統(tǒng)計基礎(chǔ)

正則化與交叉驗證L0正則化L1正則化L2正則化HoldOut檢驗簡單交叉檢驗K折交叉檢驗留一交叉檢驗統(tǒng)計基礎(chǔ)議程

常見概率分布議程參數(shù)估計是用樣本統(tǒng)計量去估計總體的參數(shù)，即根據(jù)樣本數(shù)據(jù)選擇統(tǒng)計量去推斷總體的分布或數(shù)字特征。估計參數(shù)的目的，是希望用較少的參數(shù)去描述數(shù)據(jù)的總體分布，前提是要了解樣本總體分布（如正態(tài)分布），這樣就只需要估計其中參數(shù)的值。如果無法確認總體分布，那就要采用非參數(shù)估計的方法。參數(shù)估計是統(tǒng)計推斷的種基本形式，分為點估計和區(qū)間估計兩部分。其中有多種方法，除了最基本的最小二乘法和極大似然法、貝葉斯估計、極大后驗估計，還有矩估計、一致最小方差無偏估計、最小風險估計、最小二乘法、最小風險法和極小化極大熵法等。參數(shù)估計議程

假設(shè)檢驗議程

假設(shè)檢驗議程線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分導數(shù)和微分的概念或者導數(shù)函數(shù)的可導性與連續(xù)性之間的關(guān)系：函數(shù)??(??)在x0處可微???(??)在x0處可導。若函數(shù)在點x0處可導，則??=??(??)在點x0處連續(xù)，反之則不成立。即函數(shù)連續(xù)不一定可導。??′(x0)存在???′?(x0)=??′+(x0)高等數(shù)學切線方程:法線方程：平面曲線的切線和法線設(shè)函數(shù)??=??(??)，??=??(??)在點??可導，則：??±??′=??′±??′(????)′=????′+????′??(????)=??????+??????四則運算復合函數(shù)，反函數(shù)，隱函數(shù)以及參數(shù)方程所確定的函數(shù)的微分法反函數(shù)的運算法則:設(shè)??=??(??)在點??的某鄰域內(nèi)單調(diào)連續(xù)，在點??處可導且??′(??)≠0，則其反函數(shù)在點??所對應(yīng)的??處可導，并且有復合函數(shù)的運算法則:若??=??(??)在點??可導,而??=??(??)在對應(yīng)點??(??=??(??))可導,則復合函數(shù)??=??(??(??))在點??可導,且復合函數(shù)費馬定理若函數(shù)??(??)滿足條件：函數(shù)??(??)在x0的某鄰域內(nèi)有定義，并且在此鄰域內(nèi)恒有??(??)≤??(x0)或??(??)≥??(x0),??(??)在x0處可導,則有??′(x0)=0微分中值定理設(shè)函數(shù)??(??)滿足條件：在[??,??]上連續(xù)；在(??,??)內(nèi)可導；則在(??,??)內(nèi)存在一個??，使拉格朗日中值定理設(shè)函數(shù)??(??)，??(??)滿足條件：在[??,??]上連續(xù)；在(??,??)內(nèi)可導且??′(??)，??′(??)均存在，且??′(??)≠0則在(??,??)內(nèi)存在一個??，使柯西中值定理設(shè)函數(shù)??(??)在(??,??)區(qū)間內(nèi)可導，如果對???∈(??,??)，都有??′(??)>0（或??′(??)<0），則函數(shù)??(??)在(??,??)內(nèi)是單調(diào)增加的（或單調(diào)減少）。（取極值的必要條件）設(shè)函數(shù)??(??)在??0處可導，且在??0處取極值，則??′(??0)=0。函數(shù)單調(diào)性的判斷設(shè)函數(shù)??′(x)在x0的某一鄰域內(nèi)可微，且??′(??0)=0（或??(??)在x0處連續(xù)，但??′(x0)不存在）。若當??經(jīng)過x0時，??′(??)由“+”變“-”，則??(x0)為極大值；若當??經(jīng)過x0時，??′(??)由“-”變“+”，則??(x0)為極小值；若??′(x)經(jīng)過??=??0的兩側(cè)不變號，則??(x0)不是極值。設(shè)??(??)在點x0處有??″(??)≠0，且??′(??0)=0，則當??′′(x0)<0時，??(x0)為極大值；當??′′(x0)>0時，??(x0)為極小值。注：如果??′′(x0)=0，此方法失效。極值充分條件(凹凸性的判別定理）若在I上??″(??)<0（或??″(??)>0），則??(??)在I上是凸的（或凹的）。(拐點的判別定理1)若