人工智能的數(shù)學(xué)基礎(chǔ)

人工智能數(shù)學(xué)基礎(chǔ)

主講教師：課時安排與考核方式★課程類別

專業(yè)支撐課程★課時安排

54學(xué)時★考核方式平時成績（60%）+考試成績（40%）課程目錄第一部分：微積分基礎(chǔ)

一、函數(shù)與極限1.1函數(shù)1.2函數(shù)的極限二、導(dǎo)數(shù)2.1導(dǎo)數(shù)定義2.2常用求導(dǎo)法則2.3復(fù)合函數(shù)求導(dǎo)2.4高階導(dǎo)數(shù)課程目錄第一部分：微積分基礎(chǔ)

三、多元函數(shù)求導(dǎo)3.1多元函數(shù)概念3.2偏導(dǎo)數(shù)3.3方向?qū)?shù)3.4梯度四、梯度下降4.1泰勒展開4.2梯度下降4.3隨機(jī)梯度下降課程目錄第二部分：概率論與數(shù)理統(tǒng)計(jì)

五、隨機(jī)事件與概率5.1隨機(jī)事件及其運(yùn)算5.2概率定義與條件概率5.3全概率公式與貝葉斯公式六、隨機(jī)變量及其分布6.1隨機(jī)變量定義及分布函數(shù)6.2常用離散型隨機(jī)變量6.3常用連續(xù)型隨機(jī)變量6.4隨機(jī)變量函數(shù)的分布課程目錄第二部分：概率論與數(shù)理統(tǒng)計(jì)

七、隨機(jī)變量數(shù)字特征7.1期望和方差7.2協(xié)方差7.3相關(guān)系數(shù)八、數(shù)理統(tǒng)計(jì)與參數(shù)估計(jì)8.1總體和樣本8.2均值、中位數(shù)、眾數(shù)8.3極大似然估計(jì)課程目錄第三部分：線性代數(shù)基礎(chǔ)知識

九、標(biāo)量、向量、矩陣、張量9.1基本概念9.2向量9.3矩陣十、向量空間10.1向量空間與子空間10.2線性相關(guān)與線性無關(guān)10.3向量與向量組的線性表示10.4矩陣的秩課程目錄第三部分：線性代數(shù)基礎(chǔ)知識

十一、特征分解與奇異值分解11.1特征值與特征向量11.2行列式11.3特征分解11.4奇異值分解十二、兩個簡單的機(jī)器學(xué)習(xí)算法12.1最小二乘法12.2主成分分析法一、函數(shù)與極限一、函數(shù)與極限1.1函數(shù)1.2函數(shù)的極限1.1函數(shù)定義：如果當(dāng)變量x在其變化范圍內(nèi)任意取定一個數(shù)值時，變量y按照一定的法則f總有確定的數(shù)值與它對應(yīng)，則稱y是x的函數(shù)。變量x的變化范圍叫做這個函數(shù)的定義域。通常x叫做自變量，y叫做函數(shù)值（或因變量），變量y的變化范圍叫做這個函數(shù)的值域。為了表明y是x的函數(shù)，我們用記號y=f(x)來表示1.1函數(shù)例子：y=x2，也可以寫為f(x)=x2，其定義域?yàn)?-∞,+∞)，值域?yàn)閇0,+∞)1.1函數(shù)復(fù)合函數(shù)定義：若y是u的函數(shù)：，而u又是x的函數(shù)：，且的函數(shù)值的全部或部分在的定義域內(nèi)，那末，y通過u的聯(lián)系也是x的函數(shù)，我們稱后一個函數(shù)是由函數(shù)及復(fù)合而成的函數(shù)，簡稱復(fù)合函數(shù)，記作，其中u叫做中間變量。1.1函數(shù)并不是任意兩個函數(shù)就能復(fù)合；復(fù)合函數(shù)還可以由更多函數(shù)構(gòu)成。例題：函數(shù)與函數(shù)是不能復(fù)合成一個函數(shù)的。因?yàn)閷τ诘亩x域(-∞,+∞)中的任何x值所對應(yīng)的u值（都大于或等于2），使都沒有定義。1.2函數(shù)的極限設(shè)函數(shù)在點(diǎn)x0的某領(lǐng)域內(nèi)有定義(點(diǎn)x0可除外)，對任意給定的正數(shù)?，總存在一個正數(shù)δ，使當(dāng)0<|x?x0|<δ時，不等式|f(x)?A|<?恒成立，稱A為函數(shù)y=f(x)當(dāng)x→x0時的極限，記作1.2函數(shù)的極限運(yùn)算法則：若已知x→x0(或x→∞)時1.2函數(shù)的極限例題：求：1.2函數(shù)的極限例題：求：1.2函數(shù)的極限兩個重要極限1.2函數(shù)的極限二、導(dǎo)數(shù)二、導(dǎo)數(shù)2.1導(dǎo)數(shù)定義2.2常用求導(dǎo)法則2.3復(fù)合函數(shù)求導(dǎo)2.4高階導(dǎo)數(shù)2.1導(dǎo)數(shù)定義2.2常用求導(dǎo)法則

2.2常用求導(dǎo)法則

兩個可導(dǎo)函數(shù)的和(差)的導(dǎo)數(shù)等于這兩個函數(shù)的導(dǎo)數(shù)的和(差).用公式可寫為：。其中u、v為可導(dǎo)函數(shù)。已知，求2.2常用求導(dǎo)法則

在求一個常數(shù)與一個可導(dǎo)函數(shù)的乘積的導(dǎo)數(shù)時，常數(shù)因子可以提到求導(dǎo)記號外面去。用公式可寫成：兩個可導(dǎo)函數(shù)乘積的導(dǎo)數(shù)等于第一個因子的導(dǎo)數(shù)乘第二個因子，加上第一個因子乘第二個因子的導(dǎo)數(shù)。用公式可寫成：兩個可導(dǎo)函數(shù)之商的導(dǎo)數(shù)等于分子的導(dǎo)數(shù)與分母導(dǎo)數(shù)乘積減去分母導(dǎo)數(shù)與分子導(dǎo)數(shù)的乘積，在除以分母導(dǎo)數(shù)的平方。用公式可寫成：2.3復(fù)合函數(shù)求導(dǎo)

規(guī)則：兩個可導(dǎo)函數(shù)復(fù)合而成的復(fù)合函數(shù)的導(dǎo)數(shù)等于函數(shù)對中間變量的導(dǎo)數(shù)乘上中間變量對自變量的導(dǎo)數(shù)。用公式表示為：其中u為中間變量2.3復(fù)合函數(shù)求導(dǎo)

求的導(dǎo)數(shù)2.3復(fù)合函數(shù)求導(dǎo)Sigmod函數(shù)導(dǎo)數(shù)2.4高階導(dǎo)數(shù)2.4高階導(dǎo)數(shù)2.4高階導(dǎo)數(shù)三、多元函數(shù)求導(dǎo)三、多元函數(shù)求導(dǎo)3.1多元函數(shù)概念3.2偏導(dǎo)數(shù)3.3方向?qū)?shù)3.4梯度3.1多元函數(shù)概念3.2偏導(dǎo)數(shù)定義3.2偏導(dǎo)數(shù)3.2偏導(dǎo)數(shù)所以3.3方向?qū)?shù)3.3方向?qū)?shù)當(dāng)沿著趨于時，是否存在？3.3方向?qū)?shù)記為3.3方向?qū)?shù)3.3方向?qū)?shù)解3.3方向?qū)?shù)解由方向?qū)?shù)的計(jì)算公式知3.3方向?qū)?shù)故3.3方向?qū)?shù)三元函數(shù)的方向?qū)?shù)：3.3方向?qū)?shù)同理：當(dāng)函數(shù)在此點(diǎn)可微時，函數(shù)在該點(diǎn)沿任意方向l的方向?qū)?shù)都存在，且有

3.3方向?qū)?shù)

3.4梯度結(jié)論：沿梯度方向函數(shù)f(x,y)增加最快，沿梯度相反方向（負(fù)梯度方向）減小最快課堂練習(xí)題課堂練習(xí)題答案四、梯度下降4.1泰勒展開4.2梯度下降4.3隨機(jī)梯度下降四、梯度下降大多數(shù)機(jī)器學(xué)習(xí)算法是先建立模型，然后通過優(yōu)化算法對損失函數(shù)進(jìn)行優(yōu)化，一個模型只有損失函數(shù)收斂到了一定的值，才有可能會有好的結(jié)果，降低損失方式的工作就是優(yōu)化方法需要做的事。一些常用的優(yōu)化方法：梯度下降法家族、牛頓法、擬牛頓法、共軛梯度法、Momentum、NesterovMomentum、Adagrad、RMSprop、Adam等4.1泰勒展開泰勒公式是將一個在x=x0處具有n階導(dǎo)數(shù)的函數(shù)f(x)利用關(guān)于(x-x0)的n次多項(xiàng)式來逼近函數(shù)的方法。若函數(shù)f(x)在包含x0的某個閉區(qū)間[a,b]上具有n階導(dǎo)數(shù)，且在開區(qū)間(a,b)上具有(n+1)階導(dǎo)數(shù)，則對閉區(qū)間[a,b]上任意一點(diǎn)x，成立下式：f(n)(x)表示f(x)的n階導(dǎo)數(shù)，等號后的多項(xiàng)式稱為函數(shù)f(x)在x0處的泰勒展開式，剩余的Rn(x)是泰勒公式的余項(xiàng)，是(x-x0)n的高階無窮小。4.1泰勒展開4.2梯度下降例子其中x1和x2為機(jī)器學(xué)習(xí)中樣本參數(shù)4.2梯度下降4.2梯度下降4.3隨機(jī)梯度下降梯度下降缺陷：當(dāng)樣本量比較大時，梯度下降算法計(jì)算量會比較大。隨機(jī)梯度下降：每次隨機(jī)使用一組樣本進(jìn)行計(jì)算，這樣雖然會揍很多彎路，但整體會趨向于最優(yōu)，這樣可以節(jié)省很多時間。五、隨機(jī)事件與概率

五、隨機(jī)事件與概率5.1隨機(jī)事件及其運(yùn)算5.2概率定義與條件概率5.3全概率公式與貝葉斯公式5.1隨機(jī)事件及其運(yùn)算概率論是一門研究隨機(jī)現(xiàn)象及其統(tǒng)計(jì)規(guī)律性的學(xué)科。所謂隨機(jī)現(xiàn)象是指在個別試驗(yàn)中呈現(xiàn)不確定的結(jié)果，而在大量重復(fù)試驗(yàn)中結(jié)果具有某種規(guī)律性的現(xiàn)象。這種規(guī)律性稱為統(tǒng)計(jì)規(guī)律性.以下現(xiàn)象就是隨機(jī)現(xiàn)象:拋一枚均勻硬幣100次,出現(xiàn)正面向上的次數(shù)恰為55次.5.1隨機(jī)事件及其運(yùn)算為了研究隨機(jī)現(xiàn)象的統(tǒng)計(jì)規(guī)律性，就要對客觀事物進(jìn)行觀察，觀察的過程叫做試驗(yàn)。概率論中具有下述三個特點(diǎn)的試驗(yàn)稱為隨機(jī)試驗(yàn)。（1）試驗(yàn)可以在相同條件下重復(fù)地進(jìn)行；（2）試驗(yàn)的所有可能結(jié)果在試驗(yàn)前已經(jīng)明確,并且不止一個；（3）試驗(yàn)前不能確定試驗(yàn)后會出現(xiàn)哪一個結(jié)果。一個隨機(jī)試驗(yàn)的每一個可能出現(xiàn)的結(jié)果稱為一個樣本點(diǎn),記為ω，全體樣本點(diǎn)組成的集合稱為樣本空間，記為Ω

5.1隨機(jī)事件及其運(yùn)算在隨機(jī)試驗(yàn)中，對于一次試驗(yàn)可能發(fā)生也可能不發(fā)生，而在大量重復(fù)試驗(yàn)中具有某種規(guī)律性的事情稱為隨機(jī)事件，簡稱事件。用大寫字母A、B、C等來表示隨機(jī)事件。隨機(jī)事件實(shí)際上為樣本空間Ω的一個子集。每次試驗(yàn)中一定發(fā)生的事件稱為必然事件，記為；每次試驗(yàn)中一定不發(fā)生的事件稱為不可能事件，記為。5.1隨機(jī)事件及其運(yùn)算例1拋一枚均勻硬幣三次，觀察正面向上的次數(shù),則樣本空間Ω=｛正正正、正正反、正反正、正反反、反正正、反正反、反反正、反反反｝記A=｛出現(xiàn)一次正面｝=｛正反反、反正反、反反正｝5.1隨機(jī)事件及其運(yùn)算例2擲一粒骰子,觀察其出現(xiàn)的點(diǎn)數(shù),記D=｛出現(xiàn)的點(diǎn)數(shù)小于7｝E=｛出現(xiàn)的點(diǎn)數(shù)大于7｝D是必然事件E是不可能事件5.1隨機(jī)事件及其運(yùn)算隨機(jī)事件之間的關(guān)系5.1隨機(jī)事件及其運(yùn)算隨機(jī)事件之間的關(guān)系5.1隨機(jī)事件及其運(yùn)算隨機(jī)事件之間的運(yùn)算5.1隨機(jī)事件及其運(yùn)算隨機(jī)事件之間的運(yùn)算5.1隨機(jī)事件及其運(yùn)算5.2概率定義與條件概率概率定義5.2概率定義與條件概率概率性質(zhì)5.2概率定義與條件概率概率性質(zhì)5.2概率定義與條件概率5.2概率定義與條件概率5.2概率定義與條件概率條件概率5.2概率定義與條件概率條件概率5.2概率定義與條件概率5.2概率定義與條件概率5.2概率定義與條件概率獨(dú)立事件5.2概率定義與條件概率獨(dú)立事件5.3全概率公式與貝葉斯公式完備事件組5.3全概率公式與貝葉斯公式全概率公式5.3全概率公式與貝葉斯公式一個例子5.3全概率公式與貝葉斯公式貝葉斯公式5.3全概率公式與貝葉斯公式解答5.3全概率公式與貝葉斯公式例子5.3全概率公式與貝葉斯公式例子5.3全概率公式與貝葉斯公式5.3全概率公式與貝葉斯公式現(xiàn)在給我們的問題是，如果一個男的追求一個女的，男的四個特點(diǎn)分別是不帥，性格不好，身高矮，不上進(jìn)，現(xiàn)在判斷一下女生是答應(yīng)還是不答應(yīng)？這是一個典型的分類問題，轉(zhuǎn)為數(shù)學(xué)問題就是比較p(答應(yīng)|(不帥、性格不好、身高矮、不上進(jìn)))與p(不答應(yīng)|(不帥、性格不好、身高矮、不上進(jìn)))的概率，誰的概率大，我就能給出答應(yīng)或不答應(yīng)的答案！六、隨機(jī)變量及其分布六、隨機(jī)變量及其分布6.1隨機(jī)變量定義及分布函數(shù)6.2常用離散型隨機(jī)變量6.3常用連續(xù)型隨機(jī)變量6.4隨機(jī)變量函數(shù)的分布6.1隨機(jī)變量定義及分布函數(shù)通俗解釋：在隨機(jī)試驗(yàn)的樣本空間中的任一樣本點(diǎn)都有唯一實(shí)數(shù)與其對應(yīng)，這個實(shí)數(shù)就叫隨機(jī)變量，通常用大寫字母X，Y，Z表示6.1隨機(jī)變量定義及分布函數(shù)6.1隨機(jī)變量定義及分布函數(shù)6.1隨機(jī)變量定義及分布函數(shù)6.2常用離散型隨機(jī)變量伯努利分布：隨機(jī)事件的結(jié)果有兩個，例如投硬幣（正面和反面）、考試（通過和掛科）。其分布函數(shù)為（p為成功時的概率）：6.2常用離散型隨機(jī)變量二項(xiàng)分布：假設(shè)某個試驗(yàn)是伯努利試驗(yàn)，其成功概率用p表示，那么失敗的概率為q=1-p。進(jìn)行n次這樣的試驗(yàn)，成功了x次，則失敗次數(shù)為n-x，發(fā)生這種情況的概率可用下面公式來計(jì)算：6.2常用離散型隨機(jī)變量6.2常用離散型隨機(jī)變量6.2常用離散型隨機(jī)變量泊松分布：泊松分布描述的是一定時間段或空間區(qū)域或其它單位內(nèi)某個事件發(fā)生的次數(shù)。這個事件滿足兩點(diǎn)要求：①我們知道它在單位時間或單位空間內(nèi)發(fā)生的平均次數(shù)（期望值）；②事件在任何時間或空間節(jié)點(diǎn)的發(fā)生是等可能的。6.2常用離散型隨機(jī)變量6.3常用連續(xù)型隨機(jī)變量6.3常用連續(xù)型隨機(jī)變量七、隨機(jī)變量數(shù)字特征

七、隨機(jī)變量數(shù)字特征7.1期望和方差7.2協(xié)方差7.3相關(guān)系數(shù)7.1期望和方差7.1期望和方差7.1期望和方差7.1期望和方差7.1期望和方差7.1期望和方差7.2協(xié)方差前面我們介紹了隨機(jī)變量的數(shù)學(xué)期望和方差，對于二維隨機(jī)變量（X，Y），我們除了討論X與Y的數(shù)學(xué)期望和方差以外，還要討論描述X和Y之間關(guān)系的數(shù)字特征，這就是本講要討論的7.2協(xié)方差7.2協(xié)方差定義7.2協(xié)方差性質(zhì)(1)Cov(X,X)=D(X)(4)Cov(X,C)=0,C為常數(shù)；

協(xié)方差的大小在一定程度上反映了X和Y相互間的關(guān)系，但它還受X與Y本身度量單位的影響.例如：Cov(kX,kY)=k2Cov(X,Y)為了克服這一缺點(diǎn)，對協(xié)方差進(jìn)行標(biāo)準(zhǔn)化，這就引入了相關(guān)系數(shù).7.2相關(guān)系數(shù)定義性質(zhì)與意義八、數(shù)理統(tǒng)計(jì)與參數(shù)估計(jì)八、數(shù)理統(tǒng)計(jì)與參數(shù)估計(jì)8.1總體和樣本8.2均值、中位數(shù)、眾數(shù)8.3極大似然估計(jì)8.1總體和樣本數(shù)理統(tǒng)計(jì)的基本內(nèi)容：如何收集、整理所研究隨機(jī)變量的數(shù)據(jù)如何對這些數(shù)據(jù)進(jìn)行分析如何對所研究的隨機(jī)變量做出種種推斷8.1總體和樣本在數(shù)理統(tǒng)計(jì)中，我們把研究對象的全體稱為總體，組成總體的每個成員稱為個體。特指：研究對象的某項(xiàng)數(shù)量指標(biāo)的全體稱為總體，組成總體的每個成員的該項(xiàng)數(shù)量指標(biāo)稱為個體。8.1總體和樣本在數(shù)理統(tǒng)計(jì)中總體分布往往是未知的，有時雖然知道總體分布的類型，但分布中的參數(shù)卻未知。所以我們希望從客觀存在的總體中選取一些個體（即抽樣），通過對這些個體作觀察或測試來推斷關(guān)于總體分布中的某些量如總體的均值或方差等。這些抽取的個體便稱為是取自總體的一個樣本，這些個體的觀測值則稱為樣本觀測值。8.2均值、中位數(shù)、眾數(shù)機(jī)器學(xué)習(xí)算法開發(fā)人員的一組薪資數(shù)據(jù)：8K，10K，15K，20K，25K，30K，32K他們的薪資平均水平怎么樣？我可以使用均值來度量。均值：度量樣本的平均水平8.2均值、中位數(shù)、眾數(shù)機(jī)器學(xué)習(xí)算法開發(fā)人員的一組薪資數(shù)據(jù)：8K，10K，15K，20K，25K，30K，32K如果來了一個特殊的人，例如馬云，月收入10000K。這時平均值是1268K。中位數(shù)：一組數(shù)按升序排列，排序位于中間的數(shù)就叫中位數(shù)，如果中間數(shù)為偶數(shù)，則為中間倆數(shù)的平均值。8.2均值、中位數(shù)、眾數(shù)如果來了一批特殊的人，例如李彥宏、馬云、雷軍、王健林、小扎、蓋茨都來了，月收入分別是9000K、10000K、10000K、10000K、11000K、12000K、12000K。這時均值和中位數(shù)都有較大的偏差了。眾數(shù)：選擇頻次最大的（或者劃定區(qū)間選擇頻次最大的區(qū)間均值）峰值。8.3極大似然估計(jì)似然（likelihood），其實(shí)就是可能性的意思。體重為5kg的貓是橘貓的可能性是多少？在這里我們稱為體重為5kg是橘貓的似然是多少？極大似然估計(jì)是一種統(tǒng)計(jì)學(xué)的方法，我們用已知的樣本數(shù)據(jù)分布去推測具體的分布情況。8.3極大似然估計(jì)當(dāng)我們使用機(jī)器學(xué)習(xí)解決具體現(xiàn)實(shí)問題時，我們是無法確切知道具體的數(shù)據(jù)分布情況的。例如我們現(xiàn)在想知道橘貓的體重分布，顯然，我們是無法一只只去測的。這種情況在機(jī)器學(xué)習(xí)中非常普遍，那我們可不可以用部分已知數(shù)據(jù)去預(yù)測整體的分布呢？極大似然估計(jì)就是一個解決這類問題的方法。但是，這并不是絕對準(zhǔn)確的，只能說實(shí)際情況最有可能接近這種猜測的分布。8.3極大似然估計(jì)8.3極大似然估計(jì)8.3極大似然估計(jì)8.3極大似然估計(jì)8.3極大似然估計(jì)九、標(biāo)量、向量、矩陣、張量

九、標(biāo)量、向量、矩陣、張量9.1基本概念9.2向量9.3矩陣9.1基本概念標(biāo)量一個標(biāo)量就是一個單獨(dú)的數(shù)，它不同于線性代數(shù)中研究的其他大部分對象（通常是多個數(shù)的數(shù)組）。我們用斜體表示標(biāo)量。標(biāo)量通常被賦予小寫的變量名稱。當(dāng)我們介紹標(biāo)量時，會明確它們是哪種類型的數(shù)9.1基本概念向量一個向量就是一列數(shù)，這些數(shù)是有序排列的。用過次序中的索引，我們可以確定每個單獨(dú)的數(shù)。通常會賦予向量粗體的小寫名稱。當(dāng)我們需要明確表示向量中的元素時，我們會將元素排列成一個方括號包圍的縱柱：9.1基本概念矩陣矩陣是二維數(shù)組，其中的每一個元素被兩個索引而非一個所確定。我們通常會賦予矩陣粗體的大寫變量名稱，比如A。如果一個實(shí)數(shù)矩陣高度為m，寬度為n，那么我們說：9.1基本概念張量某些情況下，我們會討論坐標(biāo)超過兩維的數(shù)組。一般地，一個數(shù)組中的元素分布在若干維坐標(biāo)的規(guī)則網(wǎng)格中，我們將其稱之為張量。使用粗體A來表示張量“A”。張量A中坐標(biāo)為(i,j,k)的元素記作Ai,j,k。9.2向量向量的概念9.2向量向量的概念9.2向量向量的運(yùn)算9.2向量向量的運(yùn)算9.3矩陣由m×n個數(shù)稱為m行n列矩陣.簡稱

矩陣.通常記作A,定義也簡記為或或排成的m行n列的數(shù)表叫作矩陣A的第i行第j列元素,或簡稱為A的(i,j)元素.當(dāng)m=n時,矩陣A稱為n階方陣.只有一行的矩陣稱為行矩陣.只有一列的矩陣稱為列矩陣.