等價核或平滑矩陣課件

面向回歸的線性模型PRML第三章面向回歸的線性模型1線性基函數(shù)模型·例子(,w)=00+mnx+2+…+tM-2=∑線性基函數(shù)模型2線性基函數(shù)模型般形式y(tǒng)(x,wU;,(x)這里(x)是基函數(shù),且經(jīng)常有x)=1如果x)=xa,則對應于最簡單的線性回歸線性基函數(shù)模型3多項式基函數(shù)·一般形式:(x)=x多項式基函數(shù)4高斯基函數(shù)一般形式Pi(a)=expF0.750.25問題:高斯核與多項式核的主要區(qū)別是什么?參數(shù)s對于模型有何影響?高斯基函數(shù)5等價核或平滑矩陣課件6等價核或平滑矩陣課件7最大似然估計和最小平方誤差取log,獲得Inp(tw,B)=>InM(nlw'po(xn),BNInb2ln(2)-BEp(w這里ED(w)=∑{n-wd(xn)2最大似然估計和最小平方誤差8最大似然估計和最小平方誤差·令梯度為0,有WwInp(t/w,B)=B2Itn-wp(xn))p(xn)=0=1解得wm=(4)亟t這里c0(x1)1(x1oM-1(x1)do(x2)φ1(x2)-1Oo(xN)I(xN)最大似然估計和最小平方誤差9最大似然估計和最小平方誤差問題:矩陣的行數(shù)、列數(shù)、行秩和列秩有何關系?·問題:φ必然可逆嗎?為什么?最大似然估計和最小平方誤差10等價核或平滑矩陣課件11等價核或平滑矩陣課件12等價核或平滑矩陣課件13等價核或平滑矩陣課件14等價核或平滑矩陣課件15等價核或平滑矩陣課件16等價核或平滑矩陣課件17等價核或平滑矩陣課件18等價核或平滑矩陣課件19等價核或平滑矩陣課件20等價核或平滑矩陣課件21等價核或平滑矩陣課件22等價核或平滑矩陣課件23等價核或平滑矩陣課件24等價核或平滑矩陣課件25等價核或平滑矩陣課件26等價核或平滑矩陣課件27等價核或平滑矩陣課件28等價核或平滑矩陣課件29等價核或平滑矩陣課件30等價核或平滑矩陣課件31等價核或平滑矩陣課件32等價核或平滑矩陣課件33等價核或平滑矩陣課件34等價核或平滑矩陣課件35等價核或平滑矩陣課件36等價核或平滑矩陣課件37等價核或平滑矩陣課件38等價核或平滑矩陣課件39等價核或平滑矩陣課件40等價核或平滑矩陣課件41等價核或平滑矩陣課件42等價核或平滑矩陣課件43等價核或平滑矩陣課件44等價核或平滑矩陣課件45等價核或平滑矩陣課件46等價核或平滑矩陣課件47等價核或平滑矩陣課件48等價核或平滑矩陣課件49等價核或平滑矩陣課件50等價核或平滑矩陣課件51等價核或平滑矩陣課件52等價核或平滑矩陣課件53等價核或平滑矩陣課件54等價核或平滑矩陣課件55等價核或平滑矩陣課件56等價核或平滑矩陣課件57等價核或平滑矩陣課件58等價核或平滑矩陣課件59等價核或平滑矩陣課件60面向回歸的線性模型PRML第三章面向回歸的線性模型61線性基函數(shù)模型·例子(,w)=00+mnx+2+…+tM-2=∑線性基函數(shù)模型62線性基函數(shù)模型般形式y(tǒng)(x,wU;,(x)這里(x)是基函數(shù),且經(jīng)常有x)=1如果x)=xa,則對應于最簡單的線性回歸線性基函數(shù)模型63多項式基函數(shù)·一般形式:(x)=x多項式基函數(shù)64高斯基函數(shù)一般形式Pi(a)=expF0.750.25問題:高斯核與多項式核的主要區(qū)別是什么?參數(shù)s對于模型有何影響?高斯基函數(shù)65等價核或平滑矩陣課件66等價核或平滑矩陣課件67最大似然估計和最小平方誤差取log,獲得Inp(tw,B)=>InM(nlw'po(xn),BNInb2ln(2)-BEp(w這里ED(w)=∑{n-wd(xn)2最大似然估計和最小平方誤差68最大似然估計和最小平方誤差·令梯度為0,有WwInp(t/w,B)=B2Itn-wp(xn))p(xn)=0=1解得wm=(4)亟t這里c0(x1)1(x1oM-1(x1)do(x2)φ1(x2)-1Oo(xN)I(xN)最大似然估計和最小平方誤差69最大似然估計和最小平方誤差問題:矩陣的行數(shù)、列數(shù)、行秩和列秩有何關系?·問題:φ必然可逆嗎?為什么?最大似然估計和最小平方誤差70等價核或平滑矩陣課件71等價核或平滑矩陣課件72等價核或平滑矩陣課件73等價核或平滑矩陣課件74等價核或平滑矩陣課件75等價核或平滑矩陣課件76等價核或平滑矩陣課件77等價核或平滑矩陣課件78等價核或平滑矩陣課件79等價核或平滑矩陣課件80等價核或平滑矩陣課件81等價核或平滑矩陣課件82等價核或平滑矩陣課件83等價核或平滑矩陣課件84等價核或平滑矩陣課件85等價核或平滑矩陣課件86等價核或平滑矩陣課件87等價核或平滑矩陣課件88等價核或平滑矩陣課件89等價核或平滑矩陣課件90等價核或平滑矩陣課件91等價核或平滑矩陣課件92等價核或平滑矩陣課件93等價核或平滑矩陣課件94等價核或平滑矩陣課件95等價核或平滑矩陣課件96等價核或平滑矩陣課件97等價核或平滑矩陣課件98等價核或平滑矩陣課件99等價核或平滑矩陣課件100等價核或平滑矩陣課件101等價核或平滑矩陣課件102等價核或平滑矩陣課件103等價核或平滑矩陣課件104等價核或平滑矩陣課件105等價核或平滑矩陣課件106等價核或平滑矩陣課件107等價核或平滑矩陣課件108等價核或平滑矩陣課件109等價核或平滑矩陣課件110等價核或平滑矩陣課件111等價核或