向量、矩陣偏導數(shù)(機器學習、深度學習基礎(chǔ))

1、dfml(x)dfm2(x)ILdxdxdfin(x)dxdf2n(x)dxadfmn(x)dx矩陣的導數(shù)運算1 .矩陣Y=F(x)對標量x求導相當于每個元素求導數(shù)dfx)dfi2(x)dxdxIdf2i(x)df22(x)dY=dxdxdx:2 .標量y對列向量x求導注意與上面不同，這次括號內(nèi)是求偏導，對mX1向量求導后還是mX1向量:xizf永2dyyuf(x)dxCfI3 .行向量yT對列向量x求導注意1xn向量對mK1向量求導后是mKn矩陣。將y的每一列對x求偏導，將各列構(gòu)成一個矩陣。(x)身2(x)可n(x)1女1次及1T用3-20)%(x)dy44=cx2cx2cx2dx：“x)%

2、(x)5n(x)I-I-&mxmxm一重要結(jié)論：:Idxd(Ax)Tt二Adx4.列向量y對行向量xT求導轉(zhuǎn)化為行向量yT對列向量x的導數(shù)，然后轉(zhuǎn)置。注意mX1向量對1Xn向量求導結(jié)果為mKn矩陣。重要結(jié)論:：x)-f2(X).廿m(x)1TdydxTdyT=I.：為淚(x)-X2淚(x)：x1一千2他).二x2-f2他).：x1fm(x)二x2fm(x)%dxdxTd(Ax)Y=A5.向量積對列向量x求導運算法則注意與標量求導有點不同。d(uTv)_d(uT)dxvudx重要結(jié)論:d(xTx)dxdxd(xTAx)d(xT)dxd(xT)x=2xdxAxd(xA)x=(AAT)xdx印lcF

3、6 .矩陣Y對列向量x求導將Y對x的每一個分量求偏導，構(gòu)成一個超向量。注意該向量的每一個元素都是一個矩陣。dYY=F(x),=dx,F心7 .標量y對矩陣X的導數(shù)類似標量y對列向量x的導數(shù)，把y對每個X的元素求偏導，不用轉(zhuǎn)置。dydX-xii-x21ff-：X|2-X22fCXinX2njf-xm2重要結(jié)論:dXd(UTXTXu)=2XudXd(Xu-v)T(Xu-v)dX=2(Xu-v)uT8 .矩陣Y對矩陣X的導數(shù)將Y的每個元素對X求導，然后排在一起形成超級矩陣。，根據(jù)門力矩陣對列向量求導法則，有見2a川斕dyd2AdXdXdX出一）次2adx_dXdXdX002x次12x2丁102x0例

4、設(shè)F=，五二ay，根據(jù)（15）矩陣對矩陣求導法則，有v?z比瓦比b方比&5/分泥&尚1d/axar5r一辦好一也立治一辦彰&矩陣、向量求導法則（1）設(shè)yr=Lxia是維行向量，x是元素，則（2）列向飄阮素求導設(shè)y=:是加維列向量，x是元素，則%dy宓dx（3）矩陣對元素求導WW設(shè)y=：是矩陣，x是元素，則.%外.dYndx辦.dxdx如（4）元素對行向量求導設(shè)y是元素，xr=（5）元素對列向量求導,日midydydyXJElq維仃向里，則一=r=，dxr密d%設(shè)y是元素，x=:是P維列向量，則=dx（6）元素對矩陣求導14設(shè)y是元素，X=：是pxq矩陣，則%為.也一%（12）矩陣對列向量求導設(shè)r=；八1必履再是P維列向量，則：是mx甩矩陣，X=；外5(is)設(shè)yr=xiyA是n維行向量,E4Jf=：；是pxq矩陣，則勺】%（14）列向量對矩陣求