人工智能數(shù)學(xué)基礎(chǔ) 課件 chap4 矩陣的分解

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動(dòng)啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：聚焦在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架下理解矩陣分解。目標(biāo)：本章主要介紹矩陣的LU分解、矩陣的QR分解、矩陣的特征值分解、矩陣的奇異值（SVD）分解的概念。4提綱：

矩陣的LU分解矩陣的QR分解矩陣的特征值分解矩陣的奇異值（SVD）分解矩陣的LU分解

矩陣的LU分解

矩陣的LU分解

第二步：后向計(jì)算，從矩陣U求矩陣A矩陣的LU分解

矩陣的LU分解

上面3個(gè)條件中的前面兩個(gè)很好理解，第三條件實(shí)際上可以弱化。在例4-1中，對(duì)矩陣A進(jìn)行初等行變換時(shí)，沒(méi)有進(jìn)行行交換。但是，并不是所有的矩陣A都滿足這樣的條件，如果矩陣如下將矩陣A的第一行的負(fù)4倍和負(fù)3倍分別加到第二行和第三行，得到矩陣如下矩陣的LU分解

矩陣的LU分解

矩陣的LU分解

第三步：后向計(jì)算，從矩陣U求矩陣PA

第三步，令

這樣就得到由于置換矩陣P的逆矩陣等于它的轉(zhuǎn)置矩陣，對(duì)上式兩邊左乘P-1，得到矩陣的LU分解

4.1.3矩陣LU分解的擴(kuò)展形式

矩陣的LU分解

矩陣的LU分解

矩陣的LU分解

矩陣的QR分解4.2.1矩陣QR分解的定義

矩陣的QR分解由于矩陣Q是正交矩陣，所以有然后將求得的系數(shù)帶入向量a的線性組合之中，得到向量a的正交分解為

上式說(shuō)明，將一個(gè)向量a沿著一組正交向量進(jìn)行正交分解，沿任一向量的系數(shù)是該向量的轉(zhuǎn)置與向量a的內(nèi)積。下面我們講解矩陣的QR分解時(shí)將用到這個(gè)性質(zhì)矩陣的QR分解4.2.2利用施密特正交化方法進(jìn)行矩陣的QR分解

矩陣的QR分解

這里的系數(shù)計(jì)算利用了4.2.1最后面介紹的性質(zhì)2[關(guān)于系數(shù)的計(jì)算也可以直接根據(jù)迭代關(guān)系獲得。]，上面的過(guò)程寫成矩陣形式就是這樣就得到了矩陣A的QR分解中的正交矩陣Q和上三角矩陣R矩陣的QR分解

矩陣的QR分解

再根據(jù)得到矩陣的QR分解

這樣就得到上三角矩陣R為

矩陣的特征值分解4.3.1矩陣的特征值分解定義

在前面一章介紹了n階矩陣A能對(duì)角化的充要條件是矩陣A有個(gè)n個(gè)線性無(wú)關(guān)的特征向量，并且，矩陣A的特征向量構(gòu)成的可逆矩陣P，使得AP=PD，其中D是對(duì)角矩陣，它的對(duì)角元素為矩陣A的n個(gè)特征值。這樣就有下面的特征特征分解的定義。

如果n階矩陣A有n個(gè)線性無(wú)關(guān)的特征向量，則存在一個(gè)可逆矩陣P，使得矩陣A可以分解為A=PDP-1。其中，D是對(duì)角矩陣，它的對(duì)角元素為矩陣A的n個(gè)特征值；矩陣P是n階可逆矩陣，它的列為矩陣A的特征向量，排列順序與對(duì)角矩陣D中特征值的排列順序一致。我們把上面的分解稱為矩陣A的特征值分解，也稱為譜分解。當(dāng)然，如果進(jìn)一步矩陣A是實(shí)對(duì)稱矩陣，則存在正交矩陣P，使得矩陣A可以分解為A=PDP-1=PDPT。其中，D是對(duì)角矩陣，它的對(duì)角元素為矩陣A的n個(gè)特征值；矩陣P是n階正交矩陣，它的列為矩陣A的正交化特征向量。

矩陣的特征分解有很廣泛的應(yīng)用。從矩陣A的特征分解形式上看，最直接的應(yīng)用是計(jì)算矩陣A的逆矩陣、計(jì)算矩陣的多項(xiàng)式、矩陣多項(xiàng)式的特征值，這些內(nèi)容實(shí)際上是上一章介紹的相似變換知識(shí)點(diǎn)的擴(kuò)展。下面介紹矩陣的特征分解的本質(zhì)含義及其在機(jī)器學(xué)習(xí)中的一個(gè)經(jīng)典應(yīng)用。

矩陣的特征值分解4.3.2矩陣特征值分解的本質(zhì)一個(gè)n階矩陣與一個(gè)n維向量x相乘，本質(zhì)上等價(jià)于對(duì)向量x進(jìn)行旋轉(zhuǎn)和拉伸縮放，也就是相當(dāng)于改變向量x的基底。為理解這個(gè)問(wèn)題，以二維矩陣和向量為例，對(duì)一般情況也適用

于是矩陣的特征值分解

圖4.1矩陣向量乘法的幾何意義矩陣的特征值分解

矩陣的特征值分解4.3.3矩陣特征值分解的應(yīng)用矩陣的特征值分解在機(jī)器學(xué)習(xí)、圖像處理、量子力學(xué)、數(shù)據(jù)挖掘中具有廣泛的應(yīng)用。下面介紹一個(gè)利用python語(yǔ)言，通過(guò)對(duì)圖像矩陣進(jìn)行特征值分解，達(dá)到圖像壓縮與恢復(fù)目的具體應(yīng)用。下圖4.2是手寫體識(shí)別數(shù)據(jù)集中的一張28x28的圖片圖4.2手寫體數(shù)字4

首先通過(guò)Image.open()函數(shù)讀取該圖片，然后將它轉(zhuǎn)化為numpy數(shù)組，就是一個(gè)28x28的矩陣，也就是上面說(shuō)的圖像矩陣。有了圖像矩陣數(shù)據(jù)之后，利用numpy中的linalg.eig()函數(shù)對(duì)該矩陣進(jìn)行特征分解，得到圖像矩陣的特征值和相應(yīng)的特征向量。有了圖像矩陣的特征值和特征向量之后，就可以根據(jù)矩陣的特征分解表達(dá)式A=PDP-1，選取部分特征值對(duì)圖像進(jìn)行壓縮與恢復(fù)。比如我們選取前面?zhèn)€特征值及相應(yīng)的特征向量恢復(fù)圖像，可以根據(jù)這n個(gè)特征值來(lái)構(gòu)造表達(dá)式A=PDP-1中的對(duì)角矩陣D，對(duì)角矩陣D的前面n個(gè)主對(duì)角元素為這n個(gè)特征值，其他元素置為零。再根據(jù)numpy中的linalg.inv()函數(shù)求出特征向量構(gòu)成的矩陣P的逆矩陣P-1，這樣就可以用表達(dá)式A=PDP-1重構(gòu)出原來(lái)的圖像。詳細(xì)的代碼如下:矩陣的特征值分解importosfromPILimportImageimportnumpyasnpimportmatplotlib.pyplotaspltdefIM_restore(cvector,cvalue,n,N):cvector1=np.linalg.inv(cvector)diag=np.append(cvalue[0:n],np.zeros(N-n))lam_new=np.diag(diag)new_image=np.dot(np.dot(cvector,lam_new),cvector1)returnnew_imageimg=Image.open('D:/lsbdata/hw4.png')#這里根據(jù)實(shí)際圖片位置和圖片名稱調(diào)整im=img.convert('L')image_data=np.asarray(im)eig_value,eig_vector=np.linalg.eig(image_data)restored_img=IM_restore(eig_vector,eig_value,18,28)plt.subplot(1,2,1)plt.imshow(im,cmap='gray')plt.xlabel('orginalimage')plt.subplot(1,2,2)plt.imshow(restored_img,cmap='gray')plt.xlabel('restoredimage')矩陣的特征值分解

下面的圖4.3和圖4.4分別給出了選取前面14和18特征值恢復(fù)的效果。從圖4.3可以看出，如果選取前面14個(gè)特征值，基本上恢復(fù)出了原始圖像的主要特征，已經(jīng)不影響我們對(duì)該手寫體數(shù)字的識(shí)別了，但還存在一些差別。從圖4.4可以看出，如果選取前面18個(gè)特征值的話，則幾乎完全恢復(fù)了原始圖像。在實(shí)際工作中，可以根據(jù)我們要求的精度，選取合適特征值個(gè)數(shù)來(lái)壓縮或恢復(fù)圖像。圖4.3選取前面14個(gè)特征值恢復(fù)效果圖圖4.4選取前面18個(gè)特征值恢復(fù)效果圖矩陣的奇異值（SVD）分解4.4.1矩陣的奇異值分解的定義

矩陣的奇異值（SVD）分解

矩陣的奇異值（SVD）分解4.4.2矩陣的奇異值分解的計(jì)算

矩陣的奇異值（SVD）分解

解：第一步，求矩陣AAT的特征值和特征向量，得到這樣就得到矩陣P為矩陣的奇異值（SVD）分解

第二步，求矩陣AAT的特征值和特征向量，得到這樣得到矩陣Q為最后得到矩陣A的奇異值分解為矩陣的奇異值（SVD）分解4.4.4矩陣的奇異值分解的意義及逼近

在滿足逼近精度要求下，如果我們選取r的遠(yuǎn)小于m和n，則可以較大地減少計(jì)算和存儲(chǔ)開銷。下面從理論上給出矩陣的低秩逼近[6]。對(duì)任意一個(gè)mxn的矩陣A，不妨假設(shè)它的秩為k，根據(jù)它的奇異值分解可以得到矩陣的奇異值（SVD）分解

矩陣的奇異值（SVD）分解

因此有

矩陣的奇異值（SVD）分解

奇異值分解在圖像壓縮、噪聲消除和數(shù)據(jù)挖掘與分析中有廣泛應(yīng)用。下面首先介紹奇異值分解在圖像壓縮中的一個(gè)經(jīng)典應(yīng)用。

下面的圖4.5是一張分辨率為1280*720的小狗圖片。讀取該圖片數(shù)據(jù)之后，獲得的是R（紅色）、G（綠色）和B（藍(lán)色）三通道的像素矩陣數(shù)據(jù)，通過(guò)調(diào)用numpy中的linalg.svd函數(shù)，對(duì)三個(gè)通道的像素矩陣進(jìn)行奇異值分解，獲得不同通道的奇異值及左右奇異值向量。由于得到的奇異值中，可能存在一些比較小的奇異值，我們可以舍去后面影響微小的小奇異值信息，就可以在節(jié)省存儲(chǔ)空間的同時(shí)，保留盡可能多的圖像信息，從而實(shí)現(xiàn)圖像壓縮圖4.5用于數(shù)據(jù)壓縮的原始圖片矩陣的奇異值（SVD）分解上面過(guò)程的詳細(xì)程序代碼如下fromPILimportImageimportnumpyasnpimportmatplotlib.pyplotaspltdefget_SVD(data,percent):U,s,VT=np.linalg.svd(data)Sigma=np.zeros(np.shape(data))Sigma[:len(s),:len(s)]=np.diag(s)count=(int)(sum(s))*percentk=-1#k是奇異值總和的百分比的個(gè)數(shù)curSum=0#初值為第一個(gè)奇異值whilecurSum<=count:k+=1curSum+=s[k]D=U[:,:k].dot(Sigma[:k,:k].dot(VT[:k,:]))#SVD還原后的數(shù)據(jù)D[D<0]=0D[D>255]=255returnnp.rint(D).astype("uint8")defrebuild_img(filename,p,get_SVD):img=Image.open(filename,'r')a=np.array(img)R0=a[:,:,0]

G0=a[:,:,1]B0=a[:,:,2]R=get_SVD(R0,p)G=get_SVD(G0,p)B=get_SVD(B0,p)I=np.stack((R,G,B),2)img_svd=Image.fromarray(I)returnimg_svd矩陣的奇異值（SVD）分解filename='C:/users/liaosb/bobby.jpg'img=Image.open(filename).convert('RGB')img_svd1=rebuild_img(filename,0.2,get_SVD)img_svd2=rebuild_img(filename,0.4,get_SVD)img_svd3=rebuild_img(filename,0.6,get_SVD)img_svd4=rebuild_img(filename,0.8,get_SVD)img_svd5=rebuild_img(filename,1.0,get_SVD)plt.figure(1)plt.subplot(2,3,1)plt.imshow(img)plt.axis('off'),plt.title('原始圖片')plt.subplot(2,3,2)plt.imshow(img_svd1)plt.axis('off'),plt.title('p=0.2')plt.subplot(2,3,3)plt.imshow(img_svd2)plt.axis('off'),plt.title('p=0.4')plt.subplot(2,3,4)plt.imshow(img_svd3)plt.axis('off'),plt.title('p=0.6')plt.subplot(2,3,5)plt.imshow(img_svd4)plt.axis('off'),plt.title('p=0.8')plt.subplot(2,3,6)plt.imshow(img_svd5)plt.axis('off'),plt.title('p=1.0')

矩陣的奇異值（SVD）分解下面是程序運(yùn)用的結(jié)果圖4.6壓縮圖片恢復(fù)效果圖

從圖4.6中可以看出，只要存儲(chǔ)奇異值占比80%的信息，就可以完全恢復(fù)該圖片了。事實(shí)上，對(duì)于一些稀疏數(shù)據(jù)，壓縮的比例更大一些。在文獻(xiàn)[7]中，作者提供了一個(gè)很好的稀疏數(shù)據(jù)壓縮的例子。假設(shè)有一張包含15*25個(gè)黑白像素點(diǎn)的圖片如下矩陣的奇異值（SVD）分解圖4.715*25黑白圖片示意圖圖4.7所示的黑白圖片，如果我們用0表示白色的像素點(diǎn)，用1表示黑色的像素點(diǎn)，這樣就可以構(gòu)造一個(gè)與該圖片對(duì)應(yīng)的的矩陣矩陣的奇異值（SVD）分解

圖4.8帶瑕疵的15*25黑白圖片示意圖矩陣的奇異值（SVD）分解

這樣重構(gòu)處理的圖像，由于去除了一些噪聲數(shù)據(jù)的影響，圖像質(zhì)量會(huì)有一定的提升，效果如下圖4.9所示，其中左邊是原始圖片，右邊是噪聲消減后的圖片圖4.9噪聲消減對(duì)比示意圖矩陣的奇異值（SVD）分解

下面介紹采用矩陣奇異值分解在數(shù)據(jù)分析中的一個(gè)應(yīng)用，該案例也是文獻(xiàn)[7]給出的，盡管數(shù)據(jù)示例很簡(jiǎn)單，但能很好地表達(dá)矩陣奇異值分解的應(yīng)用。假如我們收集了一些數(shù)據(jù),數(shù)據(jù)分布可視化如下圖