非負(fù)矩陣分解

1、非負(fù)矩陣分解的幾種方法初窺1引論矩陣分解是實(shí)現(xiàn)大規(guī)模數(shù)據(jù)處理與分析的一種有效的工具，非負(fù)矩陣分解（non-negative matrix factorization,NMF）算法是在矩陣中所有元素均為非負(fù)的條件下對其實(shí)現(xiàn)的非負(fù)分解。2非負(fù)矩陣分解的定義假設(shè)處理m個n維空間的樣本數(shù)據(jù)，用 表示。該數(shù)據(jù)矩陣中各個元素都是非負(fù)的，表示為X = 0 。對矩陣 X 進(jìn)行線性分解，有其中B 稱為基矩陣，C為系數(shù)矩陣。若選擇r比n小，用系數(shù)矩陣代替原數(shù)據(jù)矩陣，就可以實(shí)現(xiàn)對原矩陣的降維3非負(fù)矩陣的概率模型將矩陣分解看成如下含線性噪聲的線性混合體模型：其中E為噪聲矩陣。進(jìn)一步，也可以寫成為了求解因子矩陣B，C，

2、考慮如下的最大似然解假設(shè)噪聲服從不同的概率分布，就可以得到不同類型的目標(biāo)函數(shù)。4一、考慮噪聲服從高斯分布由上式得到：現(xiàn)令則最大似然函數(shù)解是最小化如下的損失函數(shù)：令 并忽略因子1/2和常數(shù)項 則得到5采用傳統(tǒng)的梯度法，有：于是得到如下的加性迭代規(guī)則 ：如果令 加性迭代就成為了乘性迭代規(guī)則：6式子中的k即為分解矩陣中的r，顯然r值越大分解效果越好但同時也就是失去了我們降維的初衷。但降的維數(shù)又不能太小，否則會失去樣本本來的一些特性。同時根據(jù)迭代特性，迭代次數(shù)越多分解越精確。下面我們來看下效果對比。其中誤差是指 Error = X BC;7二、假設(shè)噪聲服從泊松分布同高斯分布最大似然函數(shù)：又同理得到加性

3、迭代規(guī)則：設(shè)置 得到乘性迭代規(guī)則：8從以上分析可以看到，當(dāng)考慮不同的噪聲類型時，可以得到不同的目標(biāo)函數(shù)用來實(shí)現(xiàn)矩陣分解。下面看下泊松噪聲和高斯噪聲的對比從以上分析可以看到，當(dāng)考慮不同的噪聲類型時，可以得到不同的目標(biāo)函數(shù)用來實(shí)現(xiàn)矩陣分解。下面看下泊松噪聲和高斯噪聲的對比9同理得到拉普拉斯噪聲的迭代公式：與高斯噪聲效果對比三、假設(shè)噪聲服從拉普拉斯分布10四、局部非負(fù)矩陣分解（LNMF）LNMF要求一個基向量的各個成分不應(yīng)該被分解得太多；同時用來表示原始數(shù)據(jù)的基向量的成分?jǐn)?shù)目盡可能的??；基向量盡可能接近正交化；含有重要信息的被保留，其迭代規(guī)則有：效果與拉普拉斯對比此外還有一些非負(fù)矩陣分解法效果11一

4、、假設(shè)噪聲服從高斯分布1）迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=100時，效果圖對比如下：原圖分解后誤差 Error = 2.487*103122）迭代次數(shù)r=n/4，最大迭代次數(shù)maxiter=100時，效果圖對比如下：r = n/2 ,maxiter =100r = n/4 , maxiter = 100誤差 Error = 3.191*103133）迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=200時，效果圖對比如下：r = n/2 , maxiter = 100r = n/2 ,maxiter = 200誤差 Error = 2.301*103返回14二、假設(shè)噪聲服從泊松

5、分布迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=100時，與高斯分布的效果圖對比如下：高斯分布泊松分布高斯分布誤差 Error_GS = 2.487*103泊松分布誤差 Error_PS = 2.086*103返回15三、假設(shè)噪聲服從拉普拉斯分布迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=100時，與高斯分布的效果圖對比如下：高斯分布拉普拉斯分布高斯分布誤差 Error_GS = 2.487*103拉普拉斯分布誤差 Error_LPLS = 2.071*10*3返回16四、局部非負(fù)矩陣分解（LNMF）迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=100時，與NMF中效果最好的拉普拉斯

6、分布的效果圖對比如下：拉普拉斯分布局部非負(fù)矩陣分解拉普拉斯分布誤差 Error_LPLS = 2.071*10*3局部非負(fù)矩陣分解誤差 Error_LNMF = 2.040*103返回17五、非負(fù)稀疏編碼（NNSC）迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=100時，特別地，由于使用加性迭代，迭式子中出現(xiàn)和常量， 現(xiàn)取, =0.001和0.0001，效果對比如下：0.0010.0001NNSC , =0.001誤差 Error_0001 = 4.751*103NNSC , =0.0001誤差 Error_00001 = 2.354*10318六、稀疏非負(fù)矩陣分解（SNMF）迭代次數(shù)r=n/2，最大迭代次數(shù)maxiter=100時，特別地，由于式子中有常數(shù)因子出現(xiàn)，則現(xiàn)令 = 0.001，與非負(fù)稀松編碼（NNSC）比較如下：NNSC , = 0.001SNMF = 0.001NNSC , =0.001誤差 Error_NNSC_0001 = 4.751*103SNMF = 0.001誤差 Error_SNMF_0001 = 2.092*10319七、非負(fù)因子提取法（NFE）迭代次數(shù)r=n/2，最大迭代次數(shù)ma