統(tǒng)計(jì)計(jì)算 課件 5.2 EM算法的應(yīng)用

5.2節(jié)EM算法的應(yīng)用一、使用EM算法估計(jì)混合正態(tài)分布（GMM）的參數(shù)二、使用EM算法進(jìn)行k-均值聚類一、使用EM算法估計(jì)混合正態(tài)分布（GMM）的參數(shù)考慮m個(gè)一維正態(tài)分布的線性組合組成的混合正態(tài)分布使用觀測(cè)的數(shù)據(jù)估計(jì)參數(shù)引入隱變量Z表示第i個(gè)隨機(jī)變量是否被選中，Z=1表示被選中，Z＝0表示未被選中，記它的概率分布為混合正態(tài)分布的密度函數(shù)為

只要不斷最大化的下界，就可以使不斷增加已知第j+1輪的輸入為求出參數(shù)例1隨機(jī)變量X服從期望為1、標(biāo)準(zhǔn)差為0.1的正態(tài)分布，隨機(jī)變量Y服從期望為5、標(biāo)準(zhǔn)差為6的正態(tài)分布，對(duì)這兩種分布分別生成300個(gè)和700個(gè)隨機(jī)數(shù)據(jù)，將其充分混合，使用EM算法估計(jì)權(quán)重參數(shù)算法：（1）生成服從期望為1、標(biāo)準(zhǔn)差為0.1的正態(tài)分布的隨機(jī)數(shù)，在混合正態(tài)分布中權(quán)重為0.3。再生成期望為5、標(biāo)準(zhǔn)差為6的正態(tài)分布的隨機(jī)數(shù)，在混合正態(tài)分布中權(quán)重為0.7。將這些數(shù)據(jù)混合，打亂順序，作為輸入數(shù)據(jù)。（2）已知E步二、使用EM算法進(jìn)行k-均值聚類先對(duì)高斯混合模型使用EM算法求出參數(shù)的估計(jì)值，再根據(jù)給定的數(shù)據(jù)與均值（均值向量，二維）的距離判斷該數(shù)據(jù)應(yīng)該屬于哪一類。例4已知某個(gè)班考試成績(jī)?nèi)缦拢?0,88,91,94,86,90,80,98,90,77,85,85,81,66,79,77,88,74,61,88,79,84,76,75,74,77,83,73,76,83,69,88,64,78,73,64,88,88，該數(shù)據(jù)來自兩個(gè)分量的高斯混合模型，使用EM算法聚為兩類。方法一使用EM算法求出高斯混合模型中的均值參數(shù)，再根據(jù)數(shù)據(jù)距離哪個(gè)均值近，將其歸為哪一類。輸出結(jié)果：第一類：[88,91,94,86,90,80,98,90,77,85,85,81,66,79,77,88,74,61,88,79,84,76,75,74,77,83,73,76,83,69,88,64,78,73,64,88,88]第二類：[20]方法二：使用sklearn.mixture中的GaussianMixture。reshape（行，列）可以根據(jù)指定的數(shù)值將數(shù)據(jù)轉(zhuǎn)換為特定的行數(shù)和列數(shù)reshape(-1,1)這里的-1被理解為unspecifiedvalue，意思是未指定。只需指定列數(shù)，行數(shù)多少無(wú)所謂，用-1代替，即任意行，一列的數(shù)據(jù)。從sklearn.mixture中導(dǎo)入GaussianMixture，具體參數(shù)如下：GaussianMixture(n_components=1,*,covariance_type='full',tol=0.001,reg_covar=1e-06,max_iter=100,n_init=1,init_params='kmeans',weights_init=None,means_init=None,precisions_init=None,random_state=None,warm_start=False,verbose=0,verbose_interval=10)1）n_components：混合的高斯分布的個(gè)數(shù)2）ovariance_type：{‘full’,‘tied’,‘diag’,‘spherical’}默認(rèn)='full'，要使用的協(xié)方差參數(shù)類型。‘full’：每個(gè)高斯分量都有自己的協(xié)方差矩陣。‘tied’：所有分量共享相同的協(xié)方差矩陣。‘diag’：每個(gè)分量都有自己的對(duì)角型協(xié)方差矩陣。‘spherical’：每個(gè)分量都有自己的方差。3）tol：浮點(diǎn)數(shù)，默認(rèn)1e-3，收斂閾值。當(dāng)下限平均增益低于此閾值時(shí)，EM迭代將停止。4）reg_covar：浮點(diǎn)數(shù)，默認(rèn)1e-6，添加到協(xié)方差對(duì)角線上的非負(fù)正則化。允許確保協(xié)方差矩陣都是正數(shù)。5）max_iter：整數(shù)，默認(rèn)100，要執(zhí)行的EM迭代次數(shù)。6）n_init：整數(shù)，默認(rèn)1，要執(zhí)行的初始化次數(shù)，保持最佳結(jié)果。7）init_params：{‘kmeans’,‘random’}，默認(rèn)'kmeans'，用于初始化權(quán)重、均值和精度的方法。使用k均值或者隨機(jī)。3）tol：浮點(diǎn)數(shù)，默認(rèn)1e-3，收斂閾值。當(dāng)下限平均增益低于此閾值時(shí)，EM迭代將停止。4）reg_covar：浮點(diǎn)數(shù)，默認(rèn)1e-6，添加到協(xié)方差對(duì)角線上的非負(fù)正則化。允許確保協(xié)方差矩陣都是正數(shù)。5）max_iter：整數(shù)，默認(rèn)100，要執(zhí)行的EM迭代次數(shù)。6）n_init：整數(shù)，默認(rèn)1，要執(zhí)行的初始化次數(shù)，保持最佳結(jié)果。7）init_params：{‘kmeans’,‘random’}，默認(rèn)'kmeans'，用于初始化權(quán)重、均值和精度的方法。使用k均值或者隨機(jī)。數(shù)據(jù)的標(biāo)簽為[1000000000000000000000000000000