模式識(shí)別 課件 第3章 概率密度函數(shù)的估計(jì)

第3章概率密度函數(shù)的估計(jì)主要內(nèi)容3.1基本概念3.2參數(shù)估計(jì)3.3非參數(shù)估計(jì)3.4最小錯(cuò)誤率貝葉斯決策的實(shí)例3.1基本概念

貝葉斯決策前提條件是已知各類(lèi)的先驗(yàn)概率和類(lèi)條件概率，但實(shí)際中所得到的只是樣本集，如何由樣本集得到所需的概率密度函數(shù)，需要進(jìn)行估計(jì)。參數(shù)估計(jì)：parametricestimation，已知類(lèi)條件總體概率密度函數(shù)形式，未知其中部分或全部參數(shù)，用樣本來(lái)估計(jì)這些參數(shù)。非參數(shù)估計(jì)：nonparametricestimation，未知概率密度函數(shù)形式，求函數(shù)本身。（1）估計(jì)方法3.1基本概念

（2）參數(shù)估計(jì)中的基本概念3.1基本概念（1）最大似然估計(jì)3.2參數(shù)估計(jì)前提假設(shè)

似然函數(shù)（likelihoodfunction）

3.2參數(shù)估計(jì)樣本集中的樣本最有可能來(lái)源于概率密度最大的地方。似然函數(shù)定義為聯(lián)合概率密度，樣本獨(dú)立抽取時(shí)為概率密度的乘積，已知一組樣本，最有可能來(lái)自于似然函數(shù)最大所對(duì)應(yīng)的密度函數(shù)。因此，可以利用似然函數(shù)作參數(shù)估計(jì)。最大似然估計(jì)量至此，估計(jì)問(wèn)題轉(zhuǎn)化為求極值的問(wèn)題。

3.2參數(shù)估計(jì)最大似然估計(jì)求解

防止數(shù)值下溢3.2參數(shù)估計(jì)例題

3.2參數(shù)估計(jì)例3-2：設(shè)x服從正態(tài)分布N(μ,σ2)，其中參數(shù)μ、σ2未知，求它們的最大似然估計(jì)量。

3.2參數(shù)估計(jì)3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)仿真實(shí)現(xiàn)例3-4：讀取hospital數(shù)據(jù)，按性別分為兩類(lèi)，對(duì)體重?cái)?shù)據(jù)進(jìn)行正態(tài)分布擬合，并繪制概率密度函數(shù)曲線(xiàn)。3.2參數(shù)估計(jì)設(shè)計(jì)思路：hospital數(shù)據(jù)集中有100個(gè)病人的數(shù)據(jù)，包括性別、年齡、體重、是否抽煙、血壓等數(shù)據(jù)采用fitdist函數(shù)擬合數(shù)據(jù)分布，fitdist函數(shù)使用最大似然估計(jì)擬合多種概率分布另外，可以采用mle函數(shù)對(duì)不同的分布進(jìn)行ML參數(shù)估計(jì)，normfit等函數(shù)實(shí)現(xiàn)常見(jiàn)分布的參數(shù)的ML估計(jì)。程序3.2參數(shù)估計(jì)clc,clear,closeall;loadhospitalx=hospital.Weight;

gender=hospital.Sex;[pdca,gn,gl]=fitdist(x,'Normal','By',gender);%用正態(tài)分布對(duì)兩組數(shù)據(jù)進(jìn)行擬合female=pdca{1};

%第一組對(duì)應(yīng)分布male=pdca{2};

%第二組對(duì)應(yīng)分布x_values=50:1:250;femalepdf=pdf(female,x_values);%計(jì)算概率密度函數(shù)值malepdf=pdf(male,x_values);figureplot(x_values,femalepdf,'Color','r','LineWidth',2);holdonplot(x_values,malepdf,'Color','b',

'LineStyle','-.','LineWidth',2);xlabel('x');ylabel('p(x)');legend(gn,'Location','NorthEast')holdoff程序3.2參數(shù)估計(jì)結(jié)果3.2參數(shù)估計(jì)female組，估計(jì)的均值為130.4717，標(biāo)準(zhǔn)差為8.3034male組，估計(jì)的均值為180.5319，標(biāo)準(zhǔn)差為9.1932體重?cái)?shù)據(jù)對(duì)應(yīng)的正態(tài)概率密度函數(shù)曲線(xiàn)（2）最大后驗(yàn)估計(jì)基本思路把θ看作隨機(jī)變量，考慮θ本身服從的分布，利用貝葉斯公式計(jì)算θ的后驗(yàn)概率，最大后驗(yàn)概率對(duì)應(yīng)的參數(shù)值為參數(shù)的估計(jì)值。這種方法稱(chēng)為最大后驗(yàn)估計(jì)。3.2參數(shù)估計(jì)原理3.2參數(shù)估計(jì)

求解：或：例題3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)

求極值（3）貝葉斯估計(jì)

基本思路把估計(jì)問(wèn)題轉(zhuǎn)化成和貝葉斯最小風(fēng)險(xiǎn)決策形式一致，利用Bayes公式解決問(wèn)題。3.2參數(shù)估計(jì)貝葉斯決策貝葉斯估計(jì)樣本x貝葉斯決策和貝葉斯估計(jì)各變量的對(duì)應(yīng)關(guān)系概念3.2參數(shù)估計(jì)貝葉斯風(fēng)險(xiǎn)

3.2參數(shù)估計(jì)

損失函數(shù)平方誤差損失時(shí)的貝葉斯估計(jì)量3.2參數(shù)估計(jì)貝葉斯估計(jì)的步驟

3.2參數(shù)估計(jì)例題

解：確定μ的先驗(yàn)分布P(μ)3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)應(yīng)用待定系數(shù)法，令兩式對(duì)應(yīng)的系數(shù)相等3.2參數(shù)估計(jì)利用定理，求μ貝葉斯估計(jì)量3.2參數(shù)估計(jì)

貝葉斯學(xué)習(xí)

θ的貝葉斯估計(jì)量為：θ的后驗(yàn)分布為：當(dāng)N>1時(shí)，有得遞推公式：3.2參數(shù)估計(jì)隨著樣本數(shù)的增加，得到一系列對(duì)概率密度函數(shù)參數(shù)的估計(jì)：稱(chēng)作遞推的貝葉斯估計(jì)。如果隨著樣本數(shù)的增加，上式的后驗(yàn)概率序列逐漸尖銳，逐步趨向于以θ的真實(shí)值為中心的一個(gè)尖峰，當(dāng)樣本無(wú)窮多時(shí)收斂于在參數(shù)真實(shí)值上的脈沖函數(shù)，這一過(guò)程稱(chēng)作貝葉斯學(xué)習(xí)。3.2參數(shù)估計(jì)

3.2參數(shù)估計(jì)clc,clear,closeall;rng('default')N=300;mu0=0;sigma0=3;mu_value=-10:0.1:10;Prior=pdf('Normal',mu_value,mu0,sigma0);plot(mu_value,Prior);mu=2;sd=2;training=normrnd(mu,sd,[N,1]);prev=Prior;holdon程序3.2參數(shù)估計(jì)fori=1:Ntempdata=training(i);npdf=normalDist(tempdata,mu_value,sd);

numerator=npdf.*prev;prev=numerator;TotalP=sum(numerator);Poster=numerator/TotalP;

ifi==10||i==50||i==100||i==200||i==300plot(mu_value,Poster);endend[value,pos]=max(Poster);plot([mu_value(pos)mu_value(pos)],[0value],'k-.');mu_value(pos)holdoff3.2參數(shù)估計(jì)functionnpdf=normalDist(X,Mu,Sigma)Z=(X-Mu)./Sigma;npdf=exp(-0.5*Z.^2)/(sqrt(2*pi)*Sigma);endN=10μ

N=50N=100N=200N=300N=0一系列的后驗(yàn)概率估計(jì)圖很多情況下，我們對(duì)樣本的分布并沒(méi)有充分的了解，無(wú)法事先給出密度函數(shù)的形式，而且有些樣本分布的情況也很難用簡(jiǎn)單的函數(shù)來(lái)描述。在這種情況下，就需要非參數(shù)估計(jì)，即不對(duì)概率密度函數(shù)的形式做任何假設(shè)，而是直接用樣本估計(jì)出整個(gè)函數(shù)。3.3非參數(shù)估計(jì)（1）直方圖方法

基本原理3.3非參數(shù)估計(jì)3.3非參數(shù)估計(jì)仿真實(shí)現(xiàn)例3-10：設(shè)定參數(shù)生成正態(tài)分布數(shù)據(jù)集，利用直方圖方法估計(jì)概率密度函數(shù)并繪制函數(shù)曲線(xiàn)。clc,clear,closeall;rng('default')N=200;mu=0;sd=0.8;x=normrnd(mu,sd,[N,1]);

x_values=-3:0.01:3;px=pdf('Normal',x_values,mu,sd);plot(x_values,px,'Color','k');

[hist1,edge1]=histcounts(x,10,'Normalization','pdf');

%設(shè)定10個(gè)區(qū)間進(jìn)行估計(jì)，大間隔[hist2,edge2]=histcounts(x,30,'Normalization','pdf');

%設(shè)定30個(gè)區(qū)間進(jìn)行估計(jì)，小間隔holdonhistogram('BinEdges',edge1,'BinCounts',hist1,'FaceColor','w');holdofffigure,plot(x_values,px,'Color','k','LineWidth',2);holdonhistogram(x,30,'Normalization','pdf');holdoff3.3非參數(shù)估計(jì)樣本數(shù)N=200大間隔小間隔樣本數(shù)N=2000直方圖估計(jì)方法分析最好能夠根據(jù)樣本分布情況調(diào)整小艙體積過(guò)大，設(shè)概率密度為常數(shù)，估計(jì)出的密度函數(shù)粗糙過(guò)小，有些小艙內(nèi)可能會(huì)沒(méi)有樣本或者樣本很少，導(dǎo)致估計(jì)出的概率密度函數(shù)不連續(xù)小艙的選擇與估計(jì)的效果密切相連隨樣本數(shù)的增加，小艙體積應(yīng)該盡可能小，同時(shí)必須保證小艙內(nèi)有充分多的樣本，但每個(gè)小艙內(nèi)的樣本數(shù)必須是總樣本數(shù)中很小的一部分小艙內(nèi)的樣本數(shù)與樣本分布有關(guān)。小艙的選擇應(yīng)與樣本總數(shù)相適應(yīng)3.3非參數(shù)估計(jì)原理n維單位方窗函數(shù)：（2）Parzen窗法3.3非參數(shù)估計(jì)

-0.5-0.50.50.50原點(diǎn)為中心半徑為1的正方形

落入以x為中心的超立方體內(nèi)的樣本數(shù)為：任意一點(diǎn)x的密度估計(jì)表達(dá)式為：3.3非參數(shù)估計(jì)

0

x點(diǎn)為中心半徑為h的正方形貝葉斯決策密度估計(jì)表達(dá)式變形：定義核函數(shù)(窗函數(shù))：

概率密度估計(jì)即在每一點(diǎn)上把所有觀測(cè)樣本的貢獻(xiàn)進(jìn)行平均這種用窗函數(shù)（核函數(shù)）估計(jì)概率密度的方法稱(chēng)作Parzen窗方法或核密度估計(jì)3.3非參數(shù)估計(jì)核函數(shù)滿(mǎn)足密度函數(shù)的要求：非負(fù)且積分為13.3非參數(shù)估計(jì)方窗核函數(shù)：高斯核函數(shù)：一維單位高斯窗函數(shù)：3.3非參數(shù)估計(jì)一維Epanechnikov窗：Epanechnikov核函數(shù)：三角核函數(shù)：一維三角窗：例題確定窗函數(shù)

選擇正態(tài)窗函數(shù)確定窗口3.3非參數(shù)估計(jì)計(jì)算估計(jì)值

兩個(gè)問(wèn)題：樣本數(shù)：樣本量越大，估計(jì)結(jié)果越精確；窗寬的選擇對(duì)估計(jì)結(jié)果的影響3.3非參數(shù)估計(jì)分析窗函數(shù)的寬度h對(duì)估計(jì)量的影響3.3非參數(shù)估計(jì)

對(duì)樣本數(shù)目需求較大，只要樣本數(shù)目足夠大，總可以保證收斂于任何復(fù)雜的位置密度，但計(jì)算量和存儲(chǔ)量都比較大當(dāng)樣本數(shù)很少時(shí)，若對(duì)密度函數(shù)有先驗(yàn)認(rèn)識(shí)，參數(shù)估計(jì)方法較好3.3非參數(shù)估計(jì)分析樣本數(shù)N對(duì)估計(jì)量的影響3.3非參數(shù)估計(jì)仿真實(shí)現(xiàn)

clc,clear,closeall;rng('default')N=1000;mu=0;sigma=1;x=normrnd(mu,sigma,[N,1]);minx=min(x);maxx=max(x);dx=(maxx-minx)/N;x_values=minx:dx:maxx-dx;px=pdf('Normal',x_values,mu,sigma);plot(x_values,px,'Color','k','LineWidth',2);holdon3.3非參數(shù)估計(jì)h=0.01;pxe1=kde(x,x_values,h,N);plot(x_values,pxe1,'r:','LineWidth',2);h=2;pxe3=kde(x,x_values,h,N);plot(x_values,pxe3,'b--','LineWidth',2);xlabel('x'),ylabel('p(x)');legend('p(x)','h=0.01','h=2');holdofffigure,plot(x_values,px,'Color','k','LineWidth',2);h=0.3;

pxe2=kde(x,x_values,h,N);holdonplot(x_values,pxe2,'g-.','LineWidth',2);xlabel('x'),ylabel('p(x)');legend('p(x)','h=0.3');holdoff3.3非參數(shù)估計(jì)%利用高斯窗進(jìn)行估計(jì)的函數(shù)functionpxe=kde(x,x_values,h,N)

pxe=zeros(1,N);forj=1:Nfori=1:Npxe(j)=pxe(j)+

exp(-0.5*(x_values(j)-x(i))^2/h^2)/sqrt(2*pi);endpxe(j)=pxe(j)/N/h;endend3.3非參數(shù)估計(jì)理想及估計(jì)的概率密度函數(shù)曲線(xiàn)h較小，估計(jì)的曲線(xiàn)相對(duì)于原始曲線(xiàn)起伏較大，估計(jì)不穩(wěn)定；h較大，估計(jì)的曲線(xiàn)相對(duì)于原始曲線(xiàn)較平滑，但跟不上函數(shù)p(x)的變化；

h適中，估計(jì)的較準(zhǔn)確。

3.3非參數(shù)估計(jì)clc,clear,closeall;rng('default')N=[16425610000];h=1./(N.^0.5);

mu=0;sigma=1;x_values=-4:0.01:4;R=zeros(length(N),N(4));form=1:length(N)R(m,1:N(m))=normrnd(mu,sigma,1,N(m));endpx=pdf('Normal',x_values,mu,sigma);len=length(x_values);

3.3非參數(shù)估計(jì)form=1:length(N)

%針對(duì)不同樣本數(shù)分別估計(jì)概率密度函數(shù)pxe=zeros(1,len);fori=1:lenforj=1:N(m)ifabs(x_values(i)-R(m,j))<=sqrt(5)*h(m)pxe(i)=pxe(i)+

(1-((x_values(i)-R(m,j))/h(m))^2/5)*3/4/sqrt(5)/h(m);end

%采用Epanechnikov核函數(shù)進(jìn)行估計(jì)endpxe(i)=pxe(i)/N(m);endsubplot(1,4,m),plot(x_values,px,'k');holdonplot(x_values,pxe,'r:','LineWidth',2),axis([-3,3,0.001,1.0]);str=strcat('N=',num2str(N(m)));legend('p(x)',str);holdoffend3.3非參數(shù)估計(jì)利用Epanechnikov核函數(shù)估計(jì)概率密度函數(shù)樣本數(shù)越多估計(jì)效果越好。

3.3非參數(shù)估計(jì)思路采用可變大小的小艙3.3非參數(shù)估計(jì)

仿真實(shí)現(xiàn)

3.3非參數(shù)估計(jì)clc,clear,closeall;rng('default')N=1000;mu=0;sigma=0.8;x=normrnd(mu,sigma,[N,1]);kn1=10;kn2=50;kn3=100;x_values=-3:0.01:3;px=pdf('Normal',x_values,mu,sigma);len=length(x_values);index=1;pxe1=zeros(1,len);pxe2=zeros(1,len);pxe3=zeros(1,len);forj=-3:0.01:3distance=pdist2(j,x);

D=sort(distance);V1=2*D(kn1);

V2=2*D(kn2);

V3=2*D(kn3);pxe1(index)=kn1/N/V1;pxe2(index)=kn2/N/V2;pxe3(index)=kn3/N/V3;