模式識(shí)別隨機(jī)向量的概率

1、模式識(shí)別隨機(jī)向量的概率復(fù)習(xí)1 隨機(jī)向量的概率這一章復(fù)習(xí)一些概率和隨機(jī)變量/向量的概念，這些對(duì)于后面的學(xué)習(xí)是很重要的 模式識(shí)別隨機(jī)向量的概率一. 事件的概率 令A(yù)、B、C 表示事件，這些事件的概率是0，1間的實(shí)數(shù)，記為PrA、PrB、PrC 必然事件的概率是1 不可能事件的概率是0 對(duì)任意事件A， （對(duì)立事件） AP1APrr模式識(shí)別隨機(jī)向量的概率A和B同時(shí)發(fā)生的概率 如果A1，A2，AM是兩兩互斥的完備事件組，則 ABPBAPrrBAP-BA BABABAPrrrrrrPPPP或互斥時(shí)和，當(dāng) MiMi1rir1irBPBAP 1AP，模式識(shí)別隨機(jī)向量的概率二. 概率分布和密度函數(shù)1. 單個(gè)隨機(jī)

2、向量的分布和密度函數(shù) 令X X是一個(gè)隨機(jī)向量，它的每一分量都是一個(gè)隨機(jī)變量。 令 是X的一個(gè)取值，其中 都是固定的實(shí)數(shù)值 nxxX1nxx1， nxxx1x 模式識(shí)別隨機(jī)向量的概率 則事件： 的概率是 的函數(shù)。這個(gè)函數(shù)稱為隨機(jī)向量x的分布函數(shù)。定義為： nnxxxxxxxx2211，：x xxxxxxn21r，模式識(shí)別隨機(jī)向量的概率由上面分布函數(shù)的定義，顯然有： 概率密度函數(shù)定義為分布函數(shù)對(duì)所有分量的導(dǎo)數(shù)： 10， xxnxxxxxp21模式識(shí)別隨機(jī)向量的概率概率分布函數(shù)和密度函數(shù)之間還滿足如下的積分關(guān)系： 121xxxnxndxdxxpdxxpx由上式和前面的式子，還有： 1dxxp模式識(shí)別

3、隨機(jī)向量的概率 對(duì)于事件： 有：nnnnxxxxxxxxxxxx1111，： nxxxrxxxxpdxxpxxxx21下面看看在某一點(diǎn)的小鄰域的概率：模式識(shí)別隨機(jī)向量的概率上式近似成立的條件是：要充分小，以使 的變化較小 這意味著，在 點(diǎn)的概率密度正比于隨機(jī)向量 落在附近的小鄰域內(nèi)的概率。密度函數(shù)越大，這個(gè)概率越大 。 但 等于 的概率為0。（連續(xù)時(shí)） 容許奇異時(shí)，也有可能x xpxx 0 xxrxx 模式識(shí)別隨機(jī)向量的概率2.隨機(jī)向量的聯(lián)合分布和密度函數(shù) 令X和Y是隨機(jī)向量，可以把前面定義的對(duì)單個(gè)隨機(jī)向量的分布和密度函數(shù)的概念推廣到X和Y的聯(lián)合概率分布和密度函數(shù)上去。 實(shí)際上，單個(gè)隨機(jī)向量是

4、它的各個(gè)分量的聯(lián)合，只要再擴(kuò)展到Y(jié)就行了模式識(shí)別隨機(jī)向量的概率令 是一個(gè)隨機(jī)向量， ， 是 的一個(gè)實(shí)現(xiàn)。則隨機(jī)向量 和 的聯(lián)合分布函數(shù)定義為聯(lián)合事件 的概率：ymyyy1y xyyyyxx，yyxxyx，r模式識(shí)別隨機(jī)向量的概率的聯(lián)合密度函數(shù)定義為： xyyyxxmnyxyyyxxxyxp2121，和上式的一個(gè)等價(jià)關(guān)系是： dxdyyxpyxxy, 模式識(shí)別隨機(jī)向量的概率由定義，下面的等式成立： 0，1， xx， yy，(a)(b)(c)(d)模式識(shí)別隨機(jī)向量的概率 1,dxdyyxp 由（b），有下式：模式識(shí)別隨機(jī)向量的概率（c）和（d）意味著: x和y的概率密度可以通過對(duì)x和y的聯(lián)合概率密

5、度的積分得到： 以上兩式得到的稱為X和Y的邊緣密度函數(shù)。 dxyxpypdyyxpxp, 模式識(shí)別隨機(jī)向量的概率聯(lián)合分布的隨機(jī)向量x、y的另一個(gè)重要關(guān)系是： ymxnVyyVxxxyxpyyyyxxxx121，ryy yp，yxVV和 在 附近，同時(shí) 在 附近小區(qū)域內(nèi)的概率近似等于 和小區(qū)域體積的積模式識(shí)別隨機(jī)向量的概率例1：一個(gè)兩維隨機(jī)向量和一個(gè)一維隨機(jī)變量的聯(lián)合密度函數(shù)： 其它， 0 10 3 , 2121yxxyxxypyy p yp 求事件 的概率和邊緣密度： ， 模式識(shí)別隨機(jī)向量的概率解：1. dxdyyxpyyyy ,r 1100101032211010 021yyyyydydxy

6、dxxxy 模式識(shí)別隨機(jī)向量的概率注意：不要忘記積分區(qū)間 2. 邊緣密度為： 其它， 0 21 0 100131321212121xxxxxxydyxxxp模式識(shí)別隨機(jī)向量的概率 其它 0 0 1001213102121yyydxdxyxxyp 在上面的計(jì)算中，要注意積分的上下限。 密度函數(shù) 也可以用對(duì)分布函數(shù) 求導(dǎo)而得到 yp y模式識(shí)別隨機(jī)向量的概率3. 隨機(jī)向量和事件的聯(lián)合分布和密度函數(shù) 一個(gè)隨機(jī)向量 和一個(gè)事件A的聯(lián)合分布函數(shù)定義為：AArxxx ，它是 的函數(shù) xx 模式識(shí)別隨機(jī)向量的概率聯(lián)合密度函數(shù)定義為： xxnxxxxxp21AA，根據(jù)定義，下面的關(guān)系成立： xdxxpx, A

7、A，事件 的聯(lián)合概率為： Axxxxnxxxxpxxxx21AAr，模式識(shí)別隨機(jī)向量的概率如果A1，A2，AM是兩兩互斥的完備事件集，則邊緣分布函數(shù)： M1Aiixx，邊緣密度函數(shù)為： M1Aiixpxp，模式識(shí)別隨機(jī)向量的概率三. 條件概率和貝葉斯規(guī)則 1. 事件的條件概率 令A(yù)、B是兩個(gè)隨機(jī)事件，B發(fā)生后A發(fā)生的條件概率為： BBABArrr如果 ，則稱A和B是統(tǒng)計(jì)獨(dú)立的。這時(shí)由（1）式有： ABArr（1） BABArrr模式識(shí)別隨機(jī)向量的概率2. 條件分布和密度函數(shù) 由（1）式的基本形式，可以推導(dǎo)出下面的幾種條件分布和密度函數(shù)。下面的公式推導(dǎo)和無條件概率分布與密度函數(shù)相似，不再多講。

8、（1）以一個(gè)事件為條件的分布和密度函數(shù) 若A是事件 ，B是另一個(gè)事件，則 xx BBBBBBrrrr, 1xxxxxx模式識(shí)別隨機(jī)向量的概率上式兩邊微分，可得到密度函數(shù) (2) 以隨機(jī)向量為條件的一個(gè)事件的概率 令A(yù)是任一事件，B是事件 BBBr, 1xpxpxxxx則 在小區(qū)域內(nèi)，A發(fā)生的概率為： xpxpxxxxpxxxxpxnn2121AAAr，模式識(shí)別隨機(jī)向量的概率(3) 隨機(jī)向量的條件密度函數(shù) 令A(yù)是事件 , B是事件 則由前面的定義和公式有：xxxxyyyy nmmnxxxypyxpyyypyyxxxyxp211121， BAr模式識(shí)別隨機(jī)向量的概率在 發(fā)生后 的條件密度定義為：

9、yx ypyxpyxp，當(dāng)A和B對(duì)所有的 和 的值是獨(dú)立的時(shí)， xy xpyxp, 因此有： ypxpyxp， 模式識(shí)別隨機(jī)向量的概率3. 貝葉斯公式 由于事件A和B的聯(lián)合概率等于事件B和A的聯(lián)合概率，所以由條件概率公式有： BAABBArrrr（1） 上式稱為Bayes公式。是概率和統(tǒng)計(jì)中非常重要的一個(gè)公式。通過適當(dāng)定義事件A和B，貝葉斯公式可以有不同的形式。例如： 模式識(shí)別隨機(jī)向量的概率 （1）如果B是事件則貝葉斯公式的形式為： xxxx xpxpxAAArr（2） 如果 是兩兩互斥且完備的事件組A1，A2，AM中的一個(gè)事件，則 （最優(yōu)模式分類）iA（2）Mjjjiiixpxpx1AAAA

10、Arrr（3）模式識(shí)別隨機(jī)向量的概率(3)如果B是事件 ，A是 事件，則貝葉斯公式的形式為： xxxxyyyy xpypyxpxyp(4)由邊緣密度的定義，還可寫為下式： dyypyxpypyxpxyp(5)模式識(shí)別隨機(jī)向量的概率上面的幾種貝葉斯公式對(duì)統(tǒng)計(jì)模式識(shí)別都是非常重要的 如(5)式， 稱為先驗(yàn)概率，隨機(jī)向量X和Y間有某種關(guān)系，在X發(fā)生后Y的密度函數(shù)是對(duì)先驗(yàn)概率的一種改善，稱為后驗(yàn)概率。又如（3）式是一個(gè)最佳模式分類規(guī)則。 是事件 類的先驗(yàn)概率，而 則是 的后驗(yàn)概率。 iAriAriiA yp dyypyxpypyxpxypMjjjiiixpxpx1AAAAArrr模式識(shí)別隨機(jī)向量的概率

11、例：一個(gè)兩維隨機(jī)向量的密度函數(shù)為： 另一隨機(jī)向量X，它和Y有關(guān)，其條件密度函數(shù)為： 其它 0,0 1212ayyayp22222212112122exp21yxyxyxp模式識(shí)別隨機(jī)向量的概率求聯(lián)合密度 ，并計(jì)算后驗(yàn)密度 解：1. 聯(lián)合密度為： yp， yp 其它， 0 0 , 22exp21212222221211221ayyyxyxaypyxpyxp后驗(yàn)概率為： 其它 0 0,22exp22exp21002122222212112222221211ayydydyyxyxyxyxxypaa模式識(shí)別隨機(jī)向量的概率注意：1. 積分限要注意。2. 上式?jīng)]有顯式解，要用數(shù)值方法求解。 3. 如果Y的

12、先驗(yàn)密度是 222122exp21yyyp21,- yy則有顯式解，是一多元高斯密度 模式識(shí)別隨機(jī)向量的概率四. 數(shù)學(xué)期望 一個(gè)隨機(jī)向量X的期望（或稱均值）是一個(gè)常數(shù)向量M，定義為 dxxpxxEm- 上式是一個(gè)向量形式， 的第 個(gè)分量為： mi niiiidxdxdxxpxdxpxxEm21 - 模式識(shí)別隨機(jī)向量的概率上式對(duì)所有的 ， 的分量積分，有： jxij iiiidxxpxm- 是邊緣密度。 ixp對(duì)于隨機(jī)向量的積的期望，將在復(fù)習(xí)2中討論。對(duì)于隨機(jī)向量的各個(gè)分量，則和隨機(jī)變量的定義一樣： iiiiiiidxxpmxmxxar-22 EV模式識(shí)別隨機(jī)向量的概率性質(zhì)： 1. 隨機(jī)向量或變

13、量和的期望等于期望的和； 2. 相互獨(dú)立的隨機(jī)變量和的方差等于方差的和 下面考慮只取離散值的隨機(jī)變量。它沒有概率密度函數(shù)（除非使用奇異函數(shù)）。 則期望 ：r若 是一隨機(jī)變量，它取離散值 ， 1，2，M。M也可能是無窮的， iri MiiirrrrEr1Pr模式識(shí)別隨機(jī)向量的概率 21r21r22P PVrrrrrrrrrrErarMiiiMiii方差： 均值和方差是隨機(jī)變量分布的重要參數(shù)。均值分布或密度的中心點(diǎn)，方差則表示了離中心點(diǎn)的分散程度。（分布和密度函數(shù)完全刻畫了隨機(jī)向量，而期望和方差刻畫了它的主要特征。） 模式識(shí)別隨機(jī)向量的概率五. 小結(jié) 這一章復(fù)習(xí)了隨機(jī)事件和隨機(jī)向量的概率，復(fù)習(xí)了

14、它們間的關(guān)系密度函數(shù)分布函數(shù)條件分布聯(lián)合分布統(tǒng)計(jì)獨(dú)立、貝葉斯公式（由條件概率）、隨機(jī)向量和變量的均值、方差。 模式識(shí)別隨機(jī)向量的概率 應(yīng)該理解這些定義、概念，理解一些公式推導(dǎo)的思路、思想。 理解分布函數(shù)、密度函數(shù)和事件概率間的關(guān)系。 理解聯(lián)合概率和條件概率間的區(qū)別。 理解獨(dú)立性及其對(duì)概率、分布和密度函數(shù)的影響。 掌握Bayes公式的各種形式。模式識(shí)別隨機(jī)向量的概率第二章 統(tǒng)計(jì)決策理論 最小錯(cuò)誤率貝葉斯決策 最小風(fēng)險(xiǎn)貝葉斯決策 NeymanPearson決策（在限定一類錯(cuò)誤率的條件下，使另一類錯(cuò)誤率最小的兩類決策問題） 最小最大決策 序貫決策（Sequential Decision） 模式識(shí)別隨機(jī)向量的概率關(guān)于統(tǒng)計(jì)學(xué)的一個(gè)笑話： 有一個(gè)從沒帶過小孩的統(tǒng)計(jì)學(xué)家，因?yàn)槠拮映鲩T勉強(qiáng)答應(yīng)照看三個(gè)年幼好動(dòng)的孩子。妻子回家時(shí)，他交出一張紙條，寫道：“擦眼淚11次；系鞋帶15次；給每個(gè)孩子吹玩具氣球各5次，累計(jì)15次；每個(gè)氣球的平均壽命10秒鐘