蒙特卡洛方法

1、1第二章第二章蒙特卡洛方法蒙特卡洛方法 22.0 概率與統(tǒng)計 - 和概率和概率A.OR.B ： P(A+B) = P(A) + P(B) P(AB) - 與概率與概率A.AND.B： P(A*B) = P(A|B)*P(B) = P(B|A)*P(A) - 條件概率條件概率 P(A|B) = 在隨機事件在隨機事件B發(fā)生的條件下，發(fā)生的條件下，A發(fā)生的概率發(fā)生的概率 - 互斥互斥 P(A*B) = 0，ie 隨機事件隨機事件AB不能在同一實驗中同時發(fā)生不能在同一實驗中同時發(fā)生 - 相互獨立相互獨立 P(A*B) = P(A)*P(B)，ie P(A)=P(A|B)=P(A|1)古典概率：古典概率

2、：在相同的實驗條件下，隨機事件在相同的實驗條件下，隨機事件A，B按各自確定的概率發(fā)生按各自確定的概率發(fā)生3全概率公式：全概率公式：貝葉斯貝葉斯Bayes公式：公式：iiiijjP(A B)P(B|A )P(A )P(A |)P(B)P(B|A )P(A )jB iiiP(B)=P(B|A )P(A )隨機事件隨機事件A構成互斥完備集合構成互斥完備集合Ai，則任意隨機事件則任意隨機事件B可表述為可表述為4隨機變量隨機變量:）在在相同相同的確定實驗條件的確定實驗條件下，對下，對的觀測無法給出單一固定值的觀測無法給出單一固定值; ;）必須依據(jù)必須依據(jù)遍舉測量遍舉測量原則，對所有可能取值給出發(fā)生概率原

3、則，對所有可能取值給出發(fā)生概率 離散變量舉例離散變量舉例: :3MeV光子入射屏蔽鉛板的全吸收反應過程反應類型X :光電效應Compton散射電子對產(chǎn)生反應幾率 : e1e2e3 e1 + e2 + e3 100%其中i.e. 1,1niiiXxp5 連續(xù)型隨機變量連續(xù)型隨機變量: : 在連續(xù)區(qū)間取值，其取某確定值的概率由分布密度函數(shù)給出 分布函數(shù)則有 f x dxP xXxdx+ xF xfx dx ()1Ff x dx+ 6 聯(lián)合分布密度聯(lián)合分布密度: :描述兩個(i.e.多維)隨機變量與的相互關聯(lián)相互獨立相互獨立: 1( ,)fxf x y dy+12,( )( )f x yf xfy7

4、 函數(shù)的分布密度函數(shù)的分布密度: :隨機變量密度函數(shù)f(x),其函數(shù)=()的密度函數(shù)則 ( )fx dxg y dy ( ( )xg yf x yy幾率密度相同幾率密度相同變量變換變量變換Jaccobi8隨機變量的特征值隨機變量的特征值 ( )( )( )E y xyy xf x dx+222 ( )( ( )( )() yD y xyE y xf x dxE yy+1) 期望值期望值(mean: :出現(xiàn)幾率最大或概率中心的觀測值2) 方差方差(standard deviation: :隨機變量x分布對期望值的離散程度) 特征運算: :21212121212 , 0, , 2 ,E cc D

5、cE cxcE x D cxc D xE xxE xE xD xxD xD xCov x x+ 9幾種著名分布1) 二項式分布二項式分布(Binominal: :發(fā)生幾率為p, 不發(fā)生為q=(1-p), 則 N次試驗中出現(xiàn)k次的幾率! 1!N kkNP kppkNk其中k=0,1,2,3, 0p1, p+q1 , (1)E kNp D kNpp例: 反應觸發(fā)率(trigger rate)定義為ek/N, 求其期望值Ee與方差De102) 泊松分布泊松分布(Poisson: : 在相同實驗條件下，相同時間內(nèi)，隨機過程發(fā)生k次的幾率其中關于分布參數(shù)l有 E kD kl當l時，Poisson分布過渡

6、到Gaussian分布 !kP kekll0,0kl113) 高斯分布高斯分布(Gaussian: :2( )( )E xD x221()21( )( ; , )2xf xeN X x +標準化x(x-/, 則正態(tài)分布2121( )(0,1)2xf xeN12分布函數(shù)分布函數(shù)對稱分布()1( )yy 2121( )2yxyedx則,如a,b對對稱,有()()()2() 1babP axb 13Gaussian計數(shù)計數(shù)則,當統(tǒng)計計數(shù)時,N(N10)，過渡至高斯分布e.g. l10l !kP kekllE(k)=D(k)=lN(k;m,m)=m=l2=m=l計數(shù)期望值計數(shù)期望值 N均方根方差均方根

7、方差 N14分布函數(shù)/( )( )1zzF zfx dxel1( ),f xaxbba/1( )xf xell0,0 xl4) 指數(shù)分布指數(shù)分布(Exponential: : 描述自由粒子壽命，或粒子平均自由程分布函數(shù)5) 均勻分布均勻分布(uniform: :其中2()(),()212abbaExDx+15大數(shù)法則大數(shù)法則:在函數(shù)在函數(shù)f(x)定義域定義域a,b內(nèi)內(nèi)，以均勻概率分布隨機地取以均勻概率分布隨機地取N個數(shù)個數(shù)xi，函數(shù)值之和的函數(shù)值之和的算術平均收斂于函數(shù)的期望值算術平均收斂于函數(shù)的期望值 111limlimNbiNaNNif xIf x dxINba在抽取足夠多的隨機樣本后，積

8、分的蒙特卡洛估計值在抽取足夠多的隨機樣本后，積分的蒙特卡洛估計值( (左邊左邊) )將收斂于該積分的正確結果將收斂于該積分的正確結果( (右邊右邊) ) 即隨機變量統(tǒng)計量為 1 ( )( )lim( )( )NbiiaNibaE y xy xf x dxy xf xN16中心極限定理中心極限定理:大量微弱因素累加而成的隨機變量服從單一正態(tài)分布大量微弱因素累加而成的隨機變量服從單一正態(tài)分布例：n個相互獨立分布各異的隨機變量，n，則總和服從正態(tài)分布2221,exp/ 22Nx Gaussian分布隨機測量報道xk置信水平 PPPxxkxkkkk+ ( )()2( )1kkk 17統(tǒng)計量統(tǒng)計量: :

9、隨機變量X(,)一組測量樣本xi的函數(shù)( )iyyx11NiiyxxN例，樣本平均值作為維相互獨立(測量)隨機變量的函數(shù)，y亦為隨機變量，亦存在分布2( )( )( )( )E xE xD xD xNN收斂于期望值(大數(shù)定理)期望值測量誤差(中心極限)182.1 Monte Carlo方法理論依據(jù)理論依據(jù): :- - 均勻分布的算術平均收斂于真值均勻分布的算術平均收斂于真值 ( (大數(shù)法則大數(shù)法則) ) - 置信水平下的統(tǒng)計誤差置信水平下的統(tǒng)計誤差 ( (中心極限中心極限) ) 針對待求問題針對待求問題，根據(jù)根據(jù)物理現(xiàn)象本身的統(tǒng)計規(guī)律物理現(xiàn)象本身的統(tǒng)計規(guī)律，或或人為構造人為構造一合適的依賴隨機

10、變量的概率模型一合適的依賴隨機變量的概率模型，使某些隨機變量的統(tǒng)計量為使某些隨機變量的統(tǒng)計量為待求問題的解待求問題的解，進行大統(tǒng)計量進行大統(tǒng)計量N N的的統(tǒng)計實驗方法或計算機隨統(tǒng)計實驗方法或計算機隨機模擬方法機模擬方法。待求問題：待求問題：1 1）自然界中本身存在的隨機過程）自然界中本身存在的隨機過程，如粒子衰變過程如粒子衰變過程、粒子在介質(zhì)中的輸運過程等粒子在介質(zhì)中的輸運過程等2 2）以慨率模型來解決不直接具有隨機性的確定性問題）以慨率模型來解決不直接具有隨機性的確定性問題，如求，如求 、求積分、求積分19例例1. Buffon1. Buffon投針實驗求投針實驗求 ( (17771777年

11、年) )1 1）平行線間距）平行線間距= =針長針長=s=s；2)2)針與平行線垂線方向夾角針與平行線垂線方向夾角a a則相交概率為則相交概率為coscossaPas02(cos)cos( )Eaaf a da2(cos )MEaN3 3）各項同性均勻拋針，）各項同性均勻拋針，i.e.i.e.夾角夾角a a在在0,0, 均勻分布均勻分布4 4）設）設N次拋針，次拋針，M次相交，則相交概率的期望值為次相交，則相交概率的期望值為（N大數(shù)定理）大數(shù)定理）2NM20問問: : 的測量精度的測量精度? ?服從二項式分布，單次相交概率2(1)()()(1)()MMN MNCppE MNpD MNppM22

12、221(1)( )()()MpppMNNN則2MpN212p222244(1)(2)( )()( )2dpppdppNN2.37N22.37NNM對真值的測量精度與測量次數(shù)平方根反比，即106次實驗才精確到10-322例例2. 2. 投點法求定積分投點法求定積分10)(dxxfIMN-M隨機地向x0,1, y0,ymax正方形內(nèi)投點N，統(tǒng)計落在曲線下的點數(shù)M，當總擲點數(shù)N時MNI 建立恰當?shù)母怕誓Ｐ徒⑶‘數(shù)母怕誓Ｐ?，即確定某個隨機事件A或隨機變量X，使得待求問題的解等于隨機事件出現(xiàn)的概率或隨機變量的數(shù)學期望值。然后重復進行多次的隨機實驗重復進行多次的隨機實驗，對結果進行統(tǒng)計平均，求出A出現(xiàn)的

13、頻數(shù)或X的平均值作為問題的近似解。這種方法也叫做蒙特卡洛模擬。232.2 偽隨機數(shù)進行計算機模擬需要大樣本的均勻分布隨機數(shù)數(shù)列，如何獲得？- 真隨機數(shù)：真隨機數(shù)：由隨機物理過程來產(chǎn)生，例如：放射性衰變、電子設備的熱噪音、 宇宙射線的觸發(fā)時間等等 - 偽隨機數(shù)：偽隨機數(shù)：由計算機按遞推公式大量產(chǎn)生22122mod2/2rrnnrnnxxx+馮.諾曼平方取中法 mxmcaxxnnnn/)(mod(1+乘加同余 0,1n24偽隨機數(shù)的統(tǒng)計檢驗 均勻性檢驗均勻性檢驗: :- 0,1分成k個相等子區(qū)間，進行N次抽樣，投入各子區(qū)間 12kiiiNNNNk- 如均勻,則各區(qū)間落入數(shù)Ni應為計數(shù)Poisson

14、 Gaussian- Ni可視為(,的一組無關樣本測量，服從22221()( )kiiNk21k則25獨立性檢驗獨立性檢驗: : 即i與i+1的前后無關性- 0,1上進行2N次抽樣，分成兩個序列,12222kiji jijNnNnk- 在XY平面內(nèi)劃分kk方格，如獨立, 則各格內(nèi)落入數(shù)應為- 則服從2分布222221()()kijijnk132121:,.,.,iNX 2422:,.,.,iNY 滿足以上統(tǒng)計性檢驗的遞推抽樣序列，可視為0,1均勻分布偽隨機數(shù)262.3 任意分布的偽隨機變量的抽樣 123123: ,.,:,.,NNXx x xxfp pppA. 離散型分布離散型分布隨機變量“本

15、證值”“本證值”概率密度11Niip歸一化，幾率守恒分布函數(shù) 01iixxF xp則取0,1均勻分布隨機數(shù)，按分布函數(shù)不等式抽樣h jjxFxF1jxh27 離散變量舉例離散變量舉例: :3MeV光子入射屏蔽鉛板的全吸收反應過程反應類型X :光電效應Compton散射電子對產(chǎn)生反應截面 ： 123反應幾率 : e1 1/ e2 2/ e3 3/ 其中，1+2+3，e1 + e2 + e3 100%11 e1?光電效應YN1 e2?ComptonYN電子對產(chǎn)生28B. 連續(xù)型分布連續(xù)型分布1. 反函數(shù)直接抽樣法反函數(shù)直接抽樣法： 01xF xf x dx則令 hF h1 F例例 對指數(shù)分布的直接

16、抽樣 ., 00, 0,其它lllxexfx類比于離散型隨機抽樣，求分布函數(shù)29例例 對指數(shù)分布的直接抽樣 ., 00, 0,其它lllxexfx積分得到分布函數(shù) xxtxedtedttfxFlll10 lhheF1令11ln 1lnhll 則指數(shù)分布的隨機變量抽樣為302. 變換抽樣法變換抽樣法：( )( )f x dxg y dy1( )( )dxg yf xydy二維情況：聯(lián)合分布密度函數(shù)g(u,v)的隨機變量(h,d抽樣方法已知，則其函數(shù)vugx,1vugy,2抽樣可依據(jù)( , )( ( , ), ( , )uuxyf x yg u x y v x yvvxy隨機變量x按f(x)抽樣已

17、知，其函數(shù)y=y(x)的概率密度有31例例 Gaussian正態(tài)分布 222exp121xxf 2/exp212xxfdh+可由標準正態(tài)分布代替 解：解：1）相互獨立均勻抽樣u,v, i.e. g(u,v)=112) 構造二維隨機變量2lncos 22lnsin 2xuvyuv2211exp21tan/2uxyvy x+32則，xy 聯(lián)合分布密度函數(shù)為 ,f x yg u x yv x yJ 2211,exp22fx yxyfxfy+其中， 2/exp212xxf 2/exp212yyf 代入Jacobi行列式，有33改進的Maraglia方法:221212+vuw 2/1/ln2wwzvzy

18、uzx,(1) 產(chǎn)生0,1區(qū)間上的獨立均勻分布隨機數(shù)u,v(2) 計算(3) 如果 w1，回到步驟(1)；否則，執(zhí)行(4)(4) 計算(5) 得到二維相互獨立標準正態(tài)分布抽樣u,v0,1w 1?X=uzYNw=(2u-1)2+(2v-1)2z=-2lnw/w1/2舍選效率21%343. 舍選抽樣法舍選抽樣法：第三類舍選不易直接抽取隨機變量X分布f(x), 而與隨機變量Y聯(lián)合分布密度g(x,y)存在( )( )( , )( , )h xf xg x y dyLg x y dy+聯(lián)合分布Page5數(shù)學上可構造其中 函數(shù)h(x)取值在y定義域上 常數(shù)L的定義為1( )( , )1h xLg x y

19、dxdy+ (2.3.38)35,xyxxyxyxpxhpxhphhhhhhhhh111()()11221221()1122( ,)( ,)( ,)h txh txh tdtg t tdtLg t tdtdtdtg t tdtpxh+Page2Bayes公式則有子樣子樣hx概率等于在概率等于在hyh(hx)條件下，條件下，hxx出現(xiàn)的概率出現(xiàn)的概率36按g(x,y)抽取(hx,hy)hyh(hx?h=hxYN第三類舍選抽樣步驟： 由聯(lián)合分布密度函數(shù)g(x,y)抽取隨機向量),(yxhh 判別 是否成立; 若不成立, 返回 xyhhh 取分布密度函數(shù)f(x)的抽樣值 xhh抽樣效率1/L37例：

20、例：各向同性方位角余弦的抽樣 2111( )10 xf xx其它解：解： 物理含義f 0,2各向同性 h=cos(2) 密度函數(shù)直接抽樣12111cos( )( )11xxxF xf t dtdtt 1cos1h cos()h需要計算cos函數(shù)38 解解 獨立抽取均勻分布1 與 2，定義22212221+x2221+y11(1)2yx+21(1)2yx12211( , )( ,)141g x yJJx (1,2)到(x,y)變換抽樣則構造(x,y)聯(lián)合密度函數(shù)21,1,02( , )4 10,xyg x yx其它39類比構造h(x)與L( )2( )( )220011( )( , )1114

21、14 1h xh xh xf xLg x y dyxLdyLdyxx則有4,( )1Lh x40N12,22212221+x2221+yY1)(xhyxh2221212h+抽樣：改進：N12,1x221yY221xy+2222xyxyh+222xyxyh + 效率1/L=/441第二類舍選( )( )( , )h xf xLg x y dy抽樣抽樣密度函數(shù)密度函數(shù)抽樣效率抽樣效率判據(jù)函數(shù)判據(jù)函數(shù)如x,y相互獨立， ygxgyxg21,，且y為均勻分布 21,0,10,ygy其它則有 0 0h h x x1 1在y的定義域上 ( )121( )()h xfxL hLgxgy dyxgx判據(jù)判據(jù)抽

22、樣抽樣效率效率42則對任意密度函數(shù)構造 ( )( )( )( ),fxf xLg xL h xg xLg x判據(jù)判據(jù)抽樣抽樣效率效率 Y均勻分布g2(y)=1 0h(x)1，即( )max1( )xfLxh x定義域 密度概率函數(shù)g(x)，易于抽樣 , 按g(x)抽取hgy=h(hg?hx=hgYN抽樣效率1/L ( )f xh xLg x43例例 采用第二類舍選抽樣標準正態(tài)分布2exp21)(2xxf)(+x解：解：不存在反函數(shù)，湊二類舍選函數(shù)形式2;eL效率：效率：2( )exp12h xx判據(jù)：判據(jù)：( )xg xe指數(shù)直接抽樣：指數(shù)直接抽樣：)0(+ x偶函數(shù)：偶函數(shù)：22(1)2ln

23、gh YN1lngh xghh44第一類舍選二類舍選中，如抽樣概率密度函數(shù)g(x)均勻分布，則 , 1( )maxxa bLf xl定義域 f f x x 1 1, ,2 21)(daba+ dlf2YNxhd45例例 對隨機變量抽樣 .,0, 10,2其它xxxf 2xxF解：解： 反函數(shù)法，直接抽樣x 第一類舍選1()fld21YN1xh21, 改進 推廣 ., 0,.2 , 1,1 , 0,1其它nxnxxfn12max( ,)xh nx,.,max21464. 復合抽樣法復合抽樣法：()(|)()fxgxy hy dy+ 復合分布密度函數(shù) 根據(jù)密度函數(shù)h(y)抽樣 hy 根據(jù)條件密度函

24、數(shù) 抽樣 )|(hyxggx)|(hyxgfx47加分布抽樣復概率密度函數(shù)( )( )nnnfxhxp01,np1;nnp ( )1nh x+niiniipp111 取0,1區(qū)間上均勻分布隨機數(shù) , 解下不等式求n 找到對應的 ，對其抽樣得到 )(xhnnhhh其中抽樣步驟：48例：例：球殼均勻分布的抽樣 ,3)(30312RRrrf10RrR3/1303031RRR+h例：例： 積分求分布函數(shù)，直接抽樣 變量代換100(),rRR xR+200121RRRR+l132)(33)()(200102201+lllRxRRRxRRxf 密度函數(shù)4950減分布抽樣復概率密度函數(shù)112212( )( )( ),0f xAg xA g xA A取2, 1( )min,( )xa bgxmgx則21121121( )0( )( )( )()( )gxf xgxAAgxAA mgx122112112121( )( )0( )1()( )( )AAgxf xh xAA m g xAA mAA m g x即 g2(x),g1(x)0概率密度