高斯分布密度函數(shù)的分析

高斯分布密度函數(shù)的分析

一、建立對(duì)高斯核心統(tǒng)計(jì)思想的深入挖掘眾所周知，高斯分布（又稱正態(tài)分布）是數(shù)理統(tǒng)計(jì)理論中最重要的分布形式。中心極限定理揭示:任何分布的抽樣分布當(dāng)樣本量足夠大時(shí),其漸近分布都是高斯分布。這一結(jié)果在統(tǒng)計(jì)理論的研究歷史中具有里程碑式的意義,從此數(shù)理統(tǒng)計(jì)的實(shí)踐工作具有了堅(jiān)實(shí)的理論基礎(chǔ)。高斯分布密度函數(shù)的函數(shù)形式由德國著名的天才數(shù)學(xué)家、統(tǒng)計(jì)學(xué)家、物理學(xué)家和天文學(xué)家高斯推導(dǎo)出。高斯一生中所取得的科學(xué)成就無數(shù),但是,在歐元出現(xiàn)前的德國馬克10馬克紙幣上,不僅印有高斯的頭像,更印有高斯分布N(μ,σ2)的密度曲線。這傳達(dá)出一種強(qiáng)烈的信息:在高斯的一切科學(xué)貢獻(xiàn)中,其對(duì)人類文明影響最大者,就數(shù)這一項(xiàng)。高斯的偉大成果令無數(shù)人為之折服,但是,由于其推導(dǎo)過程用到較多數(shù)學(xué)理論,雖不能說特別深,卻也足以令不少數(shù)學(xué)基礎(chǔ)薄弱者感到難以理解。另外,其所用到的統(tǒng)計(jì)學(xué)思想不是從傳統(tǒng)的思維角度出發(fā),具有很大的創(chuàng)造性,這使得其詳細(xì)的推導(dǎo)過程相當(dāng)不易見于一般的統(tǒng)計(jì)學(xué)著作,更完全不見于普通的統(tǒng)計(jì)學(xué)教科書。于是,許許多多的人對(duì)之感到深深的困惑;如此并不常見的函數(shù)形式高斯本人究竟是源于什么思路想到,又是利用什么方法導(dǎo)出?事實(shí)上,本人自本科時(shí)代初次接觸它起就曾經(jīng)長(zhǎng)時(shí)間陷入對(duì)這一問題的思考,久久地得不出結(jié)論。其實(shí)原本也以為這根本不是什么問題,日后有機(jī)會(huì)找到一本有關(guān)著作看一下就是,但后來才發(fā)現(xiàn),要找到一本這樣的著作相當(dāng)困難。另一方面,隨著自己進(jìn)入統(tǒng)計(jì)理論的教學(xué)和科研工作,這一問題漸漸成了不可回避的問題,讀史才能鑒今,對(duì)它知其然不知其所以然的了解狀況嚴(yán)重影響著自己對(duì)其它統(tǒng)計(jì)理論的理解深度。顯然,這應(yīng)該是一個(gè)有關(guān)統(tǒng)計(jì)史方面的問題,但是,多少年來,網(wǎng)上搜索中國最權(quán)威的學(xué)術(shù)文獻(xiàn)庫“中國知網(wǎng)”和國外著名的學(xué)術(shù)文獻(xiàn)全文數(shù)據(jù)庫“Springer”、“WorldScientific”等,竟然發(fā)現(xiàn)從來沒有人提供這方面的證明材料。在中國最大的網(wǎng)上圖書館“超星圖書館”的搜索引擎中輸入關(guān)鍵詞“統(tǒng)計(jì)史”,也從沒有發(fā)現(xiàn)一本該方面的著作。加之身邊的同事、學(xué)生也無數(shù)次表達(dá)出同樣的困惑,于是久遠(yuǎn)的興趣被再次激起,使本人下定了決心:一定要將該問題深究下去,直至其水落石出!事實(shí)上,對(duì)這一問題的探討,其實(shí)際意義遠(yuǎn)不止于對(duì)該理論本身的掌握,更在于對(duì)高斯核心統(tǒng)計(jì)思想的深刻領(lǐng)會(huì),學(xué)習(xí)他與眾不同的研究視角和研究手段,具有極高的理論價(jià)值。如前所述,要找出這一問題的詳細(xì)探討過程委實(shí)不易。有關(guān)統(tǒng)計(jì)方面的純理論研究就已經(jīng)偏少,統(tǒng)計(jì)史方面的研究則少之又少。對(duì)于如此基本的問題,國外所能找到的資料由于沒有發(fā)現(xiàn)有正面闡述者,因而大都語焉不詳、一筆帶過。幾費(fèi)周折后獲得唯一的參考資料是國內(nèi)陳希孺院士所著的《數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史》,其中敘述相對(duì)詳細(xì),卻也不過區(qū)區(qū)三、兩百字而已,且重在介紹其思想的來源,僅僅是在附注中給出部分框架性論證,核心推導(dǎo)處著筆寥寥,不少較重要的細(xì)節(jié)被跳過,所得結(jié)論看后讓人不勝思揣。盡管如此,筆者仍然對(duì)之視若珍寶,再結(jié)合其他所能獲得的有限資料,慢慢地得以將高斯的主要思想進(jìn)行梳理、匯總,然后利用自己的數(shù)理知識(shí)對(duì)所有中間環(huán)節(jié)作詳盡的推證,雖從未看見高斯本人的推導(dǎo),但自認(rèn)為已經(jīng)能將之完全復(fù)原了。今展現(xiàn)于此,以饗所有對(duì)此問題有興趣者。二、無理數(shù)x引理1若函數(shù)g(x)為具有二階導(dǎo)數(shù)的偶函數(shù),則g′(x)是奇函數(shù);g″(x)又是偶函數(shù)。證明因?yàn)間(-x)=g(x),所以g′(-x)(-1)=g′(x),即:g(-x)=-g′(x),同理得:g″(-x)=g″(x)證畢。引理2若函數(shù)g(x)滿足以下條件:a)g(0)=0;b)g(x)可導(dǎo)且導(dǎo)函數(shù)連續(xù);c)g′(x)是偶函數(shù);d)對(duì)任意自然數(shù)m及實(shí)數(shù)x滿足:g′(mx)=g′(x)則對(duì)任意實(shí)數(shù)x,函數(shù)g(x)必具有形式:g(x)=cx(其中c為常數(shù))。證明當(dāng)x=0時(shí),結(jié)論顯然成立;當(dāng)x≠0時(shí),令x=1m,則有:g′(1)=g′(m?1m)=g′(1m)即g′(1m)=g′(1)對(duì)于任意有理數(shù)x,若x>0,總能表示成正分?jǐn)?shù)的形式x=nm(m、n均為自然數(shù)),于是有:g′(x)=g′(nm)=g′(1m)=g′(1)若x<0,利用偶函數(shù)的性質(zhì),上式依然成立。所以對(duì)一切有理數(shù),上述結(jié)論成立。對(duì)于任意無理數(shù)x,總能構(gòu)造一個(gè)有理數(shù)列{xn}(n=1,2,3,…)使得該數(shù)列趨于x,即:limn→∞xn=x由于g(x)具有一階連續(xù)導(dǎo)函數(shù),于是對(duì)其求積分與求極限運(yùn)算可交換,可得:g′(x)=g′(limn→∞xn)=limn→∞g′(xn)=limn→∞g′(1)=g′(1)這樣對(duì)全體實(shí)數(shù)x均有:g′(x)=g′(1)令g′(1)=c,利用條件(1),對(duì)上式兩邊求不定積分得:g(x)=cx證畢。引理3函數(shù)e-x2在整個(gè)實(shí)數(shù)域上的積分值為√π,即:∫∞-∞e-x2dx=√π設(shè)D表示平面直角坐標(biāo)系中的第一象限,即:D=[0,+∞)×[0,∞)證明令DR為以原點(diǎn)為圓心、半徑為R的圓與D的交集,即該圓在第一象限的部分,根據(jù)二重積分理論有:?De-(x2+y2)dσ=limR→∞?De-(x2+y2)dσ=limR→∞∫π/20dθ∫R0e-r2rdr=limR→∞π4(1-e-R2)=π4再令:Sa=[0,a]×[0,a],a>0考察區(qū)域Sa上積分:?Sae-(x2+y2)dσ=∫a0e-x2dr∫a0e-y2dy=(∫a0e-x2dx)2由圖1可見下式成立:Da?Sa?D√2aD√2a表示圖中較小的1/4圓所在區(qū)域Sa表示圖中正方形所在區(qū)域Da表示圖中較大的1/4圓所在區(qū)域因?yàn)閑-(x2+y2)為非負(fù)函數(shù),由兩邊夾定理得:?Dae-(x2+y2)dσ≤?Sae-(x2+y2)dσ=(∫a0e-x2dx)2≤?D√2ae-(x2+y2)dσ從而有(∫∞0e-x2dx)2=(lima→∞∫a0e-x2dx)2=lima→∞(∫a0e-x2dx)2=?De-(x2+y2)dσ=π4即∫∞0e-x2dx=√π2或者:∫∞-∞e-x2dx=√π證畢。三、密度函數(shù)的發(fā)現(xiàn)和應(yīng)用在進(jìn)行密度函數(shù)的具體推導(dǎo)前,先進(jìn)行必要的背景知識(shí)介紹:最初的高斯密度函數(shù)形式的推導(dǎo),其思想動(dòng)機(jī)來源于對(duì)誤差規(guī)律的認(rèn)識(shí)。眾所周知,隨機(jī)誤差屬于一種典型的隨機(jī)變量。直覺上,對(duì)一個(gè)物體的測(cè)量,用多次測(cè)量的結(jié)果的算術(shù)平均數(shù)作為總體平均真值的估計(jì)肯定優(yōu)于用單次測(cè)量結(jié)果作為其估計(jì)值,而且似乎并不存在其它更好的估計(jì)量。那么誤差隨機(jī)變量所服從的分布或者說其密度函數(shù)一定是這么一個(gè)“周密”的函數(shù),它總能使樣本的算術(shù)平均數(shù)成為總體真值估計(jì)量中最優(yōu)良的估計(jì)量。設(shè)總體真值為θ,有一個(gè)關(guān)于測(cè)量誤差的簡(jiǎn)單隨機(jī)樣本x1,x2,…,xn,考慮使如下似然函數(shù)取最大值時(shí)的估計(jì)量:L(?θ)=maxθL(θ)=maxθf(x1-θ)f(x2-θ)?f(xn-θ)不同于最大似然估計(jì)思想:在給定總體密度函數(shù)f(x)的條件下,什么樣的?θ值能使上式取最大值,則這個(gè)取值就要所尋求的參數(shù)θ的估計(jì)值;高斯的創(chuàng)新性想法是:既然經(jīng)驗(yàn)告訴人們樣本的算術(shù)平均值往往是總體平均值最優(yōu)良的估計(jì),那么是什么樣的分布(密度函數(shù))造就了這一結(jié)果,則這個(gè)分布(密度函數(shù))就是高斯要尋求的分布(密度函數(shù))。于是,高斯先承認(rèn)ˉx已經(jīng)是應(yīng)取的估計(jì),然后去找誤差密度函數(shù)迎合這一點(diǎn),即找出這樣的f(x),使得由上式所決定的?θ就是ˉx。以f(x)記待定的誤差密度函數(shù)。根據(jù)在沒有系統(tǒng)誤差的條件下,測(cè)量值總是越是遠(yuǎn)離真值其出現(xiàn)概率越小,并且在真值左右應(yīng)對(duì)稱地分布的特點(diǎn),誤差的密度函數(shù)f(x)應(yīng)該是連續(xù)的偶函數(shù)。另外,可以再允許它具有進(jìn)一步優(yōu)良的數(shù)學(xué)性質(zhì),如具有二階連續(xù)的導(dǎo)函數(shù)等。只要這樣的函數(shù)最終存在,就還是達(dá)到了目的。由于問題:maxθf(x1-θ)f(x2-θ)?f(xn-θ)等價(jià)于問題:maxθLn[f(x1-θ)f(x2-θ)?f(xn-θ)]即maxθn∑Ι=1ln(f(xi-θ))要使該式取大值,勢(shì)必有:n∑i=1ln′θ(f(xi-?θ))=n∑i=1f′θ(xi-?θ)f(xi-?θ)=0引入輔助函數(shù)g(x)=f′(x)f(x)則n∑i=1g(xi-?θ)=0為得到g(x)的形式,利用f(x)的偶函數(shù)性質(zhì)并運(yùn)用引理(1)的結(jié)論知,g(x)是奇函數(shù)。所以有:g(x)=-g(-x),g(0)=0取自然數(shù)m,并令n=m+1,故:x1=x2=…=xm=-x,xm+1=mx,則此時(shí)?θ=ˉx=0由于:n∑i=1g(xi-?θ)=n∑i=1g(xi)=0并利用前式得:g(mx)=mg(x)上式對(duì)一切自然數(shù)m及實(shí)數(shù)x成立。由此,假定g(x)可導(dǎo)且導(dǎo)函數(shù)連續(xù),等式兩邊分別關(guān)于x求導(dǎo),得:dg(mx)d(mx)*d(mx)dx=mdg(x)dx即g′(mx)=g′(x)由于g′(x)=f″而f(x)是偶函數(shù),根據(jù)引理(1),f′(x)是奇函數(shù),f″(x)是偶函數(shù),于是g′(x)是偶函數(shù)。由于f(x)具有二階連續(xù)導(dǎo)函數(shù),所以g′(x)連續(xù)。這樣,g(x)符合引理(2)的全部條件,運(yùn)用其結(jié)論得:f′(x)f(x)=cx即g(x)=cx由于f′(x)f(x)=d[ln(f(x))]dx從而ln(f(x))=∫cxdx=12cx2+c′故f(x)=e12cx2+c′=Μe12cx2(Μ?ec′)上述f(x)顯然恒大于零,要使其能成為密度函數(shù)還須使其在整個(gè)實(shí)數(shù)域上積分值為1。