數(shù)學(xué)科普資料：正態(tài)分布的前世今生(上)

數(shù)學(xué)科普資料：正態(tài)分布的前世今生(上)數(shù)學(xué)科普資料：正態(tài)分布的前世今生(上)數(shù)學(xué)科普資料：正態(tài)分布的前世今生(上)數(shù)學(xué)科普資料：正態(tài)分布的前世今生(上)編制僅供參考審核批準(zhǔn)生效日期地址：電話：傳真:郵編:正態(tài)分布的前世今生（上）rickjin(靳志輝)關(guān)鍵詞：

正態(tài)分布,

統(tǒng)計(jì)學(xué),

高斯,

最小二乘法神說，要有正態(tài)分布，就有了正態(tài)分布。神看正態(tài)分布是好的，就讓隨機(jī)誤差就服從了正態(tài)分布。創(chuàng)世紀(jì)-數(shù)理統(tǒng)計(jì)一、正態(tài)分布，熟悉的陌生人學(xué)過基礎(chǔ)統(tǒng)計(jì)學(xué)的同學(xué)大都對(duì)正態(tài)分布非常熟悉。這個(gè)鐘型的分布曲線不但形狀優(yōu)雅，其密度函數(shù)寫成數(shù)學(xué)表達(dá)式12π??√σexp(?(x?μ)22σ2)也非常具有數(shù)學(xué)的美感。其標(biāo)準(zhǔn)化后的概率密度函數(shù)12π??√exp(?x22)更加的簡(jiǎn)潔漂亮,兩個(gè)最重要的數(shù)學(xué)常量π,e都出現(xiàn)在了公式之中。在我個(gè)人的審美之中，它也屬于top-N的最美麗的數(shù)學(xué)公式之一，如果有人問我數(shù)理統(tǒng)計(jì)領(lǐng)域哪個(gè)公式最能讓人感覺到上帝的存在，那我一定投正態(tài)分布的票。因?yàn)檫@個(gè)分布戴著神秘的面紗，在自然界中無處不在，讓你在紛繁蕪雜的數(shù)據(jù)背后看到隱隱的秩序。正態(tài)分布曲線正態(tài)分布又通常被稱為高斯分布，在科學(xué)領(lǐng)域，冠名權(quán)那是一個(gè)很高的榮譽(yù)。早年去過德國的兄弟們還會(huì)發(fā)現(xiàn)，德國的鋼镚和10馬克的紙幣上都留有高斯的頭像和正態(tài)密度曲線。正態(tài)分布被冠名高斯分布，我們也容易認(rèn)為是高斯發(fā)現(xiàn)了正態(tài)分布，其實(shí)不然，不過高斯對(duì)于正態(tài)分布的歷史地位的確立是起到了決定性的作用。德國馬克上的高斯頭像和正態(tài)分布曲線正態(tài)曲線雖然看上去很美，卻不是一拍腦袋就能想到的。我們?cè)诒究茖W(xué)習(xí)數(shù)理統(tǒng)計(jì)的時(shí)候，課本一上來介紹正態(tài)分布就給出密度分布函數(shù)，卻從來不說明這個(gè)分布函數(shù)是通過什么原理推導(dǎo)出來的。所以我一直搞不明白數(shù)學(xué)家當(dāng)年是怎么找到這個(gè)概率分布曲線的，又是怎么發(fā)現(xiàn)隨機(jī)誤差服從這個(gè)奇妙的分布的。我們?cè)趯?shí)踐中大量的使用正態(tài)分布，卻對(duì)這個(gè)分布的來龍去脈知之甚少，正態(tài)分布真是讓人感覺既熟悉又陌生。直到我讀研究生的時(shí)候，我的導(dǎo)師給我介紹了陳希儒院士的《數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史》這本書，看了之后才了解了正態(tài)分布曲線從發(fā)現(xiàn)到被人們重視進(jìn)而廣泛應(yīng)用，也是經(jīng)過了幾百年的歷史。正態(tài)分布的這段歷史是很精彩的，我們通過講一系列的故事來揭開她的神秘面紗。二、邂逅，正態(tài)曲線的首次發(fā)現(xiàn)第一個(gè)故事和概率論的發(fā)展密切相關(guān)，主角是棣莫弗(DeMoivre)和拉普拉斯(Laplace)。拉普拉斯是個(gè)大科學(xué)家，被稱為法國的牛頓；棣莫弗名氣可能不算很大，不過大家應(yīng)該都熟悉這個(gè)名字，因?yàn)槲覀冊(cè)诟咧袛?shù)學(xué)學(xué)復(fù)數(shù)的時(shí)候我們都學(xué)過棣莫弗定理(cosθ+isinθ)n=cos(nθ)+isin(nθ).古典概率論發(fā)源于賭博，惠更斯、帕斯卡、費(fèi)馬、貝努利都是古典概率的奠基人，他們那會(huì)研究的概率問題大都來自賭桌上，最早的概率論問題是賭徒梅累在1654年向帕斯卡提出的如何分賭金的問題。統(tǒng)計(jì)學(xué)中的總體均值之所以被稱為期望(Expectation)，就是源自惠更斯、帕斯卡這些人研究平均情況下一個(gè)賭徒在賭桌上可以期望自己贏得多少錢。棣莫弗(DeMoivre)拉普拉斯

(Laplace)有一天一個(gè)哥們，也許是個(gè)賭徒，向棣莫弗提了一個(gè)和賭博相關(guān)的一個(gè)問題：A,B兩人在賭場(chǎng)里賭博，A,B各自的獲勝概率是p和q=1?p，賭n局，若A贏的局?jǐn)?shù)X>np，則A付給賭場(chǎng)X?np元，否則B付給賭場(chǎng)np?X元。問賭場(chǎng)掙錢的期望值是多少？

問題并不復(fù)雜，本質(zhì)上是一個(gè)二項(xiàng)分布，最后求出的理論結(jié)果是2npqb(n,p,np),其中b(n,p,i)=(ni)piqn?i是常見的二項(xiàng)概率。但是對(duì)具體的n，要把這個(gè)理論結(jié)果實(shí)際計(jì)算出數(shù)值結(jié)果可不是件容易的事，因?yàn)槠渲械亩?xiàng)公式中有組合數(shù).這就驅(qū)動(dòng)棣莫弗尋找近似計(jì)算的方法。與此相關(guān)聯(lián)的另一個(gè)問題，是遵從二項(xiàng)分布的隨機(jī)變量X～B(n,p)，問X落在二項(xiàng)分布中心點(diǎn)一定范圍的概率Pd=P(|X?np|≤d)是多少？

對(duì)于p=12的情形，棣莫弗做了一些計(jì)算并得到了一些近似結(jié)果，但是還不夠漂亮，幸運(yùn)的是棣莫弗和斯特林(Stirling)處在同一個(gè)時(shí)代，而且二人之間有聯(lián)系，斯特林公式是在數(shù)學(xué)分析中必學(xué)的一個(gè)重要公式：(事實(shí)上斯特林公式的形式其實(shí)是棣莫弗最先發(fā)現(xiàn)的，但是斯特林改進(jìn)了這個(gè)公式，改進(jìn)的結(jié)果為棣莫弗所用)n!～2πn???√(ne)n1733年，棣莫弗很快利用斯特林公式進(jìn)行計(jì)算并取得了重要的進(jìn)展?？紤]n是偶數(shù)的情形，令二項(xiàng)概率b(i)=b(n,12,i)=(ni)(12)n通過斯特林公式做一些簡(jiǎn)單的計(jì)算容易得到，b(n2)～2πn???√

?

b(n2+d)b(n2)～exp(?2d2n).于是有b(n2+d)～22πn???√exp(?2d2n).使用上式的結(jié)果，并在二項(xiàng)概率累加求和的過程中近似的使用定積分代替求和，很容易就能得到

P(∣∣∣Xn?12∣∣∣≤cn?√)=

～

=

～

∑?cn√≤i≤cn√b(n2+i)∑?cn√≤i≤cn√22πn???√exp(?2i2n)

(1)∑?2c≤2in√≤2c12π??√exp???12(2in?√)2??2n?√∫2c?2c12π??√exp(看，正態(tài)分布的密度函數(shù)的形式在積分公式中出現(xiàn)了！這也就是我們?cè)跀?shù)理統(tǒng)計(jì)課本上學(xué)到的二項(xiàng)分布的極限分布是正態(tài)分布。以上只是討論了p=12的情形，棣莫弗也對(duì)p≠12做了一些計(jì)算，后來拉普拉斯對(duì)p≠12的情況做了更多的分析，并把二項(xiàng)分布的正態(tài)近似推廣到了任意p的情況。這是第一次正態(tài)密度函數(shù)被數(shù)學(xué)家勾畫出來，而且是以二項(xiàng)分布的極限分布的形式被推導(dǎo)出來的。熟悉基礎(chǔ)概率統(tǒng)計(jì)的同學(xué)們都知道這個(gè)結(jié)果其實(shí)叫棣莫弗-拉普拉斯中心極限定理。[DeMoivre-Laplace中心極限定理]

設(shè)隨機(jī)變量Xn(n=1,2...)服從參數(shù)為p的二項(xiàng)分布，則對(duì)任意的x，恒有l(wèi)imn→∞P{Xn?Xpnp(1?p)???????√≤x}=∫x?∞12π??√exp(?t22)dt.我們?cè)诖髮W(xué)學(xué)習(xí)數(shù)理統(tǒng)計(jì)的時(shí)候，學(xué)習(xí)的過程都是先學(xué)習(xí)正態(tài)分布，然后才學(xué)習(xí)中心極限定理。而學(xué)習(xí)到正態(tài)分布的時(shí)候，直接就描述了其概率密度的數(shù)學(xué)形式，雖然數(shù)學(xué)上很漂亮，但是容易困惑數(shù)學(xué)家們是如何憑空就找到這個(gè)分布的。讀了陳希孺的《數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史》之后，我才明白正態(tài)分布的密度形式首次發(fā)現(xiàn)是在棣莫弗-拉普拉斯的中心極限定理中。數(shù)學(xué)家研究數(shù)學(xué)問題的進(jìn)程很少是按照我們數(shù)學(xué)課本的安排順序推進(jìn)的，現(xiàn)代的數(shù)學(xué)課本都是按照數(shù)學(xué)內(nèi)在的邏輯進(jìn)行組織編排的，雖然邏輯結(jié)構(gòu)上嚴(yán)謹(jǐn)優(yōu)美，卻把數(shù)學(xué)問題研究的歷史痕跡抹得一干二凈。DNA雙螺旋結(jié)構(gòu)的發(fā)現(xiàn)者之一JamesWaston在他的名著《DNA雙螺旋》序言中說：“科學(xué)的發(fā)現(xiàn)很少會(huì)像門外漢所想象的一樣，按照直接了當(dāng)合乎邏輯的方式進(jìn)行的?！遍δソo出他的發(fā)現(xiàn)后40年（大約是1770），拉普拉斯建立了中心極限定理較一般的形式，中心極限定理隨后又被其它數(shù)學(xué)家們推廣到了其它任意分布的情形，而不限于二項(xiàng)分布。后續(xù)的統(tǒng)計(jì)學(xué)家發(fā)現(xiàn)，一系列的重要統(tǒng)計(jì)量，在樣本量N趨于無窮的時(shí)候，其極限分布都有正態(tài)的形式，這構(gòu)成了數(shù)理統(tǒng)計(jì)學(xué)中大樣本理論的基礎(chǔ)。棣莫弗在二項(xiàng)分布的計(jì)算中瞥見了正態(tài)曲線的模樣，不過他并沒有能展現(xiàn)這個(gè)曲線的美妙之處。棣莫弗的這個(gè)工作當(dāng)時(shí)并沒有引起人們足夠的重視，原因在于棣莫弗不是個(gè)統(tǒng)計(jì)學(xué)家，從未從統(tǒng)計(jì)學(xué)的角度去考慮其工作的意義。正態(tài)分布(當(dāng)時(shí)也沒有被命名為正態(tài)分布)在當(dāng)時(shí)也只是以極限分布的形式出現(xiàn)，并沒有在統(tǒng)計(jì)學(xué)，尤其是誤差分析中發(fā)揮作用。這也就是正態(tài)分布最終沒有被冠名棣莫弗分布的重要原因。那高斯做了啥了不起的工作導(dǎo)致統(tǒng)計(jì)學(xué)家把正態(tài)分布的這頂桂冠戴在了他的頭上呢？這先得從最小二乘法的發(fā)展說起。三、最小二乘法，數(shù)據(jù)分析的瑞士軍刀第二個(gè)故事的主角是歐拉(Euler),拉普拉斯(Lapalace),勒讓德(Legendre)和高斯(Gauss),故事發(fā)生的時(shí)間是十八世紀(jì)中到十九世紀(jì)初。十七、十八世紀(jì)是科學(xué)發(fā)展的黃金年代，微積分的發(fā)展和牛頓萬有引力定律的建立，直接的推動(dòng)了天文學(xué)和測(cè)地學(xué)的迅猛發(fā)展。當(dāng)時(shí)的大科學(xué)家們都在考慮許多天文學(xué)上的問題。幾個(gè)典型的問題如下：土星和木星是太陽系中的大行星，由于相互吸引對(duì)各自的運(yùn)動(dòng)軌道產(chǎn)生了影響，許多大數(shù)學(xué)家，包括歐拉和拉普拉斯都在基于長(zhǎng)期積累的天文觀測(cè)數(shù)據(jù)計(jì)算土星和木星的運(yùn)行軌道。勒讓德承擔(dān)了一個(gè)政府給的重要任務(wù)，測(cè)量通過巴黎的子午線的長(zhǎng)度。海上航行經(jīng)緯度的定位。主要是通過對(duì)恒星和月面上的一些定點(diǎn)的觀測(cè)來確定經(jīng)緯度。這些天文學(xué)和測(cè)地學(xué)的問題，無不涉及到數(shù)據(jù)的多次測(cè)量、分析與計(jì)算；十七、十八世紀(jì)的天文觀測(cè)，也積累了大量的數(shù)據(jù)需要進(jìn)行分析和計(jì)算。很多年以前，學(xué)者們就已經(jīng)經(jīng)驗(yàn)性的認(rèn)為，對(duì)于有誤差的測(cè)量數(shù)據(jù)，多次測(cè)量取平均是比較好的處理方法。雖然缺乏理論上的論證，也不斷的受到一些人的質(zhì)疑，取平均作為一種異常直觀的方式，已經(jīng)被使用了千百年，在多年積累的數(shù)據(jù)的處理經(jīng)驗(yàn)中也得到相當(dāng)程度的驗(yàn)證，被認(rèn)為是一種良好的數(shù)據(jù)處理方法。勒讓德(Legendre)以上涉及的問題，我們直接關(guān)心的目標(biāo)量往往無法直接觀測(cè)，但是一些相關(guān)的量是可以觀測(cè)到的，而通過建立數(shù)學(xué)模型，最終可以解出我們關(guān)心的量。這些問題都可以用如下數(shù)學(xué)模型描述：我們想估計(jì)的量是β0,?,βp，另有若干個(gè)可以測(cè)量的量x1,?,xp,y，這些量之間有線性關(guān)系y=β0+β1x1+?+βpxp如何通過多組觀測(cè)數(shù)據(jù)求解出參數(shù)β0,?,βp呢？歐拉和拉普拉斯采用的都是求解線性方程組的方法。

?????????????y1=β0+β1x11+β2x21+?+βpxp1y2=β0+β1x12+β2x22+?+βpxp2

(2)

?yn=β0+β1x1n+β2x2n+?+βpxpn但是面臨的一個(gè)問題是，有n組觀測(cè)數(shù)據(jù)，p+1個(gè)變量，如果n>p+1，則得到的線性矛盾方程組，無法直接求解。所以歐拉和拉普拉斯采用的方法都是通過一定的對(duì)數(shù)據(jù)的觀察，把n個(gè)線性方程分為p+1組，然后把每個(gè)組內(nèi)的方程線性求和后歸并為一個(gè)方程，從而就把n個(gè)方程的方程組化為p+1個(gè)方程的方程組，進(jìn)一步解方程求解參數(shù)。這些方法初看有一些道理，但是都過于經(jīng)驗(yàn)化，無法形成統(tǒng)一處理這一類問題的一個(gè)通用解決框架。以上求解線性矛盾方程的問題在現(xiàn)在的本科生看來都不困難，就是統(tǒng)計(jì)學(xué)中的線性回歸問題，直接用最小二乘法就解決了，可是即便如歐拉、拉普拉斯這些數(shù)學(xué)大牛，當(dāng)時(shí)也未能對(duì)這些問題提出有效的解決方案?？梢娫诳茖W(xué)研究中，要想在觀念上有所突破并不容易。有效的最小二乘法是勒讓德在1805年發(fā)表的，基本思想就是認(rèn)為測(cè)量中有誤差，所以所有方程的累積誤差為累積誤差=∑(觀測(cè)值?理論值)2我們求解出導(dǎo)致累積誤差最小的參數(shù)即可。β?==argminβ∑i=1ne2iargminβ∑i=1n[yi?(β0+β1x1i+?+βpxpi)]2

(3)勒讓德在論文中對(duì)最小二乘法的優(yōu)良性做了幾點(diǎn)說明：最小二乘使得誤差平方和最小，并在各個(gè)方程的誤差之間建立了一種平衡，從而防止某一個(gè)極端誤差取得支配地位計(jì)算中只要求偏導(dǎo)后求解線性方程組，計(jì)算過程明確便捷最小二乘可以導(dǎo)出算術(shù)平均值作為估計(jì)值對(duì)于最后一點(diǎn)，推理如下：假設(shè)真值為θ,x1,?,xn為n次測(cè)量值，每次測(cè)量的誤差為ei=xi?θ，按最小二乘法，誤差累積為L(zhǎng)(θ)=∑i=1ne2i=∑i=1n(xi?θ)2求解θ使得L(θ)達(dá)到最小，正好是算術(shù)平均xˉ=1n∑i=1nxi.由于算術(shù)平均是一個(gè)歷經(jīng)考驗(yàn)的方法，而以上的推理說明，算術(shù)平均是最小二乘的一個(gè)特例，所以從另一個(gè)角度說明了最小二乘方法的優(yōu)良性，使我們對(duì)最小二乘法更加有信心。最小二乘法發(fā)表之后很快得到了大家的認(rèn)可接受，并迅速的在數(shù)據(jù)分析實(shí)踐中被廣泛使用。不過歷史上又有人把最小二乘法的發(fā)明歸功于高斯，這又是怎么一回事呢。高斯在1809年也發(fā)表了最小二乘法，并且聲稱自己已經(jīng)使用這個(gè)方法多年。高斯發(fā)明了小行星定位的數(shù)學(xué)方法，并在數(shù)據(jù)分析中使用最小二乘方法進(jìn)行計(jì)算，準(zhǔn)確地預(yù)測(cè)了谷神星的位置。扯了半天最小二乘法，沒看出和正態(tài)分布有任何關(guān)系啊，離題了吧？單就最小二乘法本身，雖然很實(shí)用，不過看上去更多的算是一個(gè)代數(shù)方法，雖然可以推導(dǎo)出最優(yōu)解，對(duì)于解的誤差有多大，無法給出有效的分析，而這個(gè)就是正態(tài)分布粉墨登場(chǎng)發(fā)揮作用的地方。勒讓德提出的最小二乘法，確實(shí)是一把在數(shù)據(jù)分析領(lǐng)域披荊斬棘的好刀，但是刀刃還是不夠鋒利；而這把刀的打造后來至少一半功勞被歸到高斯，是因?yàn)楦咚共坏?dú)自地給出了造刀的方法，而且把最小二乘這把刀的刀刃造得無比鋒利，把最小二乘打造為了一把瑞士軍刀。高斯拓展了最小二乘法，把正態(tài)分布和最小二乘法聯(lián)系在一起，并使得正態(tài)分布在統(tǒng)計(jì)誤差分析中確立了自己的定位，否則正態(tài)分布就不會(huì)被稱為高斯分布了。那高斯這位神人是如何把正態(tài)分布引入到誤差分析之中，打造最小二乘這把瑞士軍刀的呢？四、眾里尋她千百度，誤差分布曲線的確立第三個(gè)故事有點(diǎn)長(zhǎng)，主角是高斯和拉普拉斯，故事的主要內(nèi)容尋找隨機(jī)誤差分布的規(guī)律。天文學(xué)是第一個(gè)被測(cè)量誤差困擾的學(xué)科，從古代至十八世紀(jì)天文學(xué)一直是應(yīng)用數(shù)學(xué)最發(fā)達(dá)的領(lǐng)域，到十八世紀(jì)，天文學(xué)的發(fā)展積累了大量的天文學(xué)數(shù)據(jù)需要分析計(jì)算，應(yīng)該如何來處理數(shù)據(jù)中的觀測(cè)誤差成為一個(gè)很棘手的問題。我們?cè)跀?shù)據(jù)處理中經(jīng)常使用平均的常識(shí)性法則，千百年來的數(shù)據(jù)使用經(jīng)驗(yàn)說明算術(shù)平均能夠消除誤差，提高精度。平均有如此的魅力，道理何在，之前沒有人做過理論上的證明。算術(shù)平均的合理性問題在天文學(xué)的數(shù)據(jù)分析工作中被提出來討論：測(cè)量中的隨機(jī)誤差服應(yīng)該服從怎樣的概率分布算術(shù)平均的優(yōu)良性和誤差的分布有怎樣的密切聯(lián)系伽利略在他著名的《關(guān)于兩個(gè)主要世界系統(tǒng)的對(duì)話》中，對(duì)誤差的分布做過一些定性的描述，主要包括：誤差是對(duì)稱分布的；大的誤差出現(xiàn)頻率低，小的誤差出現(xiàn)頻率高。用數(shù)學(xué)的語言描述，也就是說誤差分布函數(shù)f(x)關(guān)于0對(duì)稱分布，概率密度隨|x|增加而減小，這兩個(gè)定性的描述都很符合常識(shí)。許多天文學(xué)家和數(shù)學(xué)家開始了尋找誤差分布曲線的嘗試。托馬斯?辛普森(ThomasSimpson,1710-1761)先走出了有意義的一步。設(shè)真值為θ，而x1,?,xn為n次測(cè)量值，每次測(cè)量的誤差為ei=xi?θ，若用算術(shù)平均xˉ=(∑ni=1xi)/n去估計(jì)θ，其誤差為eˉ=(∑ni=1ei)/n。Simpson證明了，對(duì)于如下的一個(gè)概率分布，Simpson的誤差態(tài)分布曲線有下面的估計(jì)：P(|eˉ|<x)≥P(|e1|<x).也就是說，|eˉ|相比于|e1|取小值的機(jī)會(huì)更大。辛普森的這個(gè)工作很粗糙，但是這是第一次在一個(gè)特定情況下，從概率論的角度嚴(yán)格證明了算術(shù)平均的優(yōu)良性。在1772-1774年間，拉普拉斯也加入到了尋找誤差分布函數(shù)的隊(duì)伍中。拉普拉斯假定誤差分布函數(shù)f(x)滿足如下性質(zhì)?f′(x)=mf(x).由此最終求得的分布函數(shù)為f(x)=m2e?m|x|這個(gè)概率密度函數(shù)現(xiàn)在被稱為拉普拉斯分布。Laplace的誤差態(tài)分布曲線以這個(gè)函數(shù)作為誤差分布，拉普拉斯開始考慮如何基于測(cè)量的結(jié)果去估計(jì)未知參數(shù)的值。拉普拉斯可以算是一個(gè)貝葉斯主義者，他的參數(shù)估計(jì)的原則和現(xiàn)代貝葉斯方法非常相似：假設(shè)先驗(yàn)分布是均勻的，計(jì)算出參數(shù)的后驗(yàn)分布后，取后驗(yàn)分布的中值點(diǎn)，即1/2分位點(diǎn)，作為參數(shù)估計(jì)值?？墒腔谶@個(gè)誤差分布函數(shù)做了一些計(jì)算之后，拉普拉斯發(fā)現(xiàn)計(jì)算過于復(fù)雜，最終沒能給出什么有用的結(jié)果。拉普拉斯可是概率論的大牛，寫過兩本極有影響力的《概率分析理論》，不過以我的數(shù)學(xué)審美，實(shí)在無法理解拉普拉斯這樣的大牛怎么找了一個(gè)零點(diǎn)不可導(dǎo)的誤差的分布函數(shù)，拉普拉斯最終還是沒能搞定誤差分布的問題?，F(xiàn)在輪到高斯登場(chǎng)了，高斯在數(shù)學(xué)史中的地位極高，號(hào)稱數(shù)學(xué)史上的狐貍，數(shù)學(xué)家阿貝爾對(duì)他的評(píng)論是“他像狐貍一樣，用其尾巴把其在沙灘上的蹤跡清除掉”(Heislikethefox,whoeffaceshistracksinthesandwithhistail.)我們的數(shù)學(xué)大師陳省身把黎曼和龐加萊(HenriPoincaré)稱為數(shù)學(xué)家中的菩薩，而稱自己為羅漢；高斯是黎曼的導(dǎo)師，數(shù)學(xué)圈里有些教授把高斯稱為數(shù)學(xué)家中的佛。在數(shù)學(xué)家中既能仰望理論數(shù)學(xué)的星空，又能腳踏應(yīng)用數(shù)學(xué)的實(shí)地的可不多見，高斯是數(shù)學(xué)家中少有的頂“天”立“地”的人物，他既對(duì)純理論數(shù)學(xué)有深刻的洞察力，又極其重視數(shù)學(xué)在實(shí)踐中的應(yīng)用。在誤差分布的處理中，高斯以極其簡(jiǎn)單的手法確立了隨機(jī)誤差的概率分布，其結(jié)果成為數(shù)理統(tǒng)計(jì)發(fā)展史上的一塊里程碑。高斯的介入首先要從天文學(xué)界的一個(gè)事件說起。1801年1月，天文學(xué)家GiuseppePiazzi發(fā)現(xiàn)了一顆從未見過的光度8等的星在移動(dòng)，這顆現(xiàn)在被稱作谷神星（Ceres）的小行星在夜空中出現(xiàn)6個(gè)星期，掃過八度角后在就在太陽的光芒下沒了蹤影，無法觀測(cè)。而留下的觀測(cè)數(shù)據(jù)有限，難以計(jì)算出他的軌道，天文學(xué)家也因此無法確定這顆新星是彗星還是行星，這個(gè)問題很快成了學(xué)術(shù)界關(guān)注的焦點(diǎn)。高斯當(dāng)時(shí)已經(jīng)是很有名望的年輕數(shù)學(xué)家了，這個(gè)問題也引起了他的興趣。高斯以其卓越的數(shù)學(xué)才能創(chuàng)立了一種嶄新的行星軌道的計(jì)算方法，一個(gè)小時(shí)之內(nèi)就計(jì)算出了行星的軌道，并預(yù)言了它在夜空中出現(xiàn)的時(shí)間和位置。1801年12月31日夜，德國天文愛好者奧伯斯(HeinrichOlbers)在高斯預(yù)言的時(shí)間里，用望遠(yuǎn)鏡對(duì)準(zhǔn)了這片天空。果然不出所料，谷神星出現(xiàn)了！高斯為此名聲大震，但是高斯當(dāng)時(shí)拒絕透露計(jì)算軌道的方法，原因可能是高斯認(rèn)為自己的方法的理論基礎(chǔ)還不夠成熟，而高斯一向治學(xué)嚴(yán)謹(jǐn)、精益求精，不輕易發(fā)表沒有思考成熟的理論。直到1809年高斯系統(tǒng)地完善了相關(guān)的數(shù)學(xué)理論后，才將他的方法公布于眾，而其中使用的數(shù)據(jù)分析方法，就是以正態(tài)誤差分布為基礎(chǔ)的最小二乘法。那高斯是如何推導(dǎo)出誤差分布為正態(tài)分布的？讓我們看看高斯是如何猜測(cè)上帝的意圖的。設(shè)真值為θ，而x1,?,xn為n次獨(dú)立測(cè)量值，每次測(cè)量的誤差為ei=xi?θ，假設(shè)誤差ei的密度函數(shù)為f(e)，則測(cè)量值的聯(lián)合概率為n個(gè)誤差的聯(lián)合概率，記為L(zhǎng)(θ)=L(θ;x1,?,xn)=f(e1)?f(en)=f(x1?θ)?f(xn?θ).

(4)但是高斯不采用貝葉斯的推理方式，而是直接取L(θ)達(dá)到最小值的θ?=θ?(x1,?,xn)作為θ的估計(jì)值，即θ?=argminθL(θ).現(xiàn)在我們把L(θ)稱為樣本的似然函數(shù)，而得到的估計(jì)值θ?稱為極大似然估計(jì)。高斯首次給出了極大似然的思想，這個(gè)思想后來被統(tǒng)計(jì)學(xué)家系統(tǒng)地發(fā)展成為參數(shù)估計(jì)中的極大似然估計(jì)理論。高斯接下來的想法特別牛，他開始揣度上帝的意圖，而這充分體現(xiàn)了高斯的數(shù)學(xué)天才。他把整個(gè)問題的思考模式倒過來：既然千百年來大家都認(rèn)為算術(shù)平均是一個(gè)好的估計(jì)，那我就認(rèn)為極大似然估計(jì)導(dǎo)出的就應(yīng)該是算術(shù)平均！所以高斯猜測(cè)上帝在創(chuàng)世紀(jì)中的旨意就是：誤差分布導(dǎo)出的極大似然估計(jì)=算術(shù)平均值.然后高斯去找誤差密度函數(shù)f以迎合這一點(diǎn)。即尋找這樣的概率分布函數(shù)f,使得極大似然估計(jì)正好是算術(shù)平均θ?=xˉ。通過應(yīng)用數(shù)學(xué)技巧求解這個(gè)函數(shù)f,高斯證明(證明不難，后續(xù)給出)了所有的概率密度函數(shù)中，唯一滿足這個(gè)性質(zhì)的就是f(x)=12π??√σexp(?x22σ2).瞧，正態(tài)分布的密度函數(shù)N(0,σ2)被高斯他老人家給解出來了！進(jìn)一步，高斯基于這個(gè)誤差分布函數(shù)對(duì)最小二乘法給出了一個(gè)很漂亮的解釋。對(duì)于最小二乘公式中涉及的每個(gè)誤差ei(見前面的公式(3),有ei～N(0,σ2),則(e1,?,en)的聯(lián)合概率分布為(e1,?,en)～1(2π??√σ)nexp(?12σ2∑i=1ne2i).要使得這個(gè)概率最大，必須使得∑ni=1e2i取最小值，這正好就是最小二乘法的要求。高斯所拓展的最小二乘法成為了十九世紀(jì)統(tǒng)計(jì)學(xué)的最重要成就，它在十九世紀(jì)統(tǒng)計(jì)學(xué)的重要性就相當(dāng)于十八世紀(jì)的微積分之于數(shù)學(xué)。而勒讓德和最小二乘的的發(fā)明權(quán)之爭(zhēng)，成了數(shù)學(xué)史上僅次于牛頓、萊布尼茨微積分發(fā)明權(quán)的爭(zhēng)端。相比于勒讓德1805給出的最小二乘法描述，高斯基于誤差正態(tài)分布的最小二乘理論顯然更高一籌，高斯的工作中既提出了極大似然估計(jì)的思想，又解決了誤差的概率密度分布的問題，由此我們可以對(duì)誤差大小的影響進(jìn)行統(tǒng)計(jì)度量了。高斯的這項(xiàng)工作對(duì)后世的影響極大，而正態(tài)分布也因此被冠名高斯分布。估計(jì)高斯本人當(dāng)時(shí)是完全沒有意識(shí)到他的這個(gè)工作給現(xiàn)代數(shù)理統(tǒng)計(jì)學(xué)帶來的深刻影響。高斯在數(shù)學(xué)上的貢獻(xiàn)特多，去世前他要求給自己的墓碑上雕刻上正十七邊形，以說明他在正十七邊形尺規(guī)作圖上的杰出工作。而后世的德國鈔票和鋼镚上是以正態(tài)密度曲線來紀(jì)念高斯，這足以說明高斯的這項(xiàng)工作在當(dāng)代科學(xué)發(fā)展中的份量。十七、十八世紀(jì)科學(xué)界流行的做法，是盡可能從某種簡(jiǎn)單明了的準(zhǔn)則(firstprinciple)出發(fā)進(jìn)行邏輯推導(dǎo)。高斯設(shè)定了準(zhǔn)則“最大似然估計(jì)應(yīng)該導(dǎo)出優(yōu)良的算術(shù)平均”，并導(dǎo)出了誤差服從正態(tài)分布，推導(dǎo)的形式上非常簡(jiǎn)潔優(yōu)美。但是高斯給的準(zhǔn)則在邏輯上并不足以讓人完全信服，因?yàn)樗阈g(shù)平均的優(yōu)良性當(dāng)時(shí)更多的是一個(gè)經(jīng)驗(yàn)直覺，缺乏嚴(yán)格的理論支持。高斯的推導(dǎo)存在循環(huán)論證的味道：因?yàn)樗阈g(shù)平均是優(yōu)良的，推出誤差必須服從正態(tài)分布；反過來，又基于正態(tài)分布推導(dǎo)出最小二乘和算術(shù)平均，來說明最小二乘法和算術(shù)平均的優(yōu)良性。這陷入了一個(gè)雞生蛋蛋生雞的怪圈，邏輯上算術(shù)平均的優(yōu)良性到底有沒有自行成立的理由呢？

高斯的文章發(fā)表之后，拉普拉斯很快得知了高斯的工作。拉普拉斯看到，正態(tài)分布既可以從拋鋼镚產(chǎn)生的序列求和中生成出來，又可以被優(yōu)雅地作為誤差分布定律，這難道是偶然現(xiàn)象？拉普拉斯不愧為概率論的大牛，他馬上將誤差的正態(tài)分布理論和中心極限定理聯(lián)系起來，提出了元誤差解釋。他指出如果誤差可以看成許多微小量的疊加，則根據(jù)他的中心極限定理，隨機(jī)誤差理所當(dāng)然是高斯分布。而20世紀(jì)中心極限定理的進(jìn)一步發(fā)展，也給這個(gè)解釋提供了更多的理論支持。因此有了這個(gè)解釋為出發(fā)點(diǎn)，高斯的循環(huán)論證的圈子就可以打破。估計(jì)拉普拉斯悟出這個(gè)結(jié)論之后一定想撞墻，自己辛辛苦苦尋尋覓覓了這么久的誤差分布曲線就在自己的眼皮底下，自己卻長(zhǎng)年來視而不見，被高斯給占了先機(jī)。至此，誤差分布曲線的尋找塵埃落定，正態(tài)分布在誤差分析中確立了自己的地位，并在整個(gè)19世紀(jì)不斷地開疆?dāng)U土，直至在統(tǒng)計(jì)學(xué)中鶴立雞群，傲世其它一切概率分布；而高斯和拉普拉斯的工作，為現(xiàn)代統(tǒng)計(jì)學(xué)的發(fā)展開啟了一扇大門。在整個(gè)正態(tài)分布被發(fā)現(xiàn)與應(yīng)用的歷史中，棣莫弗、拉普拉斯、高斯各有貢獻(xiàn)，拉普拉斯從中心極限定理的角度解釋它，高斯把它應(yīng)用在誤差分析中，殊途同歸。正態(tài)分布被人們發(fā)現(xiàn)有這么好的性質(zhì)，各國人民都爭(zhēng)搶它的冠名權(quán)。因?yàn)槔绽故欠▏?所以當(dāng)時(shí)在法國被稱為拉普拉斯分布；而高斯是德國人，所以在德國叫做高斯分布；中立國的人稱它為拉普拉斯-高斯分布。后來法國的大數(shù)學(xué)家龐加萊建議改用正態(tài)分布這一中立名稱，而隨后統(tǒng)計(jì)學(xué)家卡爾?皮爾森使得這個(gè)名稱被廣泛接受：ManyyearsagoIcalledtheLaplace-Gaussiancurvethenormalcurve,whichname,whileitavoidsaninternationalquestionofpriority,hasthedisadvantageofleadingpeopletobelievethatallotherdistributionsoffrequencyareinonesenseoranother"abnormal".-KarlPearson(1920)不過因?yàn)楦咚乖跀?shù)學(xué)家中的名氣實(shí)在是太大，正態(tài)分布的桂冠還是更多的被戴在了高斯的腦門上，目前數(shù)學(xué)界通行的用語是正態(tài)分布、高斯分布，兩者并用。正態(tài)分布在高斯的推動(dòng)下，迅速在測(cè)量誤差分析中被廣泛使用，然而早期也僅限于測(cè)量誤差的分析中，其重要性遠(yuǎn)沒有被自然科學(xué)和社會(huì)科學(xué)領(lǐng)域中的學(xué)者們所認(rèn)識(shí)，那正態(tài)分布是如何從測(cè)量誤差分析的小溪，沖向自然科學(xué)和社會(huì)科學(xué)的汪洋大海的呢？五、曲徑通幽處，禪房花木深在介紹正態(tài)分布的后續(xù)發(fā)展之前，我們來多講一點(diǎn)數(shù)學(xué)，也許有些人會(huì)覺得枯燥，不過高斯曾經(jīng)說過：“數(shù)學(xué)是上帝的語言”。所以要想更加深入地理解正態(tài)分布的美，唯有通過上帝的語言。造物主造物的準(zhǔn)則往往是簡(jiǎn)單明了的，只是在紛繁蕪雜的萬物之中，我們要發(fā)現(xiàn)并領(lǐng)會(huì)它并非易事。之前提到過，十七、十八世紀(jì)科學(xué)界流行的做法，是盡可能從某種簡(jiǎn)單明了的準(zhǔn)則(firstprinciple)出發(fā)作為科學(xué)探求的起點(diǎn)；而后來的數(shù)學(xué)家和物理學(xué)家們的研究發(fā)現(xiàn)，屢次從一些給定的簡(jiǎn)單的準(zhǔn)則出發(fā)，我們總是被引領(lǐng)到了正態(tài)分布的家門口，這讓人感覺到正態(tài)分布的美妙。達(dá)爾文的表弟高爾頓是生物學(xué)家兼統(tǒng)計(jì)學(xué)家，他對(duì)正態(tài)分布非常的推崇與贊美：“我?guī)缀醪辉娺^像誤差呈正態(tài)分布這么激發(fā)人們無窮想象的宇宙秩序”。當(dāng)代兩位偉大的概率學(xué)家Levy和Kac都曾經(jīng)說過，正態(tài)分布是他們切入概率論的初戀情人，具有無窮的魅力。如果古希臘人知道正態(tài)分布，想必奧林匹斯山的神殿里會(huì)多出一個(gè)正態(tài)女神，由她來掌管世間的混沌。要拉下正態(tài)分布的神秘面紗展現(xiàn)她的美麗，需要高深的概率論知識(shí)，本人在數(shù)學(xué)方面知識(shí)淺薄，不能勝任。只能在極為有限的范圍內(nèi)嘗試掀開她的面紗的一角。棣莫弗和拉普拉斯以拋鋼镚的序列求和為出發(fā)點(diǎn)，沿著一條小徑第一次把我們領(lǐng)到了正態(tài)分布的家門口，這條路叫做中心極限定理。而這條路上風(fēng)景秀麗，許多概率學(xué)家都為之傾倒。這條路在20世紀(jì)被概率學(xué)家門越拓越寬，成為了通往正態(tài)曲線的一條康莊大道。而數(shù)學(xué)家和物理學(xué)家們發(fā)現(xiàn)：條條小路通正態(tài)。著名的物理學(xué)家在他的名著《ProbabilityTheory:theLogicofScience》(中文譯書《概率論沉思錄》)中，描繪了四條通往正態(tài)分布的小徑；曲徑通幽處，禪房花木深，讓我們一起來欣賞一下四條小徑上的風(fēng)景吧。1.高斯的推導(dǎo)(1809)第一條小徑是高斯找到的，高斯以如下準(zhǔn)則作為小徑的出發(fā)點(diǎn)誤差分布導(dǎo)出的極大似然估計(jì)=算術(shù)平均值設(shè)真值為θ，而x1,?,xn為n次獨(dú)立測(cè)量值，每次測(cè)量的誤差為ei=xi?θ，假設(shè)誤差ei的密度函數(shù)為f(e)，則測(cè)量值的聯(lián)合概率為n個(gè)誤差的聯(lián)合概率，記為L(zhǎng)(θ)=L(θ;x1,?,xn)=f(e1)?f(en)=f(x1?θ)?f(xn?θ)

(5)為求極大似然估計(jì)，令dlogL(θ)dθ=0.整理后可以得到∑i=1nf′(xi?θ)f(xi?θ)=0.令g(x)=f′(x)/f(x)，由上式可以得到∑i=1ng(xi?θ)=0.由于高斯假設(shè)極大似然估計(jì)的解就是算術(shù)平均xˉ，把解帶入上式，可以得到

∑i=1ng(xi?xˉ)=0.

(6)在上式中取n=2，有g(shù)(x1?xˉ)+g(x2?xˉ)=0.由于此時(shí)有x1?xˉ=?(x2?xˉ)，并且x1,x2是任意的，由此得到：g(?x)=?g(x).再在(6)式中取n=m+1，并且要求x1=?=xm=?x，且xm+1=mx，則有xˉ=0，并且∑i=1ng(xi?xˉ)=mg(?x)+g(mx).所以得到g(mx)=mg(x).而滿足上式的唯一的連續(xù)函數(shù)就是g(x)=cx，從而進(jìn)一步可以求解出f(x)=Mecx2.由于f(x)是概率分布函數(shù)，把f(x)正規(guī)化一下就得到正態(tài)分布密度函數(shù)N(0,σ2).2.Herschel(1850)和麥克斯韋(1860)的推導(dǎo)第二條小徑是天文學(xué)家JohnHershcel和物理學(xué)家麥克斯韋(Maxwell)發(fā)現(xiàn)的。1850年，天文學(xué)家Herschel在對(duì)星星的位置進(jìn)行測(cè)量的時(shí)候，需要考慮二維的誤差分布，為了推導(dǎo)這個(gè)誤差的概率密度分布f(x,y)，Herschel設(shè)置了兩個(gè)準(zhǔn)則：x軸和y軸的誤差是相互獨(dú)立的，即誤差的概率在正交的方向上相互獨(dú)立；誤差的概率分布在空間上具有旋轉(zhuǎn)對(duì)稱性，即誤差的概率分布和角度沒有關(guān)系。這兩個(gè)準(zhǔn)則對(duì)于Herschel考慮的實(shí)際測(cè)量問題看起來都很合理。由準(zhǔn)則1，可以得到f(x,y)應(yīng)該具有如下形式f(x,y)=f(x)?f(y).把這個(gè)函數(shù)轉(zhuǎn)換為極坐標(biāo)，在極坐標(biāo)下的概率密度函數(shù)設(shè)為g(r,θ)，有f(x,y)=f(rcosθ,rsinθ)=g(r,θ)由準(zhǔn)則2,g(r,θ)具有旋轉(zhuǎn)對(duì)稱性，也就是應(yīng)該和θ無關(guān)，所以g(r,θ)=g(r)，綜合以上，我們可以得到f(x)f(y)=g(r)=g(x2+y2??????√).取y=0,得到g(x)=f(x)f(0),所以上式可以轉(zhuǎn)換為log[f(x)f(0)]+log[f(y)f(0)]=log[f(x2+y2??????√)f(0)].令log(f(x)/f(0))=h(x),則有h(x)+h(y)=h(x2+y2??????√).從這個(gè)函數(shù)方程中可以解出h(x)=ax2,從而可以得到f(x)的一般形式如下f(x)=απ??√e?αx2而f(x)就是正態(tài)分布N(0,1/2α)???√，而f(x,y)就是標(biāo)準(zhǔn)二維正態(tài)分布函數(shù)。f(x,y)=απexp(?α(x2+y2)).1860年，我們偉大的物理學(xué)家麥克斯韋在考慮氣體分子的運(yùn)動(dòng)速度分布的時(shí)候，在三維空間中基于類似的準(zhǔn)則推導(dǎo)出了氣體分子運(yùn)動(dòng)的分布是正態(tài)分布ρ(vx,vy,vz)∝exp(?α(v2x+v2y+v2z))。這就是著名的麥克斯韋分子速率分布定律。大家還記得我們?cè)谄胀ㄎ锢碇袑W(xué)過的麥克斯韋-波爾茲曼氣體速率分布定律嗎？

F(v)==(m2πkT)3/2exp(?mv22kT)(m2πkT)1/2exp(?mv2x2kT)?(m2πkT)1/2exp(?mv2y2kT)?(m2πkT)1/2exp(?mv2z2kT)

(7)所以這個(gè)分布其實(shí)是三個(gè)正態(tài)分布的乘積。你的物理老師是否告訴過你其實(shí)這個(gè)分布就是三維正態(tài)分布？反正我是一直不知道，直到今年才明白。Herschel-Maxwell推導(dǎo)的神妙之處在于，沒有利用任何概率論的知識(shí)，只是基于空間幾何的不變性，就推導(dǎo)出了正態(tài)分布。美國諾貝爾物理學(xué)獎(jiǎng)得主費(fèi)曼(Feymann)每次看到一個(gè)有π的數(shù)學(xué)公式的時(shí)候，就會(huì)問：圓在哪里？這個(gè)推導(dǎo)中使用到了x2+y2，也就是告訴我們正態(tài)分布密度公式中有個(gè)π，其根源來在于二維正態(tài)分布中的等高線恰好是個(gè)圓。3.Landon的推導(dǎo)(1941)第三條道是一位電氣工程師，VernonD.Landon給出的。1941年，Landon研究通信電路中的噪聲電壓，通過分析經(jīng)驗(yàn)數(shù)據(jù)他發(fā)現(xiàn)噪聲電壓的分布模式很相似，不同的是分布的層級(jí)，而這個(gè)層級(jí)可以使用方差σ2來刻畫。因此他推理認(rèn)為噪聲電壓的分布函數(shù)形式是p(x;σ2)?，F(xiàn)在假設(shè)有一個(gè)相對(duì)于σ而言很微小的誤差擾動(dòng)e，且e的分布函數(shù)是q(e),那么新的噪聲電壓是x′=x+e。Landon提出了如下的準(zhǔn)則隨機(jī)噪聲具有穩(wěn)定的分布模式累加一個(gè)微小的隨機(jī)噪聲，不改變其穩(wěn)定的分布模式，只改變分布的層級(jí)(用方差度量)用數(shù)學(xué)的語言描述：如果x～p(x;σ2),

e～q(e),

x′=x+e,則有x′～p(x;σ2+var(e)).現(xiàn)在我們來推導(dǎo)函數(shù)p(x;σ2)應(yīng)該長(zhǎng)成啥樣。按照兩個(gè)隨機(jī)變量和的分布的計(jì)算方式，x′的分布函數(shù)將是x的分布函數(shù)和e的分布函數(shù)的卷積，即有f(x′)=∫p(x′?e;σ2)q(e)de.把p(x′?e;σ2)在x′處做泰勒級(jí)數(shù)展開(為了方便，展開后把自變量由x′替換為x)，上式可以展開為f(x)=p(x;σ2)??p(x;σ2)?x∫eq(e)de+12?2p(x;σ2)?x2∫e2q(e)de+?記p=p(x;σ2),則有f(x)=p??p?xeˉ+12?2p?x2e2ˉ+o(e2ˉ)對(duì)于微小的隨機(jī)擾動(dòng)e,我們認(rèn)為他取正值或者負(fù)值是對(duì)稱的，所以eˉ=0。所以有f(x)=p+12?2p?x2e2ˉ+o(e2ˉ)

(8)對(duì)于新的噪聲電壓是x′=x+e，方差由σ2增加為σ2+var(e)=σ2+e2ˉ,所以按照Landon的分布函數(shù)模式不變的假設(shè)，新的噪聲電壓的分布函數(shù)應(yīng)該為f(x)=p(x;σ2+e2ˉ)。把p(x;σ2+e2ˉ)在σ2處做泰勒級(jí)數(shù)展開，得到f(x)=p+?p?σ2e2ˉ+o(e2ˉ).

(9)比較(8)和(9)這兩個(gè)式子，可以得到如下偏微分方程12?2p?x2=?p?σ2.而這個(gè)方程就是物理上著名的擴(kuò)散方程(diffusionequation)，求解該方程就得到p(x;σ2)=12π??√σexp(?x22σ2)又一次，我們推導(dǎo)出了正態(tài)分布！對(duì)于這個(gè)推導(dǎo)的評(píng)價(jià)很高，認(rèn)為L(zhǎng)andon的推導(dǎo)本質(zhì)上給出了自然界的噪音形成的過程。他指出這個(gè)推導(dǎo)基本上就是中心極限定理的增量式版本，相比于中心極限定理來說，是一次性累加所有的因素，Landon的推導(dǎo)是每次在原有的分布上去累加一個(gè)微小的擾動(dòng)。而在這個(gè)推導(dǎo)中，我們看到，正態(tài)分布具有相當(dāng)好的穩(wěn)定性；只要數(shù)據(jù)中正態(tài)的模式已經(jīng)形成，他就容易繼續(xù)保持正態(tài)分布