怎樣學(xué)好統(tǒng)計(jì)學(xué)[1]

1、統(tǒng)計(jì)學(xué)的領(lǐng)域?qū)懡o在統(tǒng)計(jì)學(xué)院學(xué)習(xí)的學(xué)弟學(xué)妹如果學(xué)了幾年統(tǒng)計(jì)， 還連統(tǒng)計(jì)的那個(gè)經(jīng)典定義都背不出就不應(yīng)該了， 在此我 不再啰嗦一遍。 統(tǒng)計(jì)學(xué)也不是什么神秘的學(xué)科， 它的目的主要是通過數(shù)據(jù)探索信 息，因此也就相應(yīng)有一系列的流程： 收集、整理、分析和表述 （數(shù)據(jù)）。按照這個(gè)流程， 統(tǒng)計(jì)下屬的眾多學(xué)科的地位與作用也就一目了然。 今日我取 標(biāo)題為“統(tǒng)計(jì)學(xué)的領(lǐng)域”，說實(shí)話這個(gè)題目有些狂妄。夠資格寫這種題目的人， 恐怕至少應(yīng)該在統(tǒng)計(jì)學(xué)界混過數(shù)十載。不幸的是，本人一向提倡“ 人不猖狂枉少年 ”。如果沒有足夠的熱情和斗志， 是不可能取得一番成就的。正值青春年少，安能不立鴻鵠之志？此為題外話。1、收集數(shù)據(jù)一般來說，數(shù)

2、據(jù)的來源無非是 試驗(yàn)和調(diào)查 。平時(shí)我們談統(tǒng)計(jì)學(xué)似乎不太注重 數(shù)據(jù)的收集問題，然而試驗(yàn)設(shè)計(jì)和調(diào)查技術(shù)（包括抽樣等）都是很有用的學(xué)問。 就我們這種純粹的統(tǒng)計(jì)學(xué)院來說， 試驗(yàn)設(shè)計(jì)的地位似乎不太高， 而我所了解的生 物統(tǒng)計(jì)、醫(yī)學(xué)統(tǒng)計(jì)等領(lǐng)域?qū)λ囊髤s特別高， 有志于生物醫(yī)學(xué)統(tǒng)計(jì)方向的同學(xué) 一定要注意研究這門課， 有些名詞諸如正交設(shè)計(jì)、 隨機(jī)區(qū)組試驗(yàn)、 拉丁方試驗(yàn)等 都是你們將來會(huì)遇見的，方差分析一般則是試驗(yàn)設(shè)計(jì)之后最基本的統(tǒng)計(jì)分析方 法；對(duì)于調(diào)查，一方面它是由統(tǒng)計(jì)學(xué)的理論作背景支撐的 （大數(shù)定律、 數(shù)理統(tǒng)計(jì)、 抽樣理論等） ，另一方面涉及到實(shí)務(wù)操作方面的技術(shù)， 做過調(diào)查的同學(xué)應(yīng)該都了 解調(diào)查的“艱辛”

3、， 當(dāng)然如果有統(tǒng)計(jì)學(xué)的指導(dǎo)， 我們也會(huì)發(fā)現(xiàn)一些讓人變聰明的 技術(shù)，舉個(gè)例子，對(duì)于吸毒問題，受眾（調(diào)查客體）一般都會(huì)低報(bào)（不愿意告訴 訪員自己吸毒） ，對(duì)于這種情況我們?cè)撛趺刺幚?？暫且把懸念留在這里； 如果事 先不知道答案，恐怕是很難想象這件事情與拋硬幣有任何瓜葛的。對(duì)于我們這個(gè)統(tǒng)計(jì)學(xué)院（素以經(jīng)濟(jì)統(tǒng)計(jì)強(qiáng)勢(shì)著稱），從收集數(shù)據(jù)角度來說， 國(guó)民經(jīng)濟(jì)核算與經(jīng)濟(jì)社會(huì)統(tǒng)計(jì) 也是兩門比較重要的課程， 搞經(jīng)濟(jì)統(tǒng)計(jì)不能不對(duì)于 經(jīng)濟(jì)數(shù)據(jù)的來龍去脈了如指掌， 要不然統(tǒng)計(jì)指標(biāo)都是從何計(jì)算而來有何意義都搞 不清楚，還從何談起經(jīng)濟(jì)統(tǒng)計(jì)？2、整理數(shù)據(jù)數(shù)據(jù)不是說收集上來就可以馬上作分析， 有實(shí)踐經(jīng)驗(yàn)的人都知道， 在收集數(shù) 據(jù)的

4、過程中， 總會(huì)有各種意想不到的情況發(fā)生， 但也是天要下雨娘要嫁人沒辦法 的事情，你總不能把那些在問卷上偷懶空著不填或者亂填一氣的同志們抓來嚴(yán)刑 拷打。在此我有必要提醒各位， 一定要做好心理準(zhǔn)備， 無論你們?cè)趯W(xué)校里老師教 授給你們多完美的理論， 到現(xiàn)實(shí)中往往會(huì)四處碰壁的。 空著調(diào)查項(xiàng)目不填寫的我 們稱之為缺失值（Missing Value ）,胡亂填寫的可能成為離群點(diǎn)或野值 （ Outlier ） ，對(duì)于這樣的數(shù)據(jù)，我們應(yīng)該事先做一些處理才能進(jìn)行下一步的統(tǒng)計(jì)分析，不然會(huì)對(duì)統(tǒng)計(jì)結(jié)果產(chǎn)生一些不良影響， 這些道理用腳趾頭想想就能明白 （都用不著用膝蓋想）。當(dāng)然數(shù)據(jù)的整理還包括很多其它內(nèi)容，諸如重新編碼

5、（Recode）或者進(jìn)行某種綜合計(jì)算等等，這里不詳談，因?yàn)槎际呛荜惻f的內(nèi)容了。 我想把我所知道的統(tǒng)計(jì)學(xué)中比較近代的技術(shù)介紹給大家， 讓大家對(duì)我們的前沿知 識(shí)有所了 解。關(guān) 于缺 失值的 處理， 目前已 經(jīng)發(fā)展 起來 比較完 備的 插 補(bǔ)技術(shù)（ Imputation ），這里面包括均值插補(bǔ)、 熱平臺(tái)插補(bǔ)、 冷平臺(tái)插補(bǔ)、 最近鄰插補(bǔ)、 EM算 法、Bootstrap、Jackk nife、MCMCMo nte-Carlo Markov Cha in ）等知識(shí)。 相信如果大家看看近代現(xiàn)代統(tǒng)計(jì)學(xué)的發(fā)展， 這些名詞一定不會(huì)陌生。 對(duì)于數(shù)據(jù)中 的離群點(diǎn)， 也要先思考一下， 不要輕易刪除， 一個(gè)窮山村中冒出

6、一個(gè)大富翁的可 能性不一定就是 0，在離群點(diǎn)中反而有可能隱藏對(duì)我們有啟發(fā)的信息（比如一位 同學(xué)的學(xué)分績(jī)太高以至于成了“野值”，我們就不能把他 / 她從班里“刪除”， 而應(yīng)該借鑒學(xué)習(xí)經(jīng)驗(yàn)）。3、分析數(shù)據(jù)不可否認(rèn)， 當(dāng)今社會(huì)對(duì)于統(tǒng)計(jì)的需求， 大部分都在于這一塊。 數(shù)理統(tǒng)計(jì)的紙 老虎會(huì)讓很多數(shù)學(xué)功底不好的同志望而卻步， 再加上統(tǒng)計(jì)中眾多術(shù)語(yǔ)如P值、置 信區(qū)間、卡方統(tǒng)計(jì)量 等又會(huì)讓很多人覺得費(fèi)解 （曾經(jīng)有一次我給一位同志解釋了 好半天X與丫兩個(gè)變量的相關(guān)系數(shù)對(duì)方死活就不明白， 我瘋了），如果再來一些 稍微前沿一些的統(tǒng)計(jì)分析方法例如結(jié)構(gòu)方程模型什么的， 他們更是會(huì)云里霧里找 不著北，然而來自統(tǒng)計(jì)分析的打

7、擊似乎是無窮盡的， 他們最后發(fā)現(xiàn)統(tǒng)計(jì)軟件也不 太會(huì)用，要花很多錢購(gòu)買， 更可怕的還都是英文的 , 我琢磨著， 他們一定心想， 蒼天吶，如果還有來生，我 , 一定要學(xué)統(tǒng)計(jì) ,作為統(tǒng)計(jì)人也不要太得意， 首先統(tǒng)計(jì)分析方法你不一定會(huì)用， 其次即使你會(huì) 用也未必能用對(duì)地方。 這個(gè)領(lǐng)域我?guī)缀跻呀?jīng)無法介紹， 因?yàn)閿?shù)百年的發(fā)展， 讓統(tǒng) 計(jì)方法擴(kuò)充得讓人很難概括全面了。 最簡(jiǎn)單的分類莫過于 描述統(tǒng)計(jì) 與推斷統(tǒng)計(jì)了（事實(shí)上按照C. R. Rao書中寫的，還應(yīng)該包括探索性統(tǒng)計(jì)分析）；描述統(tǒng)計(jì)大 家應(yīng)該都懂， 數(shù)據(jù)是什么就是什么， 在原始數(shù)據(jù)的基礎(chǔ)上稍作加工， 提煉一下信 息，讓人對(duì)一個(gè)數(shù)據(jù)集（樣本）在心中有一個(gè)大致

8、的了解，比如一國(guó)的GDP國(guó)家統(tǒng)計(jì)局不可能每年都向人民群眾公布張三家的雞下蛋買了多少錢以及某紅星 工廠鋼鐵年產(chǎn)值多少錢， 等等，而是公布一個(gè)總數(shù)， 讓大家對(duì)我國(guó)的國(guó)力有大致 的了解；推斷統(tǒng)計(jì)就需要用到一些比較精深的統(tǒng)計(jì)理論了， 最重要的支撐莫過于 數(shù)理統(tǒng)計(jì)， 所以這門課大家也一定要學(xué)好， 要知道相比起數(shù)學(xué)系的數(shù)學(xué)課， 數(shù)理 統(tǒng)計(jì)根本就沒什么難度。 推斷統(tǒng)計(jì)中， 根據(jù)是否需要對(duì)分布作假設(shè)又可以分為 參 數(shù)統(tǒng)計(jì)和非參數(shù)統(tǒng)計(jì) ，后者出現(xiàn)的年代要晚， 因此在理論和應(yīng)用方面可能不如前 者，二者的比較又足以寫一大篇文章， 此處作罷， 但是無論如何， 從參數(shù)統(tǒng)計(jì)到 非參數(shù)統(tǒng)計(jì)， 你的統(tǒng)計(jì)思維必將經(jīng)歷一個(gè)重大轉(zhuǎn)

9、變， 如果學(xué)得夠深入， 你甚至可 以由此聯(lián)想人生得失問題； 不是和大家開玩笑， 有時(shí)候統(tǒng)計(jì)確實(shí)能為我們展現(xiàn)一 種人生觀。相關(guān)的名詞恐怕也不是一兩頁(yè)紙能列舉完的：相關(guān)分析（包括典型相關(guān)分 析）、回歸分析（包括投影尋蹤回歸、分位數(shù)回歸）、對(duì)應(yīng)分析、信度分析、生 存分析、聚類分析、判別分析、因子分析、路徑分析和主成分分析等。如果你至 今還只知道普通最小二乘法（OLS而不知道偏最小二乘法（PLS這樣的名詞, 那只能說明你還在一個(gè)古董世界徘徊，需要加把勁了。關(guān)于數(shù)據(jù)分析方法, 當(dāng)然首先要打好基礎(chǔ), 掌握那些基本方法, 若想在方法 領(lǐng)域有所造詣, 那么請(qǐng)回家把概率論與數(shù)理統(tǒng)計(jì)多翻幾遍, 然后開始啃國(guó)外的教

10、 材以及文章。 我常常遇到這種情況, 就是一種方法, 我看國(guó)外最早的論文是二十 世紀(jì)六七十年代的,而國(guó)內(nèi)最早的論文則往往已經(jīng)是二十一世紀(jì)了。可以看出, 國(guó)內(nèi)在方法上的研究與國(guó)外的差距有多大。聰明人會(huì)從這里發(fā)現(xiàn)一個(gè)“市場(chǎng)”, 我就不誘導(dǎo)大家了,這對(duì)于國(guó)內(nèi)統(tǒng)計(jì)學(xué)的長(zhǎng)遠(yuǎn)發(fā)展不太有利。還有一點(diǎn),也是要提醒大家切記,統(tǒng)計(jì)分析方法往往都有 理論假設(shè)或前提 , 在實(shí)際應(yīng)用時(shí), 務(wù)必務(wù)必要注意！ 首先要檢查數(shù)據(jù)是否滿足我們的理論條件, 不 要拿來就作分析, 即使統(tǒng)計(jì)軟件會(huì)“不假思索”地給你輸出漂亮的結(jié)果。 （統(tǒng)計(jì) 軟件有時(shí)候挺害人的,不要完全相信它們）4、表述數(shù)據(jù)我認(rèn)為世上不存在不懶的人, 因此數(shù)據(jù)的表述一定

11、也是一門學(xué)問。 你要是把 統(tǒng)計(jì)軟件輸出的P值活生生拿給別人看，八成會(huì)被毆；你要是膽敢告訴人家聚類 分析碎石圖上石頭的位置表示特征根的大小,被扁的概率將一致趨近于1。統(tǒng)計(jì)是用來說明問題的， 不是用來嚇唬人的。 把我們的分析結(jié)果表述給人家 看，就需要經(jīng)過一定的“轉(zhuǎn)化”。 不要輕視數(shù)據(jù)的表述問題， 有些統(tǒng)計(jì)方法之所 以能“紅”起來，就是因?yàn)?人們?yōu)樗姆治鼋Y(jié)果找到了巧妙的解釋 。上面說的是統(tǒng)計(jì)學(xué)方面的表述， 外觀形式方面的問題同樣應(yīng)該注意。 表格中 的數(shù)據(jù)不使用右對(duì)齊 （或小數(shù)點(diǎn)對(duì)齊） 、圖形畫得花里胡哨或土里土氣， 都會(huì)讓 統(tǒng)計(jì)的功效受損， 雖然只是“面子問題”。 學(xué)了那么長(zhǎng)時(shí)間的統(tǒng)計(jì)， 不應(yīng)該不

12、知 道圖的標(biāo)題應(yīng)該寫在圖下方而表的標(biāo)題應(yīng)該寫在表上方，平時(shí)看文章多注意別人 是怎樣表達(dá)的。好了，統(tǒng)計(jì)學(xué)本身就從流程上介紹到這里。 稍微再談?wù)勎宜姷降慕y(tǒng)計(jì)學(xué)發(fā) 展趨勢(shì)：一方面是 學(xué)科結(jié)合 的趨勢(shì)， 單單只會(huì)一門統(tǒng)計(jì)學(xué)恐已難以立足， 統(tǒng)計(jì)學(xué) 的發(fā)展動(dòng)力， 越來越多地來自于其它各個(gè)學(xué)科， 若不是這些學(xué)科給統(tǒng)計(jì)學(xué)“出難 題” ，統(tǒng)計(jì)學(xué)的發(fā)展可能早已經(jīng)停止了， 醫(yī)學(xué)會(huì)問你， 怎樣設(shè)計(jì)試驗(yàn)既能得出顯 著的統(tǒng)計(jì)結(jié)果又能節(jié)約成本？心理學(xué)會(huì)問你， 人的情商是一個(gè)隱變量， 應(yīng)該怎樣 測(cè)量？金融學(xué)會(huì)問你， 股票市場(chǎng)上時(shí)序數(shù)據(jù)的異方差怎樣處理？市場(chǎng)營(yíng)銷學(xué)會(huì)問 你，怎樣從超市的海量數(shù)據(jù)中挖掘出有用的商品信息？法學(xué)會(huì)問

13、你， 某甲殺人的 概率有多大？新聞傳播學(xué)會(huì)問你，大眾對(duì)某位候選者的真實(shí)支持率有多高？等 等, ； 另一方面是 計(jì)算機(jī)的廣泛應(yīng)用 趨勢(shì)， 我也要特別強(qiáng)調(diào)， 計(jì)算機(jī)在未來的 統(tǒng)計(jì)中必將扮演越來越重要的角色， 想要搖著筆桿子去追趕奔四 3.2 絕對(duì)是不可 能了，計(jì)算機(jī)方面又尤其要數(shù) 編程能力 最重要，這番話是對(duì)那些想沖到統(tǒng)計(jì)時(shí)代 前沿的同學(xué)們說的， 統(tǒng)計(jì)方法的發(fā)展太快， 以至于很多統(tǒng)計(jì)軟件都跟不上， 因此， 若自己掌握計(jì)算機(jī)編程技術(shù)的話就能不必受到統(tǒng)計(jì)軟件的制約。我在中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院已經(jīng)學(xué)習(xí)了四年， 感觸頗多，牢騷也不少。生活 方面不多說，大家最好早點(diǎn)學(xué)會(huì) 自強(qiáng)自立，早已經(jīng)過了 18歲，有空聽聽

14、鄭智化 的水手。學(xué)習(xí)方面說這樣幾點(diǎn)吧:首先，不要指望你的老師會(huì)教給你所有的知識(shí)， 同時(shí)也要明白你所學(xué)的知識(shí) 是很不全面的。大學(xué)與高中不一樣，這里不是一個(gè)純粹的教學(xué)的地方， 更多地是 思想碰撞交流的地方。如果到現(xiàn)在你還在上課時(shí)埋頭認(rèn)真地把老師說的每一個(gè)字 記下來，那么你可能還沒理解什么叫大學(xué)。 統(tǒng)計(jì)學(xué)紛繁蕪雜的體系，不是老師在 幾節(jié)課上能講出來的。老師可以告訴你，統(tǒng)計(jì)學(xué)都有什么內(nèi)容，剩下的就是你自 己多多努力奮斗。其次，攻書莫畏難?？赡苓@也是大學(xué)與高中的區(qū)別之一， 高中某一道題不會(huì) 做可能會(huì)影響你的考試成績(jī)，而大學(xué)則不是用來為難人的地方。 此路不通可以走 彼路，你若不擅長(zhǎng)積分，那么對(duì)于書中證明用到積分的地方大可不必仔細(xì)看， 總 之要有自己擅長(zhǎng)的地方，然后注意培養(yǎng)自己的優(yōu)勢(shì)，以最快的速度向前發(fā)展。不 過話說回來，不要被我誤導(dǎo)，我不是說可以隨意放棄一些課程， 基礎(chǔ)仍然是要打 好的，在這個(gè)條件下，你可以選擇自己擅長(zhǎng)的方向發(fā)展。再次，不要忽視圖書館的豐富資源，不僅包括圖書，而且還有大量電子資源， 注意上網(wǎng)看看，學(xué)校都購(gòu)買了大量的 論文數(shù)據(jù)庫(kù)，不用實(shí)在可惜了。里面的統(tǒng)計(jì) 刊物可以趁早接觸一些，對(duì)于論文寫作以