大數(shù)據(jù)時代統(tǒng)計學面臨的機遇與挑戰(zhàn)

1、大數(shù)據(jù)時代統(tǒng)計學面臨的機遇與挑戰(zhàn) 當今時代，一方面人們在主動地獲取數(shù)據(jù)。 各個科學領域都 在大量地獲取數(shù)據(jù)，自然科學領域收集著從宏觀的天文數(shù)據(jù)到微 觀的基因數(shù)據(jù)，經(jīng)濟、金融和人文社會科學收集著大量的觀察和 調(diào)查數(shù)據(jù)。另一方面人們在被動地囤積數(shù)據(jù)。 隨著計算機互聯(lián)網(wǎng)、 搜索引擎、電子商務、多種傳感器和多媒體技術的發(fā)展和廣泛使 用，各種形式的數(shù)據(jù)如江河流水般地涌來。當今數(shù)據(jù)的獲取和規(guī) 模發(fā)生了根本的變化，統(tǒng)計學面臨著新的機遇和挑戰(zhàn)， 需要在方 法論上有所突破。 一、大數(shù)據(jù)及其目的 狹義地講，大數(shù)據(jù)是一個大樣本和高維變量的數(shù)據(jù)集合。針 對樣本大的問題，統(tǒng)計學可以采用抽樣減少樣本量，達到需要的 精度。

2、目前大數(shù)據(jù)的環(huán)境包括了：數(shù)據(jù)流環(huán)境：數(shù)據(jù)快速不斷涌 來，現(xiàn)有存儲設備和計算能力難以應付這種洪水般的數(shù)據(jù)流；磁 盤存儲環(huán)境：數(shù)據(jù)已不能完全存儲在內(nèi)存中，需要硬盤存儲；分 布存儲環(huán)境：數(shù)據(jù)分布存儲在多個計算機中；多線條環(huán)境：數(shù)據(jù) 存儲在一個計算機中，多個處理器共享內(nèi)存。 大數(shù)據(jù)的目的是將數(shù)據(jù)轉(zhuǎn)化為知識，探索數(shù)據(jù)的產(chǎn)生機制， 進行預測和制定政策。把信息轉(zhuǎn)變?yōu)橛杏玫闹R還需漫長的時 間?！邦A測”不同于“制定政策”。一個兒童的鞋子越大，可以 預測他掌握的詞匯量越多； 但是，制定政策強制他穿大鞋子并不 能提高他的詞匯量。 二、大數(shù)據(jù)帶來的變革 大數(shù)據(jù)給我們的時代帶來了變革。目前，人們習慣于根據(jù) “研究問題

3、”來驅(qū)動“收集數(shù)據(jù)”。今后，大數(shù)據(jù)到處可得，人 們將會用“數(shù)據(jù)”驅(qū)動“研究問題”。 就像我們出遠門前常常查 詢目的地的天氣、 交通和賓館那樣， 未來人們在研究和決策前將 會通過查詢數(shù)據(jù)做決定。 目前已經(jīng)有科學家開始使用軟件搜索和 匯總已發(fā)表論文中的成果。 大數(shù)據(jù)中包含有各種不同目的的數(shù)據(jù) 集，綜合利用它們可以做出原來目的之外的意外成果。例如，將 醫(yī)院病歷數(shù)據(jù)與信用卡消費數(shù)據(jù)結(jié)合， 我們能發(fā)現(xiàn)食品與健康的 相關關系，指導人們進行健康飲食。假若再加上手機和GPS等數(shù) 據(jù)，還能隨時對人們進行體檢，指導健身，減少猝死，幫助醫(yī)生 診斷疾病等，應用大數(shù)據(jù)可以設想的用途不計其數(shù)。 三、大數(shù)據(jù)的處理、抽樣與分

4、析 （一）數(shù)據(jù)的預處理 大數(shù)據(jù)的預處理包括數(shù)據(jù)清洗、 不完全數(shù)據(jù)填補、 數(shù)據(jù)糾偏 與矯正。利用隨機抽樣數(shù)據(jù)矯正雜亂的、非標準的數(shù)據(jù)源。統(tǒng)計 機構(gòu)的數(shù)據(jù)是經(jīng)過嚴格抽樣設計獲取的， 具有總體的代表性和系 統(tǒng)誤差小的優(yōu)勢， 但是數(shù)據(jù)獲取和更新的周期長， 盡管調(diào)查項目 有代表性， 但難以無所不包。 而互聯(lián)網(wǎng)數(shù)據(jù)的獲取速度快、 量大、 項目繁細， 但是難以避免數(shù)據(jù)獲取的偏倚性。 將統(tǒng)計機構(gòu)的數(shù)據(jù) 作為金標準和框架對互聯(lián)網(wǎng)數(shù)據(jù)進行矯正， 將互聯(lián)網(wǎng)數(shù)據(jù)作為補 充資源對統(tǒng)計機構(gòu)的數(shù)據(jù)進行實時更新， 也許是解決問題的一個 思路。 （二）大數(shù)據(jù)環(huán)境的抽樣 大數(shù)據(jù)的抽樣方法有待研究?！皹颖尽辈槐厥褂盟小皵?shù) 據(jù)”，

5、不管鍋有多大，只要充分攪勻，品嘗一小勺就知道其滋味。 針對大數(shù)據(jù)流環(huán)境，需要探索從源源不斷的數(shù)據(jù)流中抽取足以滿 足統(tǒng)計目的和精度的樣本。 需要研究新的適應性、序貫性和動態(tài) 的抽樣方法。根據(jù)已獲得的樣本逐步調(diào)整感興趣的調(diào)查項目和抽 樣對象，使得最近頻繁出現(xiàn)的熱門數(shù)據(jù)， 也是感興趣的數(shù)據(jù)進入 樣本。建立數(shù)據(jù)流的緩沖區(qū)，記錄新發(fā)生數(shù)據(jù)的頻數(shù)，動態(tài)調(diào)整 不在樣本中的數(shù)據(jù)進入樣本的概率。 （三）大數(shù)據(jù)的分析與整合 針對大數(shù)據(jù)的高維問題，需要研究降維和分解的方法。 探討 壓縮大數(shù)據(jù)的方法，直接對壓縮的數(shù)據(jù)核進行傳輸、 運算和操作。 除了常規(guī)的統(tǒng)計分析方法，包括高維矩陣、降維方法、變量選擇 之外，需要研究大

6、數(shù)據(jù)的實時分析、 數(shù)據(jù)流算法。不用保存數(shù)據(jù)， 僅掃描一遍數(shù)據(jù)的數(shù)據(jù)流算法， 考慮計算機內(nèi)存和外存的數(shù)據(jù)傳 送問題、分布數(shù)據(jù)和并行計算的方法。如何無信息損失或無統(tǒng)計 信息損失地分解大數(shù)據(jù)集，獨立并行地在分布計算機環(huán)境進行推 斷，各個計算機的中間計算結(jié)果能相互聯(lián)系溝通，構(gòu)造全局統(tǒng)計 結(jié)果。研究多個數(shù)據(jù)資源的融合算法。 研究利用數(shù)據(jù)流尋找模型 變化時間點的動態(tài)變化模型。 四、結(jié)束語 一個新生事物的出現(xiàn)將必定導致傳統(tǒng)觀念和技術的革命。數(shù) 碼照相機的出現(xiàn)導致傳統(tǒng)相片膠卷和影像業(yè)的已近消亡。如果大 數(shù)據(jù)包含了所有父親和兒子的身高數(shù)據(jù)，只要計算給定的父親身 高下所有兒子的平均身高就可以預測其兒子身高了。模型

7、不再重 要，當年統(tǒng)計學最得意的回歸預測方法將被淘汰。大數(shù)據(jù)的到來 將對傳統(tǒng)的統(tǒng)計方法進行考驗。統(tǒng)計學會不會象科學哲學那樣， 只佩戴著歷史的光環(huán)，而不再主導和引領人們分析和利用大數(shù)據(jù) 資源?，F(xiàn)在其他學科和行業(yè)涌入大數(shù)據(jù)的熱潮，如果統(tǒng)計學不抓 緊參與的話，將面臨著被邊緣化的危險。 現(xiàn)今統(tǒng)計學的目標是通 過獲取數(shù)據(jù)和分析數(shù)據(jù)發(fā)現(xiàn)真理（總體的參數(shù)和性質(zhì)），統(tǒng)計方 法和理論對數(shù)據(jù)有過高的要求。 而大數(shù)據(jù)充滿了各種隨機的、 非 隨機的誤差和偏倚，不能滿足這些苛刻的要求。 按照波普的科學 劃界準則，只要我們能從大數(shù)據(jù)中提煉出具有可證偽的結(jié)論，那 么這個結(jié)論還是科學的， 可以用于知識積累。這些可證偽的大數(shù) 據(jù)結(jié)論可作為進一步科學研究的假說，以數(shù)據(jù)驅(qū)動研究。我們在 看到大數(shù)據(jù)給統(tǒng)計學帶來了機遇的同時，也應該看到現(xiàn)在的統(tǒng)計 方法普遍只適用于全部數(shù)據(jù)放在單