數(shù)理統(tǒng)計方法

數(shù)理統(tǒng)計方法統(tǒng)計工作是實行科學(xué)決策和管理的一項重要基礎(chǔ)性工作，統(tǒng)計信息是認(rèn)識國情、決定國策的重要依據(jù)。統(tǒng)計數(shù)字的真實性、有效性是統(tǒng)計工作的生命線，但由于統(tǒng)計工作的復(fù)雜性、系統(tǒng)性，長期以來統(tǒng)計資料存在數(shù)據(jù)失真、分析偏誤的現(xiàn)象，針對該問題背后的深層次原因及其危害，學(xué)界已經(jīng)有過大量的探討，也取得了較一致的結(jié)論，本文不再贅述。意識到問題及危害性是一種進(jìn)步，而如何從浩如煙海的數(shù)據(jù)中正確識別無效甚至虛假的數(shù)字對于統(tǒng)計工作的順利開展意義重大，也是統(tǒng)計工作中極其重要的技術(shù)環(huán)節(jié)。本文的目的在于探討一些數(shù)理統(tǒng)計方法在數(shù)據(jù)篩選、甄別中的應(yīng)用，并提出一些具體建議。一、 統(tǒng)計數(shù)據(jù)搜集整理過程中數(shù)理統(tǒng)計知識運(yùn)用1、 從數(shù)理統(tǒng)計概念體系出發(fā)，嚴(yán)格審核統(tǒng)計指標(biāo)選取統(tǒng)計學(xué)從學(xué)科門類屬于理學(xué)一級學(xué)科，有著嚴(yán)密的理論體系。但鑒于統(tǒng)計在經(jīng)濟(jì)、生活中極強(qiáng)的應(yīng)用性，統(tǒng)計實踐中概念界定、運(yùn)用遠(yuǎn)沒有數(shù)理統(tǒng)計中嚴(yán)格、清晰，造成社會統(tǒng)計與數(shù)理統(tǒng)計概念不對等、不統(tǒng)一，加上部分工作人員統(tǒng)計基礎(chǔ)不扎實，容易造成統(tǒng)計術(shù)語的誤用。統(tǒng)計工作中應(yīng)注意如下幾點(diǎn):首先，統(tǒng)計數(shù)據(jù)選取要符合數(shù)理統(tǒng)計模型的內(nèi)在計量要求、要有統(tǒng)計學(xué)意義，不能因人、因事更改指標(biāo)，統(tǒng)計術(shù)語要有統(tǒng)一的統(tǒng)計學(xué)尺度；其次，保證統(tǒng)計處理過程中概念運(yùn)用連續(xù)性、一致性，不同層次統(tǒng)計指標(biāo)體系不可有邏輯沖突；再次，要嚴(yán)審數(shù)據(jù)出處。2、 統(tǒng)計資料整理、篩選的數(shù)理統(tǒng)計方法統(tǒng)計資料按來源不同分為原始資料和次級資料兩種，次級資料通常已經(jīng)有所梳理，故主要談對原始資料的整理。對原始資料的梳理主要包括資料的準(zhǔn)確性、及時性、系統(tǒng)性和完整性四個方面。統(tǒng)計實踐中數(shù)據(jù)整理方法大致分成兩種:一種是手工整理方法，如劃記法、過錄法、折疊法和卡片法等，缺點(diǎn)是整理速度慢、時效性差，易出差錯；另一種是用計算機(jī)存儲、整理、運(yùn)算的機(jī)械匯總法。無論何種方法，要加強(qiáng)對數(shù)據(jù)的甄別，都應(yīng)注重數(shù)理方法的應(yīng)用：第一，在數(shù)據(jù)篩選、匯總過程中使用數(shù)理統(tǒng)計方法進(jìn)行邏輯檢查。比如進(jìn)行下崗再就業(yè)情況調(diào)查時，對調(diào)查人員可按性別、年齡等原則統(tǒng)計分類，當(dāng)統(tǒng)計表項目較多時，直觀判定數(shù)值通常是困難的，這時可以用列聯(lián)表獨(dú)立性檢驗，Pearson擬合優(yōu)度X2檢驗等方法通過數(shù)值相關(guān)性來確定數(shù)值邏輯關(guān)系。第二，注意統(tǒng)計極值理論的運(yùn)用。例如在調(diào)查抽樣中，只要有近似獨(dú)立性的保證，運(yùn)用極大值與極小值分布結(jié)果，容易對統(tǒng)計數(shù)據(jù)分布是否異常進(jìn)行驗證。第三，明晰機(jī)械匯總法處理數(shù)據(jù)所用統(tǒng)計軟件的原理及功能限制。不同軟件適用不同統(tǒng)計情形，比如有些軟件程序原理就來自于大樣本的近似理論，不適于小樣本情況，盲目使用，分析值誤差顯著；另外數(shù)據(jù)的性質(zhì)、獲得數(shù)據(jù)的過程也會對軟件檢驗產(chǎn)生影響。因此，在有了電子處理工具的今天，對數(shù)理統(tǒng)計原理的把握更應(yīng)加強(qiáng)。二、 加強(qiáng)統(tǒng)計推斷在數(shù)據(jù)甄別中的應(yīng)用1、 區(qū)間估計在數(shù)據(jù)甄別中的應(yīng)用設(shè)總體參數(shù)為。、。L、。U為樣本確定的兩個統(tǒng)計量，對于給定的。(0<。<1),有P(。LWOW。U)=1-a，則稱(。L,。U)為參數(shù)。的1-a的置信區(qū)間。OL、OU分別為置信下限和置信上限。置信區(qū)間估計是根據(jù)樣本估計量以一定的可靠程度推斷總體參數(shù)所在區(qū)間范圍的統(tǒng)計推斷方法。在實際的統(tǒng)計調(diào)查中，工作人員都渴望未知的真值能由科學(xué)統(tǒng)計的調(diào)研分析而確定，而由于社會、經(jīng)濟(jì)系統(tǒng)的復(fù)雜性，因而必須借助區(qū)間估計。良好統(tǒng)計指標(biāo)置信區(qū)間的確立可能是反復(fù)、漸進(jìn)的，但合理統(tǒng)計容許范圍的建立將起著統(tǒng)計標(biāo)尺的巨大作用，因此統(tǒng)計執(zhí)業(yè)人員應(yīng)該對數(shù)據(jù)擁有置信區(qū)間的估計、判別能力，以確保數(shù)據(jù)質(zhì)量。根據(jù)區(qū)間估計理論，無論總體均值，方差，比率均可由部分統(tǒng)計值而確立。不同行業(yè)指標(biāo)由實際需求給出不同精度的估計范圍。有了統(tǒng)計準(zhǔn)則，統(tǒng)計資料中的疏漏、偏失等都可得到進(jìn)一步規(guī)范。2、 合理運(yùn)用假設(shè)檢驗參數(shù)假設(shè)檢驗的方法假設(shè)檢驗是數(shù)理統(tǒng)計的核心內(nèi)容之一，有著廣泛的應(yīng)用。依據(jù)小概率事件在一次觀察中實際不可能發(fā)生原理，在對統(tǒng)計工作已經(jīng)有一定經(jīng)驗基礎(chǔ)上，人們對原假設(shè)與備擇假設(shè)作出統(tǒng)計決策。在實踐中，運(yùn)用假設(shè)檢驗方法，發(fā)現(xiàn)數(shù)字存在的問題，要注意如下兩點(diǎn)：第一，注意不同檢驗方法的精度。同一統(tǒng)計檢驗問題通?？捎貌煌臋z驗方法，但由于不同檢驗方法精度與效率不同，可能對數(shù)據(jù)判斷作出相反結(jié)果。這里不存在對錯之分，一切從實際需要出發(fā)，目標(biāo)是正確的數(shù)字取舍。第二，實際工作中，假設(shè)檢驗與區(qū)間估計應(yīng)相輔相成，綜合應(yīng)用。由置信區(qū)間可判斷異常值懷疑對象，假設(shè)檢驗進(jìn)一步明確其身份。反過來置信區(qū)間為假設(shè)檢驗提供正確方向。非參數(shù)檢驗方法統(tǒng)計工作總是面臨新問題，此時對統(tǒng)計數(shù)據(jù)總體分布知之甚少，這時假定總體分布然后檢驗的做法就可能導(dǎo)致錯誤的結(jié)論。非參數(shù)統(tǒng)計就是在不假定總體分布的情況下，挖掘數(shù)據(jù)本身信息進(jìn)行推斷的統(tǒng)計方法。因為不利用總體分布的知識，所以在無總體任何知識情況下也能可靠地獲得結(jié)論。非參數(shù)統(tǒng)計也就給我們提供了一種由數(shù)據(jù)本身出發(fā)進(jìn)行統(tǒng)計數(shù)字質(zhì)量評估的方法，其中使用數(shù)據(jù)最基本的信息就是數(shù)據(jù)次序，也稱為秩。例如現(xiàn)在社會各行業(yè)普遍存在評估排隊的現(xiàn)象，如產(chǎn)品品牌的排隊，地區(qū)經(jīng)濟(jì)發(fā)展的排隊，大學(xué)的綜合排名等等，并且不同“版本”存在差異，這些評判是否可信是關(guān)注的焦點(diǎn)，運(yùn)用非參數(shù)統(tǒng)計中Kendall協(xié)同系數(shù)檢驗就可以很好解決此類問題。同時，非參數(shù)方法對于熟悉數(shù)據(jù)與數(shù)據(jù)變換也有著直接應(yīng)用，比如數(shù)據(jù)Q-Q圖(quantile-quantileplots)，用按升幕重新排列的原始數(shù)據(jù)的樣本點(diǎn)和標(biāo)準(zhǔn)正態(tài)分布的分位點(diǎn)作散點(diǎn)圖，若樣本滿足正態(tài)性會使圖成直線型，如果出現(xiàn)數(shù)據(jù)在一端或兩端擺動情況，說明數(shù)據(jù)與正態(tài)分布差異較大。隨著統(tǒng)計技術(shù)的發(fā)展，介于傳統(tǒng)參數(shù)檢驗與非參數(shù)方法之間的穩(wěn)健統(tǒng)計方法也發(fā)展起來。當(dāng)已知分布數(shù)據(jù)中摻雜更改值、傳輸錯誤時，樣本數(shù)據(jù)的穩(wěn)健性對于處理工作變得格外重要，通常使用樣本標(biāo)準(zhǔn)差判斷離群點(diǎn)的方法就不再穩(wěn)健，可以使用Theil回歸和最小中位數(shù)回歸等辦法，穩(wěn)健性已經(jīng)成為數(shù)據(jù)分析工作中的重要要求。三、 時間序列分析與多元統(tǒng)計分析的結(jié)合應(yīng)用時間序列分析與多元統(tǒng)計分析都是隨著計算機(jī)技術(shù)的發(fā)展、運(yùn)用而逐步成熟起來的兩種統(tǒng)計分析方法，但二者處理數(shù)據(jù)類型是明顯不同的，時序方法通常用來處理縱剖面數(shù)據(jù)，強(qiáng)調(diào)數(shù)字出現(xiàn)的實際順序。而對于某一時點(diǎn)組成的數(shù)據(jù)群--橫剖面數(shù)據(jù)，多元統(tǒng)計分析方法是更有力的處理工具。時序分析通過建立AR(n)、MA(m)、ARMA(n，m)等模型的方法來刻畫系統(tǒng)運(yùn)行狀態(tài)，運(yùn)用時序模型可以預(yù)測和控制系統(tǒng)，達(dá)到修正數(shù)據(jù)、控制統(tǒng)計質(zhì)量的目的。時序分析對離群點(diǎn)的檢驗與處理有良好的應(yīng)用性，離群點(diǎn)也稱為奇異值、野值，是顯著偏離正常水平的極端值，出現(xiàn)原因包括偶然因素誘導(dǎo)、登記錯誤等因素。離群點(diǎn)往往給數(shù)據(jù)分析帶來難度，通常被視為“壞值”，檢驗方法通常如下：第一，將序列值與平滑值作比較。記Xt為序列的平滑值，St為樣本標(biāo)準(zhǔn)差，若Xt-kSt<Xt+1<Xt+kSt，則初步判定Xt+1是正常的，否則即為異常值。k是由于具體需要而設(shè)定的常數(shù)，取6較常見。第二，線性外推法。這也是一種常用分析方法，當(dāng)外推的結(jié)果與實際序列值偏差較大時，必須反思是否有離群點(diǎn)出現(xiàn)。不過此法須考慮外推次數(shù)對誤差的影響。其他如估算增長量推算法、發(fā)展速度估算法、Newton差值估算法等都是常見的推測算法，具體應(yīng)用中要注意場合與精度要求。有經(jīng)驗的分析人員可以從統(tǒng)計分析方法中迅速發(fā)現(xiàn)問題，重審數(shù)據(jù)質(zhì)量。例如通常人文發(fā)展指數(shù)包括出生預(yù)期壽命、成人識字率和人均GDP三項指標(biāo)，如果數(shù)據(jù)反映到三項指標(biāo)不協(xié)調(diào)，就及時發(fā)現(xiàn)問題。因此兩種統(tǒng)計分析方法的結(jié)合運(yùn)用將對統(tǒng)計數(shù)據(jù)質(zhì)量工作提供技術(shù)支持。四、 結(jié)束語統(tǒng)計數(shù)據(jù)質(zhì)量不是一個新問題?，F(xiàn)在統(tǒng)計工作者、廣大群眾如何提高分析、辨別能力，結(jié)合我國國情制定出合理有效的判別數(shù)據(jù)準(zhǔn)則成為當(dāng)務(wù)之急。由于絕大多數(shù)的統(tǒng)計應(yīng)用者不是統(tǒng)計學(xué)家，甚至是一些沒有統(tǒng)計背景的工作者，