統(tǒng)計(jì)預(yù)報(bào)方法

1、統(tǒng)計(jì)分析及預(yù)報(bào)方法 陳長(zhǎng)勝 2009.10 內(nèi)容 n第一章 氣象資料表示方法、常用統(tǒng)計(jì)量 n第二章 選擇最大信息的預(yù)報(bào)因子 n第三章 回歸分析 n第四章 二分類預(yù)報(bào)（略） n第五章 主成分分析 n第六章 EOF和SVD n第七章 判別分析 n第八章 聚類分析 第一章 氣象資料及其表示方法 n單個(gè)要素的氣象資料 氣象資料絕大多數(shù)是以數(shù)據(jù)形式給出?？梢杂?變量x表示某個(gè)氣象要素的取值。 n多個(gè)要素 ),.,1( ,nix i Xn為樣本容量 ),.,1;,.,1(,njpixijX 或 ji x X i為變量指標(biāo),j為樣本指標(biāo) 2 基本統(tǒng)計(jì)量 n平均值：描述資料數(shù) 字平均狀態(tài)的量 n i i x

2、n x 1 1 方差 n i di n i ix x n xx n s 1 2 1 22 1 )( 1 均方差 2 xx ss 距平（異常）： nixxx idi , 1 方差：描述樣本中資料與平均值差異的統(tǒng)計(jì)量，資 料圍繞平均值變化的幅度。 2 基本統(tǒng)計(jì)量 2.2.3標(biāo)準(zhǔn)化變量 目的：氣象要素中，各個(gè)要素的單位不一 樣，平均值及標(biāo)準(zhǔn)差亦有所不同。為使 他們能在同一水平上進(jìn)行比較，常使用 標(biāo)準(zhǔn)化的方法。 特點(diǎn)：均值為0，方差為1. x di x i zi s x s xx x 2基本統(tǒng)計(jì)量 2.3.1協(xié)方差與相關(guān)系數(shù)(衡量任意變量之間關(guān)系的統(tǒng) 計(jì)量) 1 ddx xs n 協(xié)方差: 1 dli

3、dkikl xx n s 或 協(xié)方差是反映了兩個(gè)要素異常關(guān)系的平均狀 況。 協(xié)方差是帶單位的一個(gè)統(tǒng)計(jì)量，在比較不同 要素時(shí)常常帶來(lái)不便。 2基本統(tǒng)計(jì)量 相關(guān)系數(shù) 1 zz n xxR 或 1 zlizkikl xx n r 2 1 22 1 2 1 l n i lik n i ki lk n i liki lk kl kl xnxxnx xxnxx ss s r 相關(guān)系數(shù)-標(biāo)準(zhǔn)化資料的協(xié)方差 2基本統(tǒng)計(jì)量 2.5.自協(xié)方差與自相關(guān)系數(shù) 自協(xié)方差 自相關(guān)系數(shù) n t tt n t tt xxxx n s xxxx n s 1 * 1 )( 1 )( )( 1 )( n t tt n t tt s

4、 xx s xx ns s r s xx s xx ns s r 1 2 * * 1 2 )( 1)( )( )( 1)( )( 2基本統(tǒng)計(jì)量 2.7.峰度系數(shù)與偏度系數(shù)（用來(lái)衡量隨機(jī)變量分布密度曲 線形狀的數(shù)字特征） 偏度系數(shù)（分布曲線的峰點(diǎn)與平均 值的距離） 峰度系數(shù)（描述分布曲線的陡度） 2 3 2 3 1 m m g 3 2 2 4 2 m m g n i k ik xx n m 1 )( 1 式中的mk為k階中心矩 3常用的分布 n1.正態(tài)分布 n2.分布 n3.2分布 n4.t分布 n5.F分布 4顯著性檢驗(yàn) 1.均值的顯著性檢驗(yàn) 一般說(shuō)來(lái)，大樣本檢驗(yàn)遵從正態(tài)分布，小樣本檢驗(yàn)遵從t

5、 分布,在氣象上大多使用t分布。 目的：在氣候變化的研究中，常常要研究某一特殊年份 有何顯著特點(diǎn)。經(jīng)常使用的方法就是將這一特殊年份的 氣象要素與其他年份的平均值進(jìn)行比較。 設(shè)x0為某一統(tǒng)計(jì)量，x1,xn為統(tǒng)一統(tǒng)計(jì)量的其他樣本， 則有 且互相獨(dú)立。假設(shè)),(),1() 1 1 ( 20 2 1 ii n n Nxnt n n s xx t 然后查t分布表得t(n-1),這里為顯著水平，一般取 5%，n-1為自由度，若tt,這說(shuō)明有顯著差異，否 則認(rèn)為無(wú)顯著差異。 4顯著性檢驗(yàn) 2.均值差異的顯著性檢驗(yàn) 氣象中的模型試驗(yàn)經(jīng)常要遇到異常年份與一般年份差 異的顯著性檢驗(yàn)。 設(shè)一般年份有m年，氣象要素x

6、在其中的均值為xc，特 殊年份有n年，在其中的均值為xa。在假定它們的總體 均值無(wú)顯著差異的情況下，有 2 )()( )2( )( 1 2 1 2 2 11 2 1 nm xxxx s nmt s xx t n i aa i m i cc i nm ac 4顯著性檢驗(yàn) 3.方差的顯著性檢驗(yàn) 目的：檢驗(yàn)兩個(gè)樣本狀態(tài)變化是否顯著差別 設(shè)樣本1（x1 ）,樣本容量為m, 樣本2 （x2 ）,樣本容量為n,則 ) 1, 1( ) 1( ) 1( 2 2 2 1 nmF smn snm F n m 然后查F分布表得F/2(m-1,n-1),這里為顯著水平，一般取 5%，m-1,n-1為自由度，若F F/

7、2(m-1,n-1) ,這說(shuō)明有顯著 差異，否則認(rèn)為無(wú)顯著差異。 信噪比法(公式略) 4顯著性檢驗(yàn) 4.相關(guān)系數(shù)的顯著性檢驗(yàn) )2( 1 2 )1 ( )( )( )( 2, 1 )1 ( )()( )( )( 1915 2 2 2 2 1 2 2 2 2 1 2 1 2 1 2 2 4 nt r r nt dt v t v drrf nvr rrf Rfisher v n v v v t v t n n 故 其中令 的密度函數(shù)年導(dǎo)出相關(guān)系數(shù)估計(jì)量于 注：這種檢驗(yàn)只適用于無(wú)持續(xù)性的變量 間的相關(guān)系數(shù)檢驗(yàn)。 當(dāng)計(jì)算相關(guān)系數(shù)的兩個(gè)變量本身具有強(qiáng) 的持續(xù)性或高自相關(guān)時(shí)，t檢驗(yàn)的自由度 不能用n-2，

8、應(yīng)該用有效自由度。 )()( 2/ 1 yy n xx RRT T n 其中 有效自由度為 第二章 選擇最大信息的預(yù)報(bào)因子 n概率 頻率和概率：衡量事件出現(xiàn)可能性大小的數(shù)量 指標(biāo)，當(dāng)觀測(cè)次數(shù)足夠大，頻率穩(wěn)定的接近某 個(gè)常數(shù)，這就是該事件的概率。 頻率是概率的估計(jì)值，概率是頻率的理論值。 n條件概率 在事件B已出現(xiàn)的條件下、計(jì)算事件A的概率， 則這種概率叫做事件A在事件B已出現(xiàn)的條件下 的條件概率，記為P（A/B）。 是統(tǒng)計(jì)方法做預(yù)報(bào)的基礎(chǔ)。B取為A以前t時(shí)刻 的某氣象條件。 天氣預(yù)報(bào)指標(biāo) n尋找合適的條件概率作為天氣預(yù)報(bào)指標(biāo)，必須具 有兩個(gè)經(jīng)驗(yàn)性的條件 1） 可靠性： nP(A/B)P(A)或

9、者P(A/B)P(A) 2）準(zhǔn)確率： n P(A/B) 1 或 P(A/B) 0 n天氣預(yù)報(bào)指標(biāo)的檢驗(yàn) 可靠性：二項(xiàng)分布檢驗(yàn)天氣預(yù)報(bào)指標(biāo)是檢驗(yàn)?zāi)骋粭l件 概率所指示的時(shí)間是屬于偶然性還是具有規(guī)律性的方 法。 準(zhǔn)確性：歷史擬合 第三章 回歸分析 n目的：用來(lái)尋找若干變量之間統(tǒng)計(jì)聯(lián)系關(guān) 系的一種方法。利用統(tǒng)計(jì)關(guān)系對(duì)某變量作 出未來(lái)時(shí)刻的估計(jì)，稱為預(yù)報(bào)值。比如 MOS方法。 n內(nèi)容： 一元線性回歸 多元線性回歸 逐步回歸 1一元線性回歸 1.1一元線性回歸模型 距平其中， 或 ，則有， 其離差最小，若，一個(gè)自然的想法是令，如何確定即 如果假定是線性模型估計(jì)量對(duì)數(shù)據(jù)對(duì)于一組因子與預(yù)報(bào)量 , , )( )

10、( 0, 0)()( , ),( 0 2 1 2 1 0 1 2 0 00 xxxyyy bxy xbyb s s xx yyxx b b Q b Q yybbQ bbbxby yyyx dd dd x xy n i i n i ii n i ii ii iiii （1.1） x y 1一元線性回歸 1.2回歸的方差分析 ,i ii yye定義誤差值可以證明 22 2 eyy sss 總離差平方和為 殘差平方和為 回歸平方和為 也可寫成 n i iyy n i ii n i i yy yyS yyQ yyU QUS 1 2 1 2 1 2 )( )( )( （1.2） 為誤差方差 為回歸方差

11、為預(yù)報(bào)量方差 n i iie n i iy n i iy yy n s yy n s yy n s 1 22 1 22 1 22 )( 1 )( 1 )( 1 (1.2a) 1一元線性回歸 1.3相關(guān)系數(shù)與線性回歸 22 2 2 4 2 1 2 1 22 1 2 1 2 00 1 2 1 2 2 2 )( )( )( )( )( )( )( xy yx xy y x x xy n i i n i i n i i n i i n i i n i i y y yy r ss s s s s s yy xxb yy xbbbxb yy yy s s S U xy x y x y yx xy x xy

12、 r s s s s ss s s s b 2 回歸系數(shù)與相關(guān)系數(shù)的關(guān)系 解釋方差 （1.3） （1.4） 1一元線性回歸 1.4回歸方程的顯著性檢驗(yàn) b s s r nFF y x xy n r r n s s n Q U e y )2, 1 ( 2 1 1 2 1 2 1 2 2 2 2 可以證明 回歸系數(shù)的檢驗(yàn)（略） （1.5） 2多元線性回歸 2.1多元線性回歸模型 npnn p p n p n ii xxx xxx xxx e e e y y y eNe 21 22221 11211 2 1 1 0 2 1 2 1 1 1 , ), 0(, Xey eXy 之間獨(dú)立且各 ),.,1(

13、),.,.,( ) ,., , ( , ),.,( ),.,( 21 1010 210 21 pkxxxx bbb bbbb yyy nkikkkk pp p n 為因子向量，x b xxxy Xby p21 （2.1） （2.2） 2多元線性回歸 n2.2的估計(jì) n2.3 b的統(tǒng)計(jì)性質(zhì) n2.4 回歸問(wèn)題的方差分析 n2.5 回歸方程的顯著性檢驗(yàn) 或 Monte Carlo檢驗(yàn) )1,( )1( )1 ( )1( 2 2 pnpF pn R p R pnS Q pS U F yy yy 5逐步回歸 n目的：在氣象預(yù)報(bào)中，對(duì)預(yù)報(bào)量的預(yù)報(bào)常常需要從可能影 響預(yù)報(bào)y的許多因素中挑選一批關(guān)系較好的作

14、為預(yù)報(bào)因子， 建立多元回歸方程。但如何保證在已選的一批因子里得到 “最優(yōu)”的回歸方程呢？ n從可提供挑選的變量中，根據(jù)一定的顯著性標(biāo)準(zhǔn)，每步只 選入一個(gè)變量進(jìn)入回歸方程，并要求當(dāng)步選出的變量是所 有可供挑選的變量中能使剩余方差下降最多的一個(gè)。 n逐步回歸時(shí)，由于新變量的引進(jìn)，可使已進(jìn)入回歸方程的 變量變得不顯著，從而在下一步給以剔除 應(yīng)用注意事項(xiàng) n（1）變量是否遵從正態(tài)分布 n（2）是否線性（可以用預(yù)報(bào)量與估計(jì)量之 間的差進(jìn)行） n（3）重視因子的天氣意義 n（4）重視回歸方程的穩(wěn)定性（檢驗(yàn)相關(guān)系 數(shù)或回歸系數(shù)隨時(shí)間變化刀切法） 第四章 二分類預(yù)報(bào) n二分類預(yù)報(bào)，也稱正反預(yù)報(bào)，只對(duì)兩種天 氣

15、狀態(tài)做預(yù)報(bào)。 n當(dāng)預(yù)報(bào)因子也是二分類時(shí) n（1）天氣預(yù)報(bào)指標(biāo)群的分片包干 n（2）多因子綜合預(yù)報(bào)方法 n當(dāng)預(yù)報(bào)因子是連續(xù)數(shù)據(jù)時(shí)二組判別分 析 第五章 主成分分析 n功能：從多變量序列中提取出主要的相互 獨(dú)立的新變量序列，用少數(shù)幾個(gè)新變量序 列反應(yīng)原多個(gè)變量的變化信息，或者說(shuō)降 低資料的自由度或維數(shù)。 1 e 2 e 3 e 4 e 1 x 2 x 3 x n x 1n x 4 x 1 兩個(gè)變量的主分量 1.1主分量的導(dǎo)出 （方差極大原則） 使得 組成一新變量設(shè)由空間變量 max,)( 1 , , 1 22 2211 21 n i iy yy n s xvxvy xx 無(wú)關(guān)的不同的主分量之間是

16、變化較小軸的變化，而可歸結(jié)為在 部分個(gè)點(diǎn)的變化（方差）大在二維平面上 y2y1 n 1.2主分量的性質(zhì) x1 x2 y1 y2 2 多變量的主分量分析 n略 注：主成分分析一般很少單獨(dú)使用： a，了解數(shù)據(jù)。(screening the data)， b，和cluster analysis一起使用， c，和判別分析一起使用，比如當(dāng)變量很多，個(gè)案 數(shù)不多，直接使用判別分析可能無(wú)解，這時(shí)候可 以使用主成份發(fā)對(duì)變量簡(jiǎn)化。（reduce dimensionality） d，在多元回歸中，主成分分析可以幫助判斷是否 存在共線性（條件指數(shù)），還可以用來(lái)處理共線 性。 3 典型相關(guān)分析 n典型相關(guān)分析是分析兩

17、組隨機(jī)變量間線性密切程 度的統(tǒng)計(jì)方法，是兩變量間線性相關(guān)分析的拓廣。 。有最大相關(guān)，以此類推（與第一對(duì)不相關(guān)）具 第二對(duì)指標(biāo)具有最大相關(guān)，然后選首先，兩組選一對(duì)指標(biāo) 量間的相關(guān)。間的關(guān)系來(lái)反映兩組變通過(guò)研究?jī)山M綜合指標(biāo) 合指標(biāo)，擇若干個(gè)有代表性的綜在每一組變量中，都選 得出合適結(jié)論。 相關(guān)系數(shù)，不能逐個(gè)之間求研究?jī)山M之間的關(guān)系， 和分布的變量假定兩組具有聯(lián)合正態(tài) 21 111 , 211 pp xxxx pppp 第六章 EOF和SVD nEOF（empirical orthogonal function,經(jīng)驗(yàn)正交 函數(shù)分解） nSVD（singular value decomposition

18、,奇異值分 解） n目的：一類是一種要素場(chǎng)時(shí)間序列的時(shí)空結(jié)構(gòu)分 析，另一類是兩種要素場(chǎng)時(shí)間序列間相關(guān)聯(lián)系的 時(shí)空結(jié)構(gòu)分析。 n體現(xiàn)在數(shù)學(xué)上： EOF主成分分析 SVD典型相關(guān)分析 前者針對(duì)氣象要素場(chǎng) EOF方法幾何影像和推廣 EOF方法的推廣方法的推廣 1 向量向量EOF分析分析（EOFV） 2 擴(kuò)展擴(kuò)展EOF分析分析（EEOF） 3 復(fù)復(fù)EOF分析分析（CEOF） 4 旋轉(zhuǎn)EOF分析（REOF） 第七章 判別分析 n概念： 在氣象預(yù)報(bào)中，為了使用需要，一些預(yù)報(bào)量常 常分成若干級(jí)別或類別。根據(jù)這些類別，選擇 一些前期因子，利用在不同類別的樣本內(nèi)，尋 找因子和預(yù)報(bào)量的關(guān)系，建立針對(duì)不同類別的 預(yù)

19、報(bào)量的方程式，選擇適當(dāng)?shù)呐袆e規(guī)則，判別 某個(gè)因子觀測(cè)樣本所屬的類別，來(lái)實(shí)現(xiàn)對(duì)預(yù)報(bào) 量的預(yù)報(bào)。 1費(fèi)歇判別準(zhǔn)則 1.1費(fèi)歇(Fisher)判別準(zhǔn)則 P 晴 雨 T-e 客觀性？ 1費(fèi)歇判別準(zhǔn)則 1.1費(fèi)歇(Fisher)判別準(zhǔn)則 y(x) x y1(x)y2(x) 12 max )()( 21 1 2 22 1 2 11 2 21 n i i n i i yyyy yy 21 yy 判別方程建立原則：類間的方差與類內(nèi)的方 差壁紙為最大可作為判別方程建立的原則 1費(fèi)歇判別準(zhǔn)則 1.1費(fèi)歇(Fisher)判別準(zhǔn)則 2211 xcxcy c yy y 1 x 2 x 第八章 聚類分析 n概念:研究樣本

20、或變量指標(biāo)分類問(wèn)題的一種 多元統(tǒng)計(jì)分析方法。 n判別分析和聚類分析的區(qū)別 判別：類型與其類型數(shù)是已知的 聚類：都是未知 1相似性度量 1.1相似性度量 數(shù)個(gè)空間點(diǎn)之間的相關(guān)系個(gè)空間點(diǎn)與第為第 空間相關(guān)距離系數(shù) 個(gè)時(shí)間點(diǎn)的樣本個(gè)空間點(diǎn)的要素場(chǎng)，設(shè)有 lkr r np kl klkl arccos . 1 p k jk p k ik p k kjik ij kl ijij xx xx s lks s 1 2 1 2 1 arccos . 2 度個(gè)時(shí)間點(diǎn)之間的相關(guān)程個(gè)時(shí)間點(diǎn)與第為第 時(shí)間相似系數(shù) (1.1) (1.2) 1相似性度量 1.1相似性度量 之間的距離分別表示個(gè)體 與，其中 應(yīng)滿足三角不等

21、式如果使用距離系數(shù)，還 之間的相似性同步變化隨 ，則有之間的相似系數(shù)與設(shè)個(gè)體 相似系數(shù)的性質(zhì) RQP QRdRPdQPd QRdRPdQPd BABA BA ABBA BABA , ),(),(),( ),(),(),()4( ,),() 3( 0),()2( ),(),() 1 ( ),( 1相似性度量 1.1相似性度量 p k jkikij p k jkikij p k jkikij xxd xx P d xxd 1 1 2 1 2 )3( )( 1 )2( )( ) 1 ( . 2 域塊距離 平均距離 歐氏距離 常用距離系數(shù) (1.3) (1.4) (1.5) 1相似性度量 1.1相似性

22、度量 個(gè)空間點(diǎn)樣本向量，包括與 個(gè)時(shí)間點(diǎn)的協(xié)方差陣為 距離 距離 常用距離系數(shù) p n d sMahalanobi s xx d Pearson ji jijiij p k k jkik ij xx S xxSxx)()( )5( )( )4( . 2 1 1 2 2 (1.6) (1.7) 2逐級(jí)歸并法 2.1逐級(jí)歸并法 直至歸并為一個(gè)組 重復(fù) 均相似系數(shù)組的相似系數(shù)規(guī)定為平 其中并繼續(xù)把最相似的兩個(gè)合 點(diǎn)將已合并組看成為一個(gè) 一組把最相似的兩個(gè)合并為 個(gè)組個(gè)點(diǎn)為假設(shè) 基本步驟： )2)(1 () 3( , ,2 ,1 . 1 pp 3平均權(quán)重串組法 3.1平均權(quán)重串組法 15 ),min() 1 ( 0323. 3793. 2800. 3447. 1251. 4 323. 30047. 3490. 1824. 2445. 1 793. 204