研究?jī)蓚€(gè)場(chǎng)相互關(guān)系的SVD方法課件

1、 研究?jī)蓚€(gè)場(chǎng)相互關(guān)系的SVD方法數(shù)學(xué)上的SVD分解及其性質(zhì)SVD在氣象學(xué)中的應(yīng)用前面學(xué)習(xí)的EOF(或PCA)方法，主要用于分析單個(gè)氣象要素場(chǎng)的時(shí)空變化結(jié)構(gòu)。大氣科學(xué)研究中，還經(jīng)常需要分析兩個(gè)氣象要素場(chǎng)的時(shí)空變化之間的聯(lián)系，可采用什么方法來(lái)實(shí)現(xiàn)？方法一：多變量EOF (MV-EOF)仍然使用EOF方法，只是將不同的氣象要素場(chǎng)在空間維依序排列在同一個(gè)資料陣X內(nèi)；方法二：EOF 結(jié)合相關(guān)或回歸分析對(duì)某一要素場(chǎng)X作EOF， 取出某一模態(tài)的時(shí)間序列，與另一要素場(chǎng)Y作相關(guān)或回歸分析，可以考察X的該模態(tài)與Y場(chǎng)的關(guān)系。設(shè)任意兩個(gè)氣象要素場(chǎng)，記為X與Y，分別有m1和m2個(gè)空間點(diǎn)。方法三：典型相關(guān)分析將x=x1,

2、 x2, , xm1T的m1個(gè)空間變量通過(guò)線(xiàn)性組合構(gòu)成一個(gè)新變量u，同時(shí)，也將y=y1, y2, , ym2T的m2個(gè)空間變量通過(guò)線(xiàn)性組合構(gòu)成一個(gè)新變量v，使得新變量u與v之間的相關(guān)系數(shù)達(dá)到極大。方法四：奇異值分解(SVD)方法。能夠找到成對(duì)出現(xiàn)的空間分布型，代表兩場(chǎng)的相互聯(lián)系著的空間結(jié)構(gòu)。SVD其實(shí)是一個(gè)數(shù)學(xué)名詞，一種矩陣運(yùn)算。氣象上研究?jī)蓚€(gè)場(chǎng)相互關(guān)系的方法之所以習(xí)慣上稱(chēng)之為“SVD”，是因?yàn)椋?該方法的核心運(yùn)算是矩陣的SVD分解。SVD (Singular Value Decomposition) 的數(shù)學(xué)定義對(duì)于任意一般實(shí)矩陣(行數(shù)和列數(shù)可以不等)，例如m1行m2列的矩陣C，可以分解為：其

3、中， r min(m1,m2)列向量uj和vj都是單位化的；uj稱(chēng)為”左奇異向量”， vj稱(chēng)為“右奇異向量”，U和V都是正交矩陣；j稱(chēng)為“奇異值”， 1 2 r 0上式使我們聯(lián)想到多變量資料陣X(m行n列)的EOF：因此，對(duì)C進(jìn)行SVD分解也就同時(shí)得到了C的EOF結(jié)果。通過(guò)以上對(duì)比分析了解到，C的SVD分解奇異值j的平方就是CCT的特征值，C的左奇異向量uj就是CCT的單位化的特征向量。實(shí)矩陣SVD的性質(zhì)性質(zhì)1： 性質(zhì)2： 關(guān)于第(2)條：雖然CTCCCT， 但他們有相同的特征值，不同的特征向量。(曾在第五章的時(shí)空轉(zhuǎn)換內(nèi)容中討論過(guò))。關(guān)于第(1)條: 在比較SVD與EOF時(shí)已經(jīng)理解。性質(zhì)3：

4、如果矩陣C是實(shí)對(duì)稱(chēng)陣 (m階)，那么，左、右奇異向量都等于C的特征向量，奇異值就是C的特征值。即：這時(shí)，C的特征值的平方就是CCT(或CTC)特征值，并且C與CCT(或CTC)擁有相同的特征向量。性質(zhì)4： C矩陣的所有元素的平方和，等于所有奇異值的平方和：如何來(lái)理解？根據(jù)性質(zhì)2：C的奇異值k的平方就等于S=CCT的特征值k，即：根據(jù)主成分的性質(zhì)2：C中m1個(gè)變量的方差之和等于C的所有主成分(共有r個(gè))的方差之和，即 S=CCT的對(duì)角線(xiàn)元素之和（ CCT的跡）等于CCT的r個(gè)特征值之和：因此得證： C矩陣的所有元素的平方和等于所有奇異值的平方和。SVD方法在氣象學(xué)中的應(yīng)用通常在氣象學(xué)中, SVD

5、的用法是：兩個(gè)氣象要素場(chǎng)，x和y，空間點(diǎn)數(shù)分別為m1和m2, 時(shí)間點(diǎn)數(shù)都為n，計(jì)算它們的標(biāo)準(zhǔn)化資料陣如下：計(jì)算x和y的交叉協(xié)方差陣 C=(XYT) /n，(或者C= XYT)，C的形狀為m1行m2列，對(duì)協(xié)方差陣C進(jìn)行SVD分解。X和Y的協(xié)方差陣也可用C=YXT（或者(YXT)/n）來(lái)計(jì)算，這時(shí)C的形狀為：m2行m1列，這時(shí)稱(chēng)Y為左場(chǎng)，X為右場(chǎng)。這時(shí)，X被稱(chēng)為左場(chǎng)，Y為右場(chǎng)單位不同的兩個(gè)場(chǎng)進(jìn)行協(xié)方差運(yùn)算，通常都要先標(biāo)準(zhǔn)化。以下的討論中，令X為左場(chǎng)，Y為右場(chǎng)，它們的標(biāo)準(zhǔn)化資料陣如所示：空間分布： U和V的每一列都是一個(gè)空間分布函數(shù)；每個(gè)場(chǎng)內(nèi)部的空間型相互正交。左奇異向量uj表示第j模態(tài)左場(chǎng)的空間分

6、布；右奇異向量vj表示第j模態(tài)右場(chǎng)的空間分布。時(shí)間序列：把原觀(guān)測(cè)場(chǎng)X投影到uj，把Y場(chǎng)投影到vj，即可得到第j模態(tài)左右場(chǎng)的時(shí)間序列，記為aj和bj ：aj與bj的形狀都是1行n列。下面考察第j模態(tài)兩個(gè)時(shí)間序列的協(xié)方差第1模態(tài)左右場(chǎng)的時(shí)間系數(shù)的協(xié)方差達(dá)到最大，第2模態(tài)次之, 因此，SVD分解的各模態(tài)是根據(jù)每對(duì)時(shí)間序列的協(xié)方差的大小來(lái)排列的。所以，SVD也被稱(chēng)為“最大協(xié)方差分析(MCA)”。以上分析的是同一對(duì)SVD模態(tài)的兩個(gè)時(shí)間序列之間的關(guān)系，同理易證，不屬于同一對(duì)的時(shí)間序列之間的協(xié)方差為0. 這一性質(zhì)可用式子表示為：同一場(chǎng)內(nèi)部的不同模態(tài)時(shí)間系數(shù)之間的協(xié)方差(如 Cov(a1, a2)也等于0，

7、請(qǐng)自行證明。第j模態(tài)兩個(gè)時(shí)間序列的相關(guān)系數(shù) 相關(guān)系數(shù)r(aj, bj)總是大于0的，因?yàn)閖0兩時(shí)間序列的協(xié)方差j是按模態(tài)從大到小來(lái)排列的，它們的相關(guān)系數(shù)r(aj, bj)是否也按從大到小排列？不是! 第一模態(tài)的左右場(chǎng)時(shí)間序列的相關(guān)系數(shù)不一定是最大的。 此相關(guān)系數(shù)（一般都比較高）不宜使用簡(jiǎn)單相關(guān)系數(shù)的檢驗(yàn)方法來(lái)進(jìn)行顯著性檢驗(yàn)，因?yàn)樗举|(zhì)上是一種復(fù)相關(guān)系數(shù)?？臻g型的表示左右兩場(chǎng)協(xié)同變化的空間型由左、右奇異向量表示，但是，由于uj和vj是單位化的，因此，其數(shù)值的大小與格點(diǎn)數(shù)有關(guān)，缺少物理意義。在分析SVD結(jié)果時(shí)，通常，將SVD空間型的結(jié)果uj和vj都變換成相關(guān)系數(shù)分布圖。同類(lèi)相關(guān)系數(shù)對(duì)第j模態(tài)來(lái)說(shuō)：

8、左場(chǎng)X的每個(gè)格點(diǎn)的序列可以與左場(chǎng)的時(shí)間系數(shù)aj做相關(guān)系數(shù)，得到的相關(guān)系數(shù)空間分布圖稱(chēng)為“左場(chǎng)的同類(lèi)(homogeneous, 或稱(chēng)同性、齊次)相關(guān)系數(shù)圖”。右場(chǎng)Y的每個(gè)格點(diǎn)的序列可以與右場(chǎng)的時(shí)間系數(shù)bj做相關(guān)系數(shù)，得到的相關(guān)系數(shù)空間分布圖稱(chēng)為“右場(chǎng)的同類(lèi)相關(guān)系數(shù)圖” 。左場(chǎng)X的同類(lèi)相關(guān)系數(shù)（m1行1列）為：這里，設(shè)X場(chǎng)的各格點(diǎn)上的序列都進(jìn)行了標(biāo)準(zhǔn)化,所以標(biāo)準(zhǔn)差為1。同理，右場(chǎng)Y的同類(lèi)相關(guān)系數(shù)（m2行1列）可表示為：異類(lèi)(heterogeneous， 或“異性”、“非齊次”)相關(guān)系數(shù)左場(chǎng)的異類(lèi)相關(guān)系數(shù)：左場(chǎng)每個(gè)格點(diǎn)觀(guān)測(cè)的時(shí)間序列(X的某一行)與右場(chǎng)的時(shí)間系數(shù)bj的相關(guān)系數(shù)。右場(chǎng)的異類(lèi)相關(guān)系數(shù)：右

9、場(chǎng)每個(gè)格點(diǎn)觀(guān)測(cè)的時(shí)間序列(Y的某一行)與左場(chǎng)的時(shí)間系數(shù)aj的相關(guān)系數(shù)。左場(chǎng)X的異類(lèi)相關(guān)系數(shù)（m1行1列）為：同理，右場(chǎng)Y的異類(lèi)相關(guān)系數(shù)r(Y, aj) (m2行1列)也與右奇異向量呈常數(shù)倍關(guān)系：所以，左場(chǎng)的異類(lèi)相關(guān)系數(shù)與左奇異向量呈簡(jiǎn)單的常數(shù)倍關(guān)系。各模態(tài)對(duì)總協(xié)方差平方和的貢獻(xiàn)率SVD的性質(zhì)4：“C的所有元素平方和等于所有奇異值的平方和”，協(xié)方差陣C的所有元素平方和|Cxy|2就是總的協(xié)方差平方和(Squared Covariance) ，可表示兩個(gè)場(chǎng)整體的相關(guān)程度：SCF是Squared Covariance Fraction的縮寫(xiě)前K個(gè)模態(tài)的累積(Cumulated)協(xié)方差平方和的貢獻(xiàn)率為

10、：注意 這里的SCF(或CSCF)是指的對(duì)兩場(chǎng)總的協(xié)方差平方和的貢獻(xiàn)，而不是對(duì)兩場(chǎng)總方差的貢獻(xiàn)。可定義第j模態(tài)對(duì)總的協(xié)方差平方和的貢獻(xiàn)率為：第j模態(tài)對(duì)左右場(chǎng)各自的方差貢獻(xiàn)率前面已知：第1模態(tài)左場(chǎng)(X)的空間型(m1行1列)為：u1，時(shí)間序列(1行n列)為a1=u1T X；利用X第1模態(tài)這對(duì)空間和時(shí)間函數(shù)可對(duì)原X場(chǎng)作出估計(jì)（類(lèi)似EOF的估計(jì)，空間向量乘以時(shí)間序列），記為X(1) (m1行n列) ： X(1) =u1a1其中的第t列表示第t時(shí)刻的估計(jì)場(chǎng)： u1a1t ； 觀(guān)測(cè)到的實(shí)際X場(chǎng)記為：xt, 所以，第t時(shí)刻的誤差向量(E的第t列)可寫(xiě)為t：現(xiàn)在要考察第1模態(tài)對(duì)左場(chǎng)X的方差貢獻(xiàn)率，即：X (

11、1)的總方差占X的總方差的比例。要想直接計(jì)算推導(dǎo)X (1)的總方差不容易，我們從另一側(cè)面來(lái)分析：考察誤差的總方差。同理可證，取前兩模態(tài)對(duì)X進(jìn)行估計(jì)時(shí)，對(duì)X場(chǎng)估計(jì)的總誤差方差為：X的總方差減去第一模時(shí)間序列a1的方差再減去第二模時(shí)間序列a2的方差。因此，第j模態(tài)對(duì)左場(chǎng)總方差的貢獻(xiàn)即為：第j模態(tài)左場(chǎng)時(shí)間序列aj的方差。上式表明：第一模態(tài)對(duì)X場(chǎng)的估計(jì)的總誤差等于：X場(chǎng)的總方差減去時(shí)間序列a1的方差，因此可認(rèn)為，時(shí)間序列 a1的方差就是第一模態(tài)對(duì)左場(chǎng)的解釋方差，即X(1)的總方差；a2的方差就是第二模態(tài)對(duì)左場(chǎng)的解釋方差，即X(2) 的總方差；因此，第j模態(tài)對(duì)左場(chǎng)X的總方差的貢獻(xiàn)率VF(Variance

12、 Fraction)可用以下兩者的比值來(lái)計(jì)算：同理，第j模態(tài)對(duì)右場(chǎng)Y的總方差的貢獻(xiàn)率可用以下兩者的比值來(lái)計(jì)算：注意:“對(duì)左右各自場(chǎng)的方差貢獻(xiàn)率(VFxj或VFyj) ”與“總的協(xié)方差平方和的貢獻(xiàn)率(SCFj)”是不同的概念:SCF反映時(shí)間系數(shù)的協(xié)方差，總是按照從大到小來(lái)排列，第一模態(tài)的SCF最大；而VFxj或VFyj反映的是“SVD模態(tài)在各自場(chǎng)的變率中所起作用的大小”，不一定按照從大到小的順序來(lái)排列。SVD的顯著性檢驗(yàn)通過(guò)SVD分解，從兩個(gè)樣本資料中識(shí)別出了時(shí)間系數(shù)之間協(xié)方差最大、次大的一對(duì)對(duì)空間型。但是，它是否說(shuō)明兩個(gè)場(chǎng)之間確確實(shí)實(shí)存在聯(lián)系？任意兩個(gè)毫無(wú)關(guān)系的隨機(jī)場(chǎng)，用它們的樣本資料做SVD

13、，也能計(jì)算出一對(duì)對(duì)空間型和時(shí)間系數(shù)。所以，SVD的結(jié)果是否可信，還需進(jìn)一步檢驗(yàn)。SVD的顯著性檢驗(yàn)通常使用“蒙特卡羅（ Monte Carlo ）方法”來(lái)實(shí)現(xiàn)?！懊商乜_”方法又被稱(chēng)為“隨機(jī)模擬”或“統(tǒng)計(jì)模擬”方法。當(dāng)我們對(duì)某一統(tǒng)計(jì)量的概率密度分布無(wú)法推導(dǎo)出解析解時(shí)，就借助大量的計(jì)算機(jī)隨機(jī)試驗(yàn)結(jié)果對(duì)其進(jìn)行估計(jì)。（1）把其中的一個(gè)氣象資料場(chǎng)（例如Y）隨機(jī)打亂時(shí)間次序，然后與另一個(gè)場(chǎng)（X）作協(xié)方差并對(duì)協(xié)方差陣進(jìn)行SVD分解，記錄下每個(gè)模態(tài)的|Cxy|2和SCF；（2）重復(fù)以上步驟100次，即：重新把Y在時(shí)間維打亂次序，對(duì)協(xié)方差陣進(jìn)行SVD分解，記錄下每個(gè)模態(tài)的|Cxy|2和SCF；（3）以上得到了

14、100個(gè)|Cxy|2 ；對(duì)于每個(gè)模態(tài)（例如第k模態(tài)），有100個(gè)SCFk，將他們按從大到小的順序排列。（4）檢驗(yàn)規(guī)則：左右場(chǎng)整體相關(guān)性的檢驗(yàn)：用真實(shí)的X和Y的協(xié)方差作SVD分解得到的|Cxy| 2與隨機(jī)試驗(yàn)得到的100個(gè)|Cxy|2進(jìn)行比對(duì)，如果大于第5個(gè)|Cxy|2 ，則認(rèn)為在0.05的顯著性水平下，XY兩場(chǎng)整體上存在相關(guān)性。SVD第k模態(tài)的檢驗(yàn)：對(duì)某一模態(tài)(如第k模態(tài))來(lái)說(shuō)，也是將該模態(tài)的SCFk與100個(gè)SCFk比對(duì)，如果大于第5個(gè)，表明SCFk通過(guò)了信度為0.05的顯著性檢驗(yàn)。檢驗(yàn)對(duì)象可以有兩個(gè)：兩場(chǎng)整體上有無(wú)相關(guān)性( |Cxy|2);第k模態(tài)是否顯著(SCFk)。蒙特卡羅檢驗(yàn)的重要依據(jù)：如果要檢驗(yàn)的對(duì)象(|Cxy|2或SCFk)是顯著的，那么，它應(yīng)該大于絕大多數(shù)隨機(jī)場(chǎng)所得到的結(jié)果。SVD的實(shí)際應(yīng)用舉例Wallace等(1992)研究了冬季太平洋地區(qū)SST（左場(chǎng)）與500hPa高度場(chǎng)（右場(chǎng)）的SVD分解。時(shí)間長(zhǎng)度為從1946年12月到1985年12月，n=39。兩個(gè)資料場(chǎng)均做了標(biāo)準(zhǔn)化處理。所采用的海溫資料在太平洋地區(qū)共有m1=1