第六章病態(tài)方程解算方法

1、第六章第六章有偏估計之有偏估計之病態(tài)方程的常用解法病態(tài)方程的常用解法1 1、截斷奇異值法、截斷奇異值法2 2、正則化法、正則化法1 為什么要研究病態(tài)方程為什么要研究病態(tài)方程： 當誤差方程為病態(tài)時，即使觀測數(shù)據(jù)服從正態(tài)分布，其最當誤差方程為病態(tài)時，即使觀測數(shù)據(jù)服從正態(tài)分布，其最小二乘估值也不理想，甚至很差，其方差雖然在線性無偏估值小二乘估值也不理想，甚至很差，其方差雖然在線性無偏估值類中是最小，但類中是最小，但方差的值卻很大方差的值卻很大，即平差精度很差，而且，即平差精度很差，而且解相解相當?shù)牟环€(wěn)定當?shù)牟环€(wěn)定。1 1、矩陣的條件數(shù)、矩陣的條件數(shù)TxxybyybxxxbAx110001. 00,0

2、001. 220001. 111102220001. 11112121方程組的解變?yōu)椋浩渲杏形⑿∽兓瘯r，有當常數(shù)項其精確解為，即例：有方程組一、病態(tài)問題與條件數(shù)若系數(shù)陣若系數(shù)陣A A或常數(shù)項或常數(shù)項b b的微小變化，會引起方程組的解的微小變化，會引起方程組的解x x有巨大變化，有巨大變化，則這種方程組稱為則這種方程組稱為“病態(tài)方程組病態(tài)方程組”。A A稱為病態(tài)矩陣。稱為病態(tài)矩陣。AAbbAAAAAAxxbbxxAAxbAbbAAxxbAxxAbbAxbAxbbxxAxbbAbAx11111211得解的相對誤差為：即有多大誤差？均有誤差時，解、）設所以：（范數(shù)特性）即有多大誤差？，導致解有誤差非

3、奇異，設正常，）中，討論：在方程組定義定義 。中最大和最小的特征值分別是正定對稱矩陣和其中，數(shù)為陣的譜條件陣），（如法方程的為正定實對稱矩陣時，當感程度。組的解對原始數(shù)據(jù)的敏條件數(shù)。它刻畫了方程的為矩陣，稱乘積對非奇異陣AAAAcondANAAAAAminmaxminmax21221不穩(wěn)定模型：輸入數(shù)據(jù)很小的誤差會引起待估參數(shù)很大的誤差。不穩(wěn)定模型：輸入數(shù)據(jù)很小的誤差會引起待估參數(shù)很大的誤差。所以病態(tài)方程也是不穩(wěn)定模型。所以病態(tài)方程也是不穩(wěn)定模型。矩陣的條件數(shù)：矩陣的條件數(shù)：2 2、病態(tài)性程度的衡量方法、病態(tài)性程度的衡量方法。時，有嚴重的復共線性中等強度復共線性；時，有時，有弱復共線性；在復共

4、線性；時，可以認為不存中，的特征值通常的判斷標準，模糊的說法。很接近于零”是一個很個復共線性關系。但“中就有多少于零，設計矩陣有多少個特征值很接近法矩陣、特征分析法01. 005. 001. 01 . 005. 01 . 0iiiiiNBNa解釋：復共線性解釋：復共線性 復共線性，指的是平差參數(shù)之間具有近似相關關系，反映在誤差方程的設計矩陣上，就是列向量間的某些數(shù)據(jù)列可以由其余的數(shù)據(jù)列近似（非精確）地線性表示。 在最小二乘平差中，在最小二乘平差中，“復共線性復共線性”就是指就是指“病態(tài)性病態(tài)性”。 方差分解比方法。條件指標法、。中有幾個復共線性關系判定設計矩陣條件數(shù)法的缺點是不能情況修正取舍。

5、對上述準則應根據(jù)實際左右。所以致在快速定位中，條件數(shù)大如數(shù)據(jù)處理實際應用中，量前提下得到的。但在測對數(shù)據(jù)中心化標準化的呈病態(tài)。這個指標是在，系統(tǒng)時存在嚴重的復共線性時沒有復共線性；一般認為、條件數(shù)法CTVDPcBKKNNNcondKb13minmax110GPS10001003 3、病態(tài)方程產(chǎn)生原因、病態(tài)方程產(chǎn)生原因1、參數(shù)選取原因。（參數(shù)近似相關或過度參數(shù)化）、參數(shù)選取原因。（參數(shù)近似相關或過度參數(shù)化）2、觀測原因。（樣本為局部采樣或接近重復采樣）、觀測原因。（樣本為局部采樣或接近重復采樣）3、模型選擇原因。（模型建立的方法不同，其病態(tài)程度不同）、模型選擇原因。（模型建立的方法不同，其病態(tài)程

6、度不同）4、計算方面原因。（計算方法要穩(wěn)定，計算機字節(jié)長度應長一些）、計算方面原因。（計算方法要穩(wěn)定，計算機字節(jié)長度應長一些）4 4、病態(tài)方程最小二乘估值的性質(zhì)、病態(tài)方程最小二乘估值的性質(zhì) 病態(tài)方程處理的觀測值可以是正態(tài)分布，但其LS估值并不理想，甚至很差。 雖然LS估計的方差在線性無偏類估值線性無偏類估值中是最小，但數(shù)值卻很大，并表現(xiàn)得相當不穩(wěn)定。 常用均方誤差常用均方誤差MSE來評價病態(tài)情形下參數(shù)的估值質(zhì)量。來評價病態(tài)情形下參數(shù)的估值質(zhì)量。 的減小。部分，換取方差部分大偏差有偏估計實質(zhì)：適當增。估值，即參數(shù)估值將不再是無偏用解病態(tài)方程法得到的的一個良好估值了。不再是估值很大，此時值較小，會

7、導致的最小特征。而若法矩陣的無偏估值，即是真值上式的條件為由均方誤差公式：122120120212 2001xxExxLSxMSENxxBBtrxxEQtrxxxxExMSEitiiTxxT問題的適定性：問題的適定性：人們根據(jù)已獲取的觀測數(shù)據(jù)和物理規(guī)律，列出的數(shù)學模型，當這些模型具有下述性質(zhì)： 1、解存在；、解唯一；、解穩(wěn)定。則這個問題稱為適定性問題。不適定性：不適定性： 不滿足上面三個條件中的任意一個或多個。不適定問題通常是病態(tài)的，但病態(tài)問題不一定就是不適定問題。不不適定問題通常是病態(tài)的，但病態(tài)問題不一定就是不適定問題。不適定問題通常是求方程的穩(wěn)定近似解。適定問題通常是求方程的穩(wěn)定近似解。5

8、 5、什么樣的方程可能是病態(tài)的？、什么樣的方程可能是病態(tài)的？1）行列式的值很大或很?。ㄈ缒承┬?、列近代相關）；2）元素間相差大數(shù)量級，且無規(guī)則；3）主元消去過程中出現(xiàn)小主元；4）特征值相差大數(shù)量級。二、病態(tài)方程的解法1 1、病態(tài)方程的截斷奇異值解法、病態(tài)方程的截斷奇異值解法奇異值分解技術奇異值分解技術(Singular Value Decomposintion Technique，簡記為，簡記為SVD法法)均為正交矩陣。、為半正定的對角陣；式中陣可分解為時，對）當（進行奇異值分解：下面對的廣義逆。是為的最小二乘最小范數(shù)解是誤差向量。得是設計矩陣，已經(jīng)單位化）：的權陣測值向量設有觀測方程（式中觀

9、VUVUAAtnppArankAAALAxxeAeLxAPLttTtnnntnLS,min)(11n1n1ttn minmax2212121212,:. 0),min(,000AcondAvvvVuuuUVUAAAAtnARpdiagDDtniiiTiipptn數(shù)與奇異值的關系為：為長方陣時，得其條件系：）奇異值與條件數(shù)的關（陣按列劃分，為和將。的關系為：的特征值或與矩陣奇異值陣全部的非零奇異值。是且其中：陣的分塊形式為 。近似秩虧的線性方程組法可解算滿秩、秩虧和看出，由有，而的通解為：線性方程組組的數(shù)值穩(wěn)定的方法。、特別是線性病態(tài)方程分解法是求線性方程組，可見奇異值超過時，奇異值的變化不會有

10、擾動此特性說明當矩陣，有，則對均屬于與若。）、奇異值分解的擾動（SVDVUAtnpARdiagDDUVVUALAxLAxEEAEAEAtptnREAATppntTTAAApAptnA12111211111220,min,000, 2 , 13性。了條件數(shù)，提高了穩(wěn)定關性很強的約束，降低量，這相當于舍去了相及其相關的特征向的奇異值，舍去小于值截斷原則：選擇一個閾程的截斷奇異值法解：步對其截斷，得病態(tài)方在第得解為：的奇異值分解式可寫為inTinTitiitTnpinTitiitLSpiTiiiTLuvxTLuvLAxuvUVAA11111111111111平差中，設計矩陣平差中，設計矩陣B為病態(tài)，

11、其秩為為病態(tài)，其秩為R(B)=t。通過截斷，適當去除。通過截斷，適當去除（t-T）個大誤差項，恢復了一些解的主要特性，但也喪失了一些）個大誤差項，恢復了一些解的主要特性，但也喪失了一些解的精確性。解的精確性。13 均為單位陣）內(nèi)容嶺估計。（以下時，正則化估計也稱為正則化矩陣。當滿足正則化參數(shù)光滑函數(shù)。RIRRTikhononvxxRxPVVxTT02min2 2、病態(tài)方程的正則化解法、病態(tài)方程的正則化解法）式：的正則化準則作用于（，此時可取的特征值單調(diào)地趨向于若上式病態(tài)，則法矩陣）（有誤差方程：101TikhonovNlxBVPlBIPBBxTtT1得正則化參數(shù)解為： 可見 ，正則化方法的核心

12、是通過附加“全部或部分參數(shù)（或其改正數(shù)）加權平方和極小”的條件，增加約束，補充（先驗）信息，來克服不適定性，使解唯一且穩(wěn)定。14 QIIINQNQQxxQNQQxMSEMxQxxExBiasxBiasxxBlElIPBBQlxBVPlBQxINQtttTnTTt其中考慮了：陣為評定精度的均方誤差矩為的偏差值有參數(shù)的期望值與其真考慮為參數(shù)估值及殘差可表示設,22013 3、正則化解的單位權方差無偏估計、正則化解的單位權方差無偏估計 正則化解的殘差及自由度與最小二乘解不同，因此其單位權方差估計式也不同。 2022201222:QtrtnPDtrBNQBQBBQPDxQQxVEVPEtrVEVPEt

13、rPDtrVVPEtrPVVExBQVExBNBQlEIPBBQVEQINQVVTTVVTTTVVTTnTt而，有根據(jù)二次型的期望公式上兩式合并，有及殘差的期望：由 代替。，可以用參數(shù)估值參數(shù)真值計算時，由于無法得到為差無偏估計的計算公式所以正則化法單位權方即有xxQtrtnxQQxPVVQtrtnxQQxPVVEPDtrVEVPEtrPVVETTTTVVTT22220202222嶺參數(shù)（正則化參數(shù)）的選取L曲線法（1） 。數(shù)估值平衡，得到更準確的參之間的與正則函數(shù)光滑度平方和，可以更好地控制殘差一個合適的如圖，參數(shù)。值，該值即為所求的嶺最大的那個點的曲線法上曲率曲線法的關鍵是定曲線法。的方法

14、稱為選定嶺參數(shù)擬合曲線，用這條曲線為縱坐標作圖，得一條為橫坐標，值，以擇不同的的函數(shù)，選均為嶺參數(shù)和中，式法等。在曲線法、嶺跡法及有有多種選取法，常用的嶺參數(shù)xxxPVVLLLxxxPVVxxPVVxxPVVxLTTTTTTTT0943. 2minGCV正則化參數(shù)的譜分解求取法（2） 當均方誤差矩陣當均方誤差矩陣 時，求得的時，求得的 為最優(yōu)值。為最優(yōu)值。但由于參數(shù)真值未知，若用最小二乘解作為近似值代入，也不會但由于參數(shù)真值未知，若用最小二乘解作為近似值代入，也不會得到得到 的最優(yōu)值。的最優(yōu)值。事實上，每一個計算正則化參數(shù)的準則都有其事實上，每一個計算正則化參數(shù)的準則都有其優(yōu)點和缺點及適用的特

15、定場合，不存在一個準則在所有場合都優(yōu)優(yōu)點和缺點及適用的特定場合，不存在一個準則在所有場合都優(yōu)于其它準則。于其它準則。18 min xMSEM對應的特征向量）陣所有特征值陣是征向量，而此處的陣的零特征值對應的特是陣差的陣完全沒關系，秩虧平陣與秩虧平差的附加陣（注意：該。或正交陣特性：陣。將特征值排為的特征向量組成的正交的特征值為由，可作如下譜分解：對于實對稱法矩陣NGNGGGGGIGGNGGGPBBNPBBNTTniTTT121,0 的值。，可得到的元素。上式求和后為是向量式中，有求上式的跡并要求最小均方誤差矩陣為0min22222011211201121120220 xGZZZxMSEMtrGIGxxGIGGIIGINxxININNINQxxQNQQxMSEMTiiiiiTtTTtTtttTtttT20