最小二乘參數(shù)估計(jì)

1、百度文庫-讓每個(gè)人平等地提升自我最小二乘參數(shù)估計(jì)1系統(tǒng)辨識(shí)的概念12最小二乘參數(shù)估計(jì)法 1最小二乘估計(jì)的統(tǒng)計(jì)特性 2加權(quán)最小小二乘 2遞推最小二乘估計(jì) 3相關(guān)最小二乘法 31系統(tǒng)辨識(shí)的概念系統(tǒng)辨識(shí)是研究建立被控對(duì)象或過程數(shù)學(xué)模型的一種理論和方法。它是在輸入和輸出數(shù)據(jù)的基礎(chǔ)上，從一組給定的模型類別中，確定一個(gè)與所研究系統(tǒng)等價(jià) 的數(shù)學(xué)模型。數(shù)學(xué)模型是指用數(shù)學(xué)形式來描述實(shí)際對(duì)象或過程行為特性和運(yùn)動(dòng)規(guī)律，微分方程、差分方程、傳遞函數(shù)和狀態(tài)方程式常用的數(shù)學(xué)形式。建立數(shù)學(xué)模型的主要 方法有機(jī)理法和測(cè)試法。而機(jī)理法的應(yīng)用是十分有限的，實(shí)踐中大量采用的還是 測(cè)試法。系統(tǒng)辨識(shí)就是一種測(cè)試法。2最小二乘參數(shù)估計(jì)法

2、最小二乘估計(jì)是一種經(jīng)典的數(shù)據(jù)處理方法， 最早的應(yīng)用可以追溯到18世紀(jì), 大約在1795年由高斯在他著名的星體運(yùn)動(dòng)軌道預(yù)報(bào)研究工作中提出的。高斯提 出：對(duì)于未知的但要求估計(jì)的參數(shù)的最適宜的值是最可能的值。他定義：“未知量最可能的值是這樣一個(gè)數(shù)值，它使得實(shí)測(cè)值與計(jì)算值的差的平方乘以測(cè)量測(cè)量 精度后所得的積最小。”后來，在控制系統(tǒng)的參數(shù)估計(jì)領(lǐng)域也發(fā)現(xiàn)個(gè)采用了這種 方法，這樣，最小二乘法就成了估計(jì)離亂的奠基石。由于最小二乘法原理簡(jiǎn)單， 編制程序也不困難，因而頗受人們重視，應(yīng)用相當(dāng)廣泛。目前它已成為動(dòng)態(tài)系統(tǒng) 辨識(shí)的主要手段。從計(jì)算方法講，它既可以離線計(jì)算，也可以在線遞推計(jì)算，并 可在非線性系統(tǒng)中擴(kuò)展為迭

3、代計(jì)算。 從計(jì)算的數(shù)學(xué)模型看，它既可以用于參數(shù)模 型估計(jì)可以用于非參數(shù)模型估計(jì)。最小二乘估計(jì)開始用于處理整批數(shù)據(jù)的靜態(tài)參數(shù)估計(jì)，這里稱為一般的最小 二乘估計(jì)，它能提供一個(gè)在最小方差意義下與實(shí)驗(yàn)數(shù)據(jù)最好擬合的數(shù)學(xué)模型。由最小二乘發(fā)獲得的估計(jì)在一定條件下有最佳的統(tǒng)計(jì)特性，即估計(jì)的結(jié)果是無偏 的、一致的和有效的，而經(jīng)典辨識(shí)法中的相關(guān)辨識(shí)法、 頻率辨識(shí)法等也可以從最 小二乘推導(dǎo)演繹而成。最小二乘估計(jì)的統(tǒng)計(jì)特性對(duì)于一個(gè)估計(jì)算法除了計(jì)算簡(jiǎn)單和便于應(yīng)用等要求外， 更重要的是所得出的 估計(jì)值能不能再某種意義下滿足估計(jì)的精度要求， 即滿足估計(jì)值的優(yōu)良性。一般 來說，一種估計(jì)值的統(tǒng)計(jì)特性是可以用來衡量它的“優(yōu)良度

4、”和“可信度”的。 通過研究它的統(tǒng)計(jì)特性，可以幫助確認(rèn)該方法的使用價(jià)值。最小二乘估計(jì)具有以下特性：無偏性、一致性、有效性等。加權(quán)最小二乘通常，各次觀測(cè)數(shù)據(jù)是在不同情況下取得的，因而對(duì)估計(jì)的作用也不相同, 當(dāng)利用這些數(shù)據(jù)來估計(jì)參數(shù)是，總是希望“價(jià)值大”的觀測(cè)數(shù)據(jù)占比較大的比重， 使其對(duì)估計(jì)的結(jié)果產(chǎn)生較多的影響。為此，計(jì)算中用一個(gè)稱為權(quán)的數(shù)來反映數(shù)據(jù) 價(jià)值的大小，即對(duì)各次數(shù)據(jù)加不同的權(quán)，若果有理由認(rèn)為現(xiàn)時(shí)刻的數(shù)據(jù)可靠， 那么現(xiàn)時(shí)刻的加權(quán)值就要大于過去時(shí)刻的加權(quán)值。 在目標(biāo)函數(shù)中引入正定加權(quán)矩陣：爭(zhēng)川0*4*0|Wn則有目標(biāo)函數(shù)：J w(丫)Tw(Y)TwwiIII0 1b11,2,，n1P1P10

5、wnnw12 21i 2(w2n nn2 Wj ii 1可以解出：?w ( Tw)1 TwY該方法稱作最小二乘法，對(duì)應(yīng)的 ?w稱為加權(quán)最小二乘估計(jì)值，當(dāng) w為單位 矩陣的時(shí)候，加權(quán)最小二乘就成為最小二乘估計(jì)， 所以最小二乘法是加權(quán)最小二 乘的一種特例。當(dāng)過程噪聲是均值為為0、方差為2的白噪聲序列時(shí)，加權(quán)最小二乘具有無 偏性、有效性和一致性等良好的統(tǒng)計(jì)特性。遞推最小二乘估計(jì)在生產(chǎn)過程中，系統(tǒng)的輸入、輸出往往是逐步得到的，調(diào)節(jié)器參數(shù)的設(shè)計(jì)要 求在線參數(shù)估計(jì)，利用新的信息來改善精度。一次完成算法是直接利用已獲得的所有觀測(cè)數(shù)據(jù)進(jìn)行運(yùn)算處理。使用這種算法時(shí)，需要計(jì)算機(jī)存儲(chǔ)全部測(cè)量數(shù)據(jù)，占用了較多的存儲(chǔ)單

6、元，同時(shí)，每采樣一 次，就需要增添一組新的觀測(cè)數(shù)據(jù)，也逐步擴(kuò)大矩陣N的行數(shù)，還需要完成矩陣T的求逆運(yùn)算，這樣計(jì)算是很費(fèi)時(shí)的。在已知N組數(shù)據(jù)后，有Ye ,可以構(gòu)成Yn， n，從而可以求出?n，當(dāng)又獲得一組新的測(cè)量數(shù)據(jù)yN i，Un i后，同樣可以計(jì)構(gòu)成Yn i， n 1，并計(jì)算 出?n 1，通過分析第N次和第N+1次估計(jì)間的關(guān)系，可以把最小二乘法化成遞 推算法。遞推算法的基本思路可以概括為：新的估計(jì)值九1舊的估計(jì)值?n修正值這種方法的特點(diǎn)是每取得一次新的觀測(cè)數(shù)據(jù)后，在原來估計(jì)結(jié)果的基礎(chǔ)上， 用新引入的觀測(cè)數(shù)據(jù)對(duì)上一次估計(jì)的結(jié)果進(jìn)行修正，從而遞推地得到下一個(gè)參數(shù) 估計(jì)值。這樣，隨著的新的觀測(cè)數(shù)據(jù)的引入，逐步地進(jìn)行參數(shù)估計(jì)，直到估計(jì)值 達(dá)到滿意的精度為止。這樣不僅可以減少計(jì)算量和存儲(chǔ)量，而且能夠?qū)崿F(xiàn) 在線實(shí)時(shí)辨識(shí)。相關(guān)最小二乘法