光纖陀螺啟動后的模型樹線性回歸模型

光纖陀螺啟動后的模型樹線性回歸模型

1誤差補償研究作為整個網(wǎng)絡系統(tǒng)的核心組成部分，螺釘作為整個網(wǎng)絡系統(tǒng)中的一個非常重要的單元。影響陀螺儀工作精度的一個重要指標是陀螺漂移。漂移量是影響陀螺儀精度的主要漂移誤差,也是影響陀螺儀性能可靠性的主要因素。一方面要求慣性儀表的漂移在允許的范圍內(nèi),另一方面要求根據(jù)建立的漂移數(shù)據(jù)模型進行補償以減少漂移對系統(tǒng)精度的影響。所以,利用實際陀螺數(shù)據(jù),采用合理的方法對陀螺漂移數(shù)據(jù)進行建模,預測漂移性能的變化趨勢,對誤差進行補償,及時預報陀螺儀故障,對于提高整個導航系統(tǒng)的精度有著十分重要的意義。陀螺漂移時間序列的最大特點是具有很強的非線性,需要一種具有較強非線性映射能力的預測模型。但是到目前為止在陀螺建模研究領(lǐng)域還沒有一種較為成熟的模型建立。當然實際中已經(jīng)存在一些預測數(shù)值類別屬性的學習方法應用在其中。這些方法包括標準的回歸,神經(jīng)網(wǎng)絡,支持向量機,基于實例的學習方法,回歸樹和基于預先離散化的預測等等。但是這些方法都有各自的不足之處:標準的回歸雖然簡單,運行速度快,但不是一種很有潛力發(fā)掘函數(shù)關(guān)系的方法,因為該方法暗含整個數(shù)據(jù)是線性關(guān)系的假設。支持向量機在運算速度上欠缺,當數(shù)據(jù)量大的時候無法滿足導航系統(tǒng)的實時性。神經(jīng)網(wǎng)絡和基于實例的學習方法雖然更加有效但是缺乏透明性:模型不能顯示它所代表函數(shù)關(guān)系的結(jié)構(gòu)。而大多的使用機器學習的最終用戶對于從模型里獲知數(shù)據(jù)隱含結(jié)構(gòu)的興趣超過了模型對新數(shù)據(jù)的較好準確度的預測。模型樹方法是決策樹的一類變種,同樣采用“分而治之”的思想,在傳統(tǒng)的決策樹的葉子節(jié)點中引入了線性回歸模型。這種方法相對比較清晰,同時可以符合陀螺的變化過程“慢變化,快變化”,慢變化指的是陀螺隨時間變化的漂移;快變化是指在慢變化的同時隨機誤差的影響。進而得到整個非線性模型。這種表示方法相對比較明晰,用分段的思想得到整體非線性的模型,因為決策結(jié)構(gòu)很清晰并且回歸方程通常情況下不會包含很多變量。2改進算法的思想構(gòu)建模型樹的基本思想是很直接的。在第一階段我們使用決策樹生成算法構(gòu)建一棵樹,不同的是決策樹中在每個中間節(jié)點劈分的準則是最大化信息增益,而M5P(文獻中基于Quinlan工作的基礎(chǔ)上,詳細給出了M5算法的實現(xiàn),由于Quinlan的原文中缺乏詳細的介紹,該文作者做了很多更細致的工作,引入了一些修改,并將其成果取名為M5P)使用的是最小化每個分支中子集類別屬性的差異。在第二階段,引入了從樹的每個葉子節(jié)點向根部的剪枝策略。該方法是由Breiman和Quinlan分別于1984年和1986年獨立提出的。目前剪枝的方法已經(jīng)成為決策樹生成中的標準。兩人剪枝唯一的不同之處在于后者在剪枝到一個內(nèi)部節(jié)點時采用了回歸平面而非一個常量代替該節(jié)點。并且決定回歸模型的屬性就是參與了劈分決策到目前節(jié)點的屬性。2.1基于psdr準則的樹停止生長構(gòu)造樹的過程就是不斷遞歸的劈分數(shù)據(jù)集的過程,劈分的標準就是將達到某個節(jié)點的樣本的類屬性的標準差作為該節(jié)點誤差的量度,并且通過測試該節(jié)點數(shù)據(jù)各個屬性計算誤差的期望減小值,使期望誤差減小值最大的屬性被選擇做劈分屬性。同時我們注意到由于在某些過程中,其函數(shù)在某點的一階導數(shù)反應了函數(shù)在該點處的斜率,而同在一條直線上或者近似在一條直線上的點其一階導數(shù)應該是相同或者接近的,因此我們根據(jù)被選擇劈分屬性的值及其對應類別屬性取值,計算出各點處的一階導數(shù),劈分的點則是選擇劈分后兩段中各段中點的一階導數(shù)盡量接近。而考慮各段中點的一階導數(shù)盡量接近時,我們再考慮與標準差減小值(StandardDeviationReduction)SDR類似的設計中來?；谏厦娴姆治?劈分準則的設計過程公式可描述如下:記一個待劈分的數(shù)據(jù)集為{x1,x2,…,xn,y},其中xi(1≤i≤n)為可選劈分屬性,y為類別標記屬性,記當前考慮劈分的屬性為xs(1≤i≤n),則假設xs和y之間的函數(shù)關(guān)系為y=F(xs),應用數(shù)值算法求出在每個不同的xs取值處的關(guān)于F的一階導數(shù),我們將求出的導數(shù)記作p,則對當前選擇劈分屬性,定義最佳劈分點標準如下:SDR=sd(p)?∑i|pi||p|×sd(pi)(1)上面式(1)是進行改進的劈分原則,其中,p為當前數(shù)據(jù)集對與劈分屬性導數(shù)的標準差,i取1,2分別表示依據(jù)劈分點得到的兩個子集,p為待劈分數(shù)據(jù)集樣本數(shù)目,pi為依照該劈分點劃分后的兩個子集各自包含的樣本數(shù)目,sd(pi)為依照這種劃分后兩個子集中的一階導數(shù)的標準差。由此可見PSDR準則與SDR相比考慮了待劈分屬性對類別屬性的影響,而SDR則單單考慮了類別屬性的取值。圖1中給出了兩段直線的導函數(shù)曲線和拋物線的導函數(shù)曲線,以及將該導數(shù)做為增益計算標準得到的曲線,可見該標準得到的劈分最優(yōu)點正是在x軸的原點處。即從中間將拋物線劈開分別用兩條直線擬和,這是比較直觀的。樹的生長過程和Breiman等人的CART類似,不同在于CART劈分選取了能得到最大期望差異減小或最大期望絕對偏差減小的屬性(可以通過在命令行中設置選擇不同標準)。文獻中提到不管選擇兩種中的哪種標準對生成的樹來說是不敏感的:生成的樹都是類似的。樹的生成不能無限制的進行下去,因此需要確定樹停止生長的條件。M5P算法采用的樹停止生長的條件有兩個。一是劈分過程只有很少數(shù)量樣本達到某節(jié)點,通常根據(jù)數(shù)據(jù)設置;二是到達節(jié)點樣本的類別屬性取的不同值很少時停止,通常通過達到節(jié)點的樣本類別屬性的標準差與總體樣本類別屬性標準差的比例來限制樹的生長。2.2模型樹算法的使用我們知道樹的結(jié)構(gòu)并不是越大越好,劈分的細可能會造成過擬和。而剪枝則可以提高模型在未知數(shù)據(jù)上的預測能力。剪枝的過程通過使用對測試數(shù)據(jù)期望誤差的估計來進行。首先,對到達該節(jié)點的訓練樣本的預測值和實際值之間的絕對誤差做了平均。這個平均將會低估未知樣本的期望誤差,為了補償,將其乘于一個補償因子(n+v)/(n-v),n是到達節(jié)點的樣本數(shù)目,v是在該節(jié)點處參與表示模型的屬性的數(shù)目。模型樹算法為未進行剪枝的樹的每一個中間節(jié)點計算了線性模型。該模型使用標準的回歸構(gòu)建,回歸使用的屬性是在此節(jié)點以下被使用過做劈分屬性。得到的線性模型需要通過去掉某些項來最小化通過上面的補償因子公式來計算的估計誤差,去掉模型中某些項是通過貪婪法計算出來的。最終只要期望估計誤差減小,一個新線性模型將在該節(jié)點處產(chǎn)生,該節(jié)點的子樹也被剪掉。2.3模型預測值的計算最后一步使用平滑過程來補償剪枝后樹的相鄰葉子節(jié)點處不可見的嚴重的不連續(xù)性,尤其是對于從小樣本訓練數(shù)據(jù)構(gòu)建的模型。這個平滑過程由Quinlan提出,在葉子節(jié)點處計算預測的值,然后將該值向根節(jié)點反傳,在沿途各個節(jié)點中通過與各個節(jié)點的線性模型預測值結(jié)合得到平滑后的預測值。計算公式是:p′=(np+kq)/(n+k)(2)p′是傳向父節(jié)點的預測值,p是子節(jié)點傳到改層的預測值,q是本層模型的預測值,n是到達本層節(jié)點的訓練樣本數(shù)目,k是一個常數(shù)(通常取值為15)。平滑從本質(zhì)上增加了預測的準確性。2.4基于sdr的沖擊性判據(jù)通過上一節(jié)中對模型樹算法的描述我們可知在這個過程中含有四個要素:1)要指定劈分數(shù)據(jù)的標準。2)根據(jù)標準選擇劈分屬性及劈分點劈分數(shù)據(jù)。3)確定劈分停止條件。4)選擇合適大小的用于預測的最終生分樹。由此看出模型樹的建立首要的工作在于劈分準則的選擇,關(guān)于劈分準則的研究有很多文獻。但是這些準則大多對于離散的分類問題,對于連續(xù)數(shù)值的預測中所采用的劈分方法,在Breiman等人的CART中選取了能得到最大期望差異減小或最大期望絕對偏差減小的屬性,文獻中提到選擇兩種標準中的哪一個對生成的樹來說是不敏感的:生成的樹都是類似的。M5P中使用的SDR劈分標準見式(1)。整個算法過程包含遞歸地劈分節(jié)點和從葉子節(jié)點向上進行剪枝兩個主要部分。每個節(jié)點結(jié)構(gòu)包含說明該節(jié)點是中間節(jié)點還是葉子節(jié)點的標志,指向左右孩子的指針,到達該節(jié)點的樣本,用來劈分該節(jié)點的屬性,以及該節(jié)點處的線性模型。計算標準誤差值在算法一開始以及進行劈分的開始被調(diào)用來分別計算樣本類別屬性的方差。在劈分過程中,要統(tǒng)計節(jié)點元素的個數(shù)。在剪枝過程里,通過獲得子樹中使用屬性來構(gòu)建線性回歸方程,這里是有那個線性回歸模型,主要因為線性模型在一定條件下計算速度快,同時能夠保障較好的擬合度。然后通過貪婪的舍棄線性模型中的一些項來減少估計誤差。其中在剪枝過程中用到的誤差函數(shù)的返回公式表示為:(n+v)n?v×[∑examples|devationfrompredictedclassvalue|]/n(3)其中n為該節(jié)點處的樣本數(shù)目,v為節(jié)點處線性模型所使用的屬性數(shù)目。3在螺母建模中的應用3.1敏感角速率該數(shù)據(jù)為光纖陀螺在不同溫度下的各個輸入角速度的轉(zhuǎn)速數(shù)據(jù)。下面以各個陀螺數(shù)據(jù)進行詳細說明:陀螺采樣數(shù)據(jù)是不同的8個溫度點,溫度單位為攝氏度。各個數(shù)據(jù)文件的輸入角速度分別為0,±1,±5,±10,±30,±50,±100,±150,±200,±250,±300,單位為°/s。其中規(guī)定了轉(zhuǎn)速表示,采樣速度,以及正副方向。輸入角速度未考慮地速影響,所以在處理時每一個轉(zhuǎn)速中需要減掉天向地速分量,即如果上述輸入轉(zhuǎn)速為30°/s,則光纖陀螺實際敏感角速率為(30-9.625/3600)°/s。如果是-30°/s,則為(-30-9.625/3600)°/s。根據(jù)經(jīng)驗數(shù)據(jù),光纖陀螺標度因數(shù)K取值范圍為:15000<|K|<16000光纖陀螺零位ω0(一次項)取值范圍為:|ω0|<100°/h。注意:數(shù)據(jù)為1s采樣,由于設備進行通斷電操作,進行數(shù)據(jù)處理時應拋掉起始的1組和結(jié)束前的1組。3.2建立數(shù)學模型實驗模型樹參數(shù)設置葉子至少擁有實例數(shù)為300個(每個葉子實例數(shù)如果大于300就將進行劈分估計,小于300個將作為葉子結(jié)點停止劈分),平滑控制常量為15。主要步驟:1)利用LR建立模型得到大相關(guān)量,比如對于001陀螺,得到的LR模型為Y=144.3062+1.6603*T+15573.4168*W,其中W為大相關(guān)量;2)利用溫度(T),角速率(W)和LR模型的誤差(Y-YpredictbyLR)建立M5P模型;原因是W為模型的主要作用因素,W對于模型的貢獻大于T對于模型的貢獻,如果不將大相關(guān)量處理掉,W將掩蓋T的作用;也就是說,使用數(shù)據(jù)建立的M5P模型全部都是以W為分割點,不能建立溫度的模型。在實際操作中總結(jié)的經(jīng)驗是:T對于脫離建模有一定的影響,但不是主要因素,這也從一個方面說明驗證了我們的試驗思路。3)將LR模型與M5P模型混合使用,得到最終的分段模型。將模型樹模型和線性回歸模型進行對比,評價函數(shù)如下:RMSE=∑(yi?y?i)2n????????√其中,yi為實際值,y?i為預測值線性回歸和模型樹的RMSE分別為:LR的RMSE=878.241LR的模型為:Y=144.306223+(1.660311)*T+(15573.416777)*W因為M5P模型的建立是根據(jù)溫度補償?shù)牡姆椒?所以我們可以依據(jù)溫度和角速度的范圍將陀螺數(shù)據(jù)劃分為以下幾個區(qū)間,與之對應的是每個區(qū)間的模型,即M5P葉子節(jié)點的線性回歸模型:1民國時期對種子至實體達力T≤-3.225741,W≤-40.002674,該葉子有到達實例有336個,RMSE為:338.035。方程:Y=278.772044+(2.079837)*T+(15566.705296)*W2主要到達實例T≤-3.225741,W>-40.002674,該葉子有到達實例有1148個,RMSE為:224.228。方程:Y=453.353373+(16.396511)*T+(15567.210681)*W3主要到達實例-3.225741<T≤34.749098,W≤-75.002674,該葉子有到達實例有420個,RMSE為:151.391。方程:Y=825.305027+(-41.233161)*T+(15573.356601)*W4%w7.976-3.225741<T≤34.749098,-75.002674<W≤7.497326,該葉子有到達實例有963個,RMSE為:65.796。方程:Y=111.991965+(1.708110)*T+(15571.777396)*W5種類到達實例29.514905<T≤34.749098,7.497326<W≤74.997326,該葉子有到達實例有167個,RMSE為:76.529。方程:Y=266.177608+(2.224540)*T+(15573.411461)*W6最大到達國外-3.225741<T≤29.514905,7.497326<W≤74.997326,該葉子有到達實例有169個,RMSE為:31.9444。方程:Y=111.866465+(2.218927)*T+(15573.411461)*W7主要到達實例-3.225741<T≤34.749098,W>74.997326,該葉子有到達實例有560個,RMSE為:205.483。方程:Y=-375.418446+(41.368799)*T+(15573.401591)*W8#t+5.843#w溫度T>34.749098,該葉子有到達實例有941個,RMSE為:354.529。方程:Y=2291.339744+(-34.075628)*T+(15582.759883)*W溫度在34.925548℃的時候絕對誤差最大,其角速度值為-300.002674°/s,實際輸出值為-4672903.700000,預測值為-4673768.397235絕對誤差為