傳感器原理與應(yīng)用-數(shù)據(jù)分析第11講(8章) 數(shù)據(jù)分析與處理

內(nèi)容提要8.1數(shù)據(jù)分析的意義8.2數(shù)據(jù)預(yù)處理

8.2隨機(jī)信號(hào)去誤差處理

8.1數(shù)據(jù)分析意義一、數(shù)據(jù)分析概述數(shù)據(jù)分析：數(shù)據(jù)分析的目的是把隱沒在一大批看起來雜亂無章的數(shù)據(jù)中的信息集中、萃取和提煉出來，以找出研究對(duì)象的內(nèi)在規(guī)律。數(shù)據(jù)分析內(nèi)容：1）收集信息；2）選定模型；3）推斷處理：識(shí)別真假信號(hào)、修正系統(tǒng)誤差；分析信號(hào)的基本特性和類型，便于選擇合理信號(hào)處理方法；提高信號(hào)處理的可靠性。數(shù)據(jù)分析的方法通常有：1)頻域分析：傅里葉變換；2）時(shí)域分析：微積分運(yùn)算；平滑和濾波；統(tǒng)計(jì)分析；1、正態(tài)性檢驗(yàn)根據(jù)被測信號(hào)的概率密度分布圖判別正態(tài)性檢驗(yàn)通常把一組數(shù)據(jù)序列點(diǎn)在一種專用的正態(tài)概率紙上，若各點(diǎn)近似地落在一條直線上，則說明樣本符合正態(tài)分布。通過累積概率分布圖的規(guī)律也可進(jìn)行數(shù)據(jù)正態(tài)性的檢驗(yàn)。2、平穩(wěn)性檢驗(yàn)如果信號(hào)的均值近似是常數(shù)，信號(hào)的自相關(guān)和起始時(shí)間無關(guān)，僅和時(shí)間差有關(guān)。目測的話，平穩(wěn)信號(hào)曲線各部分的變化小、波峰波谷分布均勻、變化頻率較為一致。平穩(wěn)信號(hào)對(duì)應(yīng)的被測系統(tǒng)的基本特性不隨時(shí)間改變。分段統(tǒng)計(jì)特性分析法（輪次法）二、典型的數(shù)據(jù)類型設(shè)有—隨機(jī)序列X、長度為M,現(xiàn)將其分成N個(gè)子區(qū)間、求出各子區(qū)間的均方值、然后再求這N個(gè)均方值的中值、即大小處于中間位置的值。所謂輪次檢驗(yàn)是將這N個(gè)均方值逐個(gè)與中值比較、其大于中值者記為“+’，小于中值者記為“—”、這種從“+’”到“一”和從“一’到“+’的變化次數(shù)稱為輪次數(shù)，用r表示。一個(gè)序列的輪次數(shù)反映序列的獨(dú)立性，平穩(wěn)隨機(jī)過程的輪次數(shù)將滿足—定的統(tǒng)計(jì)規(guī)律式中：N為區(qū)間總數(shù)；N1均值大于中值的子區(qū)間數(shù)；N2均值大于中值的子區(qū)間數(shù)；a為置信度區(qū)間；隨機(jī)序列平穩(wěn)性檢測的輪次法3、周期性檢驗(yàn)根據(jù)被測系統(tǒng)的物理力學(xué)特性判別如果系統(tǒng)的基本物理力學(xué)特性隨時(shí)間周期性變化，則認(rèn)為被測信號(hào)呈現(xiàn)周期性。目測檢驗(yàn)觀測被測信號(hào)的記錄曲線，如果信號(hào)曲線成周期性變化，則認(rèn)為被測信號(hào)呈現(xiàn)周期性。自相關(guān)分析法：如果自相關(guān)函數(shù)曲線呈現(xiàn)周期性變化，則認(rèn)為被測信號(hào)呈現(xiàn)周期性。如圖所示。數(shù)據(jù)采集所得的原始信號(hào)，在分析處理前需要進(jìn)行預(yù)處理。預(yù)處理工作主要包括去干擾、消除趨勢項(xiàng)、剔除異常數(shù)據(jù)、平滑、擬合等。一、趨勢項(xiàng)1、趨勢項(xiàng)就是在信號(hào)中存在線性項(xiàng)或緩慢變化的、周期大于記錄長度的非線性成分。

原因：(1)抽樣時(shí)未對(duì)原始信號(hào)加以適當(dāng)?shù)奶幚?，如在A／D轉(zhuǎn)換前未進(jìn)行必要的高通濾波，使抽樣信號(hào)中含有不需要的低頻成分。(2)由于外界原因，包括傳感器或儀器的零點(diǎn)漂移；傳感器安裝不當(dāng)、測試對(duì)象的基礎(chǔ)運(yùn)動(dòng)等原因引起的信號(hào)波形漂移；積分放大器后產(chǎn)生的趨勢項(xiàng)。8.2數(shù)據(jù)預(yù)處理2.趨勢項(xiàng)的處理方法1）零均值化處理設(shè)有序列，即其均值為零均值化后即如圖所示。零均值化處理tx(t)預(yù)處理前預(yù)處理后2）平均斜率法消除趨勢項(xiàng)即：一階趨勢項(xiàng)的零均值化式中——調(diào)試所得的原始信號(hào)；——均值；——平均斜率；——抽樣總時(shí)間；——清除趨勢項(xiàng)后的信號(hào)；2）平均斜率法消除趨勢項(xiàng)平均斜率法消除趨勢項(xiàng)前后曲線變化，如圖所示。（a）消除趨勢項(xiàng)前的原始數(shù)據(jù)（b）消除趨勢項(xiàng)后的原始數(shù)據(jù)

平均斜率法消除趨勢項(xiàng)3）有高階趨勢項(xiàng)的零均值化設(shè)有序列設(shè)高階趨勢項(xiàng)表達(dá)式為：根據(jù)最小二乘法原理求出則零均值化后，如圖所示。tx(t)預(yù)處理前預(yù)處理后三．測試數(shù)據(jù)的五點(diǎn)三次平滑

平滑，即在滿足殘差平方和最小的前提，對(duì)測試數(shù)據(jù)進(jìn)行處理，減少因一些偶然因素所造成的數(shù)據(jù)誤差的影響，起到剔除異點(diǎn)的作用。平滑處理是進(jìn)行分段擬合。五點(diǎn)三次平滑是用三次多項(xiàng)式擬合相鄰五個(gè)點(diǎn)的數(shù)據(jù)。8.2數(shù)據(jù)預(yù)處理其中，系數(shù)a0~a3通過對(duì)分段5點(diǎn)按最小均方標(biāo)準(zhǔn)進(jìn)行擬合得到。(a)平滑前的波形(b)平滑后的波形數(shù)字信號(hào)平滑前后的波形四．奇異點(diǎn)剔除

剔除異常數(shù)據(jù)是根據(jù)統(tǒng)計(jì)學(xué)原理。統(tǒng)計(jì)學(xué)認(rèn)為，大量采樣數(shù)據(jù)值不超過超過標(biāo)準(zhǔn)差的3倍。若以零均值信號(hào)的3倍標(biāo)準(zhǔn)差為置信區(qū)間，其置信度可達(dá)到99.74％，因此大于3倍標(biāo)準(zhǔn)差的信號(hào)幾乎不存在，可以視為異常點(diǎn)。8.2數(shù)據(jù)預(yù)處理當(dāng)，該點(diǎn)即為奇異點(diǎn)，應(yīng)剔除。(a)剔除異點(diǎn)前的波形(b)剔除異點(diǎn)后的波形剔除疑點(diǎn)前后波形的形狀五．噪聲與周期性干擾信號(hào)的消除1）有效頻率以外的噪聲與干擾信號(hào)的消除低通濾波器（去高頻）高通濾波器（去低頻）帶通濾波器（去高低頻）2）有效頻率以內(nèi)的噪聲與干擾信號(hào)的消除帶阻濾波器頻域消除法8.1數(shù)據(jù)預(yù)處理概述：1、誤差處理意義：誤差是不可避免。1、對(duì)被測單個(gè)信號(hào)進(jìn)行必要的去誤差處理，更便于發(fā)現(xiàn)檢測信息統(tǒng)計(jì)特征，找出實(shí)驗(yàn)數(shù)據(jù)的規(guī)律；2、對(duì)多路、多傳感器檢測信息去誤差處理，更便于進(jìn)行信息融合，實(shí)現(xiàn)目標(biāo)識(shí)別。8.3隨機(jī)信號(hào)去誤差處理2、誤差的來源：1、測量裝置誤差；2、測量環(huán)境誤差：溫度、濕度、振動(dòng)；3、測量方法誤差：4、測量人員誤差：3、減少誤差的方法：1、從誤差的來源方面去除；2、最終測量值=測量直接讀數(shù)+修正值；3、測量方法：如：電橋法測電阻；采用正負(fù)磁場消除對(duì)電表指針印象；合理設(shè)計(jì)測量步驟和數(shù)據(jù)處理程序；8.3隨機(jī)信號(hào)去誤差處理一、測量誤差的定義誤差=測量值-真值真值：觀測一個(gè)被測物理量，該量本身所具有的真實(shí)值大小。真值一般無法獲取，除非有兩種特殊情況：1、理論值，如：圓周360度2、約定真值，國際基準(zhǔn)單位1千克絕對(duì)誤差：相對(duì)誤差：8.3.1隨機(jī)信號(hào)的誤差1．系統(tǒng)誤差——在同樣條件下，對(duì)同一物理量無限多次測量值的平均值減去該被測量的真值。系統(tǒng)誤差的大小、方向恒定一致或按一定規(guī)律變化。2．隨機(jī)誤差——在同樣條件下，對(duì)同一物理量的測量值減去無限多次測量的平均值。隨機(jī)誤差具有隨機(jī)性、正負(fù)抵償特性。3．粗大誤差——明顯超出限定條件下預(yù)期的誤差，它是統(tǒng)計(jì)異常值。應(yīng)剔除含有粗大誤差的測量值。二、測量誤差的分類針對(duì)不同類型誤差，采用不同的處理方法：1、采樣頻率很高，測量次數(shù)很多，對(duì)測量后信號(hào)中存在的隨機(jī)干擾和粗大誤差的處理（隨機(jī)信號(hào)去誤差處理）；2、采樣頻率低、測量次數(shù)較少，添加測量信號(hào)中缺少點(diǎn)的處理（插值處理）；3、由測量給定點(diǎn)的不精確數(shù)據(jù)求其精確數(shù)據(jù)（非線性補(bǔ)償處理）。8.3隨機(jī)信號(hào)去誤差處理當(dāng)測量次數(shù)n充分大時(shí)，對(duì)N次測量值取平均值，其數(shù)學(xué)期望為被測量的真值是當(dāng)測量次數(shù)n為無窮大時(shí)的統(tǒng)計(jì)期望值。算術(shù)平均值的標(biāo)準(zhǔn)誤差為：由上式可見：測量值的算術(shù)平均值的標(biāo)準(zhǔn)誤差是各測量值的標(biāo)準(zhǔn)誤差σ的倍。因此，以算術(shù)平均值作為檢測結(jié)果，測量精度將隨著采樣次數(shù)的增加而提高。（8-3-1）（8-3-2）8.3隨機(jī)信號(hào)去誤差處理8.3.2隨機(jī)信號(hào)去誤差的處理1、通過測量值求平均，減少隨機(jī)誤差對(duì)系統(tǒng)輸出值估算時(shí)，先對(duì)直接檢測值算術(shù)平均，再按函數(shù)關(guān)系求測量結(jié)果的誤差較小，比先對(duì)多個(gè)檢測值按函數(shù)關(guān)系計(jì)算出每次采樣結(jié)果，然后求采樣結(jié)果的算術(shù)平均值效果好。再設(shè)（8-3-3）（8-3-4）將（8-3-4），在真值X0附近展開泰勒級(jí)數(shù)，保留二次項(xiàng)得：（8-3-5）（8-3-6）2、先求直接測量值的平均，后求測量值的函數(shù)，減少隨機(jī)誤差設(shè)：測量值分析：當(dāng)測量次數(shù)n較大時(shí)，（8-3-5）可以認(rèn)為但（8-3-6）不可能為零。結(jié)論：當(dāng)采樣次數(shù)n不受限制時(shí)，可以認(rèn)為平均值因此應(yīng)采用：。1)標(biāo)準(zhǔn)誤差是在采樣次數(shù)n足夠大得到的，但實(shí)際測量只能有限次，測量次數(shù)n如何確定？說明：實(shí)際測量中的有限次測量只能得到標(biāo)準(zhǔn)誤差的近似值2)采用測量序列的剩余誤差通過貝塞爾公式求標(biāo)準(zhǔn)誤差的近似值3）采用近似值通過謝波爾德公式確定測量次數(shù)n。8.3隨機(jī)信號(hào)去誤差處理3、測量次數(shù)n的確定以減少隨機(jī)誤差步驟：貝塞爾（Bessel）公式對(duì)于測量列{}中的一次測量結(jié)果標(biāo)準(zhǔn)差有：

剩余誤差為：真差：由式（8-2-9）、(8-2-8)有：由此可推導(dǎo)出用剩余誤差計(jì)算近似標(biāo)準(zhǔn)誤差的貝塞爾公式：（8-3-7）（8-3-8）（8-3-9）（8-3-10）（8-2-11）3、測量次數(shù)n的確定以減少隨機(jī)誤差2）利用貝塞爾公式求標(biāo)準(zhǔn)誤差的近似值謝波爾德公式a.給出了標(biāo)準(zhǔn)誤差、近似誤差以及檢測設(shè)備分辨率之間的關(guān)系：

b.當(dāng)測量次數(shù)n增加，利用隨機(jī)誤差的抵償性質(zhì)，使隨機(jī)誤差的大小減小到與相近的數(shù)量時(shí)，測得到標(biāo)準(zhǔn)誤差就趨于穩(wěn)定，此時(shí)測量次數(shù)n為選定值。（8-2-12）2）利用謝波爾德公式確定測量次數(shù)一般n=10~20之間粗大誤差（或稱疏失誤差）是指顯然與事實(shí)不符的誤差，它對(duì)測量結(jié)果是一種嚴(yán)重的歪曲。這種誤差主要是由于失誤、系統(tǒng)過度疲勞、偶然故障、外界突發(fā)性干擾或系統(tǒng)內(nèi)部故障等眾多隨機(jī)原因造成的。判斷是否是粗大誤差的兩個(gè)準(zhǔn)則：

(1)萊特準(zhǔn)則：當(dāng)N有限時(shí)，特別是當(dāng)N<10時(shí),采用萊特準(zhǔn)則作為判據(jù)就不可靠了。即使在測量數(shù)據(jù)中含有疏失誤差，也無法判定剔除。8.3.3粗大誤差的剔除(2)格羅貝斯準(zhǔn)則（略）設(shè):對(duì)某一被測樣品作等精度的多次獨(dú)立檢測，得到一個(gè)測量列：服從正態(tài)分布，則有：（8-3-14）格羅貝斯統(tǒng)計(jì)量g的確切分布，即：（8-2-15）α為置信概率，通常取5%8.3.3粗大誤差的剔除(2)格羅貝斯準(zhǔn)則1）用查表法找出統(tǒng)計(jì)量的臨界值：測量頂端值X1或Xn所對(duì)應(yīng)的格羅貝斯統(tǒng)計(jì)量2）判斷：注意：（1）對(duì)于次數(shù)較少的疏失誤差剔除的準(zhǔn)確性高；（2）但每次只能剔除一個(gè)可疑值。（8-2-16）【例】對(duì)某種樣品進(jìn)行8次檢測采樣，測得長度值為Xi：8次測量結(jié)果由小到大排列順序?yàn)椋?次測量的平均值為：計(jì)算相應(yīng)的剩余誤差為：剔除疏失誤差前的近似誤差為：（8-2-17）（8-2-18）8.2.3粗大誤差的剔除由表看出:值得懷疑。由數(shù)值表查得:?。?，0.01）=2.22于是有:因故為可疑值剔除。在余下的7個(gè)數(shù)據(jù)中，故余下7個(gè)測量數(shù)據(jù)中已無疏失誤差值存在，后續(xù)計(jì)算時(shí)可用。疏失誤差剔除對(duì)于提高虛擬儀器系統(tǒng)的一致性有很重要作用。一．最小二乘法及其應(yīng)用某物理量有一組測量值為，則該物理量的最佳估計(jì)值a滿足“剩余誤差平方和為最小”，即：（8-3-23）8.3隨機(jī)信號(hào)去誤差處理8.3.4平滑及擬合（重要）令：應(yīng)用：例如：有一組測量值（xi，yi）近似呈線性關(guān)系，求其擬合直線方程。設(shè)直線方程為y＝kx＋b，即求k、b，使得（8-2-24）即可求得相應(yīng)的k、b值。最小二乘法及其應(yīng)用例如：有一組測量值（xi，yi）近似呈線性關(guān)系，求其擬合直線方程。即可求得相應(yīng)的k、b值。設(shè)直線方程為y＝kx＋b，使得1234xi0.350.400.650.43yi0.30.450.470.52解：得：插值是用已知點(diǎn)測量值估計(jì)未知點(diǎn)的近似值。定義：測量到y(tǒng)=f（X）在一系列點(diǎn)X0，X1，X2，……，Xn處的函數(shù)值Y0，Y1，Y2，……Yn，通過構(gòu)造一個(gè)簡單函數(shù)P（X）作為y=f（X）的近似表達(dá)式：y近似等于滿足插值條件：Pn(Xi)=Yii=1，2，3，…….n，其中：f（X）稱為被插函數(shù)；P（X）稱為插值函數(shù)；Xi稱為插值節(jié)點(diǎn)；Yi稱為插值條件。應(yīng)用：1）系統(tǒng)采樣頻率的限制；2）為了節(jié)省硬件成本，以軟代硬。3）遠(yuǎn)距離大量數(shù)據(jù)通信需要 4）數(shù)據(jù)、圖象解壓縮。5）計(jì)算函數(shù)值、零點(diǎn)、極值點(diǎn)、導(dǎo)數(shù)、積分方法：（1）拉格朗日插值法；（2）牛頓插值法；（3）樣條插值法8.2隨機(jī)信號(hào)去誤差處理二、插值處理1、拉格朗日插值拉格朗日插值就是求插值代數(shù)多項(xiàng)式，推導(dǎo)思路：兩點(diǎn)一次插值（線性插值）多項(xiàng)式就是在滿足求在n=1時(shí)的一次多項(xiàng)式P1(X）。從幾何上看，就是過兩點(diǎn)（x0，y0）（x1，y1）作直線y=P1（x），用點(diǎn)斜式表示為：（8-2-25）（8-2-27）有如下性質(zhì):一般插值問題:已知n+1個(gè)互不相同的點(diǎn)X0，X1，X2，……，Xn處的函數(shù)值Y0，Y1，Y2，……Yn，求次數(shù)不超過n的多項(xiàng)式Pn(x)，其系數(shù)Ln(x),使幾何上就是求作n次曲線，使n+1個(gè)點(diǎn)(X0,Y0),(X1,Y1),…..,(Xn,Yn)通過該曲線。函數(shù)滿足條件:（8-2-29）于是函數(shù)y=f（X）的n次插值多項(xiàng)式，即拉格朗日插值多項(xiàng)式:簡寫為:（8-2-31）拉格朗日插值多項(xiàng)式的誤差估計(jì)（8-2-36）1）零次插值誤差為：2）兩點(diǎn)一次插值(線性插值)誤差為：3）三點(diǎn)二次插數(shù)值（拋物插值）多項(xiàng)式：（8-2-38）（8-2-39）（8-2-37）二、牛頓插值通過一組測量數(shù)據(jù)求表達(dá)該組數(shù)據(jù)的近似表達(dá)式，并通過該表達(dá)式求任意給定點(diǎn)的函數(shù)值。設(shè)已知函數(shù)y(x)在點(diǎn)X0，X0+h，X0+2h，…..，X0+nh上的函數(shù)值為（Y0，Y1，Y2，…..，Yn），求滿足插值條件的代數(shù)多項(xiàng)式。牛頓插值法的優(yōu)點(diǎn)是運(yùn)算次數(shù)少，節(jié)點(diǎn)改變時(shí)使用方便。另外，牛頓插值也可采用不等節(jié)距。牛頓插值是通過計(jì)算差商和差分實(shí)現(xiàn)的。具體步驟：一階差分為：二階差分為：三階差分為：（8-2-41）（8-2-42）（8-2-40）8.2隨機(jī)信號(hào)去誤差處理一階差商：（8-2-43）二階差商：（8-2-44）

（8-2-44）（8-2-45）牛頓插值n次代數(shù)多項(xiàng)式為：當(dāng)增加一個(gè)節(jié)點(diǎn)時(shí)，牛頓插值公式只需增加一項(xiàng)，有如下遞推公式：（8-2-46）8.2隨機(jī)信號(hào)去誤差處理【例】：對(duì)某種產(chǎn)品進(jìn)行檢測1）已知檢測自變量電流I為：0、0.93、2.73、4.27、6.50對(duì)應(yīng)的位移值M分別為：0、0.96、2.27、3.13、4.32，2）檢測數(shù)據(jù)差商表：8.2隨機(jī)信號(hào)去誤差處理（8-2-47）（3）四次牛頓插值多項(xiàng)式為：（4）將各差商點(diǎn)及其差商值代入上式（8-2-48）8.2隨機(jī)信號(hào)去誤差處理（8-2-47）（5）設(shè)，計(jì)算出相應(yīng)的位移為：（6）適用于采樣頻率不高、傳輸速率低、插值點(diǎn)數(shù)較少的場合三、多項(xiàng)式插值（拉格朗日、牛頓插值）的缺陷與分段插值例：已知區(qū)間[-5，5]函數(shù)，分別取n=5，n=15（等距節(jié)點(diǎn)）時(shí)，拉格朗日插值多項(xiàng)式的圖象在區(qū)間中部多節(jié)點(diǎn)比少節(jié)點(diǎn)逼近誤差小，但在端點(diǎn)附近多節(jié)點(diǎn)插值反而變壞（Runge現(xiàn)象）。經(jīng)證明，當(dāng)節(jié)點(diǎn)無限加密時(shí)，在兩端的波動(dòng)越來越大。拉格朗日插值多項(xiàng)式次數(shù)n與誤差的關(guān)系8.3隨機(jī)信號(hào)去誤差處理分段樣條插值分段樣條實(shí)質(zhì)上是分段多項(xiàng)式的光滑連接。條件：S(x)