大壩安全監(jiān)測信息管理系統(tǒng)中異常測值的判斷和處理

大壩安全監(jiān)測信息管理系統(tǒng)中異常測值的判斷和處理

根據(jù)水庫安全監(jiān)測數(shù)據(jù)，可能存在異常的測量值。這些異常測值對大壩結構性態(tài)的評價和大壩安全監(jiān)控有較大影響,有時甚至會歪曲大壩客觀狀態(tài)。因此,在應用大壩安全監(jiān)測資料時,應對其中的異常測值進行判斷和處理,去偽存真,使分析工作建立在可靠數(shù)據(jù)的基礎上。同時,由于異常測值判斷和處理涉及面廣,情況復雜,無論誤判還是漏判,都會對大壩性態(tài)分析和安全評價帶來不利影響,因此,異常測值的判斷和處理不僅是大壩安全監(jiān)測信息管理系統(tǒng)的重要內(nèi)容,也是大壩安全監(jiān)測信息管理系統(tǒng)的主要難題之一。本文對大壩安全監(jiān)測資料中異常測值的判斷和處理方法進行了系統(tǒng)的研究,解決了其中的一些關鍵性技術問題,利用VisualBasic技術和MicrosoftAccess2002數(shù)據(jù)庫,建立了大壩安全監(jiān)測信息管理系統(tǒng)中的異常測值判斷與處理模塊。工程應用表明,該模塊具有友好的可視化用戶界面和高效可靠的判斷處理能力。1標準客觀法在以往的大壩安全監(jiān)測資料管理、分析中,對異常測值的判斷處理主要依賴于整理分析者的經(jīng)驗從直觀上進行,這一方法存在較大的主觀因素的影響,缺乏嚴格的、客觀的理論基礎,一般僅適用于對那些十分明顯的異常測值的判斷和處理。為此,本文從過程線分析、統(tǒng)計理論、安全監(jiān)測模型、綜合分析等途徑,提出了一些較為實用的大壩安全監(jiān)測異常測值判斷和處理的方法。1.1異常測值的計算繪制監(jiān)測效應量過程線,看是否存在明顯的尖點。如存在,則看該測值是否超出了物理意義允許的范圍。比如變形是否異常大,超出了一般規(guī)律;揚壓水位是否異常高,甚至高于上游水位;接縫開合度是否明顯大于儀器量程等。對超出物理意義范圍的測值,判其為異常測值并予以剔除。如該測值在物理意義范圍內(nèi),則根據(jù)經(jīng)驗并結合原始記錄,判斷其是否屬于疏失誤差。如能確定,則判其為異常測值予以刪除。如不能確定該測值屬于疏失誤差,則標記為可疑測值,待進一步判斷。過程線法簡單明了,但依據(jù)的是工程經(jīng)驗,因此只適用于判斷明顯的異常測值。1.2偏度、峰度檢驗法研究表明,大壩安全監(jiān)測資料系列一般遵從正態(tài)分布N(μ,σ)2,因此可借鑒統(tǒng)計理論中關于檢驗正態(tài)分布測試數(shù)據(jù)是否存在異常數(shù)值的方法,其中偏度?峰度檢驗法較適合于大壩安全監(jiān)測資料異常測值的檢驗。偏度?峰度檢驗法以bs作為偏度檢驗的統(tǒng)計量,以bk作為峰度檢驗的統(tǒng)計量,具體原理可參見參考文獻。一般來說,異常測值可能出現(xiàn)在最大值或最小值上。當采用偏度檢驗法時,若統(tǒng)計量bs大于偏度檢驗法在顯著水平α下的臨界值ba,n(可查表),則判斷最大值yt為異常測值;若(-bs)大于ba,n,則判斷最小值yp為異常測值。當采用峰度檢驗法時,若統(tǒng)計量bk大于峰度檢驗法在顯著水平α下的臨界值ba,n(可查表),則判定離平均值最遠的測值為異常測值。1.3yht的生長大壩安全變形監(jiān)測數(shù)學模型表達式為y?(t)=yH(t)+yT(t)+yθ(t)?y^(t)=yΗ(t)+yΤ(t)+yθ(t)?式中:y?y^(t)為效應量y在時刻t的實測值y(t)的模型擬合值;yH(t)為水壓分量;yT(t)為溫度分量;yθ(t)為時效分量。根據(jù)正態(tài)分布隨機變量的特征,對于一般遵從正態(tài)分布的效應量,在時刻t,y(t)與其數(shù)學期望(一般用模型擬合值y?y^(t)表示)之間的偏差y(t)?y?(t)y(t)-y^(t)出現(xiàn)大于3S(S為剩余標準差)的概率只有0.3%。即,當出現(xiàn)|y(t)?y?(t)|＞3S|y(t)-y^(t)|＞3S時,認為效應量在t時刻的實測值y(t)是異常測值。由于數(shù)學模型法是以判斷測值與其數(shù)學期望的偏差為基礎的,因此,它不僅可以對測值中的最大值、最小值進行檢驗,而且事實上,它對每一個測值均可進行檢驗。1.4異常測值的進一步判斷按照統(tǒng)計理論法和數(shù)學模型法檢驗出的異常測值,可能是由于儀器使用不當、人為疏失、誤讀誤記等原因造成的誤差,也有可能是由于環(huán)境因素的明顯變化(如庫水位驟升、驟降等)、壩體結構或地基條件的明顯改變(如壩體裂縫開展、壩基條件惡化等)等原因引起的監(jiān)測值極端波動。若為前者,表明異常測值與其他測值不屬于同一母體,該測值應予以剔除或修正;若為后者,盡管異常測值明顯地偏大或偏小,但它仍與其他測值同屬于一母體,該測值不應被剔除或修正,而應視為效應量成因變化引起的正常測值或帶有大壩安全性態(tài)變化信息需要專門研究的特殊測值。在目前技術條件下,對異常測值的進一步判斷主要從以下方面進行綜合考慮:(1)將異常測值與歷史監(jiān)測資料以及相鄰測點的監(jiān)測資料進行比較分析,看是否協(xié)調(diào)。(2)在繪制監(jiān)測效應量變化過程線的同時,繪制環(huán)境變量(如上下游水位、溫度、降雨等)的變化過程線,看監(jiān)測效應量變化過程線與環(huán)境變量變化過程線是否對應,變化幅度是否大致成比例,滯后時間是否合理等。(3)查找異常測值所在部位在觀測過程中、觀測前后是否進行過監(jiān)測系統(tǒng)改造,是否修理或更換過儀表,是否進行過大壩結構加固或基礎處理等。綜合分析法要求分析者具有一定的監(jiān)測專業(yè)知識、水工理論知識以及較為豐富的工程實踐經(jīng)驗。這一工作的深層研究可以通過專家系統(tǒng)結合人工智能來完成。2應用程序模塊設計VisualBasic語言具有如下特點:為面向對象的可視化程序設計工具,具有良好的用戶開發(fā)界面;沿用了結構化程序設計思想,具有豐富的數(shù)據(jù)類型和眾多的內(nèi)部函數(shù);通過事件執(zhí)行對象操作,應用程序代碼較短;支持多種數(shù)據(jù)庫系統(tǒng)的訪問,可把應用程序編譯成可執(zhí)行文件,直接在Windows環(huán)境中運行。因此,本模塊的實現(xiàn)采用的是VisualBasic語言。本模塊的界面設計如圖1。2.1驗、數(shù)學模型檢驗異常值處理模塊的設計思想:利用圖形方法(人工判斷)、統(tǒng)計理論檢驗、數(shù)學模型檢驗從不同角度對過程線系列中的測值進行檢驗。圖形方法(人工判斷)判斷明顯的尖點;統(tǒng)計理論檢驗對過程線系列中的最大值和最小值進行判斷;而數(shù)學模型檢驗則對過程線內(nèi)的所有點進行驗證。2.2主要表達方式圖形的繪制有多種實現(xiàn)手段,如Line方法、MsChart控件、API函數(shù)等,這些方法都各有特色。MsChart控件為真正三維顯示,支持所有的主要圖表類型,數(shù)據(jù)網(wǎng)格成員支持隨機數(shù)據(jù)和數(shù)據(jù)數(shù)組;API函數(shù)功能靈活,實現(xiàn)速度快,其圖形設備接口(GraphicsDeviceInterface,簡稱GDI)提供了獨立于設備的圖形支持;Line方法語法簡單,格式簡潔,容易掌握,適于繪制平面圖形?？紤]到本模塊的繪圖部分只是繪制平面過程線,而且有任意選擇時段和鼠標移動時要讀取過程線中相應點測值的要求,因此采用Line方法。2.3數(shù)據(jù)源控制器設計對數(shù)據(jù)庫的讀取采用Adodc(ADODataControl)控件。Adodc是一種新的OLEDB識別的數(shù)據(jù)源控件,通過這種方式允許用戶用最少的代碼來創(chuàng)建數(shù)據(jù)庫應用程序。Adodc控件使用MicrosoftActiveX數(shù)據(jù)對象(ADO)來快速建立數(shù)據(jù)綁定的控件和數(shù)據(jù)提供者之間的連接,使用該控件無需編寫很多代碼,在可視的環(huán)境上就可以直接完成眾多操作。2.4scleleft/scelheing屬性檢測通過設置ADOX和數(shù)據(jù)庫源的連接,使用者可任意對各部位、項目及測點的繪圖等進行操作。VB坐標系的缺省坐標原點(0,0)在容器對象的左上角,水平方向的x軸向右為正方向,垂直方向的y坐標軸向下為正方向,坐標軸的缺省刻度單位是緹(Twip),這樣的坐標系是不能滿足繪圖需要的,利用其ScaleLeft和ScaleTop屬性重新定義對象(Picturebox控件)左上角坐標,改變坐標系的原點位置;利用其ScaleWidth和ScaleHeight屬性改變?nèi)萜鲗ο蟮母叨群蛯挾鹊目潭葐挝?設置ScaleHeight屬性為負值,將坐標軸反轉。經(jīng)過上述處理得到繪圖需要的坐標系:x軸水平向右,y軸豎直向上,刻度單位根據(jù)需要顯示的內(nèi)容而定(x軸方向由要顯示的時段長短決定,y軸則視測值最大最小測值的差值而定),保證容器顯示的合理性與美觀性。研究統(tǒng)計模型和數(shù)學模型工作原理,編寫合理簡潔的允許程序,層層篩選,不斷深入,找出的可疑值填入相應的MSFlexGrid控件表中,并在過程線中以彩色的圓點進行標識。模塊最后是判斷計算出的可疑值是否為異常值。如果是異常值,則可以采用兩種處理方法:一是直接將異常值剔除或修正;另一種是“存疑”,即不直接剔除或修正異常值,而是只在相應數(shù)據(jù)庫表中以“*”為標記,待分析者進一步處理。3異常測值的檢驗(1)選擇某水平位移測點,繪制過程線,從圖形中可以看出有一個明顯的尖點較大地超出過程線的主體部分。通過鼠標的移動可知道該點的觀測日期和測值分別為:1993年2月21日,測值為28.1mm。這點是明顯突出點,與相鄰點的測值相差較大,且數(shù)值明顯過大,可判斷為異常值。(2)還有些測點突出,但它的相連點測值也較突出,不能夠輕易地判其為異常值。這樣就需借助統(tǒng)計理論的方法來檢驗。水平位移過大或過小都屬于非正常的表現(xiàn),因此采用峰度檢驗法來進行對這些測值的檢驗。本例過程線系列有187個測值,取顯著性水平α=0.05,相應的臨界值ba,n=3.77。檢驗結果見表1。(3)建立測點的統(tǒng)計模型,求出剩余標準差及各測次的殘差。采用數(shù)學模型法進行檢驗,檢驗結果也列于表1。(4)在上表中可以看到,一些測值無論峰度檢驗法或3S檢驗法,都被判斷為異常測值,2種方法同時使用能夠相互印證檢驗結果。但這些測值是否真正為異常值,還必須綜合考慮。查看該測點相鄰的測點在這些時刻的測值情況,發(fā)現(xiàn)這段時刻的測值并無異常;結合此時段的環(huán)境量過程線(降雨、氣溫和水位),也沒發(fā)現(xiàn)異常;大壩在此時期未進行加固、改造等結構處理。因此,可以判斷2種方法檢驗出的測值都為異常值。4大壩安全監(jiān)測應用程序(1)對大壩安全監(jiān)測資料中異常測值進行判斷和處理,有利用于使分析工作建立在可靠的數(shù)據(jù)基礎上,為準確、客觀地評價大壩安全狀態(tài)提供了保