數(shù)據(jù)挖掘技術(shù)的應(yīng)用與發(fā)展

數(shù)據(jù)挖掘技術(shù)的應(yīng)用與發(fā)展

計(jì)算機(jī)科學(xué)和技術(shù)的發(fā)展有力地促進(jìn)了我們工作和生活方式的變化。數(shù)字生存是21世紀(jì)的發(fā)展趨勢(shì)。如今在全球范圍內(nèi)掀起了“數(shù)字地球”的熱潮,世界各地的公司和企業(yè)都花費(fèi)了大量的力氣建立數(shù)據(jù)庫(kù)。在大壩安全監(jiān)控領(lǐng)域,一座大型大壩上布置的監(jiān)測(cè)點(diǎn)個(gè)數(shù)以千計(jì),各監(jiān)測(cè)點(diǎn)年復(fù)一年地觀測(cè)所采集和積累的數(shù)據(jù)是海量的。數(shù)據(jù)量的迅速增多,信息量的急劇增大,為人類提出了一個(gè)亟待解決的課題,即如何有效地使用這些數(shù)據(jù)。因此,需要一種強(qiáng)有力的技術(shù)來分析這些海量的數(shù)據(jù),而目前還處于數(shù)據(jù)豐富而知識(shí)相對(duì)比較貧乏階段。在大壩安全監(jiān)控領(lǐng)域,運(yùn)行中的大壩可被視為復(fù)雜的動(dòng)力系統(tǒng)。在該系統(tǒng)中,壩體、庫(kù)水和壩基相互作用使得系統(tǒng)具有內(nèi)在的不確定性;此外,外部環(huán)境(如氣溫、降雨和地震等)等多種因素的影響,使得大壩系統(tǒng)處于復(fù)雜的時(shí)間和空間中,具有高度的非線性特征。因此,有關(guān)大壩安全監(jiān)控的領(lǐng)域知識(shí)顯得不足。隨著數(shù)據(jù)庫(kù)的猛增,特別是數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn),使得僅僅利用當(dāng)前的數(shù)據(jù)庫(kù)技術(shù)并不能充分發(fā)揮這些數(shù)據(jù)的作用。用戶不僅需要一般的查詢和報(bào)表工具,更需要的是那些能夠幫助他們從海量數(shù)據(jù)中提取出高質(zhì)量信息(預(yù)測(cè)性)的工具。數(shù)據(jù)挖掘技術(shù)的出現(xiàn)和發(fā)展正符合這一潮流。1挖掘的概念和方法1.1為企業(yè)經(jīng)營(yíng)服務(wù)數(shù)據(jù)挖掘(DataMining,簡(jiǎn)稱為“DM”),也叫數(shù)據(jù)開采或數(shù)據(jù)采掘等,是按照既定的業(yè)務(wù)目標(biāo)從海量數(shù)據(jù)中提取潛在的、有效的并能被人理解的模式的高級(jí)處理過程。數(shù)據(jù)挖掘技術(shù)主要基于人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等技術(shù),高度自動(dòng)化地分析企業(yè)原有的數(shù)據(jù),并做出歸納性的推理,從中挖掘出潛在的模式,預(yù)測(cè)業(yè)務(wù)目標(biāo)的行為,為領(lǐng)導(dǎo)提供強(qiáng)有力的技術(shù)支持。因此,確切地說,數(shù)據(jù)挖掘是一種決策支持過程。目前,數(shù)據(jù)挖掘技術(shù)已廣泛應(yīng)用于商業(yè)領(lǐng)域,例如股票經(jīng)紀(jì)人利用數(shù)據(jù)挖掘技術(shù)從日積月累的大量股票行情變化的歷史記錄中發(fā)現(xiàn)其變化規(guī)律,以供預(yù)測(cè)未來的趨勢(shì)之用;超級(jí)市場(chǎng)的經(jīng)理人員利用數(shù)據(jù)挖掘技術(shù)從過去幾年的銷售記錄中,分析顧客的消費(fèi)習(xí)慣與行為等。而在工程領(lǐng)域中,數(shù)據(jù)挖掘技術(shù)應(yīng)用較少?；跀?shù)據(jù)挖掘技術(shù)在商業(yè)領(lǐng)域的成熟應(yīng)用,本文結(jié)合傳統(tǒng)的基于模型庫(kù)的大壩安全決策支持系統(tǒng)的特點(diǎn),探討了數(shù)據(jù)挖掘技術(shù)在大壩安全監(jiān)測(cè)領(lǐng)域的應(yīng)用。1.2人工智能算法與技術(shù)數(shù)據(jù)挖掘的技術(shù)基礎(chǔ)是人工智能。人工智能是以自動(dòng)機(jī)為手段,通過模擬人類宏觀外顯的思維行為,從而有效地解決現(xiàn)實(shí)世界問題的科學(xué)與技術(shù)。由此可見,人工智能的目標(biāo)非常高,除了要求復(fù)雜的算法外,還需要特定的系統(tǒng),甚至還需要特定的機(jī)器。但數(shù)據(jù)挖掘僅僅利用了人工智能中一些已經(jīng)成熟的算法與技術(shù),例如,人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks)、遺傳算法(GeneticAlgorithms)、決策樹方法(DecisionTrees)、鄰近搜索方法(NearestNeighborMethod)、規(guī)則推理(RuleInduction)、模糊邏輯(FuzzyLogic)等。其問題的復(fù)雜程度和難度比人工智能降低了許多。例如,模式識(shí)別是人工智能的一個(gè)重要分支,大致上可以分為模擬信號(hào)數(shù)、預(yù)處理、特征抽取與分類、解釋環(huán)節(jié)等4步。但在數(shù)據(jù)挖掘中,所要分析的數(shù)據(jù)是已經(jīng)存在于數(shù)據(jù)庫(kù)中的記錄,且其復(fù)雜度比人工智能的數(shù)據(jù)低許多,所以數(shù)據(jù)挖掘中的模式識(shí)別問題比起人工智能而言,簡(jiǎn)化了許多。數(shù)據(jù)挖掘的幾種常用方法如下所述。(1)結(jié)構(gòu)的分類它是一種模仿人腦信息處理機(jī)制的網(wǎng)絡(luò)系統(tǒng),由大量簡(jiǎn)單的人工神經(jīng)元廣泛連接而成。人工神經(jīng)網(wǎng)絡(luò)不是人腦系統(tǒng)的逼真復(fù)制,但確實(shí)反映了人腦功能的若干特性,它可以完成學(xué)習(xí)、記憶、識(shí)別和推理等功能,主要有三種神經(jīng)網(wǎng)絡(luò)模型:①前饋式網(wǎng)絡(luò)。它以感知機(jī)、反向傳播模型、函數(shù)型網(wǎng)絡(luò)為代表,可用于預(yù)測(cè)、模式識(shí)別等方面。②反饋式網(wǎng)絡(luò)。它以Hopfield的離散型和連續(xù)型為代表,分別用于聯(lián)想記憶和優(yōu)化計(jì)算。③自組織網(wǎng)絡(luò)。它以ART模型、Koholon模型為代表,用于聚類分析等方面。人工神經(jīng)網(wǎng)絡(luò)的知識(shí)體現(xiàn)在網(wǎng)絡(luò)的連接權(quán)上,是一種分布式的矩陣結(jié)構(gòu);其學(xué)習(xí)體現(xiàn)在神經(jīng)網(wǎng)絡(luò)權(quán)值的逐步計(jì)算上(包括反復(fù)迭代或累加計(jì)算)。利用人工神經(jīng)網(wǎng)絡(luò)方法,將有關(guān)大壩安全的環(huán)境量(如庫(kù)水位、氣溫、降雨等)作為輸入,而將有關(guān)大壩安全的監(jiān)測(cè)效應(yīng)量(如位移、揚(yáng)壓力、滲流量等)作為輸出,通過學(xué)習(xí)和記憶,可提取出相應(yīng)的知識(shí),以預(yù)測(cè)大壩安全監(jiān)測(cè)效應(yīng)量的未來測(cè)值,供大壩安全決策支持用。(2)變異突變遺傳算法是模擬進(jìn)化過程的算法,由三個(gè)基本算子(或過程)組成:①繁殖(選擇)。即從一個(gè)舊種群(父代)選出生命力強(qiáng)的個(gè)體,產(chǎn)生新的種群(后代)的過程。②交叉(重組)。即選擇兩個(gè)不同的個(gè)體(染色體)的部分(基因)進(jìn)行交換,形成新個(gè)體的過程。③變異(突變)。即對(duì)某些個(gè)體的某些基因進(jìn)行變異,形成新個(gè)體的過程。這種遺傳算法可起到產(chǎn)生優(yōu)良后代的作用。這些后代需滿足適應(yīng)值,經(jīng)過若干代的遺傳,將得到滿足要求的后代(即問題的高杠桿解)。大壩安全決策支持系統(tǒng)就其推理的過程而言,實(shí)際上也是一種模糊系統(tǒng),而基于遺傳算法的數(shù)據(jù)挖掘技術(shù)可用于對(duì)模糊控制規(guī)則的學(xué)習(xí),利用遺傳算法可學(xué)習(xí)隸屬度函數(shù),從而更好地改進(jìn)模糊系統(tǒng)的性能;此外,還可用于調(diào)整人工神經(jīng)網(wǎng)絡(luò)的連接權(quán),等等。(3)建立決策樹的以最大信息的數(shù)據(jù)實(shí)體為核心的屬性決策樹方法是利用信息論中的互信息尋找數(shù)據(jù)庫(kù)中具有最大信息量的屬性字段,建立決策樹的一個(gè)節(jié)點(diǎn),再根據(jù)該屬性字段的不同取值建立樹的分支;在每個(gè)分支子集中重復(fù)建立樹的下層節(jié)點(diǎn)和分支的過程。2掘系統(tǒng)需要其他技術(shù)的支持由上述可知,數(shù)據(jù)挖掘的核心技術(shù)是人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等等,但一個(gè)數(shù)據(jù)挖掘系統(tǒng)不是多項(xiàng)技術(shù)的簡(jiǎn)單組合,而是一個(gè)完整的整體,它還需要其他技術(shù)的支持,才能挖掘出令用戶滿意的結(jié)果。根據(jù)其功能,數(shù)據(jù)挖掘系統(tǒng)大致可劃分為三級(jí)邏輯結(jié)構(gòu)(見圖1)。數(shù)據(jù)庫(kù)中的數(shù)據(jù)挖掘是一個(gè)多步驟的處理過程,一般可分為以下幾個(gè)步驟。(1)用戶的應(yīng)用需求了解相關(guān)領(lǐng)域的有關(guān)情況,熟悉背景知識(shí),弄清用戶的應(yīng)用需求。在大壩安全決策支持系統(tǒng)中,定義問題要分清是用于預(yù)測(cè)監(jiān)測(cè)效應(yīng)量的未來發(fā)展趨勢(shì)的,還是分析測(cè)點(diǎn)異常測(cè)值的物理成因的。(2)大壩安全監(jiān)測(cè)結(jié)果根據(jù)需求從數(shù)據(jù)庫(kù)中提取相關(guān)數(shù)據(jù),對(duì)于預(yù)測(cè)未來趨勢(shì)要提取的數(shù)據(jù)主要是大壩安全的監(jiān)測(cè)效應(yīng)量;對(duì)于物理成因分析,除了監(jiān)測(cè)效應(yīng)量,還要提取有關(guān)大壩的環(huán)境量、日常巡查數(shù)據(jù)、大壩的設(shè)計(jì)和竣工數(shù)據(jù)、大壩的運(yùn)行數(shù)據(jù)等。(3)預(yù)處理數(shù)據(jù)主要是對(duì)前一階段產(chǎn)生的數(shù)據(jù)進(jìn)行再加工,檢查數(shù)據(jù)的完整性和一致性,并對(duì)其中的噪音數(shù)據(jù)進(jìn)行處理,對(duì)丟失的數(shù)據(jù)進(jìn)行填補(bǔ)。(4)知識(shí)的提取運(yùn)用選定的知識(shí)發(fā)現(xiàn)算法,從數(shù)據(jù)中提取用戶所需的知識(shí),這些知識(shí)可用一種特定的方式表示或使用一些常用的表示方式。(5)評(píng)估知識(shí)可利用可視化工具將發(fā)現(xiàn)的知識(shí)以用戶能理解和觀察的方式呈現(xiàn)。若用戶對(duì)分析結(jié)果不滿意,可以反復(fù)執(zhí)行上述過程,直至滿意。3在水庫(kù)安全決策支撐系統(tǒng)中的應(yīng)用3.1與其他系統(tǒng)的交互所謂決策支持系統(tǒng)(DecisionSupportSystem,簡(jiǎn)稱DSS),是指用于支持專門問題決策的人力、過程、軟件、數(shù)據(jù)庫(kù)和設(shè)備的一個(gè)有組織的集合。傳統(tǒng)的決策支持系統(tǒng),主要包括用于支持決策者或用戶的模型集(即模型庫(kù))、輔助決策的事實(shí)和信息集以及幫助決策者和其他用戶與決策支持系統(tǒng)交互的系統(tǒng)或過程(即人機(jī)界面),見圖2。由于現(xiàn)代計(jì)算機(jī)技術(shù)的迅猛發(fā)展和人們認(rèn)識(shí)水平的不斷提高,傳統(tǒng)的決策支持系統(tǒng)還有許多需要改進(jìn)和完善的地方。一是缺乏豐富的數(shù)據(jù)資源,需要更加豐富。不論是內(nèi)部數(shù)據(jù)還是外部數(shù)據(jù),操作數(shù)據(jù)還是管理數(shù)據(jù),綜合數(shù)據(jù)還是歷史數(shù)據(jù),統(tǒng)統(tǒng)不足;二是決策支持系統(tǒng)是面向分析的系統(tǒng),然而分析模型和算法設(shè)計(jì)均缺少堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ);三是所得信息的關(guān)聯(lián)性較差,使得“三庫(kù)”無(wú)法有機(jī)結(jié)合,結(jié)果形成信息孤島;四是缺乏有力的分析工具,多數(shù)分析工具為自行開發(fā),就事論事,在開放性和通用性方面顯得力不從心。為解決或克服上述不足,本文提出了基于數(shù)據(jù)挖掘技術(shù)的決策支持系統(tǒng)。由此可見,決策支持系統(tǒng)要求經(jīng)常使用模型庫(kù)。使用模型庫(kù)有諸如較試驗(yàn)廉價(jià)以及方便快捷等優(yōu)點(diǎn),但模型庫(kù)也有致命的缺陷。(1)很難確定模型的參數(shù)在大壩安全決策支持系統(tǒng)中,建立監(jiān)測(cè)量的混合模型時(shí),采用的壩體綜合彈性模量一般均用反演值,但事實(shí)上,反演值與實(shí)際值出入較大。(2)模型因子的選擇在大壩安全決策支持系統(tǒng)中,無(wú)論是統(tǒng)計(jì)模型還是混合模型,都涉及模型因子的選擇問題。這些因子之間的相關(guān)性將直接影響模型的精度,但目前尚無(wú)好的解決辦法。(3)基于六大評(píng)判準(zhǔn)則的監(jiān)測(cè)量建模在多個(gè)模型可供選擇時(shí),決策者要花費(fèi)很多時(shí)間來決定使用哪個(gè)模型。在大壩安全決策支持系統(tǒng)中,可應(yīng)用六大評(píng)判準(zhǔn)則(時(shí)空評(píng)判準(zhǔn)則、力學(xué)規(guī)律評(píng)判準(zhǔn)則、監(jiān)控模型評(píng)判準(zhǔn)則、監(jiān)控指標(biāo)評(píng)判準(zhǔn)則、日常巡查評(píng)判準(zhǔn)則和關(guān)鍵問題評(píng)判準(zhǔn)則)對(duì)監(jiān)測(cè)量建模。評(píng)判的結(jié)果可能不一樣,以前常用加權(quán)的方法綜合評(píng)判,其結(jié)果是主觀性太強(qiáng),模型難以準(zhǔn)確反映真實(shí)的系統(tǒng)。因此,評(píng)判的結(jié)果可能是錯(cuò)誤的或者有誤導(dǎo)性的。(4)此外，一些模型需要高度復(fù)雜的數(shù)學(xué)知識(shí)例如在大壩安全決策支持系統(tǒng)中,要求對(duì)帶裂縫的大壩建立臨界荷載模型以監(jiān)控大壩的運(yùn)行,其中對(duì)數(shù)學(xué)力學(xué)知識(shí)要求頗高,使得難以建模。3.2第三,支持的層次性大壩安全評(píng)價(jià)決策支持系統(tǒng)的目的是在管理信息系統(tǒng)的基礎(chǔ)上利用監(jiān)測(cè)成果綜合分析評(píng)價(jià)大壩的實(shí)際工作性態(tài)信息,從而準(zhǔn)確及時(shí)地評(píng)價(jià)大壩是否安全;為此,基于大壩安全監(jiān)測(cè)管理信息系統(tǒng)的大壩安全決策支持系統(tǒng)是大壩安全評(píng)價(jià)的核心。決策支持系統(tǒng)主要是提出有關(guān)大壩安全方面的各種問題,收集相關(guān)的監(jiān)測(cè)資料,建立相應(yīng)的數(shù)學(xué)模型,并對(duì)其做出分析評(píng)價(jià),為決策者提供輔助決策建議,它是大壩安全監(jiān)測(cè)評(píng)價(jià)系統(tǒng)中的上層建筑。綜上所述,傳統(tǒng)的大壩安全決策支持系統(tǒng)對(duì)模型的依賴性太強(qiáng)。而數(shù)據(jù)挖掘技術(shù)以數(shù)據(jù)為依據(jù),能有效地解決這一問題。數(shù)據(jù)挖掘技術(shù)能自動(dòng)找出數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的模式及關(guān)系,利用先進(jìn)的統(tǒng)計(jì)技術(shù),力圖在數(shù)據(jù)庫(kù)(如數(shù)據(jù)倉(cāng)庫(kù)、Internet數(shù)據(jù)庫(kù))中找出各項(xiàng)事實(shí)。這與要求用戶給出模型(如公式)并檢驗(yàn)?zāi)骋患僭O(shè)的傳統(tǒng)的決策支持系統(tǒng)不同,數(shù)據(jù)挖掘利用內(nèi)嵌的分析算法,可在用于預(yù)測(cè)未來趨勢(shì)的數(shù)據(jù)中自動(dòng)生成有關(guān)模式,或者評(píng)價(jià)基于異常事件的假設(shè)。數(shù)據(jù)挖掘的目標(biāo)就是抽取隱藏在數(shù)據(jù)庫(kù)中的模式、趨勢(shì)和規(guī)則。3.3數(shù)據(jù)挖掘的算法為分析某大壩的垂直位移測(cè)值序列(1979年4月9日~2001年12月12日)在1993年產(chǎn)生突變(見圖3所示的垂直位移測(cè)值序列的過程線)的物理成因,利用數(shù)據(jù)挖掘技術(shù)進(jìn)行了如下工作。(1)數(shù)據(jù)庫(kù)設(shè)計(jì)內(nèi)容為了處理該問題,將有關(guān)該大壩的數(shù)據(jù)(如監(jiān)測(cè)量測(cè)值、日常巡查數(shù)據(jù)、大壩的設(shè)計(jì)以及竣工數(shù)據(jù)、大壩運(yùn)行情況數(shù)據(jù)等)以及壩址區(qū)的環(huán)境量測(cè)值(如庫(kù)水位、氣溫、降雨、地震情況等)集成于Oracle數(shù)據(jù)庫(kù)中。(2)壩段突變的發(fā)生率和影響因素在挖掘工具的幫助下,發(fā)現(xiàn)環(huán)境量測(cè)值(庫(kù)水位、降雨量、氣溫等)在此區(qū)間變化平穩(wěn),在垂直位移測(cè)值發(fā)生突變的1993年沒有突變現(xiàn)象。該結(jié)果表明,上述突變不是環(huán)境量變化引起的。利用數(shù)據(jù)挖掘技術(shù)中的內(nèi)嵌算法,發(fā)現(xiàn)各壩段垂直位移測(cè)值的突變量相差較大。以11~13號(hào)壩段為例,兩者下沉突變值分別為2.474~0.865mm。該結(jié)果表明,基點(diǎn)受干擾而產(chǎn)生變化的可能性較小。此外,在此期間,沒有采用較大規(guī)模的工程措施,結(jié)構(gòu)本身(包括壩基)也未出現(xiàn)異常變化。綜上分析,數(shù)據(jù)挖掘的結(jié)果表明,此次突變產(chǎn)生的原因極有可能是觀測(cè)儀器故障或發(fā)生特殊荷載所致。上述提取成因的相關(guān)度計(jì)算結(jié)果表明,模型解釋度為75%。(3)壩所在地區(qū)發(fā)生的強(qiáng)震問題在數(shù)據(jù)庫(kù)中集成的該大壩的日常巡查資料中,有記錄表明1993年該壩所在地區(qū)曾發(fā)生過幾次有感地震。與此同時(shí),集成的測(cè)值數(shù)據(jù)表明上述突變以后的測(cè)值又恢復(fù)到突變以前的水平。因此,可以推斷1993年垂直位移測(cè)值的上抬最有可能是由區(qū)域性特殊荷載(如地震)引起的。4基于數(shù)據(jù)挖掘技術(shù)的大壩安全決策支持系統(tǒng)數(shù)據(jù)挖掘技術(shù)以人工智能技術(shù)為基礎(chǔ),但其問題的規(guī)模和難度已大為降低。從很大程度上說,數(shù)據(jù)挖掘是人工智能的某些成熟技術(shù)在特定系統(tǒng)中具體而微的應(yīng)用。鑒于此,作者深入分析傳統(tǒng)的大壩安全決策支持系統(tǒng)中的不足,探討了數(shù)據(jù)挖掘技術(shù)在大壩安全監(jiān)測(cè)領(lǐng)域中的應(yīng)用,在此基礎(chǔ)上提出了基于數(shù)據(jù)挖掘技術(shù)的大壩安全決策支持系統(tǒng)。(1)傳統(tǒng)的大壩安全決策支持系統(tǒng)對(duì)模型的依賴性太強(qiáng),模型的精度直接關(guān)系到?jīng)Q策支持系統(tǒng)的成敗;而數(shù)據(jù)挖掘技術(shù)是以數(shù)據(jù)為依據(jù)的,能有效地解決這一問題。(2)數(shù)據(jù)挖掘技術(shù)能自動(dòng)找出數(shù)據(jù)庫(kù)或數(shù)