基于主元分析和模糊聚類的浮選過程的數(shù)據(jù)預(yù)處理.doc

本科生畢業(yè)設(shè)計(論文)第I頁基于主元分析和模糊聚類的浮選過程的數(shù)據(jù)預(yù)處理摘要隨著信息時代的來臨，人類在各種領(lǐng)域中面臨著越來越多的數(shù)據(jù)信息，與此同時，這些數(shù)據(jù)的規(guī)模還在以驚人的速度不斷增長。鑒于主元分析法的降維特性和模糊C-均值聚類算法良好的分類性能，本文針對反浮選過程的被控對象復(fù)雜、數(shù)學(xué)模型不確定以及控制要求高等特點(diǎn)，提出一種基于主元分析和模糊聚類的數(shù)據(jù)預(yù)處理算法。采用模糊C-均值聚類算法得到聚類中心，然后進(jìn)行線形回歸從而對過程變量數(shù)據(jù)進(jìn)行了預(yù)處理。主元分析法則用來進(jìn)行輔助變量的選取和輸入高維向量降維簡化。在保留原有信息的基礎(chǔ)上，去除了冗余數(shù)據(jù)，加快了聚類速度，在實(shí)現(xiàn)對模型的輸入簡化以及輸入數(shù)據(jù)的故障診斷，為過程建模、先進(jìn)控制和優(yōu)化控制等打好基礎(chǔ)。然后針對主元變量采用徑向基函數(shù)網(wǎng)絡(luò)建立了系統(tǒng)經(jīng)濟(jì)技術(shù)指標(biāo)的預(yù)測模型。根據(jù)工業(yè)實(shí)際生產(chǎn)數(shù)據(jù)進(jìn)行的模型校驗和誤差分析表明，能夠滿足浮選過程控制的精度要求。關(guān)鍵詞：數(shù)據(jù)預(yù)處理；模糊C均值聚類；主元分析；浮選過程本科生畢業(yè)設(shè)計(論文)第II頁DataPretreatmentofFlotationProcessBasedonPrincipalComponentAnalysisandFuzzyC-meansClusteringAbstractWiththecomingofinformationage,humanareconfrontedwithincreasingdataandinformationindifferentfields.Atthesametime,thesedataaredevelopinginsurprisinglyspeed.Adatapretreatmentalgorithmbasedonprincipalcomponentanalysisandfuzzyc-meansclusteringforflotationprocessisproposedinthispaper.Linearregressionofclusteringcentersgainedbyfuzzyc-meansclusteringalgorithmisintroducedtocarrythroughdatapretreatment.Thepaperadoptsprincipalcomponentanalysistoselecttheprimaryvariablesandreducedimensionsofinputvectors.Bydongso,originalinformationiskeptdownandredundantinformationisremoved,whichbuildsupthefoundationforprocessmodeling,advancedcontroltechnologyandoptimizedcontrol,andsoon.Thenthepaperusesradialbasisfunctionnetworktosetupthepredictionmodelofeconomyandtechnologyindexinflotationprocessaimingatprincipalcomponentvariables.Modelverificationpresentedbyusingrealoperatingdatafromindustrialexperimentsindicatesthatthemodelsprecisionisgoodenoughtosatisfytherequestoffloatationprocesscontrol.Keywords:Datapretreatment；FuzzyC-meansclustering(FCM)；Principalcomponentanalysis(PCA)；Flotationprocess本科生畢業(yè)設(shè)計(論文)第III頁目錄摘要.IAbstract.II1緒論.11.1研究背景.11.2數(shù)據(jù)預(yù)處理技術(shù)的研究.22模糊C-均值聚類算法.42.1模糊C-均值簡介及算法分析.42.2模糊C-均值聚類算法的實(shí)現(xiàn)原理.52.3FCM聚類算法的一般步驟.62.4數(shù)據(jù)預(yù)處理結(jié)果.63基于主元分析的數(shù)據(jù)預(yù)處理.93.1引言.93.2主元分析基本思路.93.3基于主元分析的數(shù)據(jù)降維.113.4基于PCA-RBF的浮選過程軟測量模型.143.4.1RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法.143.4.2RBF神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和測試.17結(jié)論.19致謝.20參考文獻(xiàn).21附錄.22本科生畢業(yè)設(shè)計(論文)第1頁1緒論1.1研究背景浮選是依據(jù)物質(zhì)（如離子、分子、膠體、固體顆粒、懸浮微粒）因其表面活性的不同，可被吸附和粘附在從溶液中提升的泡沫的表面上，從而與母液分離，從礦漿中借助汽泡的浮力來選、分礦物的方法。浮選作為一種工業(yè)規(guī)模選礦技術(shù)的出現(xiàn)，在國外大約是在9世紀(jì)末葉，當(dāng)時西方國家工業(yè)發(fā)展迅速，急需更多的礦物原料。為了能從以前大量堆積的沖選廢棄尾礦中回收有用金屬礦物，以及能較有效的從細(xì)粒浸染的貧礦或從組成較復(fù)雜的多金屬礦石中選出精礦產(chǎn)品，浮選法才開始在工業(yè)上出現(xiàn)，并不斷得到發(fā)展的完善。特別是近幾十年來，由于成功地找到了許多新的浮選劑（首先是表面活性物質(zhì)）以及近代工業(yè)的迅速發(fā)展，浮選工業(yè)亦隨之獲得長足的進(jìn)步。建國50多年來，伴隨著共和國成長的腳步，我國的浮選技術(shù)從無到有、由弱到強(qiáng)，走過了一條充滿艱辛與坎坷的道路，同時也取得了許多令人矚目的輝煌成就。近些年來，我國浮選技術(shù)的發(fā)展更是突飛猛進(jìn)、一路高歌，大量擁有自主知識產(chǎn)權(quán)、占領(lǐng)世界浮選技術(shù)制高點(diǎn)的重大科技成果不斷涌現(xiàn)，對我國乃至世界浮選技術(shù)的迅猛發(fā)展起到了積極的推動作用。浮選與其他選礦方法一樣，要做好選別前的物料準(zhǔn)備工作，即礦石要經(jīng)過磨礦分級，達(dá)到適宜于浮選的濃度細(xì)度。此外，浮選還有以下幾個基本作業(yè)：1礦漿的調(diào)整與浮選藥劑的加入其目的是要造成礦物表面性質(zhì)的差別，即改變礦物表面的潤濕性，調(diào)節(jié)礦物表面的選擇性，使有的礦物粒子能附著于氣泡，而有的則不能附著于氣泡。2攪拌并造成大量氣泡借助于浮選機(jī)的充氣攪拌作用，導(dǎo)致礦漿中空氣彌散而形成大量氣泡，或促使溶于礦漿中的空氣形成微泡析出。3氣泡的礦化礦粒向氣泡選擇性的附著，這是浮選過程中最基本的行為。4礦化泡沫層的形成與刮出礦化氣泡由浮選槽下部上升到礦漿面形成礦化泡沫層，有用礦物富集到泡沫中，將其刮出而成為精礦（中礦）產(chǎn)品。而非目的礦物則留在浮選槽內(nèi)，從而達(dá)到分選的目的。通常浮選作業(yè)浮起的礦物是有用礦物，這樣的浮選過程稱之為正浮選，反之，浮起本科生畢業(yè)設(shè)計(論文)第2頁的礦物為脈石，則稱之為反浮選（或稱逆浮選），當(dāng)前在工業(yè)控制和許多其它的應(yīng)用領(lǐng)域，建立系統(tǒng)的模型是非常重要的一個步驟，而目前常用的建模方法主要有三種：機(jī)理建模方法、辨識建模方法和智能建模方法。然而由于浮選過程是一個物理化學(xué)綜合反應(yīng)過程，具有嚴(yán)重的非線性、分布參數(shù)、強(qiáng)耦合和時滯性等特點(diǎn)，都給上述的前兩種傳統(tǒng)方法建模帶來了困難。近年來，神經(jīng)網(wǎng)絡(luò)作為智能建模方法的代表，以其強(qiáng)大的非線性擬合能力、并行信息處理能力和自學(xué)習(xí)能力，而得到越來越多的應(yīng)用。但神經(jīng)網(wǎng)絡(luò)建模所需要的信息全靠從訓(xùn)練樣本中得到，這就決定了建模效果的好壞依經(jīng)賴于樣本的數(shù)量和質(zhì)量，因此對樣本數(shù)據(jù)的預(yù)處理就顯得非常重要。因此本文采用模糊C均值聚類算法對浮選過程變量數(shù)據(jù)進(jìn)行預(yù)處理，先得到數(shù)據(jù)的整體趨勢，然后基于聚類點(diǎn)用線性回歸得到數(shù)據(jù)的趨勢，進(jìn)行平移變換后，將在區(qū)間以外的數(shù)據(jù)作為錯誤數(shù)據(jù)剔除；主元分析法則用來進(jìn)行浮選過程的經(jīng)濟(jì)技術(shù)指標(biāo)(精礦品位和浮選回收率)軟測量模型的輔助變量的選取和輸入高維向量的降維簡化。最后結(jié)合選礦廠的生產(chǎn)歷史數(shù)據(jù)，針對主元變量采用徑向基函數(shù)網(wǎng)絡(luò)建立了系統(tǒng)濟(jì)技術(shù)指標(biāo)的預(yù)測模型，對精礦品位和浮選回收率的預(yù)測進(jìn)行了研究，仿真結(jié)果表明軟測量模型的有效性，這對穩(wěn)定浮選過程，提高鐵精礦產(chǎn)品質(zhì)量，改善煉鐵各項技術(shù)經(jīng)濟(jì)指標(biāo)，提高鋼鐵企業(yè)整體經(jīng)濟(jì)效益具有非常重要的意義。1.2數(shù)據(jù)預(yù)處理技術(shù)的研究隨著信息時代的來臨，人類在各種領(lǐng)域中面臨著越來越多的數(shù)據(jù)信息，與此同時，這些數(shù)據(jù)的規(guī)模還在以驚人的速度不斷增長。因此，為了提高工作效率和生活質(zhì)量，人們必須獲取蘊(yùn)藏在這些數(shù)據(jù)中的有價值信息。為了達(dá)到這個目的，人們開始致力于從數(shù)據(jù)庫中挖掘知識的研究。然而，眾所周知，數(shù)據(jù)庫中往往存在冗余數(shù)據(jù)、缺失數(shù)據(jù)、不確定數(shù)據(jù)和不一致數(shù)據(jù)等諸多情況，這些數(shù)據(jù)成了發(fā)現(xiàn)知識的一大障礙。因此，在從數(shù)據(jù)庫中挖掘知識之前必須對數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理的主要任務(wù)1：1數(shù)據(jù)清洗：如填補(bǔ)缺失數(shù)據(jù)、消除噪聲數(shù)據(jù)等。數(shù)據(jù)清洗的原理就是通過分析“臟數(shù)據(jù)”的產(chǎn)生原因和存在形式，利用現(xiàn)有的技術(shù)手段和方法去清洗“臟數(shù)據(jù)”，將“臟數(shù)據(jù)”轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量或應(yīng)用要求的數(shù)據(jù)，從而提高數(shù)據(jù)集的數(shù)據(jù)質(zhì)量。2數(shù)據(jù)集成：將所用的數(shù)據(jù)統(tǒng)一存儲在數(shù)據(jù)庫、數(shù)據(jù)倉庫或文件中形成一個完整本科生畢業(yè)設(shè)計(論文)第3頁的數(shù)據(jù)集，這一過程要消除冗余數(shù)據(jù)。3數(shù)據(jù)轉(zhuǎn)換：主要是對數(shù)據(jù)進(jìn)行規(guī)格化(Normalization)操作，如將數(shù)值限定在特定的范圍之內(nèi)。對于某些挖掘模式，需要數(shù)據(jù)滿足一定的格式，數(shù)據(jù)轉(zhuǎn)換能把原始數(shù)據(jù)轉(zhuǎn)換為挖掘模式要求的格式，以滿足挖掘的需求。4數(shù)據(jù)歸約：把那些不能夠刻畫系統(tǒng)關(guān)鍵特征的屬性剔除掉，從而得到精練的并能充分描述被挖掘?qū)ο蟮膶傩约?。對于需要處理離散型數(shù)據(jù)的挖掘系統(tǒng)，應(yīng)該先將連續(xù)型的數(shù)據(jù)量化，使之能夠被處理。數(shù)據(jù)預(yù)處理出于以下幾種需要：（1）為減少后續(xù)搜索的復(fù)雜度進(jìn)行的數(shù)據(jù)預(yù)處理（2）為把規(guī)則搜索集中在感興趣模式的搜索上，以避免生成太多的難以理解，難以后續(xù)處理的模式。（3）為了方便于應(yīng)用后續(xù)數(shù)據(jù)挖掘算法而做的數(shù)據(jù)預(yù)處理。（4）根據(jù)問題的要求和性質(zhì)，對數(shù)據(jù)進(jìn)行某些變換、轉(zhuǎn)化或簡化以提高數(shù)據(jù)挖掘效率，但不影響挖掘到的知識的可靠性或這種影響微不足道?？傊?，數(shù)據(jù)挖掘預(yù)處理是根據(jù)選擇的數(shù)據(jù)挖掘的目標(biāo)、對應(yīng)用領(lǐng)域經(jīng)過充分理解后通過對數(shù)據(jù)進(jìn)行適當(dāng)?shù)奶幚硪员氵_(dá)到高效挖掘感興趣模式的目的。本科生畢業(yè)設(shè)計(論文)第4頁2模糊C-均值聚類算法2.1模糊C-均值簡介及算法分析聚類分析是多元統(tǒng)計分析的一種，也是無監(jiān)督模式識別的一個重要分支，在模式分類圖像處理和模糊規(guī)則處理等眾多領(lǐng)域中獲得最廣泛的應(yīng)用。它把一個沒有類別標(biāo)記的樣本按照某種準(zhǔn)則劃分為若干子集，使相似的樣本盡可能歸于一類，而把不相似的樣本劃分到不同的類中。硬聚類把每個待識別的對象嚴(yán)格的劃分某類中，具有非此即彼的性質(zhì)，而模糊聚類建立了樣本對類別的不確定描述，更能客觀的反應(yīng)客觀世界，從而成為聚類分析的主流。模糊聚類算法是一種基于函數(shù)最優(yōu)方法的聚類算法，使用微積分計算技術(shù)求最優(yōu)代價函數(shù)，在基于概率算法的聚類方法中將使用概率密度函數(shù)，為此要假定合適的模型，模糊聚類算法的向量可以同時屬于多個聚類，從而擺脫上述問題。模糊聚類分析算法大致可分為三類21）分類數(shù)不定，根據(jù)不同要求對事物進(jìn)行動態(tài)聚類，此類方法是基于模糊等價矩陣聚類的，稱為模糊等價矩陣動態(tài)聚類分析法。2）分類數(shù)給定，尋找出對事物的最佳分析方案，此類方法是基于目標(biāo)函數(shù)聚類的，稱為模糊C均值聚類。3）在攝動有意義的情況下，根據(jù)模糊相似矩陣聚類，此類方法稱為基于攝動的模糊聚類分析法我所學(xué)習(xí)的是模糊C均值聚類算法，要學(xué)習(xí)模糊C均值聚類算法要先了解慮屬度的含義，隸屬度函數(shù)是表示一個對象x隸屬于集合A的程度的函數(shù)，通常記做A(x)，其自變量范圍是所有可能屬于集合A的對象（即集合A所在空間中的所有點(diǎn)），取值范圍是0,1，即0=A(x)1。對于m，它是一個控制算法的柔性的參數(shù)，如果m過大，則聚類效果會很次，而如果m過小則算法會接近HCM聚類算法。算法的輸出是C個聚類中心點(diǎn)向量和C*N的一個模糊劃分矩陣，這個矩陣表示的是每個樣本點(diǎn)屬于每個類的隸屬度。根據(jù)這個劃分矩陣按照模糊集合中的最大隸屬原則就能夠確定每個樣本點(diǎn)歸為哪個類。聚類中心表示的是每個類的平均特征，可以認(rèn)為是這個類的代表點(diǎn)。從算法的推導(dǎo)過程中我們不難看出，算法對于滿足正態(tài)分布的數(shù)據(jù)聚類效果會很好，另外，算法對孤立點(diǎn)是敏感的。聚類算法是一種比較新的技術(shù)，基于曾次的聚類算法文獻(xiàn)中最早出現(xiàn)的Single-Linkage層次聚類算法是1957年在Lloyd的文章中最早出現(xiàn)的，之后MacQueen獨(dú)立提出了經(jīng)典的模糊C均值聚類算法，F(xiàn)CM算法中模糊劃分的概念最早起源于Ruspini的文章中，但關(guān)于FCM的算法的詳細(xì)的分析與改進(jìn)則是由Dunn和Bezdek完成的。模糊c均值聚類算法因算法簡單收斂速度快且能處理大數(shù)據(jù)集，解決問題范圍廣，易于應(yīng)用計算機(jī)實(shí)現(xiàn)等特點(diǎn)受到了越來越多人的關(guān)注，并應(yīng)用于各個領(lǐng)域。2.2模糊C-均值聚類算法的實(shí)現(xiàn)原理聚類是將一個數(shù)據(jù)集劃分為若干組，使得組內(nèi)相似性大于組間相似性，是對數(shù)據(jù)合理進(jìn)行組織和分類的有效技術(shù)。聚類方法能夠去除冗余數(shù)據(jù)，剔除掉原始數(shù)據(jù)中的過失誤差，降低隨機(jī)誤差對采樣值的影響，有助于體現(xiàn)數(shù)據(jù)的趨勢。本文應(yīng)用模糊C均值（FCM）聚類方法對采集到的浮選過程數(shù)據(jù)進(jìn)行預(yù)處理，先得到數(shù)據(jù)的整體趨勢，然后基于聚類點(diǎn)用線性回歸得到數(shù)據(jù)的趨勢，進(jìn)行平移變換后，將在區(qū)間以外的數(shù)據(jù)作為錯誤數(shù)據(jù)剔除。實(shí)際應(yīng)用表明，與直接進(jìn)行線性回歸法相比，采用聚類預(yù)處理后再進(jìn)行回歸法能夠更好的找到數(shù)據(jù)的趨勢。模糊C均值聚類