有序判別分析新算法及其應(yīng)用

1、有序判別分析新算法及其應(yīng)用丁躍潮 浦云明 林穎賢(集美大學(xué)計(jì)算機(jī)工程學(xué)院，福建，廈門361021) 摘要 判別分析是用已知分類數(shù)據(jù)建模對(duì)未知分類數(shù)據(jù)進(jìn)行判別的方法，所用數(shù)據(jù)和分類不分順序。要對(duì)有序又有周期數(shù)據(jù)進(jìn)行判別分析，就要探索有序判別的新方法。這種方法的分類應(yīng)當(dāng)是有序的，并且能夠排除事物發(fā)展周期性的干擾。本文介紹多元數(shù)據(jù)有序判別分析新方法的原理、建模流程、應(yīng)用流程和應(yīng)用實(shí)例。這種判別分析將分類建模與判別歸類分開。新方法對(duì)多元數(shù)據(jù)建模時(shí)在多類模型中建立滑移的多套子模型，應(yīng)用時(shí)根據(jù)應(yīng)用領(lǐng)域的知識(shí)對(duì)樣本歸屬作初步預(yù)估，然后程序選擇相關(guān)的子模型進(jìn)行判別歸類。這種方法解決了由于時(shí)間序列多元數(shù)據(jù)周期性

2、造成的樣本分類顛倒問題，為時(shí)間序列數(shù)據(jù)的分類和預(yù)測(cè)開辟了新途徑，在實(shí)際應(yīng)用中取得了良好的效果，解決了重大難題。關(guān)鍵詞 判別分析 多元數(shù)據(jù) 有序判別 建模 最優(yōu)分割中圖分類號(hào)TP301.6; O21; TP311.1 文獻(xiàn)標(biāo)識(shí)碼 AOn New Arithmetic Method of Sequent Discriminant Analysis and its ApplicationDing Yuechao, Pu Yunming, Lin Yingxian(Computer Engineering Institute, Jimei University, Xiamen 361021, Chin

3、a)Abstract: Discriminant analysis is a method which classify the type-unknown data by modeling the type-known data, in which data and types are not ordinal. In order to discriminate ordinal and periodic data, new discriminant analysis method should be explored. This new method should classify data i

4、n sequence and eliminate the disturbance of periods. This paper introduces the principle, modeling flow chart, applying flow chart and a practical example of new arithmetic method called Sequent Discriminant Analysis (SDA) which may be used in multivariate sequence data. In SDA, the class modeling a

5、nd data discriminating are separated. While modeling to multivariate data by this kind of discriminant analysis, a number of child-models are built in the model by way of slippage. While applying the model, the initial estimation of the samples classification should be given according to the knowled

6、ge in the problem-corresponding field. Then the program selects the appropriate child-models to discriminate the classes. In this way, we solved the upside down problem of sample classification caused by the periodicity of multivariate time series data. Thus, a new approach is made to classify and f

7、orecast the time series data. In practical application, we have achieved a lot and given important problems approving solutions.Key words: discriminant analysis, multivariate data, sequent discriminant, modeling, optimal cutting0引言判別分析是根據(jù)多指標(biāo)來判斷個(gè)體所屬類別的一種多元統(tǒng)計(jì)分析方法，其本質(zhì)是利用多指標(biāo)進(jìn)行綜合判斷。根據(jù)變量取舍情況又分為多組判別和逐步判別 1

8、23。目前，在經(jīng)濟(jì)、氣象、地質(zhì)、冶金、生物、農(nóng)業(yè)、醫(yī)學(xué)等需要處理多元數(shù)據(jù)的諸多領(lǐng)域得到廣泛應(yīng)用。但是，對(duì)于有序或時(shí)間序列數(shù)據(jù)，特別是有序又有周期性獲旋回性干擾的數(shù)據(jù)，沒有有效的方法通過已知數(shù)據(jù)建模去推知待判別樣本的類別歸屬。筆者在一些領(lǐng)域的應(yīng)用中，對(duì)逐步判別分析方法進(jìn)行擴(kuò)充，提出了二階判別4、定向判別和有序判別等新方法，這里引入其中一種新的分析方法有序逐步判別，以解決有序樣本建模分類和判別預(yù)測(cè)的問題，并為數(shù)據(jù)挖掘提供新的途徑。1逐步判別分析原理簡(jiǎn)介對(duì)于一個(gè)多元數(shù)據(jù)矩陣，在數(shù)據(jù)庫領(lǐng)域表現(xiàn)為多字段二維表。假設(shè)有來自G個(gè)母體的n個(gè)已知分類樣本，每個(gè)樣本有m個(gè)變量，則在數(shù)據(jù)庫中加上樣品標(biāo)識(shí)和已知分類，

9、共有m+2個(gè)字段、n條記錄。每個(gè)樣本被看著是m維歐氏空間R上的一個(gè)點(diǎn)，每個(gè)母體都是R中的一個(gè)子空間Rg，這些子空間是互相排斥的，組成了R。需要找出一個(gè)辦法，即找到判別函數(shù)，把空間R劃分為G個(gè)子空間Rg(g=1,2,G)。已知的樣本有了空間歸屬和函數(shù)，就能對(duì)未知?dú)w屬的樣本進(jìn)行判別，確定其歸屬，即判別歸類或預(yù)測(cè)。人們總是希望用較少的變量去劃分空間R，因?yàn)椴杉瘮?shù)據(jù)記錄時(shí)，字段越少越好，成本越低。這就需要福建省自然科學(xué)基金項(xiàng)目(A0410021)資助。衡量每個(gè)變量參與劃分G個(gè)母體的能力。這就需要用F檢驗(yàn)，給出引入變量的F值和剔除變量的F值，作為引入和剔除變量的門限值。在一個(gè)母體內(nèi)樣本間的差異應(yīng)當(dāng)較小，

10、不同母體的樣本差異應(yīng)當(dāng)較大。根據(jù)Wilks準(zhǔn)則，組內(nèi)離差越小、組間離差越大，越有利于G個(gè)母體的分類。通過計(jì)算組間離差B和組內(nèi)離差W，然后進(jìn)行F檢驗(yàn)，就可以確定變量的取舍。逐步引入和剔除，最終得到區(qū)分能力較大的變量組合。求得區(qū)分能力顯著的k個(gè)變量組合后，計(jì)算判別系數(shù)，最終建立G個(gè)子空間的判別函數(shù)： g=1,2, G其中qg是第g組的先驗(yàn)概率，一般采用樣品頻率代替（qg=ng/n）。cig是判別系數(shù)。對(duì)于某一待判別歸屬的樣本，如果則把該樣本劃歸g*類。也就是把樣本中變量的觀察值分別代入G個(gè)判別函數(shù)，哪個(gè)函數(shù)取值最大，就劃歸那一組?？梢詫⒂脕斫?求得判別函數(shù))的原始數(shù)據(jù)回代到各組判別函數(shù)，求得樣品

11、的歸屬，與原來實(shí)際分類對(duì)比，以確定判別函數(shù)的準(zhǔn)確度。一般回判效果都很好，正判率85%以上。2有序判別方法的引入2.1 為什么要進(jìn)行有序判別對(duì)于時(shí)間序列多元數(shù)據(jù)，雖然沒有很好的方法建模和用于預(yù)測(cè)，但是我們可以借用判別分析的方法。對(duì)于時(shí)間序列樣本的判別分析，有其特殊性，即不論是建模樣本還是待判別樣本，都按時(shí)間順序排列，順序不能顛倒。事物的發(fā)展是波浪式前進(jìn)、螺旋式發(fā)展。在氣象、地殼運(yùn)動(dòng)、經(jīng)濟(jì)和生物等事物發(fā)展變化中都會(huì)出現(xiàn)周期性或旋回性，這就使不同時(shí)間段的樣本會(huì)出現(xiàn)相同或相近的數(shù)量特征。這就在回歸判別時(shí)造成樣本歸屬順序的上下顛倒，歪曲了事物真相。逐步判別分析是選出能區(qū)分各組的變量來建立判別函數(shù)的。判別

12、分析分類較多時(shí)，多類樣品同時(shí)參與求判別函數(shù)系數(shù)，對(duì)時(shí)間相隔較遠(yuǎn)而部分變量又具有相同特征的兩個(gè)或兩個(gè)以上類，有些無區(qū)分意義的變量可能不參與建模，使這些類的特征受到損失，而使每個(gè)類的特征為了其獨(dú)立性而特征不太明顯，也就造成了不同旋回的具有相似性樣本的相互影響、相互干擾，使這些類的有些特征被模糊，所建立的本組判別函數(shù)特征就不十分突出，因此不能從根本上解決事物旋回性的影響，于是我們提出了“有序逐步判別”的方法?！坝行蛑鸩脚袆e”的基本思路：以14組有序判別為例，不是進(jìn)行真正的14類判別，而是采用局部建模?？紤]一定范圍的因素，而不整體考慮14組的特點(diǎn)，從上到下滑移地建立多套分類數(shù)等于步長(zhǎng)的判別模式。判別歸

13、類時(shí)，在給定粗估范圍的情況下，只選擇相應(yīng)的模式。這樣14類多組逐步判別實(shí)質(zhì)上是步長(zhǎng)滑移綜合14類逐步判別，其中有14個(gè)子模式。對(duì)待判別樣本依據(jù)模式進(jìn)行判別歸類時(shí)，要將專門領(lǐng)域的知識(shí)和計(jì)算機(jī)運(yùn)算相結(jié)合。根據(jù)所涉及問題的特征可以給出樣本的大致歸屬，專業(yè)人員把未知樣品歸屬粗估到步長(zhǎng)范圍之內(nèi)是完全不成問題的。比如地質(zhì)人員根據(jù)鄰區(qū)或區(qū)域地質(zhì)情況以及顏色、巖性特征可以給出地層的大致歸屬，他們不會(huì)把新生代的地層認(rèn)定為中生代地層。在大致范圍參數(shù)確定的情況下，給軟件運(yùn)行輸入預(yù)估參數(shù)，就可避免歸類混亂或?qū)颖九袣w到根本不可能的、時(shí)代偏離很遠(yuǎn)的類別。這就是我們提出的“有序判別”方法的基本思想。這種思想可用于多組判別

14、分析和逐步判別分析。2.2有序逐步判別分析的建模有序判別分析是針對(duì)時(shí)間序列多元數(shù)據(jù)，樣本要按照由新到老或由老到新的時(shí)間順序排列，最后一列應(yīng)當(dāng)有現(xiàn)行分類號(hào)。一般根據(jù)具體問題，事物隨時(shí)間推移有多個(gè)階段，按順序一個(gè)階段就是一類。人為不好對(duì)有序樣本進(jìn)行分類時(shí)，可以采用有序聚類方法(又稱最優(yōu)分割法)25，對(duì)樣本進(jìn)行分類。分類數(shù)不同，則可以進(jìn)行類型數(shù)不同的判別分析建模。有序逐步判別的建模以一般的逐步判別分析步驟為核心模塊，多次調(diào)用，按順序建立多套分類數(shù)等于滑移步長(zhǎng)的判別函數(shù)。每次調(diào)用需將所求得的判別函數(shù)參數(shù)按順序存入數(shù)據(jù)庫，以備判別未知樣本歸屬或預(yù)測(cè)時(shí)再用。原始數(shù)據(jù)如果不是從數(shù)據(jù)庫中取得，最好也存入數(shù)據(jù)庫

15、。目前，數(shù)理統(tǒng)計(jì)軟件中的判別分析沒有建模的功能，這些軟件把建模用的原始數(shù)據(jù)和待判別數(shù)據(jù)放到一起，只是待判別數(shù)據(jù)記錄放在數(shù)據(jù)表的尾部。雖然求得的判別函數(shù)參數(shù)發(fā)表出來可以作為模型應(yīng)用，但是還需再編程。我們?cè)诰幹频能浖袘?yīng)用判別分析時(shí)，將原始數(shù)據(jù)、判別函數(shù)參數(shù)等全部存入數(shù)據(jù)庫。其中分組數(shù)的不同，可形成多套判別函數(shù)，我們將其命名成模式，用有關(guān)領(lǐng)域的實(shí)際意義對(duì)模式進(jìn)行說明。應(yīng)用模式時(shí)，新建待判別數(shù)據(jù)表，在多種模式中根據(jù)模式說明和問題的需要選擇合適的模式，然后對(duì)待判別樣本進(jìn)行歸類。實(shí)際應(yīng)用中取得良好的效果，方便了用戶。3有序判別方法的實(shí)施流程判別分析建模流程見圖1。分類模塊Classfy(X,n,G)中X

16、是指原始數(shù)據(jù)矩陣(數(shù)據(jù)表)，n是樣本數(shù)，G是分類數(shù)，采用有序聚類算法，分類結(jié)果為X增加一個(gè)列，代表類型。有時(shí)原始數(shù)據(jù)表每條記錄(樣本)的歸屬是有已知事物分類的，則該模塊應(yīng)該省略。Discriminent(X,ng,i,g)模塊是逐步判別分析模塊，參數(shù)X意義同上，ng是G類中每類樣本數(shù)，i為滑移循環(huán)建模序號(hào)，g為子模式分類數(shù)。在滑移鏈的中部，子模式分類數(shù)都定為滑移步長(zhǎng)L，在頭部和尾部的子模式，分類數(shù)2gL?；撇介L(zhǎng)L一般取3至5。經(jīng)過G次循環(huán)逐步判別分析，求得G套判別函數(shù)參數(shù)。一套判別函數(shù)就是一個(gè)子模型，可以整套模式和子模式命名存入數(shù)據(jù)庫。 有序判別分析模型應(yīng)用流程見圖2。一個(gè)或多個(gè)樣本的多元數(shù)

17、據(jù)輸入后可存入數(shù)據(jù)庫，以備再用。根據(jù)需要可以選擇事先建立好的多套模型多次進(jìn)行判別歸類。選擇模型后，輸入各樣本(樣本段)的預(yù)估分類號(hào)(或稱定向分類中心)Ti。程序以各樣品或樣品區(qū)段的預(yù)估分類號(hào)為中心選擇子模式，而不考慮時(shí)間相隔久遠(yuǎn)的子模式。計(jì)算子模式各判別函數(shù)函數(shù)的值，并比較大小，按最大值時(shí)的函數(shù)序號(hào)取得待判別樣本的分類歸屬。圖1 有序判別分析建模流程N(yùn)YN調(diào)用Discriminent(X,ng,i,g)進(jìn)行判別分析i = G ?結(jié)束開始輸入數(shù)組X,樣品數(shù)n,分類數(shù)G,滑移步長(zhǎng)L數(shù)據(jù)存入數(shù)據(jù)庫第i子模型建立,判別函數(shù)參數(shù)入庫分類模塊Classify(X,n,G)分別為G類中每一類賦予領(lǐng)域意義計(jì)算

18、G類中每類樣本數(shù)ng(i) i=1,2,G開始有序判別建模,循環(huán)初值i=0i = i + 1i<L or G-i<L?合理計(jì)算分類數(shù)g分類數(shù)為步長(zhǎng),即g=LNY輸入分類數(shù)GY改變分類數(shù)另建模型嗎?整套模型完成,命名存入數(shù)據(jù)庫 圖2 有序判別分析模型應(yīng)用流程另選擇模式進(jìn)行判別嗎?輸入各樣本區(qū)段預(yù)估分類號(hào)TiNY計(jì)算樣本在子模型Ti的各判別函數(shù)值選擇分類模型開始輸入待判別樣本數(shù)量n及各記錄數(shù)據(jù)存入數(shù)據(jù)庫從數(shù)據(jù)庫取出模型參數(shù)結(jié)束取函數(shù)最大值時(shí)的序號(hào)作為樣本歸屬輸出各樣本的判別歸類列表各樣本選擇模型中第Ti套子模型4有序判別方法應(yīng)用實(shí)例在干旱炎熱的陸相環(huán)境沉積的地層常不含化石，被稱為啞地層

19、，即便偶然見到少量微古化石，也不是能夠劃分時(shí)代的演化迅速的標(biāo)準(zhǔn)化石，井下獲得化石機(jī)率就更小，而靠巖性(粗細(xì)、顏色等)進(jìn)行地層對(duì)比，由于陸相地層巖相變化大，往往得出錯(cuò)誤的結(jié)論。例如，塔里木盆地庫車拗陷自晚侏羅世開始出現(xiàn)反映干旱炎熱環(huán)境的紅色沉積，至更新世共沉積了近萬米的紅色啞地層，地面地層較容易確定，而井下地層就更難判斷了，影響了油田的進(jìn)一步勘探開發(fā)和對(duì)鄰區(qū)油氣勘探的突破。為了突破這一難題，采用地球化學(xué)和定向判別分析，對(duì)已知層位建模，用于判別井下樣本的歸屬，取得了成功。該地區(qū)漸新統(tǒng)上新統(tǒng)地層系統(tǒng)見圖3。在沉積過程中，微量元素與介質(zhì)之間存在復(fù)雜的化學(xué)平衡，微量元素的分散，遷移和聚集，除與本身的化學(xué)

20、性質(zhì)有關(guān)外，還受到物源性質(zhì)、氣候、水化學(xué)條件的影響。因此，研究微量元素，對(duì)分析沉積時(shí)的地球化學(xué)環(huán)境和進(jìn)行地層劃分對(duì)比有重要意義。地層是地質(zhì)歷史的記錄，是時(shí)間和地史環(huán)境(地球化學(xué)環(huán)境和物源性質(zhì)等)的函數(shù)。有些元素在同一古水域或大的沉積環(huán)境中，有特征的時(shí)空分布規(guī)律，受亞相或巖性的干擾很小，不同時(shí)期的地層，具有不同的元素地層學(xué)特征。找出不同時(shí)期元素間的函數(shù)關(guān)系，建立模式，就能劃分對(duì)比地層。元素本身，不具備時(shí)代意義，但標(biāo)準(zhǔn)剖面的時(shí)代是已知的，由已知剖面的函數(shù)及其時(shí)代意義去判別未知剖面的歸屬，從而展開橫向?qū)Ρ?。時(shí)代分類號(hào)地層單位步長(zhǎng)為3的滑移情形及子模型編號(hào)更新世1西域組12晚新世2庫車組3中新世3康村

21、組44吉迪克組5始-漸新世5蘇維依組6古-始新世6庫木格列木群上部77庫木格列木群下部8早白堊世8巴什基其克組99巴西改組1010舒善河組1111亞格列木組12晚侏羅世12喀拉扎組1313齊古組14中侏羅世14恰克馬克組圖3 庫車剖面地層系統(tǒng)及滑移模型編號(hào)我們采用Fe、Al、Ca、Mg、K、Na、Mn、Cu、Zn、Cr、Ni、Co、Ti、V、Li、Nb、Ba、Sr、Be、La、Y、As、Sb、Bi、Hg、Sn、Mo、Pb、Ag、W、Ge、Ga、B、Zr、Rb、Cs、Cd共37種元素作為變量，采集了上述地面地層180個(gè)樣本，進(jìn)行逐步判別分析。如果使用一次到位的14類劃分模式，對(duì)鄰近地區(qū)和井下有序

22、樣品進(jìn)行判別歸類，得到的答案大部分比較合理。但是有不少樣品的歸類顛倒了順序，不符合地層學(xué)規(guī)律，如第三紀(jì)地層樣品中有些歸入了侏羅紀(jì)地層中。這些待判別樣品是按照地層順序采集的，沒有斷層錯(cuò)位，不可能出現(xiàn)違反地層時(shí)間順序的現(xiàn)象。產(chǎn)生這種現(xiàn)象的原因是相隔久遠(yuǎn)的地層沉積時(shí)地層的地球化學(xué)環(huán)境相近。我們必須避免這種現(xiàn)象。為此，我們采用有序逐步判別分析建模，滑移步長(zhǎng)取3(圖3)，建立了上述按地層單位順序的14類劃分模式(表1)。依據(jù)上述有序判別分析建立的模式，判斷未知樣品時(shí)，限定地層樣本的大致歸屬，對(duì)待判別的有序樣品判別歸類較為合理，取得了滿意的效果。對(duì)該地區(qū)井下巖屑進(jìn)行化學(xué)分析，將上述元素的含量代入模式，運(yùn)用

23、有序判別算法，得到了合理的層位判別歸類解釋。鄰近地區(qū)地面和井下樣品的分析實(shí)踐，證明有序判別方法是一種行之有效的方法，為石油勘探開發(fā)中地層劃分對(duì)比提供了有效的途徑。5結(jié)論 很多領(lǐng)域的事物發(fā)展出現(xiàn)周期性或旋回性，相近的數(shù)量規(guī)律周期性地出現(xiàn)在相隔久遠(yuǎn)的樣本中。在利用判別分析進(jìn)行多類建模，對(duì)時(shí)間序列多元數(shù)據(jù)進(jìn)行判別歸類時(shí)，會(huì)出現(xiàn)有序數(shù)據(jù)的歸屬上下顛倒或穿插，歪曲了事物真相。在多類模型中滑移式建立多套子模型，利用所涉及問題相關(guān)領(lǐng)域的知識(shí)，對(duì)樣本的歸屬人為預(yù)估，使之通過相關(guān)范圍的子模型在某旋回內(nèi)判別，這種有序判別的方法有效地解決了有序樣本的判別歸類問題。有序判別分析在地質(zhì)、經(jīng)濟(jì)等領(lǐng)域時(shí)間序列數(shù)據(jù)判別分析中

24、已經(jīng)有成功的應(yīng)用，今后在其他領(lǐng)域的建模和分類預(yù)測(cè)中將發(fā)揮越來越大的作用。表1 塔里木盆地庫車坳陷中侏羅世至更新世元素地層14類劃分有序判別模式參數(shù)表模型號(hào)121314層位西域組庫車組西域組庫車組康村組喀拉扎組齊古組恰克馬克組齊古組恰克馬克組b0-387.84 -406.91 -457.47 -473.05 -506.35 子模型3至12省略-50.90 -97.05 -66.99 -95.71 -49.32 b1-37.987 -25.479 -3.922 5.573 4.349 0 0 0 0 0 b25.212 -1.131 -8.254 -16.805 -15.338 -5.623 -1

25、9.256 -10.805 0 0 b30 0 5.506 8.506 6.416 0 0 0 0 0 b4-33.230 -0.714 -53.765 -25.515 -30.152 27.866 0.064 -18.774 0 0 b50 0 0 0 0 1.506 32.609 37.030 0 0 b662.710 55.827 76.608 72.369 77.328 12.951 33.275 16.377 48.186 7.993 b70.096 0.080 0.043 0.030 0.026 -0.003 0.028 0.021 0 0 b80 0 0 0 0 -0.779 -

26、0.127 0.775 -1.480 0.178 b90 0 0 0 0 0.129 0.478 -0.179 0.638 0.191 b100 0 0 0 0 0 0 0 0 0 b11-0.550 -1.618 0 0 0 0.287 0.470 0.968 0 0 b120 0 2.283 1.733 2.655 0 0 0 0 0 b130 0 0 0 0 0 0 0 0 0 b141.944 2.140 0.674 0.515 0.199 0 0 0 0 0 b150 0 0 0 0 0 0 0 0 0 b1613.604 13.001 13.198 11.845 12.894 0

27、0 0 3.857 1.677 b170 0 0 0 0 0 0 0 0 0 b180 0 0 0 0 0 0 0 0 0 b190 0 38.172 62.910 89.686 0 0 0 0 0 b200 0 1.858 0.837 1.775 0 0 0 0 0 b210 0 0.854 2.326 0.750 1.094 0.081 0.184 0 0 b220 0 0 0 0 1.019 0.712 -0.848 2.282 0.341 b23-6.405 1.890 0 0 0 0 0 0 0 0 b240 0 0 0 0 0 0 0 0 0 b250.631 0.765 0.745 0.9