《模式識(shí)別原理與應(yīng)用》課件第10章

第10章多分類器融合10.1

多分類器融合的基本原理10.2多數(shù)投票法和BKS方法10.3基于Bayes理論的多分類器融合10.4基于證據(jù)理論的多分類器融合10.5基于神經(jīng)網(wǎng)絡(luò)的多分類器融合10.6基于模糊積分的多分類器融合10.7基于決策模板的多分類器融合習(xí)題10.1.1多分類器融合的必要性模式識(shí)別最終的目標(biāo)是得到盡可能好的識(shí)別性能。為了實(shí)現(xiàn)這一目標(biāo),傳統(tǒng)的做法是設(shè)計(jì)不同的分類方案,再根據(jù)實(shí)驗(yàn)結(jié)果,選擇一個(gè)最好的分類器作為最終的解決方法。過去十多年中,對(duì)分類器研究的焦點(diǎn)從單個(gè)分類器的研究轉(zhuǎn)移到多分類器系統(tǒng)的研究。10.1多分類器融合的基本原理多分類器融合的必要性包括以下兩個(gè)方面:

(1)在模式識(shí)別中,分類的方法有很多,這些算法是基于不同的理論框架提出來的。分類器包括Bayes分類器、KNN分類器、各種距離分類器、模糊分類器、神經(jīng)網(wǎng)絡(luò)分類器、句法分類器等。每種分類器各有優(yōu)點(diǎn),對(duì)于特定的應(yīng)用問題,都能夠取得一定的成功,但是,沒有一種方法適應(yīng)所有的應(yīng)用需求,或達(dá)到期望的效果。人們從大量的實(shí)驗(yàn)和應(yīng)用中發(fā)現(xiàn),不同的分類器對(duì)于分類模式具有互補(bǔ)的信息,可以利用這種互補(bǔ)信息來提高識(shí)別性能,例如,更高的識(shí)別率和更低的錯(cuò)誤率。因此,需要集成不同分類器的結(jié)果,以獲得較好的分類效果。

(2)對(duì)于某些復(fù)雜的識(shí)別問題,輸入的特征變量較多。這些特征變量具有不同類型、不同表現(xiàn)形式或不同量級(jí)。對(duì)于不同類型的特征變量,需要根據(jù)不同的理論和方法來設(shè)計(jì)分類器。對(duì)于不同表現(xiàn)形式和不同物理含義的特征變量,進(jìn)行歸一化處理非常困難,難以用一個(gè)分類器來處理。此外,當(dāng)輸入特征向量的維數(shù)較大時(shí),分類器的結(jié)構(gòu)將非常復(fù)雜,這增加了計(jì)算復(fù)雜度,由于有限的學(xué)習(xí)樣本,分類器的性能也較差。因此,利用信息融合的思想,可將設(shè)計(jì)一個(gè)性能優(yōu)良的高維輸入分類器問題轉(zhuǎn)化成多個(gè)性能較優(yōu)的低維輸入分類器的設(shè)計(jì)問題,運(yùn)用多分類器融合技術(shù),為高維特征空間的劃分和高可靠性分類器的設(shè)計(jì)提供一個(gè)新的思路。10.1.2多分類器融合的體系結(jié)構(gòu)

多分類器融合常見的結(jié)構(gòu)有三種:并行結(jié)構(gòu)、串行結(jié)構(gòu)、串并行結(jié)構(gòu)。如圖10-1所示,在并行結(jié)構(gòu)中,各分類器是獨(dú)立進(jìn)行設(shè)計(jì)的,它們之間沒有關(guān)聯(lián)。圖10-1多分類器集成的并行結(jié)構(gòu)如圖10-2所示,在串行結(jié)構(gòu)中,前一級(jí)分類器為后一級(jí)分類器提供信息,它們之間有一定的關(guān)聯(lián)。圖10-2多分類器集成的串行結(jié)構(gòu)如圖10-3所示,串并行結(jié)構(gòu)是串行結(jié)構(gòu)中某一級(jí)的分類器由多個(gè)并行結(jié)構(gòu)的分類器組成,從而結(jié)合并行結(jié)構(gòu)和串行結(jié)構(gòu)的優(yōu)點(diǎn)。圖10-3多分類器集成的串并行結(jié)構(gòu)正如圖10-4中的灰線和橢圓所示,各多分類器融合系統(tǒng)的不同之處體現(xiàn)在如下幾個(gè)方面:

(1)使用的分類器數(shù)量L。

(2)單個(gè)分類器的類型。一些組合策略使用相同類型的分類器進(jìn)行融合,如神經(jīng)網(wǎng)絡(luò)、線性分類器、最近鄰分類器,而其他一些組合策略使用不同的分類器集合。

(3)單個(gè)分類器使用的特征子集(在圖10-4中用灰色橢圓表示)。

(4)分類器決策的組合方法。例如多數(shù)投票法、貝葉斯法、BKS方法、簡(jiǎn)單組合方法(如平均、相乘、最小、最大)、模糊積分法、線性組合法、神經(jīng)網(wǎng)絡(luò)法、D-S證據(jù)理論法等。(5)不同分類器使用的訓(xùn)練集。

(6)兩級(jí)結(jié)構(gòu)的訓(xùn)練類型。主要有訓(xùn)練多個(gè)獨(dú)立的分類器,直接進(jìn)行融合;先訓(xùn)練多個(gè)獨(dú)立的分類器,再訓(xùn)練一個(gè)融合器;同時(shí)訓(xùn)練整個(gè)兩級(jí)架構(gòu)。通常根據(jù)分類準(zhǔn)確度來選擇單個(gè)分類器(準(zhǔn)確度越高越好)。當(dāng)整個(gè)結(jié)構(gòu)作為一個(gè)整體來訓(xùn)練時(shí),單個(gè)分類器的參數(shù)將隨融合策略的不同而發(fā)生變化。圖10-4多分類器融合系統(tǒng)10.1.3多分類器融合的分類

1.分類器輸出信息的3個(gè)級(jí)別給定模式空間S,由M個(gè)互不相交的模式類集合ω1,ω2,…,ωM組成,即S=ω1∪ω2∪…∪ωM,ωi∩ωj=

(i≠j;i,j=1,2,…,M),模式識(shí)別就是把給定的模式x劃分到ω1,ω2,…,ωM中的一個(gè)。設(shè)e為一分類器,令Λ={1,2,…,M}。對(duì)于輸入樣本(模式)x∈S,e(x)=j表示分類器e把x劃分到類ωj中。其中,j∈Λ∪{M+1},j為模式類集合ωj的類別號(hào)(標(biāo)簽)。這里引入拒識(shí),e(x)=M+1表示分類器e拒識(shí)x,即不能判斷x的類別。一般地,分類器能夠提供的信息可分為三個(gè)級(jí)別:

(1)抽象級(jí):分類器e只輸出唯一的標(biāo)簽j,或一個(gè)子集。

(2)排序級(jí):分類器e把Λ(或子集)中的標(biāo)簽按照某種規(guī)則排列成一個(gè)序列,排在首位的是第一選擇。

(3)度量級(jí):分類器e給每一個(gè)標(biāo)簽分配一個(gè)度量值,用以表示輸入樣本x屬于相應(yīng)類的程度。在上述三個(gè)級(jí)別中,度量級(jí)包含的信息最多,抽象級(jí)信息最少。根據(jù)屬于某個(gè)標(biāo)簽的度量值,按照某種排序規(guī)則,我們可以把Λ中標(biāo)簽排成一個(gè)序列(遞增或遞減)。通過選擇排在首位的標(biāo)簽,或直接在度量級(jí)選擇具有最大值或最小值的標(biāo)簽,分配給輸入樣本x,從而為x指定唯一的標(biāo)簽。換句話說,從度量級(jí)到抽象級(jí)是一個(gè)信息減少的過程或抽象的過程。許多分類器能夠提供度量級(jí)信息,例如,Bayes分類器提供后驗(yàn)概率P(ωj|x),j=1,2,…,M;距離分類器提供輸入樣本x與每類的原型樣本之間的距離;模糊分類器中的隸屬度,等等。度量級(jí)的處理是許多分類器的中間步驟。但是,有些分類器只能提供抽象級(jí)輸出,例如,句法分類器。

2.分類器融合的類型根據(jù)各分類器提供的信息的級(jí)別,多分類器融合可以分為以下三種類型:

(1)決策層融合,即單個(gè)分類器輸出為某個(gè)確定的類別號(hào)。假設(shè)R個(gè)分類器e1,e2,…,eR對(duì)同一輸入樣本(模式)x進(jìn)行分類,事件ek(x)=jk表示分類器ek把x劃分到類ωjk中,其中,jk∈Λ∪{M+1},ek(x)=M+1表示分類器ek拒識(shí)x,k=1,2,…,R。決策層融合就是利用這些事件構(gòu)造一個(gè)集成的分類器e對(duì)x進(jìn)行分類,輸出一個(gè)確定的類別號(hào),即e(x)=j,j∈Λ∪{M+1}。

(2)排序?qū)尤诤?即單個(gè)分類器輸出為樣本屬于各類的可能性的一個(gè)排序列表。對(duì)于輸入x,每個(gè)分類器ek(x)產(chǎn)生一個(gè)子集Lk

Λ,且Lk中標(biāo)簽排成一個(gè)序列。排序?qū)尤诤暇褪抢檬录k(x)=Lk,k=1,2,…,R,構(gòu)造一個(gè)集成的分類器e,對(duì)x進(jìn)行分類,輸出一個(gè)確定的類別號(hào),即e(x)=j,

j∈Λ∪{M+1}。

(3)度量層融合,即單個(gè)分類器輸出為樣本屬于相應(yīng)類的程度。對(duì)于輸入x,每個(gè)分類器ek(x)產(chǎn)生一個(gè)度量向量Me(k)=(mk(1),mk(2),…,mk(M))T,其中,mk(i)表示x屬于相應(yīng)類ωi的程度。度量層融合就是利用事件ek(x)=Me(k),k=1,2,…,R,構(gòu)造一個(gè)集成的分類器e,對(duì)x進(jìn)行分類,輸出一個(gè)確定的類別號(hào),即e(x)=j,j∈Λ∪{M+1}。這三類方法覆蓋了不同的應(yīng)用范圍,所利用的分類器輸出信息量依次增多,相應(yīng)地,也可能得到更好的結(jié)果。在決策層融合中,各個(gè)分類器在理論與方法上可以相差很大,例如,有些分類器是基于統(tǒng)計(jì)的方法,而另一些方法是基于句法的方法。事實(shí)上,不是每種分類器都可以輸出排序列表或隸屬程度,但是,任何分類器至少可以輸出抽象級(jí)信息,從而決策層融合可以適用于所有的模式識(shí)別領(lǐng)域。所以,決策層的融合成為應(yīng)用最廣泛,也是研究較早和較充分的一類融合方法。具有代表性的幾種決策層融合方法包括多數(shù)投票法、BKS方法、Bayes規(guī)則和證據(jù)理論方法等。在度量層融合中,融合操作只能在相同量級(jí)的度量信息上進(jìn)行,從而要求所有的分類器輸出度量級(jí)信息。此外,不同種類的度量向量應(yīng)該能夠被轉(zhuǎn)換成一種相同的度量向量。具有代表性的幾種度量層融合方法包括Bayes方法、證據(jù)理論方法、模糊積分方法和神經(jīng)網(wǎng)絡(luò)方法等。排序?qū)尤诤衔挥跊Q策層融合與度量層融合之間,它要求所有的分類器輸出排序級(jí)信息。在排序?qū)尤诤现?分類器不能是純句法分類器,它只能輸出抽象級(jí)信息。任何輸出度量級(jí)信息的分類器都可以參與排序?qū)尤诤?因?yàn)閺亩攘肯蛄縈e(k)可以產(chǎn)生一個(gè)排序列表。10.2多數(shù)投票法和BKS方法

多數(shù)投票法和BKS方法是簡(jiǎn)單、有效的多分類器集成方法,本節(jié)簡(jiǎn)要討論這兩種方法。10.2.1多數(shù)投票法假設(shè)R個(gè)分類器e1,e2,…,eR對(duì)同一輸入樣本(模式)x進(jìn)行分類。定義示性函數(shù):(10-1)則最保守的投票規(guī)則為(10-2)也就是說,集成的分類器e把x劃分到類ωj,當(dāng)且僅當(dāng)所有R個(gè)分類器同時(shí)把x劃分到類ωj中,否則拒識(shí)x。多數(shù)投票準(zhǔn)則為(10-3)更一般的形式為(10-4)其中,0<α≤1。若取α=1,則式(10-4)變成式(10-2);若取α=0.5+ε,ε為很小的正數(shù),則式(10-4)變成式(10-3)。因此,式(10-2)與式(10-3)是式(10-4)的特例。事實(shí)上,式(10-4)僅考慮了得票最多的類別號(hào),并且所得票數(shù)要足夠多。但是,可能出現(xiàn)得票最多的類別號(hào)有多個(gè),或者得票第一多與第二多的票數(shù)相差很小。這時(shí),式(10-4)的決策可能不可靠。進(jìn)一步修正式(10-4),得到新的多數(shù)投票準(zhǔn)則:(其他)(10-5)基于投票準(zhǔn)則的多分類器集成是決策層融合的一般形式,也就是說,決策層融合是基于投票準(zhǔn)則的,或者是投票準(zhǔn)則的變形或改進(jìn)。多數(shù)投票法存在如下問題:

(1)所有的分類器都是平等的,都作為一票,沒有考慮不同分類器的性能差異。

(2)投票準(zhǔn)則是抽象級(jí)信息的集成,單一分類器的輸出信息采用硬分類,即要么認(rèn)為輸入模式屬于某一類,要么拒識(shí)。但是,大部分分類器的輸出信息是度量級(jí)的,從而在集成的過程中,拋棄了很多有用的信息。

(3)對(duì)于每個(gè)分類器,都需要確定一些門限值,這些值的確定還沒有理論指導(dǎo)。10.2.2BKS方法

BKS方法又稱為性能知識(shí)空間法,窮舉各個(gè)分類器對(duì)訓(xùn)練樣本集合的識(shí)別結(jié)果的各種組合,然后統(tǒng)計(jì)各種決策組合對(duì)應(yīng)的樣本,找出其中占主導(dǎo)地位的類別,作為多分類器融合的輸出。一個(gè)性能知識(shí)空間(BKS)是一個(gè)R維空間,其中,每一維代表一個(gè)分類器的判決結(jié)果。每一個(gè)分類器有M+1種可能的決策{1,2,…,M+1},各個(gè)分類器的決策聯(lián)合形成BKS的一個(gè)單元,稱之為局部單元。一個(gè)二維的BKS空間如表10-1所示。表10-1二維BKS空間

1…j…M+1１(1,1)…(1,j)…(1,M+1)i(i,1)(i,j)M+1(M+1,1)…(M+1,j)…(M+1,M+1)利用R個(gè)分類器對(duì)所有的訓(xùn)練樣本進(jìn)行分類,統(tǒng)計(jì)各分類決策組合對(duì)應(yīng)的樣本,并歸入相應(yīng)的局部單元中。引入記號(hào):BKS的一個(gè)單元BKS(e(1),…,e(R)):第一個(gè)分類器給出了決策e(1),第二個(gè)分類器給出了決策e(2),…,第R個(gè)分類器給出了決策e(R)等;

N(e(1),…,e(R))(m):在BKS(e(1),…,e(R))中屬于類別m的訓(xùn)練樣本總數(shù);

T(e(1),…,e(R)):在BKS(e(1),…,e(R))中的訓(xùn)練樣本總數(shù),即(10-6)Γ(e(1),…,e(R)):在BKS(e(1),…,e(R))中占主導(dǎo)地位的類別,即Γ(e(1),…,e(k))=j,滿足(10-7)對(duì)于輸入樣本x,各分類器決策為e(1),…,e(R),則多分類器融合為(10-8)這里λ是一個(gè)門限值(0≤λ≤1),用于控制最終決策的可靠性。10.3基于Bayes理論的多分類器融合本節(jié)討論基于Bayes理論的多分類器融合,包括合成規(guī)則和合成方法。10.3.1基于Bayes理論的多分類器合成規(guī)則假設(shè)有R個(gè)分類器,對(duì)于給定的模式x,每個(gè)分類器把模式x表示為相應(yīng)的特征(或度量)向量。不妨用xi表示第i個(gè)分類器ei輸出的特征向量。類別ωk的先驗(yàn)概率為P(ωk),在模式x屬于類別ωk為真的條件下,特征向量xi的概率密度函數(shù)為p(xi|ωk)

(i=1,2,…,R;k=1,2,…,M)。根據(jù)最大后驗(yàn)概率準(zhǔn)則,給定特征向量xi(i=1,2,…,R),模式x應(yīng)該劃分到具有最大后驗(yàn)概率的類別ωj中,即如果(10-9)則(10-10)式（10-9）和（10-10）表明，為了利用所有可能的信息進(jìn)行決策，必須根據(jù)所有的特征向量計(jì)算各種假設(shè)的后驗(yàn)概率。由Bayes公式，式（10-9）中的后驗(yàn)概率可以寫成(10-11)其中:p(x1,x2,…,xR)為x1,x2,…,

xR的聯(lián)合(無條件)概率密度;p(x1,x2,…,xR|ωk)為在模式

x屬于類別ωk為真的條件下特征向量x1,x2,…,xR的聯(lián)合概率密度。一般地,聯(lián)合概率密度p(x1,x2,…,xR|ωk)較難得到。下面將利用每個(gè)分類器的信息來簡(jiǎn)化式(10-11),并得到實(shí)用的融合策略。

1.積規(guī)則假設(shè)在模式x屬于類別ωk(k=1,2,…,M)為真的條件下,特征向量x1,x2,…,xR是相互獨(dú)立的,即(10-12)把式（10-12）代入式（10-11），可得(10-13)把式(10-13)代入式(10-9),則得到判決規(guī)則:如果(10-14)則(10-15)考慮到(10-16)把式（10-16）代入式（10-14），利用各分類器的后驗(yàn)概率，得到判決規(guī)則：如果(10-17)則(10-18)式(10-17)和式(10-18)給出的判決規(guī)則稱為積規(guī)則。積規(guī)則組合各分類器的后驗(yàn)概率,量化了假設(shè)的似然度。

2.和規(guī)則在式(10-17)中,進(jìn)一步把后驗(yàn)概率P(ωj|xi)表示為(10-19)其中，δki<<1。把式(10-19)代入式(10-17)中,有(10-20)展開，并忽略二次和高階項(xiàng)，則(10-21)把式(10-19)和式(10-21)代入式(10-17)中,可得判決規(guī)則:如果(10-22)(10-23)則x∈ωj式(10-22)和式(10-23)給出的判決規(guī)則稱為和規(guī)則。在式(10-17)與式(10-22)中,考慮如下關(guān)系式:(10-24)式(10-24)表明,積規(guī)則與和規(guī)則可以用上述的上界或下界來近似。此外,各分類器根據(jù)后驗(yàn)概率P(ωk|xi)產(chǎn)生的硬決策,用二元函數(shù)Δki表示為(10-25)

3.極大規(guī)則在式(10-22)中,用后驗(yàn)概率的極大值代替后驗(yàn)概率的和,可得判決規(guī)則:如果(10-26)則進(jìn)一步,若先驗(yàn)概率P(ωk)相等,那么上述判決規(guī)則可簡(jiǎn)化為如果(10-28)x∈ωj(10-29)則式(10-26)與式(10-27)或式(10-28)與式(10-29)給出的判決規(guī)則稱為極大規(guī)則。

4.極小規(guī)則在式(10-17)中,用后驗(yàn)概率的極小值代替后驗(yàn)概率的積,可得判決規(guī)則:如果(10-30)則x∈ωj(10-31)進(jìn)一步,若先驗(yàn)概率P(ωk)相等,那么上述判決規(guī)則簡(jiǎn)化為如果(10-32)則x∈ωj(10-33)式(10-30)與式(10-31)或式(10-32)與式(10-33)給出的判決規(guī)則稱為極小規(guī)則。

5.中值規(guī)則在式(10-22)中,若先驗(yàn)概率P(ωk)相等,可得判決規(guī)則:如果(10-34)則x∈ωj(10-35)上述判決規(guī)則取后驗(yàn)概率平均值的最大者。事實(shí)上,均值的一個(gè)穩(wěn)健估計(jì)是中值,因此,采用中值代替均值,可得判決規(guī)則:如果(10-36)則x∈ωj(10-37)式(10-36)和式(10-37)給出的判決規(guī)則稱為中值規(guī)則。

6.多數(shù)投票規(guī)則在式(10-22)中,若先驗(yàn)概率P(ωk)相等,結(jié)合式(10-25)中的硬決策,可得判決規(guī)則:如果(10-38)則x∈ωj(10-39)式(10-38)和式(10-39)給出的判決規(guī)則稱為多數(shù)投票規(guī)則。事實(shí)上,式(10-38)的右邊僅僅計(jì)算各個(gè)類別從所有分類器中得到的票數(shù),得票最多的勝出10.3.2基于Bayes理論的多分類器合成方法

1.混淆矩陣、先驗(yàn)知識(shí)和置信度在多數(shù)投票規(guī)則中,每個(gè)分類器的判決結(jié)果都同等地看成一票,而沒有考慮到各分類器性能的差異以及分類器本身的誤差。分類器ek的誤差可以用混淆矩陣來描述:(k=1,2,…,R)

(10-40)其中,第i行對(duì)應(yīng)于第i類ωi,第j列對(duì)應(yīng)于事件ek(x)=j。元素n(k)ij表示ωi中n(k)ij個(gè)樣本被ek識(shí)別屬于ωj。對(duì)于訓(xùn)練好的分類器ek,混淆矩陣PTk可以通過對(duì)測(cè)試樣本集的分類來獲得,該測(cè)試樣本集能夠反映模式空間的分布。由混淆矩陣PTk的定義,可知分類器ek的測(cè)試樣本集中樣本的總數(shù)為(10-41)ωi中的樣本數(shù)為(i=1,2,…,M)(10-42)被ek識(shí)別屬于ωj中的樣本數(shù)為(i=1,2,…,M+1)(10-43)由于分類器ek本身存在識(shí)別誤差,因此,事件ek(x)=j的真相(即模式x確實(shí)來自類ωj)存在不確定性。利用混淆矩陣PTk,這種不確定性可以用條件概率來表示,即在事件ek(x)=j

發(fā)生的條件下,x∈ωi(i=1,2,…,M)的概率為(i=1,2,…,M)(10-44)另一方面,混淆矩陣可以看成是一個(gè)專家的先驗(yàn)知識(shí),當(dāng)事件ek(x)=jk發(fā)生時(shí),專家用置信度Bel(·)來表示對(duì)M個(gè)互不相容的命題x∈ωi(i=1,2,…,M)的不確定性的度量。命題的置信度Bel(·)越高,該命題為真的可能性越大。利用混淆矩陣PTk,置信度Bel(·)可以采用如式(10-44)所示的條件概率:(i=1,2,…,M)(10-45)對(duì)于10.3.1節(jié)6個(gè)融合規(guī)則,設(shè)xk為模式x在第k個(gè)分類器ek中的特征向量,那么,P(x∈ωi|ek(x)=jk)還可以用來估計(jì)后驗(yàn)概率P(ωi|xk)。此外,先驗(yàn)概率P(ωi)的估計(jì)為(i=1,2,…,M)(10-46)

2.置信度合成假設(shè)與R個(gè)分類器e1,e2,…,eR對(duì)應(yīng)的R個(gè)混淆矩陣分別為PT1,PT2,…,PTR。對(duì)于輸入模式x,

R個(gè)分類器的分類結(jié)果分別為ek(x)=jk,k=1,2,…,R。此時(shí),x∈ωi的置信度為(10-47)進(jìn)一步,假設(shè)R個(gè)分類器e1,e2,…,eR相互獨(dú)立,由Bayes公式可得(10-48)利用式(10-44)和式(10-46)可以估計(jì)出Bel(i)。在實(shí)際應(yīng)用中,可以用下式來估計(jì)Bel(i):(10-49)其中,η為一常數(shù),保證,即(10-50)最后,根據(jù)置信度得到融合的判決規(guī)則:如果(10-51)則x∈ωj(10-52)進(jìn)一步,為了提高系統(tǒng)的識(shí)別率,引入拒識(shí),上述判決規(guī)則修改為如果(10-53)則x∈ωj(10-54)否則x∈ωM+1(10-55)其中,α為一門限值。10.4基于證據(jù)理論的多分類器融合作為信息融合的主要技術(shù)之一,證據(jù)理論已經(jīng)成功地應(yīng)用到多分類器融合,其關(guān)鍵在于證據(jù)模型的構(gòu)造與判別決策的確定。本節(jié)主要討論基于證據(jù)理論的多分類器融合,包括度量層的多分類器融合和決策層的多分類器融合。10.4.1證據(jù)理論基礎(chǔ)證據(jù)理論(EvidenceTheory)是由Dempster在1967年最初提出的,他用多值映射得出了概率的上、下界,后來由Shafer在1976年推廣并且形成證據(jù)推理,因此又稱為D-S證據(jù)理論。類似于貝葉斯推理方法,D-S證據(jù)理論用先驗(yàn)概率賦值函數(shù)來獲得后驗(yàn)的證據(jù)區(qū)間,證據(jù)區(qū)間量化了命題的可信程度和似然率。D-S證據(jù)理論比傳統(tǒng)的概率論能更好地把握問題的未知性與不確定性,這便是D-S證據(jù)理論的優(yōu)點(diǎn)所在。

1.辨識(shí)框架證據(jù)推理是建立在一個(gè)非空集合Θ上的理論。Θ稱為辨識(shí)框架(FrameofDiscernment),它由一些互斥且窮舉的元素組成。Θ表示人們對(duì)于一判決問題所能認(rèn)識(shí)到的所有可能的結(jié)果(假設(shè))的集合,從而,人們所關(guān)心的任一命題都對(duì)應(yīng)于Θ的一個(gè)子集。為簡(jiǎn)單起見,本書所討論的Θ都假定為有限集,即(10-56)Θ包含N個(gè)互斥且窮舉的假設(shè)。在模式識(shí)別中,把給定的模式劃分到M個(gè)互不相交的模式類集合ω1,ω2,…,ωM中,此時(shí),辨識(shí)框架為{ω1,ω2,…,ωM}。利用辨識(shí)框架,將命題和子集對(duì)應(yīng)起來,可以把比較抽象的邏輯概念轉(zhuǎn)化為比較直觀的集合論概念。例如,兩個(gè)命題的析取、合取和蘊(yùn)含分別對(duì)應(yīng)于集合的并、交和包含,命題的否定對(duì)應(yīng)于集合的補(bǔ)集。一般地,Θ的選取依賴于人們的知識(shí)、認(rèn)識(shí)水平以及所知道的和想要知道的。而且,當(dāng)一個(gè)命題對(duì)應(yīng)于該框架的一個(gè)子集時(shí),稱為該框架能夠識(shí)別該命題。另外,Θ的選取也應(yīng)足夠豐富,使任何命題都能夠?qū)?yīng)于Θ的一個(gè)子集合。

2.基本概率賦值函數(shù)、信任函數(shù)、似真函數(shù)與共性函數(shù)

Shafer利用辨識(shí)框架建立了證據(jù)處理模型,其基本思想如下:

(1)確立辨識(shí)框架Θ。利用集合論方法來研究命題。

(2)建立初始信任度分配。對(duì)證據(jù)加以分析,確定出證據(jù)對(duì)每一集合(命題)A本身的支持程度。由于缺乏進(jìn)一步的信息,該支持程度不能再細(xì)分給A的真子集。

(3)計(jì)算所有命題的信任度。一般地,如果證據(jù)支持一個(gè)命題,那么它也應(yīng)該同樣支持該命題的推論。因此,根據(jù)因果關(guān)系,一個(gè)命題的信任度等于證據(jù)對(duì)它的所有前提本身的支持程度(初始信任度)之和。在證據(jù)理論中,初始信任度分配用基本概率賦值函數(shù)(BasicProbabilityAssignment,BPA)來表達(dá),每個(gè)命題的信任度用信任函數(shù)(BeliefFunction)來表達(dá)。有的文獻(xiàn)稱基本概率賦值函數(shù)為基本信任分配(BasicBeliefAssignment,BBA)函數(shù)。定義10.1

問題域中任意命題A都應(yīng)屬于冪集2Θ。在2Θ上定義基本概率賦值函數(shù)m:2Θ→［0,1］,m滿足(10-57)(10-58)其中,m(A)表示證據(jù)支持命題A發(fā)生的程度,反映了證據(jù)對(duì)A本身的信任度大小。由于缺乏進(jìn)一步的信息,m(A)不能再細(xì)分給A的真子集。條件式(10-57)表示,對(duì)于空集(空命題)不賦予任何信任度;條件式(10-58)表示,所有命題的信任度之和等于1,即總信任度為1。定義10.2

如果A為Θ的子集,且m(A)>0,則稱A為證據(jù)的焦元(FocusElement),所有焦元的集合稱為核。

定義10.3

2Θ上的信任函數(shù)Bel(BeliefFunction)與似真函數(shù)Pl(PlausibilityFunction)定義為(10-59)(10-60)(10-63)其中,為A的補(bǔ)集。信任函數(shù)Bel(A)表示證據(jù)全部給予命題A的支持程度,似真函數(shù)Pl(A)表示證據(jù)不反對(duì)(不懷疑)命題A的程度。信任函數(shù)Bel滿足如下條件:Bel()=0(10-61)(10-62)Bel(Θ)=0其中:n為任意正整數(shù);A1,…,An為Θ的任意n個(gè)子集;|I|表示集合I中的元素的個(gè)數(shù)。特別地,n=2,,此時(shí)(10-64)Bel(A)與Pl(A)滿足:(10-65)區(qū)間［Bel(A),Pl(A)］構(gòu)成證據(jù)不確定區(qū)間,表示命題的不確定程度,如圖10-5所示。圖10-5信息的不確定性表示定義10.4共性函數(shù)(CommonalityFunction)定義為(10-66)

Q(A)是所有以命題A為前提的命題的基本概率賦值函數(shù)之和。Q(A)可以理解為,在證據(jù)出現(xiàn)后,命題A作為前提(原因)的支持程度?；靖怕寿x值函數(shù)、信任函數(shù)、似真函數(shù)與共性函數(shù)可以相互推導(dǎo)出來,它們包含的信息量是一樣的。除了式(10-60)外,還有如下結(jié)果:(10-67)(10-68)(10-69)

3.Dempster合成公式證據(jù)理論提供了一個(gè)有用的合成公式,它是反映證據(jù)的聯(lián)合作用的一個(gè)規(guī)則,使人們能夠合成多個(gè)證據(jù)源提供的證據(jù)。給定同一辨識(shí)框架Θ上幾個(gè)基于不同證據(jù)的信任函數(shù)Bel1,Bel2,…,Beln,如果這些證據(jù)相互獨(dú)立,且不完全沖突,那么,可以利用Dempster合成公式計(jì)算出一個(gè)新的信任函數(shù)Bel

=Bel1

Bel2

…

Beln,作為在這些證據(jù)的聯(lián)合作用下產(chǎn)生的信任函數(shù)。設(shè)有n個(gè)相互獨(dú)立的證據(jù),其對(duì)應(yīng)的基本概率賦值函數(shù)分別為m1,m2,…,mn,它們合成后得到新的基本概率賦值函數(shù)為，Dempster合成公式為：

m()=0(10-70)(10-71)其中(10-72)k為證據(jù)之間的沖突概率,反映了證據(jù)沖突的程度。系數(shù)1/(1-k)稱為歸一化因子,它的作用就是避免在合成時(shí)將非0的概率賦給空集。利用基本概率賦值函數(shù)m,可以計(jì)算相應(yīng)的信任函數(shù)Bel、似真函數(shù)Pl與共性函數(shù)Q。此外,共性函數(shù)Q滿足:(10-73)Dempster合成公式滿足交換律和結(jié)合律,即(10-74)(10-75)10.4.2度量層的多分類器融合

假設(shè)有R個(gè)信息源或分類器,對(duì)同一對(duì)象(模式)x進(jìn)行觀測(cè),第i個(gè)信息源的觀測(cè)為xi(i=1,2,…,R)。模式分類的目的就是,把給定的模式x劃分到M個(gè)互不相交的模式類集合ω1,ω2,…,ωM中的一個(gè)。

1.證據(jù)模型的構(gòu)造每個(gè)信息源可以看成一個(gè)證據(jù),相應(yīng)的辨識(shí)框架為Θ={ω1,ω2,…,ωM}。假設(shè)觀測(cè)xi對(duì)應(yīng)一組信任度量其中,≥0表示xi支持ωj的信任程度。J(0)ij越大,xi支持ωj的信任越多。J(0)ij可以是各種形式的度量,例如,與距離有關(guān)的函數(shù)、概率論中的概率或模糊集合論中的隸屬度等。對(duì)于證據(jù)xi,所有可能的焦元可以選擇為{ωi1,ωi2,…,ωij},j=1,2,…,M,相應(yīng)的基本概率分配函數(shù)定義為(10-76)其中:i=1,2,…,R;j=1,2,…,M。

2.判別決策的確定

采用證據(jù)理論合成公式合成基本概率分配函數(shù)mi(i=1,2,…,R),得到一個(gè)綜合的基本概率分配函數(shù)m,進(jìn)而可以計(jì)算出相應(yīng)的信任函數(shù)、似真函數(shù)和共性函數(shù)。給定一個(gè)辨識(shí)框架,有很多規(guī)則可以用來決策,例如,最大化基本概率分配函數(shù)、信任函數(shù)、似真函數(shù)或共性函數(shù)。下面假設(shè)采用Dempster合成公式進(jìn)行合成,并以最大化共性函數(shù)進(jìn)行決策。對(duì)應(yīng)于基本概率分配函數(shù)m與mi,單個(gè)元素的集合{ωj}(j=1,2,…,M)的共性函數(shù)分別為(10-77)(i=1,2,…,R)(10-78)由式(10-73)可知,它們滿足:(10-79)其中(10-80)k為證據(jù)之間的沖突概率。假設(shè)ωj在Θi中排在第h位,即ωj=ωih,那么,對(duì)于基本概率分配函數(shù)mi,包含ωj的所有可能的焦元及其基本概率分配函數(shù)值為因此(10-81)由可得，，從而(10-82)所以(10-83)其中,常數(shù)與ωj無關(guān)。此時(shí),采用最大化共性函數(shù)進(jìn)行決策等價(jià)于選擇l使得，即(10-84)進(jìn)一步,若J(0)ij為概率測(cè)度,則式(10-84)等價(jià)于最大后驗(yàn)概率準(zhǔn)則;若J(0)ij為模糊隸屬度,則式(10-84)等價(jià)于某種最大模糊隸屬度決策。10.4.3決策層的多分類器融合

1.證據(jù)模型假設(shè)R個(gè)分類器e1,e2,…,eR對(duì)同一輸入樣本(模式)x進(jìn)行分類,得到R個(gè)證據(jù)ek(x)=jk,k=1,2,…,R,相應(yīng)的辨識(shí)框架為Θ={ω1,ω2,…,ωM}。其中,ek(x)=jk表示分類器ek把x劃分到類ωjk中;jk∈Λ∪{M+1};ek(x)=M+1表示ek拒識(shí)x。用ε(k)r和ε(k)s分別表示ek的正確識(shí)別率和誤識(shí)率。由于引入了拒識(shí),一般地,ε(k)r+ε(k)s<1。因?yàn)閑k存在誤識(shí),所以,證據(jù)ek(x)=jk存在不確定性。當(dāng)ek(x)=jk,jk∈Λ時(shí),x∈ωjk為真的信任程度為ε(k)r,x∈ωjk不為真的信任程度為ε(k)s;當(dāng)ek(x)=M+1時(shí),ek不能提供任何單個(gè)類別ωjk的信息,從而可以看成完全支持Θ。因此,對(duì)于證據(jù)ek(x)=jk,我們定義2Θ上的基本概率分配函數(shù)mk如下:

(1)若ek(x)=M+1,則mk只有一個(gè)焦元Θ,mk(Θ)=1。

(2)若jk∈Λ,則mk可能有3個(gè)焦元:{ωjk},{ωjk}C=Θ＼{ωjk}和Θ,并且,mk({ωjk})=ε(k)r,mk({ωjk}C)=ε(k)s,mk(Θ)=1－ε(k)r－ε(k)s。決策層的多分類器融合就是,根據(jù)這R個(gè)證據(jù),把給定的模式x劃分到ω1,ω2,…,ωM中的一個(gè),或者拒識(shí)x。類似地,采用證據(jù)理論合成公式合成基本概率分配函數(shù)mi(i=1,2,…,R),得到一個(gè)綜合的基本概率分配函數(shù)m,進(jìn)而可以計(jì)算出相應(yīng)的信任函數(shù)、似真函數(shù)和共性函數(shù)。給定一個(gè)辨識(shí)框架,決策規(guī)則可以采用最大化基本概率分配函數(shù)、信任函數(shù)、似真函數(shù)或共性函數(shù)。下面假設(shè)采用Dempster合成公式進(jìn)行合成,并以最大化信任函數(shù)進(jìn)行決策。

2.快速合成算法首先去掉一些不必要的證據(jù)。若ek(x)=M+1,相應(yīng)地,mk(Θ)=1,這些證據(jù)對(duì)合成的結(jié)果沒有影響。去掉這些證據(jù),假設(shè)剩下R′(≤R)個(gè)證據(jù)ek(x)=jk,k=1,2,…,R′,jk∈Λ。不失一般性,進(jìn)一步排除如下三種特殊情形:

(1)R′=0。說明所有的R個(gè)分類器都拒識(shí)x,那么最終的決策也是拒識(shí)x。

(2)若存在某個(gè)分類器ek的正確識(shí)別率ε(k)r=1,即ek能夠絕對(duì)正確地識(shí)別任何輸入模式,那么,其他的分類器就沒有必要存在了。

(3)若存在某個(gè)分類器ek的誤識(shí)率ε(k)s=1,即ek總是做出錯(cuò)誤的決策,分類器ek不能提供有用的信息,那么,去掉該證據(jù)。因此,下面只考慮R′個(gè)證據(jù)ek(x)=jk,jk∈Λ,k=1,2,…,R′,分類器ek的正確識(shí)別率和誤識(shí)率分別為ε(k)r和ε(k)s,0<ε(k)r<1,0≤ε(k)s<1。采用Dempster合成公式進(jìn)行合成上述R′個(gè)證據(jù),需要驗(yàn)證它們的沖突概率不為1。為此,只需要驗(yàn)證存在一個(gè)組合X1∩X2∩…∩XR′≠

,使得,

m1(X1)m2(X2)…mR′(XR′)≠0。對(duì)于k=1,2,…,R′,由0<mk({ωjk})=ε(k)r<1可知,mk({ωjk}C)=ε(k)s≠0與mk(Θ)=1－ε(k)r－ε(k)s≠0至少有一個(gè)成立。取X1={ωj1},對(duì)k=2,…,R′,若{ωjk}={ωj1},則取Xk={ωjk},否則,Xk取{ωjk}C與Θ中的一個(gè),使得mk(Xk)≠0。這樣,X1∩X2∩…∩XR′≠,且m1(X1)m2(X2)…mR′(XR′)≠0。直接采用Dempster合成公式進(jìn)行合成,其計(jì)算復(fù)雜度隨M呈指數(shù)遞增,特別是分類器數(shù)目較大時(shí),巨大的計(jì)算量將阻礙多分類器融合技術(shù)的使用?？紤]到每個(gè)證據(jù)結(jié)構(gòu)的特殊性,mk最多可能有3個(gè)焦元:{ωjk}、{ωjk}C和Θ,結(jié)合Dempster合成公式滿足交換率和結(jié)合率,下面給出一種Dempster合成公式的快速方法,其計(jì)算復(fù)雜度為O(M)?？焖俜椒ㄓ蓛刹浇M成:第一步把具有相同識(shí)別結(jié)果的分類器分成一組,并進(jìn)行合成,得到一個(gè)新的證據(jù);第二步把各組合成得到的證據(jù)進(jìn)行合成,得到最終的合成結(jié)果。可以通過迭代的方式來合成這些證據(jù)對(duì)應(yīng)的基本概率分配函數(shù)mk1,mk2,…,mkp,得到一個(gè)合成的基本概率分配函數(shù)mEk,即(10-85)或，，…(10-86)例如：(10-87)(10-88)(10-89)(10-90)，(10-91)值得注意的是,m2和mk1,mk2,…,mkp一樣具有相同的焦元:、和Θ,因此,可以類似地計(jì)算對(duì)于r=3,…,p－1,p,迭代公式如下:。(10-92)(10-93)(10-94)(10-95)，(10-96)下一步就是合成R1個(gè)基本概率分配函數(shù)mEk,k=1,2,…,R1,得到最終合成的基本概率分配函數(shù)m,即(10-97)進(jìn)而利用m計(jì)算Bel({ωk})和Bel({ωk}C),k=1,2,…,M。當(dāng)R1=M時(shí),，恰好是{1,2,…,M}的一個(gè)置換。當(dāng)R1<M時(shí),構(gòu)造M－R1個(gè)簡(jiǎn)單證據(jù),相應(yīng)的基本概率分配函數(shù)為：，，()其中，即是{1,2,…,M}的一個(gè)置換。此時(shí),計(jì)算信任函數(shù)的快速算法:(10-98)(其他)(10-99)(其他)(10-100)(10-101)其中,k=1,2,…,M。上述算法的復(fù)雜度為O(M)。

3.判別決策最后,利用信任函數(shù)進(jìn)行決策。式(10-98)與式(10-99)中,是{1,2,…,M}的一個(gè)置換,因此,利用式(10-98)~式(10-101)可以得到Bel({ωk})和Bel({ωk}C),k=1,2,…,M。采用最大化信任函數(shù)進(jìn)行決策,決策規(guī)則為(10-102)進(jìn)一步,為了平衡誤識(shí)率和拒識(shí)率,引入閾值α,0<α≤1,式(10-102)修正為(10-103)式(10-102)或式(10-103)沒有考慮Bel({ωk}C),k=1,2,…,M。其實(shí),它們也包含對(duì)最終決策有用的信息。下面三個(gè)決策規(guī)則考慮了這些信息:(10-104)(10-105)(10-106)其中:0<α,α1,α2≤1;dk=Bel({ωk})－Bel({ωk}C),表示對(duì)命題{ωk}純支持程度,k=1,2,…,M。10.5基于神經(jīng)網(wǎng)絡(luò)的多分類器融合

基于神經(jīng)網(wǎng)絡(luò)的多分類器融合屬于度量層融合,利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和分類功能來融合多個(gè)分類器的輸出,單個(gè)分類器輸出可以為后驗(yàn)概率、隸屬度或距離。本節(jié)主要討論基于RBF神經(jīng)網(wǎng)絡(luò)的多分類器融合,其基本思想可以推廣到其他有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),例如BP網(wǎng)絡(luò)、SVM網(wǎng)絡(luò)等。

RBF(RadialBasisFunction)網(wǎng)絡(luò)是一個(gè)三層前饋網(wǎng)絡(luò),包含1個(gè)輸入層、1個(gè)隱含層和1個(gè)輸出層。在RBF網(wǎng)絡(luò)中,隱含層由徑向基函數(shù)組成,作為網(wǎng)絡(luò)與環(huán)境的接口,發(fā)揮著重要的作用。假設(shè)R個(gè)分類器e1,e2,…,eR對(duì)同一輸入樣本(模式)x進(jìn)行分類;在度量層融合,即單個(gè)分類器輸出為樣本x屬于相應(yīng)類的程度。對(duì)于輸入x,每個(gè)分類器ek產(chǎn)生一個(gè)度量向量Me(k)=(mk(1),mk(2),…,mk(M))T,其中,mk(i)表示分類器ek認(rèn)為x屬于類ωi的程度(k=1,2,…,R;i=1,2,…,M)。把R個(gè)度量向量Me(k)=(mk(1),mk(2),…,mk(M))T連接成為1個(gè)尺寸為R×M的度量特征向量,利用RBF網(wǎng)絡(luò)融合分類器e1,e2,…,eR:

(1)輸入層節(jié)點(diǎn)數(shù)為R×M,其輸入為度量特征向量;

(2)隱含層數(shù)一般為R×M;

(3)輸出層節(jié)點(diǎn)數(shù)為M,輸出為樣本所屬的類別標(biāo)識(shí),表示第i類ωi。類似于神經(jīng)網(wǎng)絡(luò)模式識(shí)別,基于神經(jīng)網(wǎng)絡(luò)的多分類器融合也分為訓(xùn)練和識(shí)別兩個(gè)階段:

(1)訓(xùn)練階段:先用各分類器對(duì)已知類別的訓(xùn)練樣本進(jìn)行分類,得到度量特征向量;以度量特征向量為輸入,樣本類別號(hào)標(biāo)識(shí)為輸出,訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器。

(2)識(shí)別階段:先用各分類器對(duì)未知類別的輸入樣本進(jìn)行分類,得到度量特征向量;再用神經(jīng)網(wǎng)絡(luò)分類器對(duì)度量特征向量進(jìn)行識(shí)別,輸出為樣本所屬的類別標(biāo)識(shí);選擇輸出值最大的位置對(duì)應(yīng)的類別作為識(shí)別結(jié)果。許多分類器能夠提供度量級(jí)信息,例如,Bayes分類器提供后驗(yàn)概率P(ωj|x),j=1,2,…,M;模糊分類器中的隸屬度;距離分類器提供輸入樣本x與每類的原型樣本之間距離,等等。后驗(yàn)概率和隸屬度可以直接用來形成度量向量,距離分類器輸出的距離需要轉(zhuǎn)換成隸屬度。具體做法如下:假設(shè)dij(i=1,2,…,R;j=1,2,…,N)為第i個(gè)分類器中測(cè)試樣本x與第j個(gè)訓(xùn)練樣本xj之間的距離,表示第i個(gè)分類器的平均距離,即(10-107)把dij轉(zhuǎn)換為第i個(gè)分類器中測(cè)試樣本x與第j個(gè)訓(xùn)練樣本xj之間的相似程度:(10-108)則第i個(gè)分類器中,測(cè)試樣本x屬于第

k個(gè)類的隸屬度為；()(10-109)其中:Ck為屬于第k類的訓(xùn)練樣本集合;Nk為Ck中訓(xùn)練樣本的個(gè)數(shù)。此時(shí),分類器ei產(chǎn)生一個(gè)度量向量Me(i)=(μi1,μi2,…,μiM)T。10.6基于模糊積分的多分類器融合10.6.1

gλ－模糊測(cè)度設(shè)(X,Ω)為一可測(cè)空間,Ω為X的子集組成的σ-代數(shù)。模糊測(cè)度和概率測(cè)度類似,但不一定滿足可加性。

定義10.5

Ω上的一個(gè)模糊測(cè)度g是從Ω到［0,1］的映射,滿足:

(1)邊界條件:

;

(2)單調(diào)性:，若,則g(B)≥g(A);

(3)連續(xù)性:若，則例如,式(10-59)和式(10-60)定義的信任函數(shù)Bel和似真函數(shù)Pl都是模糊測(cè)度。

定義10.6

一個(gè)模糊測(cè)度g稱為gλ－模糊測(cè)度,若λ>－1,，，，有(10-110)當(dāng)λ=0時(shí),gλ-

模糊測(cè)度是一個(gè)概率測(cè)度。假設(shè)X={x1,x2,…,xn}為一有限集合,令Ω=2X,表示X的所有子集組成的集合。映射:xi→gi=g({xi}),i=1,2,…,n,稱為模糊密度函數(shù)。對(duì)于集合A={xi1,xi2,…,xim}∈Ω,其gλ－模糊測(cè)度由下式給出:(10-111)其中,λ≠0。由g(X)=1可得λ滿足(10-112)對(duì)于給定的{gi}ni=1,0<gi<1,存在唯一的λ∈(－1,+∞),λ≠0,使得式(10-111)成立。10.6.2模糊積分

模糊積分是根據(jù)模糊測(cè)度來定義的,一般采用gλ-模糊測(cè)度(λ>－1,λ≠0)。

定義10.7

(X,Ω)為一可測(cè)空間,函數(shù)h:X→［0,1］為Ω可測(cè)函數(shù),函數(shù)h在集合上的關(guān)于模糊測(cè)度g的Sugeno模糊積分定義為(10-113)其中,Fα={x∈X|h(x)≥α}。假設(shè)X={x1,x2,…,xn}為一有限集合,Ω=2X,h(xi)按降序排列,即h(x1)≥h(x2)≥…≥h(xn),則函數(shù)h在集合X上的關(guān)于模糊測(cè)度g的Sugeno模糊積分可以由下式計(jì)算得到(10-114)其中,Ai={x1,x2,…,xi}。當(dāng)測(cè)度具有可加性時(shí),Sugeno模糊積分與Lebesgue積分不一致,于是Murofushi和Sugeno又提出了所謂的Choquet模糊積分。定義10.8

h在X集上關(guān)于測(cè)度g的Choquet模糊積分定義為(10-115)其中:Ai={x1,x2,…,xi};h(x1)≥h(x2)≥…≥h(xn);h(xn+1)=0。10.6.3模糊積分在信息融合中的應(yīng)用

設(shè)x為一個(gè)待分類模式,S={ω1,ω2,…,ωM}為類別的集合,X={x1,x2,…,xn}為n個(gè)信息源(分類器)的集合。

1.模糊密度函數(shù)的確定模糊密度函數(shù)gi=g({xi})(i=1,2,…,n)表示信源信息的重要程度或分類器xi的分類能力。gi可以由專家設(shè)定或通過訓(xùn)練集估計(jì)給出,例如,分類器xi的識(shí)別率。下面給出一種gi的取值方法。假設(shè)分類器xi的識(shí)別率為pi,wi∈［0,1］為主觀權(quán)值,其中,pi越大,wi越大。gi可以由下式計(jì)算給出:(i=1,2,…,n)(10-116)

2.模糊積分的計(jì)算定義置信度函數(shù)h(k):X→［0,1］,h(k)(xi)表示分類器xi提供輸入模式x屬于類ωk的置信度,即分類器xi認(rèn)為輸入模式x屬于類ωk的隸屬程度,k=1,2,…,M,i=1,2,…,n。

h(k)在X集上關(guān)于測(cè)度g的Sugeno模糊積分或Choquet模糊積分為(k=1,2,…,M)(10-117)或(k=1,2,…,M)(10-118)其中，g(Ai)是根據(jù)模糊密度{gi}ni=1計(jì)算得到的gλ-模糊測(cè)度,可以由如下的迭代公式得到:(10-119)(i=2,3,…,n)(10-120)一方面,h(k)(xi)表示分類器xi提供輸入模式x屬于類ωk的置信度,現(xiàn)假定用中分類器來評(píng)價(jià)輸入模式x,那么,最安全(保守)的決策中,模式x屬于類ωk的置信度可以表示為(10-121)另一方面,gi=g({xi})表示分類器xi的重要