模式識(shí)別理論及其應(yīng)用論述課件

模式識(shí)別理論及其應(yīng)用簡(jiǎn)介

PatternRecognitionanditsApplication模式識(shí)別理論及其應(yīng)用簡(jiǎn)介PatternRecogni模式識(shí)別計(jì)算過(guò)程示意圖模式識(shí)別計(jì)算過(guò)程示意圖有監(jiān)督模式識(shí)別（判別分析）如果樣本的類(lèi)別數(shù)是已知的，先用一組已知類(lèi)別的化合物作為訓(xùn)練集，建立判別模型，再用建立的模型根據(jù)相似性原則來(lái)對(duì)未知樣本進(jìn)行識(shí)別，稱(chēng)為判別分析。判別分析是在事先知道類(lèi)別特征的情況下建立判別模型對(duì)樣本進(jìn)行識(shí)別歸屬，是一種有監(jiān)督模式識(shí)別。有監(jiān)督模式識(shí)別（判別分析）如果樣本的類(lèi)別數(shù)是已知的，先用一組無(wú)監(jiān)督模式識(shí)別（聚類(lèi)分析）如果預(yù)先不知道樣本的類(lèi)別，要在學(xué)習(xí)過(guò)程中根據(jù)樣本的相似性對(duì)被識(shí)別的樣品進(jìn)行識(shí)別分類(lèi)和歸類(lèi)，稱(chēng)為聚類(lèi)分析。聚類(lèi)分析是完全依靠樣本自然特性進(jìn)行識(shí)別的方法，是一種無(wú)監(jiān)督模式識(shí)別。

無(wú)監(jiān)督模式識(shí)別（聚類(lèi)分析）如果預(yù)先不知道樣本的類(lèi)別，要在學(xué)習(xí)常用術(shù)語(yǔ)特征抽提（FeatureExtraction）訓(xùn)練集（TrainingSet）預(yù)報(bào)集（PredictionSet）識(shí)別率（RecognitionRate）預(yù)報(bào)能力（PredictiveAbility）

留一法（LeavingOneMethod）常用術(shù)語(yǔ)特征抽提（FeatureExtraction）注意事項(xiàng)①

訓(xùn)練集的數(shù)據(jù)一定要可靠。②

訓(xùn)練集的樣本數(shù)目要足夠多，樣本數(shù)m與模式空間維數(shù)n的比值至少應(yīng)滿足m/n≥3，最好m/n≥10。③

模式空間特征的選擇是成敗的關(guān)鍵，要選取與樣本分類(lèi)有關(guān)的特征，如果不能包括與分類(lèi)有關(guān)的主要特征，模式識(shí)別就不會(huì)有好的效果。注意事項(xiàng)①

訓(xùn)練集的數(shù)據(jù)一定要可靠。模式識(shí)別的數(shù)據(jù)預(yù)處理

模式識(shí)別的數(shù)據(jù)預(yù)處理模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件特征抽提特征抽提模式識(shí)別理論及其應(yīng)用論述課件模式間相似度的度量模式間相似度的度量馬氏距離（MahalanobisDistance）

設(shè)Xi,是從均值為，協(xié)方差陣為Z的總體G中的樣本，則它們的馬氏距離為而Xi與總體G的距離為它與均值的距離馬氏距離（MahalanobisDistance）設(shè)Xi馬氏距離（MahalanobisDistance）

其中Xi為樣本i所有變量構(gòu)成的p×1維向量，Z為關(guān)于p個(gè)變量的協(xié)方差陣（p×p維）。當(dāng)采用主成分得分向量Ti替代Xi時(shí)，由于主成分向量正交，Z成為由其方差（特征值）構(gòu)成的對(duì)角陣，此時(shí)馬氏距離為：馬氏距離（MahalanobisDistance）其中X模式識(shí)別理論及其應(yīng)用論述課件K-NearestNeighborsDiscriminationMethodKNN法的基本假設(shè)：“同類(lèi)樣本在模式空間中相互較靠近”。K-NearestNeighborsDiscriminaK最近鄰法考查未知樣本點(diǎn)的K個(gè)近鄰（K為單數(shù)整數(shù)），若近鄰某一類(lèi)樣本最多，則可將未知樣本判為該類(lèi)。

為了進(jìn)行定量判別，可先找出待分類(lèi)樣本的最近鄰，并事先約定最近鄰區(qū)域中的訓(xùn)練集樣本數(shù)。如果只取一個(gè)最近鄰樣本點(diǎn)，即樣本數(shù)為１，則稱(chēng)1NN法；如果?。矀€(gè)最近鄰樣本點(diǎn)，即樣本數(shù)為2，則稱(chēng)2NN法；如果樣本數(shù)為K，則稱(chēng)K近鄰法，簡(jiǎn)稱(chēng)KNN法。K最近鄰法考查未知樣本點(diǎn)的K個(gè)近鄰（K為單數(shù)整數(shù)），若近鄰某KNN算法計(jì)算未知樣本點(diǎn)和所有訓(xùn)練集樣本點(diǎn)之間的距離。從最小距離開(kāi)始計(jì)樣本數(shù)，一直計(jì)到有K個(gè)樣本數(shù)為止，此時(shí)所對(duì)應(yīng)的距離就為最近鄰的最小距離。如果在這個(gè)最小距離中，距某一類(lèi)訓(xùn)練集中的樣本數(shù)多，距離又小，則可將待分類(lèi)樣本劃到該類(lèi)中。優(yōu)點(diǎn)：對(duì)數(shù)據(jù)結(jié)構(gòu)無(wú)特殊要求，簡(jiǎn)單易行，不需要訓(xùn)練過(guò)程。缺點(diǎn)：未對(duì)訓(xùn)練點(diǎn)進(jìn)行信息壓縮，每判斷一個(gè)點(diǎn)都要將其對(duì)所有已知點(diǎn)的距離計(jì)算一遍,工作量較大。

KNN算法計(jì)算未知樣本點(diǎn)和所有訓(xùn)練集樣本點(diǎn)之間的距離。簡(jiǎn)化的KNN法—類(lèi)重心法將訓(xùn)練集中每類(lèi)樣本點(diǎn)的重心求出，然后判別未知樣本點(diǎn)與各類(lèi)重心的距離。未知樣本點(diǎn)距哪一類(lèi)重心距離最近，即未知樣本屬于哪一類(lèi)。例：有兩種地層，用7種指標(biāo)的分析數(shù)據(jù)判別，先從已經(jīng)準(zhǔn)確判斷的地層中各取9個(gè)樣本，測(cè)得的數(shù)據(jù)如下表：

簡(jiǎn)化的KNN法—類(lèi)重心法將訓(xùn)練集中每類(lèi)樣本點(diǎn)的重心求出，然后模式識(shí)別理論及其應(yīng)用論述課件將上表數(shù)據(jù)進(jìn)行歸一化處理后計(jì)算兩類(lèi)的重心得：C1=[-0.0103,0.0402,-0.0246,0.0166,0.0313,-0.0246,-0.0174]′C2=[0.0103,-0.0402,0.0246,-0.0166,-0.0313,0.0246,0.0174]′地層I、II的每一個(gè)矢量與C1和C2的距離分別如表a和表b所示：

將上表數(shù)據(jù)進(jìn)行歸一化處理后計(jì)算兩模式識(shí)別理論及其應(yīng)用論述課件線性學(xué)習(xí)機(jī)法

Linearlearningmachine—LLM

作為模式識(shí)別中決策分類(lèi)的一種方法，該法希望通過(guò)某種方法，在模式空間中到找到一個(gè)判決面（此面叫做分類(lèi)器），使不同類(lèi)的模式點(diǎn)分別位于判別面的兩側(cè)。未知模式的分類(lèi)可根據(jù)它位于判別面的哪一側(cè)來(lái)定。若判別面是一個(gè)線性超平面，就叫線性分類(lèi)器。

線性學(xué)習(xí)機(jī)法

Linearlearningmachine模式識(shí)別理論及其應(yīng)用論述課件例：現(xiàn)有甲狀腺病人（記為類(lèi)1）和正常人（記為類(lèi)2）各10例，分別測(cè)試5項(xiàng)功能指標(biāo)，測(cè)試結(jié)果見(jiàn)表a和表b所示。以每一類(lèi)的前8個(gè)

樣本作為訓(xùn)練集（表a），后2個(gè)作為測(cè)試集（表b）。用LLM法對(duì)其進(jìn)行判別。

例：現(xiàn)有甲狀腺病人（記為類(lèi)1）和正常人（記為類(lèi)2）各10例，模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件基于主成分對(duì)近紅外光譜進(jìn)行discriminationanalysis的方法原理對(duì)建模樣品的近紅外光譜進(jìn)行主成分分析，將原來(lái)上千個(gè)波長(zhǎng)點(diǎn)下的近紅外吸光值壓縮為m個(gè)主成分得分來(lái)表示；計(jì)算每一類(lèi)樣品在主成分坐標(biāo)系（即載荷軸、特征向量，又叫主成分光譜）下的類(lèi)重心坐標(biāo)；求每個(gè)樣品到每一類(lèi)重心的馬氏距離，距哪一類(lèi)馬氏距離最小，該樣品就歸哪一類(lèi)?；谥鞒煞謱?duì)近紅外光譜進(jìn)行discriminationan無(wú)監(jiān)督模式識(shí)別法

不需要訓(xùn)練集，對(duì)所研究的模式進(jìn)行適當(dāng)分類(lèi)的問(wèn)題則需要用無(wú)監(jiān)督模式識(shí)別方法，這類(lèi)模式識(shí)別方法又叫聚類(lèi)分析法(clusteringanalysismethod)。無(wú)監(jiān)督模式識(shí)別法不需要訓(xùn)練集，對(duì)所研究的模式進(jìn)行適當(dāng)分類(lèi)的常用聚類(lèi)分析方法有：分級(jí)聚類(lèi)分析法—Hierarchicalclusteringmethods最小（大）生成樹(shù)法—Minimun（Max）SpanningTreeMethodK均值聚類(lèi)法—K-meansClusteringMethod模糊聚類(lèi)法—FuzzyclusteringmethodPCA投影分類(lèi)法等等常用聚類(lèi)分析方法有：1

基于PCA的聚類(lèi)分析法因?yàn)閄=USVt

即XV=US亦即XV=[v1,v2,...,vA]

==US可見(jiàn)矩陣US=T(亦稱(chēng)非標(biāo)準(zhǔn)化的得分矩陣)的每一個(gè)元素實(shí)際是每一個(gè)樣本向量xit(i=1,2,...,n)對(duì)荷載矩陣V中的每一相互正交的荷載矢量上的投影坐標(biāo)（內(nèi)積本質(zhì)上就是投影），它反映了樣本與樣本之間的相互關(guān)系;同理可得，載荷矩陣的每一個(gè)元素實(shí)際是每一個(gè)變量向量xj(j=1,2,...,d)對(duì)得分矩陣中的每一相互正交的得分矢量上的投影坐標(biāo)，它反映了變量與變量之間的相互關(guān)系。

1

基于PCA的聚類(lèi)分析法因?yàn)閄=USVt 即XV=主成分分析的數(shù)學(xué)

與幾何意義示意圖主成分分析的數(shù)學(xué)

與幾何意義示意圖Projectiondiscriminationbasedon

principalcomponentanalysisProjectiondiscriminationbase2

基于相似統(tǒng)計(jì)量的分類(lèi)方法（1）一次計(jì)算形成法

該法根據(jù)相似矩陣直接按相似性的大小連接成圖。首先選出最相似的一對(duì)樣本，連接成組，并隨時(shí)把有關(guān)連接順序、被連接的樣品號(hào)和相似性水平記入連接順序表中，連接完一對(duì)樣本后，再選擇相似性大的一對(duì)，如此依次進(jìn)行，直到把所有點(diǎn)都聚合為一群并得到一個(gè)連接順序表，根據(jù)該表作出分類(lèi)譜系圖。

2

基于相似統(tǒng)計(jì)量的分類(lèi)方法（1）一次計(jì)算形成法i)若選出的一對(duì)樣本在已形成的組中均未出現(xiàn)過(guò)，則將它們形成一個(gè)獨(dú)立的新組。ii)若選出的一對(duì)樣本中有一個(gè)在已經(jīng)分好的組中出現(xiàn)過(guò)，則把另一個(gè)樣品加入該組中。iii)

若選出的兩對(duì)樣品都分別出現(xiàn)在兩個(gè)組中，則把這兩個(gè)組合并為一個(gè)組。iv)若選出的一對(duì)樣品都在同一組中則不需再分組。i)若選出的一對(duì)樣本在已形成的組中均未出現(xiàn)過(guò)，則將它們形成模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件

某銅鎳礦床樣品的聚類(lèi)分析譜系圖模式識(shí)別理論及其應(yīng)用論述課件

（2）最大生成樹(shù)法

LargestSpanningTreeMethod

（2）最大生成樹(shù)法

LargestSpanningTr上圖點(diǎn)與點(diǎn)之間的數(shù)據(jù)叫作路徑強(qiáng)度，表示兩樣本點(diǎn)間的相似程度。如果一個(gè)路徑的起點(diǎn)與終點(diǎn)重合，稱(chēng)這條路徑構(gòu)成一個(gè)回路，對(duì)于圖中砍去某些邊得到的樹(shù)叫生成樹(shù)。若某生成樹(shù)所有路徑的強(qiáng)度都大于或等于其它生成樹(shù)的路徑強(qiáng)度，則稱(chēng)此生成樹(shù)為最大生成樹(shù)。只要找到相似關(guān)圖的最大生成樹(shù)，就可以根據(jù)最大生成樹(shù)進(jìn)行模糊聚類(lèi)分析，其分類(lèi)準(zhǔn)則是：對(duì)于規(guī)定的閾值水平，路徑強(qiáng)度大于的頂點(diǎn)可歸為一類(lèi)。上圖點(diǎn)與點(diǎn)之間的數(shù)據(jù)叫作路徑強(qiáng)度，表示兩樣本點(diǎn)間的相似程度。根據(jù)最大生成樹(shù)進(jìn)行聚類(lèi)分析的方法如下：（1）先連接路徑強(qiáng)度最大的兩點(diǎn)，然后連接路徑強(qiáng)度次大的兩點(diǎn)；（2）繼續(xù)連接所剩下點(diǎn)的最大路徑強(qiáng)度的兩點(diǎn)，直到所有的點(diǎn)都被連接；（3）對(duì)連接所得到的樹(shù)進(jìn)行檢查，找到最小路徑的邊，將其割斷就得到兩類(lèi)，如此繼續(xù)分割，直至類(lèi)數(shù)已達(dá)到所要分的類(lèi)數(shù)。根據(jù)最大生成樹(shù)進(jìn)行聚類(lèi)分析的方法如下：

模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別在分析化學(xué)中的應(yīng)用譜圖解析

理想的譜圖解析方法是徹底弄清各種譜圖產(chǎn)生的機(jī)理，從理論上完成從實(shí)測(cè)譜圖到化學(xué)成分、分子結(jié)構(gòu)、化學(xué)鍵等化學(xué)信息的變換。但實(shí)際上很難完全做到這點(diǎn)。譜圖數(shù)據(jù)的急劇增加使得單憑少數(shù)有經(jīng)驗(yàn)的專(zhuān)家來(lái)做譜圖解析已不能滿足需要。模式識(shí)別在分析化學(xué)中的應(yīng)用譜圖解析計(jì)算機(jī)圖譜解析技術(shù)：（1）數(shù)據(jù)庫(kù)圖譜顯示方法—將大量已知化合物的圖譜存入數(shù)據(jù)庫(kù)，通過(guò)檢索的方祛來(lái)識(shí)別譜圖。（2）模式識(shí)別法—利用已知譜圖作訓(xùn)練集，對(duì)未知物的譜圖作分類(lèi)、鑒別以至結(jié)構(gòu)測(cè)定等等(例如近紅外儀軟件中的定性分析軟件）。

計(jì)算機(jī)圖譜解析技術(shù)：模式識(shí)別方法有某種“舉一反三”的功能，能從大量已知化合物圖譜抽提具有較普遍意義的規(guī)律，用來(lái)對(duì)未知化合物的譜圖分類(lèi)。這使得模式識(shí)別方法在譜圖解析、分析化學(xué)、結(jié)構(gòu)確定等方面有重要的實(shí)際意義。迄今為止，質(zhì)譜、原子光譜、紅外光譜、核磁共振譜、γ射線譜、色譜、極譜等的譜圖識(shí)別都已用了模式識(shí)別方法，不同程度地收到效果。這方面的研究工作是現(xiàn)代分析化學(xué)的前沿課題之一。模式識(shí)別方法有某種“舉一反三”的功能，（3）模式識(shí)別在核磁共振譜解析中的應(yīng)用

用1H-NMR譜按2.5Hz區(qū)段（總頻率范圍0~500Hz）取200個(gè)模式向量的分量用于識(shí)別分子結(jié)構(gòu)。用模擬的NMR譜演示線性分類(lèi)法識(shí)別乙基、正丙基和異丙基等基團(tuán)。但用99個(gè)NMR譜作線性判別函數(shù)分類(lèi)時(shí)，因線性可分，預(yù)報(bào)能力僅45%。改用K最近鄰法則分類(lèi)結(jié)果大有改進(jìn)，預(yù)報(bào)能力達(dá)93%。

（3）模式識(shí)別在核磁共振譜解析中的應(yīng)用用1H-NMR譜按2模式識(shí)別理論及其應(yīng)用簡(jiǎn)介

PatternRecognitionanditsApplication模式識(shí)別理論及其應(yīng)用簡(jiǎn)介PatternRecogni模式識(shí)別計(jì)算過(guò)程示意圖模式識(shí)別計(jì)算過(guò)程示意圖有監(jiān)督模式識(shí)別（判別分析）如果樣本的類(lèi)別數(shù)是已知的，先用一組已知類(lèi)別的化合物作為訓(xùn)練集，建立判別模型，再用建立的模型根據(jù)相似性原則來(lái)對(duì)未知樣本進(jìn)行識(shí)別，稱(chēng)為判別分析。判別分析是在事先知道類(lèi)別特征的情況下建立判別模型對(duì)樣本進(jìn)行識(shí)別歸屬，是一種有監(jiān)督模式識(shí)別。有監(jiān)督模式識(shí)別（判別分析）如果樣本的類(lèi)別數(shù)是已知的，先用一組無(wú)監(jiān)督模式識(shí)別（聚類(lèi)分析）如果預(yù)先不知道樣本的類(lèi)別，要在學(xué)習(xí)過(guò)程中根據(jù)樣本的相似性對(duì)被識(shí)別的樣品進(jìn)行識(shí)別分類(lèi)和歸類(lèi)，稱(chēng)為聚類(lèi)分析。聚類(lèi)分析是完全依靠樣本自然特性進(jìn)行識(shí)別的方法，是一種無(wú)監(jiān)督模式識(shí)別。

無(wú)監(jiān)督模式識(shí)別（聚類(lèi)分析）如果預(yù)先不知道樣本的類(lèi)別，要在學(xué)習(xí)常用術(shù)語(yǔ)特征抽提（FeatureExtraction）訓(xùn)練集（TrainingSet）預(yù)報(bào)集（PredictionSet）識(shí)別率（RecognitionRate）預(yù)報(bào)能力（PredictiveAbility）

留一法（LeavingOneMethod）常用術(shù)語(yǔ)特征抽提（FeatureExtraction）注意事項(xiàng)①

訓(xùn)練集的數(shù)據(jù)一定要可靠。②

訓(xùn)練集的樣本數(shù)目要足夠多，樣本數(shù)m與模式空間維數(shù)n的比值至少應(yīng)滿足m/n≥3，最好m/n≥10。③

模式空間特征的選擇是成敗的關(guān)鍵，要選取與樣本分類(lèi)有關(guān)的特征，如果不能包括與分類(lèi)有關(guān)的主要特征，模式識(shí)別就不會(huì)有好的效果。注意事項(xiàng)①

訓(xùn)練集的數(shù)據(jù)一定要可靠。模式識(shí)別的數(shù)據(jù)預(yù)處理

模式識(shí)別的數(shù)據(jù)預(yù)處理模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件特征抽提特征抽提模式識(shí)別理論及其應(yīng)用論述課件模式間相似度的度量模式間相似度的度量馬氏距離（MahalanobisDistance）

設(shè)Xi,是從均值為，協(xié)方差陣為Z的總體G中的樣本，則它們的馬氏距離為而Xi與總體G的距離為它與均值的距離馬氏距離（MahalanobisDistance）設(shè)Xi馬氏距離（MahalanobisDistance）

其中Xi為樣本i所有變量構(gòu)成的p×1維向量，Z為關(guān)于p個(gè)變量的協(xié)方差陣（p×p維）。當(dāng)采用主成分得分向量Ti替代Xi時(shí)，由于主成分向量正交，Z成為由其方差（特征值）構(gòu)成的對(duì)角陣，此時(shí)馬氏距離為：馬氏距離（MahalanobisDistance）其中X模式識(shí)別理論及其應(yīng)用論述課件K-NearestNeighborsDiscriminationMethodKNN法的基本假設(shè)：“同類(lèi)樣本在模式空間中相互較靠近”。K-NearestNeighborsDiscriminaK最近鄰法考查未知樣本點(diǎn)的K個(gè)近鄰（K為單數(shù)整數(shù)），若近鄰某一類(lèi)樣本最多，則可將未知樣本判為該類(lèi)。

為了進(jìn)行定量判別，可先找出待分類(lèi)樣本的最近鄰，并事先約定最近鄰區(qū)域中的訓(xùn)練集樣本數(shù)。如果只取一個(gè)最近鄰樣本點(diǎn)，即樣本數(shù)為１，則稱(chēng)1NN法；如果?。矀€(gè)最近鄰樣本點(diǎn)，即樣本數(shù)為2，則稱(chēng)2NN法；如果樣本數(shù)為K，則稱(chēng)K近鄰法，簡(jiǎn)稱(chēng)KNN法。K最近鄰法考查未知樣本點(diǎn)的K個(gè)近鄰（K為單數(shù)整數(shù)），若近鄰某KNN算法計(jì)算未知樣本點(diǎn)和所有訓(xùn)練集樣本點(diǎn)之間的距離。從最小距離開(kāi)始計(jì)樣本數(shù)，一直計(jì)到有K個(gè)樣本數(shù)為止，此時(shí)所對(duì)應(yīng)的距離就為最近鄰的最小距離。如果在這個(gè)最小距離中，距某一類(lèi)訓(xùn)練集中的樣本數(shù)多，距離又小，則可將待分類(lèi)樣本劃到該類(lèi)中。優(yōu)點(diǎn)：對(duì)數(shù)據(jù)結(jié)構(gòu)無(wú)特殊要求，簡(jiǎn)單易行，不需要訓(xùn)練過(guò)程。缺點(diǎn)：未對(duì)訓(xùn)練點(diǎn)進(jìn)行信息壓縮，每判斷一個(gè)點(diǎn)都要將其對(duì)所有已知點(diǎn)的距離計(jì)算一遍,工作量較大。

KNN算法計(jì)算未知樣本點(diǎn)和所有訓(xùn)練集樣本點(diǎn)之間的距離。簡(jiǎn)化的KNN法—類(lèi)重心法將訓(xùn)練集中每類(lèi)樣本點(diǎn)的重心求出，然后判別未知樣本點(diǎn)與各類(lèi)重心的距離。未知樣本點(diǎn)距哪一類(lèi)重心距離最近，即未知樣本屬于哪一類(lèi)。例：有兩種地層，用7種指標(biāo)的分析數(shù)據(jù)判別，先從已經(jīng)準(zhǔn)確判斷的地層中各取9個(gè)樣本，測(cè)得的數(shù)據(jù)如下表：

簡(jiǎn)化的KNN法—類(lèi)重心法將訓(xùn)練集中每類(lèi)樣本點(diǎn)的重心求出，然后模式識(shí)別理論及其應(yīng)用論述課件將上表數(shù)據(jù)進(jìn)行歸一化處理后計(jì)算兩類(lèi)的重心得：C1=[-0.0103,0.0402,-0.0246,0.0166,0.0313,-0.0246,-0.0174]′C2=[0.0103,-0.0402,0.0246,-0.0166,-0.0313,0.0246,0.0174]′地層I、II的每一個(gè)矢量與C1和C2的距離分別如表a和表b所示：

將上表數(shù)據(jù)進(jìn)行歸一化處理后計(jì)算兩模式識(shí)別理論及其應(yīng)用論述課件線性學(xué)習(xí)機(jī)法

Linearlearningmachine—LLM

作為模式識(shí)別中決策分類(lèi)的一種方法，該法希望通過(guò)某種方法，在模式空間中到找到一個(gè)判決面（此面叫做分類(lèi)器），使不同類(lèi)的模式點(diǎn)分別位于判別面的兩側(cè)。未知模式的分類(lèi)可根據(jù)它位于判別面的哪一側(cè)來(lái)定。若判別面是一個(gè)線性超平面，就叫線性分類(lèi)器。

線性學(xué)習(xí)機(jī)法

Linearlearningmachine模式識(shí)別理論及其應(yīng)用論述課件例：現(xiàn)有甲狀腺病人（記為類(lèi)1）和正常人（記為類(lèi)2）各10例，分別測(cè)試5項(xiàng)功能指標(biāo)，測(cè)試結(jié)果見(jiàn)表a和表b所示。以每一類(lèi)的前8個(gè)

樣本作為訓(xùn)練集（表a），后2個(gè)作為測(cè)試集（表b）。用LLM法對(duì)其進(jìn)行判別。

例：現(xiàn)有甲狀腺病人（記為類(lèi)1）和正常人（記為類(lèi)2）各10例，模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件基于主成分對(duì)近紅外光譜進(jìn)行discriminationanalysis的方法原理對(duì)建模樣品的近紅外光譜進(jìn)行主成分分析，將原來(lái)上千個(gè)波長(zhǎng)點(diǎn)下的近紅外吸光值壓縮為m個(gè)主成分得分來(lái)表示；計(jì)算每一類(lèi)樣品在主成分坐標(biāo)系（即載荷軸、特征向量，又叫主成分光譜）下的類(lèi)重心坐標(biāo)；求每個(gè)樣品到每一類(lèi)重心的馬氏距離，距哪一類(lèi)馬氏距離最小，該樣品就歸哪一類(lèi)?；谥鞒煞謱?duì)近紅外光譜進(jìn)行discriminationan無(wú)監(jiān)督模式識(shí)別法

不需要訓(xùn)練集，對(duì)所研究的模式進(jìn)行適當(dāng)分類(lèi)的問(wèn)題則需要用無(wú)監(jiān)督模式識(shí)別方法，這類(lèi)模式識(shí)別方法又叫聚類(lèi)分析法(clusteringanalysismethod)。無(wú)監(jiān)督模式識(shí)別法不需要訓(xùn)練集，對(duì)所研究的模式進(jìn)行適當(dāng)分類(lèi)的常用聚類(lèi)分析方法有：分級(jí)聚類(lèi)分析法—Hierarchicalclusteringmethods最?。ù螅┥蓸?shù)法—Minimun（Max）SpanningTreeMethodK均值聚類(lèi)法—K-meansClusteringMethod模糊聚類(lèi)法—FuzzyclusteringmethodPCA投影分類(lèi)法等等常用聚類(lèi)分析方法有：1

基于PCA的聚類(lèi)分析法因?yàn)閄=USVt

即XV=US亦即XV=[v1,v2,...,vA]

==US可見(jiàn)矩陣US=T(亦稱(chēng)非標(biāo)準(zhǔn)化的得分矩陣)的每一個(gè)元素實(shí)際是每一個(gè)樣本向量xit(i=1,2,...,n)對(duì)荷載矩陣V中的每一相互正交的荷載矢量上的投影坐標(biāo)（內(nèi)積本質(zhì)上就是投影），它反映了樣本與樣本之間的相互關(guān)系;同理可得，載荷矩陣的每一個(gè)元素實(shí)際是每一個(gè)變量向量xj(j=1,2,...,d)對(duì)得分矩陣中的每一相互正交的得分矢量上的投影坐標(biāo)，它反映了變量與變量之間的相互關(guān)系。

1

基于PCA的聚類(lèi)分析法因?yàn)閄=USVt 即XV=主成分分析的數(shù)學(xué)

與幾何意義示意圖主成分分析的數(shù)學(xué)

與幾何意義示意圖Projectiondiscriminationbasedon

principalcomponentanalysisProjectiondiscriminationbase2

基于相似統(tǒng)計(jì)量的分類(lèi)方法（1）一次計(jì)算形成法

該法根據(jù)相似矩陣直接按相似性的大小連接成圖。首先選出最相似的一對(duì)樣本，連接成組，并隨時(shí)把有關(guān)連接順序、被連接的樣品號(hào)和相似性水平記入連接順序表中，連接完一對(duì)樣本后，再選擇相似性大的一對(duì)，如此依次進(jìn)行，直到把所有點(diǎn)都聚合為一群并得到一個(gè)連接順序表，根據(jù)該表作出分類(lèi)譜系圖。

2

基于相似統(tǒng)計(jì)量的分類(lèi)方法（1）一次計(jì)算形成法i)若選出的一對(duì)樣本在已形成的組中均未出現(xiàn)過(guò)，則將它們形成一個(gè)獨(dú)立的新組。ii)若選出的一對(duì)樣本中有一個(gè)在已經(jīng)分好的組中出現(xiàn)過(guò)，則把另一個(gè)樣品加入該組中。iii)

若選出的兩對(duì)樣品都分別出現(xiàn)在兩個(gè)組中，則把這兩個(gè)組合并為一個(gè)組。iv)若選出的一對(duì)樣品都在同一組中則不需再分組。i)若選出的一對(duì)樣本在已形成的組中均未出現(xiàn)過(guò)，則將它們形成模式識(shí)別理論及其應(yīng)用論述課件模式識(shí)別理論及其應(yīng)用論述課件

某銅鎳礦床樣品的聚類(lèi)分析譜系圖模式識(shí)別理論及其應(yīng)用論述課件

（2）最大生成樹(shù)法

LargestSpanningTreeMethod

（2）最大生成樹(shù)法

LargestSpanningTr上圖點(diǎn)與點(diǎn)之間的數(shù)據(jù)叫作路徑強(qiáng)度，表示兩樣本點(diǎn)間的相似程度。如果一個(gè)路徑的起點(diǎn)與終點(diǎn)重合，稱(chēng)這條路徑構(gòu)成一個(gè)回路，對(duì)于圖中砍去某些邊得到的樹(shù)叫生成樹(shù)。若某生成樹(shù)所有路徑的強(qiáng)度都大于或等于其它生成樹(shù)的路徑強(qiáng)度，則稱(chēng)此生成樹(shù)為最大生成樹(shù)。只要找到相似關(guān)圖的最大生成樹(shù)，就可以根據(jù)最大生成樹(shù)進(jìn)行模糊聚類(lèi)分析，其分類(lèi)準(zhǔn)則是：對(duì)于規(guī)定的閾值水平，路徑強(qiáng)度大于的頂點(diǎn)可歸為一類(lèi)。上圖點(diǎn)與點(diǎn)之間的數(shù)據(jù)叫作路徑強(qiáng)度，表示兩樣本點(diǎn)間的