模式識別名詞解釋

1、1 樣本： 對任一個具體的事物，在這門課中都稱為一個樣本，它是一類事物的一個具體體現(xiàn)，它與模式這個概念聯(lián)用， 則模式表示一類事物的統(tǒng)稱，而樣本則是該類事物的一個具體體現(xiàn)。pattern體A 與手寫體A 屬同一模式。 B 與 A 則屬于不同模式，而每一個具體 的字母 A 、B 則是它的模式的具體體現(xiàn)，稱之為樣本。因此模式與樣本共同使用時，樣本是具體的事物，而模式是對同 一類事物概念性的概況。一個人的許多照片是這個人的許多樣本，而這個人本身是一個模式。3 模式類： 這個詞與模式聯(lián)合使用，此時模式表示具體的事物，而模式類則是對這一類事物的概念性描述。4 模式識別： 人們在見到一個具體的物品時會分辨出

2、它的類名，如方桌與圓桌都會歸結(jié)為是桌子。這是人們所具有的認(rèn) 識事物的功能，在這門課中就稱為是模式識別。具體的說是從具體事物辨別出它的概念。這門課討論的是讓機(jī)器實(shí)現(xiàn)事 物的分類，因此由機(jī)器實(shí)現(xiàn)模式識別。這門課就是討論機(jī)器認(rèn)識事物的基本概念、基本方法。5 分類器： 用來識別具體事物的類別的系統(tǒng)稱為分類器6 模式識別系統(tǒng)： 用來實(shí)現(xiàn)對所見事物(樣本)確定其類別的系統(tǒng)，也稱為分類器。、重量等，可用具體的數(shù)量表示，但也可用粗略的方法表示，如一個物體可重” 、“輕” 、“中等”表示，前種方法為定量 表示，而后種方法則是定性表示。重與輕變成了一種離散的，或稱符號性的表示，它們在數(shù)值上有內(nèi)在的聯(lián)系。在本門 課

3、中一般偏重定量的表示。8 特征向量： 對一個具體事物(樣本)往往可用其多個屬性來描述，因此，描述該事物用了多個特征，將這些特征有序 地排列起來， 如一個桌子用長、寬、高三種屬性的度量值有序地排列起來，就成為一個向量。這種向量就稱為特征向量。 每個屬性稱為它的一個分量，或一個元素。9 維數(shù)： 一個向量具有的分量數(shù)目，如向量 ，則該向量的維數(shù)是3。 。11 行向量： 將一個向量的分量排列成一行表示，如12 轉(zhuǎn)置： 將一個列向量寫成行向量的形式的方法就是轉(zhuǎn)置。如定義X 為列向量，則XT 就是該向量的行向量表示。轉(zhuǎn) 置的概念與矩陣中轉(zhuǎn)置的概念一樣。，寬度在0.6 到 1.5 米范圍內(nèi)變化。長度是1米到

4、 3 米范圍內(nèi)變化，則由這三個范圍限定的一個三維空間就是桌子的特征空間。歸 納起來說所討論問題的特征向量可能取值范圍的全體就是特征空間。14 分類決策： 根據(jù)一個事物(樣本)的屬性確定其類別，稱為分類決策。1.8 米就是具體的分類決策方法。16 學(xué)習(xí)： 讓一個機(jī)器有分類決策能力，就需要找到具體的分類決策方法，確定分類決策方法的過程統(tǒng)稱為學(xué)習(xí)，就像 人認(rèn)識事物的本領(lǐng)的獲取與提高都是通過學(xué)習(xí)得到的。在本門課中將學(xué)習(xí)分成有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)兩種不同的方 18 訓(xùn)練(樣本)集： 在訓(xùn)練過程中使用的樣本集，該樣本集中的每個樣本的類別已知。例如訓(xùn)練一個將男女進(jìn)行分類 的系統(tǒng)的訓(xùn)練集,應(yīng)包含一個男生集及一

5、個女生集，這兩個集中每個成員的性別是已知的。19 有監(jiān)督學(xué)習(xí)方法： 從不同類的訓(xùn)練集數(shù)據(jù)中體現(xiàn)出的規(guī)律性進(jìn)行分析，從而確定分類決策方法，這種學(xué)習(xí)方法是在 訓(xùn)練集指導(dǎo)下進(jìn)行的，就像有教師來指導(dǎo)學(xué)習(xí)一樣，稱為有監(jiān)督學(xué)習(xí)方法。與之相對的是無監(jiān)督學(xué)習(xí)方法。 分析數(shù)據(jù)集體現(xiàn)的規(guī)律性，并用某種數(shù)學(xué)形式表示(數(shù)據(jù)似合；) 分析數(shù)據(jù)集中各種分量(描述量，特征)之間的相關(guān) 性(數(shù)據(jù)挖掘，知識獲取)等，這種學(xué)習(xí)沒有訓(xùn)練樣本集作指導(dǎo)，這是與有監(jiān)督學(xué)習(xí)方法的不同點(diǎn)。約 :2，則在這類學(xué)校一個學(xué) 生是男生的先驗(yàn)概率為0.8，而為女生的概率是0.2，這兩類概率是互相制約的，因?yàn)檫@兩個概率之和應(yīng)滿足總和為1 的 22 類分

6、布概率密度函數(shù)： 同一類事物的各個屬性都有一定的變化范圍，在這些變化范圍內(nèi)的分布密度用一種函數(shù)形式 表示， 則稱為類分布概率密度函數(shù)(類條件概率密度)，這種函數(shù)可以是一些著名的普遍運(yùn)用的函數(shù)形式，如正態(tài)分布， 也可能是更復(fù)雜的無法用分析式表示的函數(shù)。這種分布密度只對同一類事物而言，因此與其它類事物沒有關(guān)系。例如， 因此這種分布密度函數(shù)往往表示成條件概率的形式。例如X 表示某一個學(xué)生的特征向量，則，男生的分布概率密度表示 ，24 貝葉斯公式： 兩個事物X 與 w 聯(lián)合出現(xiàn)的概率稱為聯(lián)合概率，可寫成P(X，w)而它們又可與條件概率聯(lián)系起來，即 合起來，可以找到利用先驗(yàn)概率，分布密度函數(shù)計算后驗(yàn)概率

7、的方法。25 貝葉斯決策理論： 根據(jù)先驗(yàn)概率、類分布密度函數(shù)以及后驗(yàn)概率這些量來實(shí)現(xiàn)分類決策的方法，稱為貝葉斯決策理 論。由于這些量之間符合貝葉斯公式，因此稱為貝葉斯決策理論。26 基于最小錯誤率的貝葉斯決策： 根據(jù)一個事物后驗(yàn)概率最大作為分類依據(jù)的決策，稱為基于最小錯誤率的貝葉斯決 策。從統(tǒng)計上講，即從平均錯誤率角度看，分類錯誤率為最小，因此稱為基于最小錯誤率的貝葉斯決策。27 風(fēng)險決策： 對事物進(jìn)行分類或做某種決策,都有可能產(chǎn)生錯誤，不同性質(zhì)的錯誤就會帶來各種不同程度的損失，因而 作決策是要冒風(fēng)險的?？紤]到?jīng)Q策后果(風(fēng)險)的決策是風(fēng)險決策。如進(jìn)行股票交易要冒風(fēng)險，投資，確定建設(shè)項(xiàng)目，規(guī) 劃

8、等都要冒風(fēng)險，在衡量了可能遇到的風(fēng)險后所作的決策稱為風(fēng)險決策。 基于最小風(fēng)險的貝葉斯決策。29 判別函數(shù)： 是一組與各類別有關(guān)的函數(shù)，對每一個樣本可以計算出這組函數(shù)的所有函數(shù)值，然后依據(jù)這些函數(shù)值的 極值(最大或最小)做分類決策。例如基于最小錯誤率的貝葉斯決策的判別函數(shù)就是樣本的每類后驗(yàn)概率，基于最小風(fēng)險 的貝葉斯決策中的判別函數(shù)是該樣本對每個決策的期望風(fēng)險。30 決策域與決策面： 根據(jù)判別函數(shù)組中哪一個判別函數(shù)值為極值為準(zhǔn)則可將特征空間劃分成不同的區(qū)域，稱為決策域， 相鄰決策域的邊界是決策分界面或稱決策面。例如兩類問題的基于最小錯誤率的貝葉斯決策將整個特征空間劃分成兩個 決策域，在同一個決策

9、域中的每一點(diǎn)由同一類的后驗(yàn)概率占主導(dǎo)地位。31 參數(shù)估計： 使用貝葉斯決策要知道先驗(yàn)概率，類分布密度函數(shù)等統(tǒng)計參數(shù)，為此，要從訓(xùn)練樣本集中估計出這些統(tǒng) 計參數(shù)，這就是參數(shù)估計。32 非參數(shù)估計： 在分布密度函數(shù)形式也不確定條件下，估計統(tǒng)計參數(shù)，稱為非參數(shù)估計。 鄰分類器都屬于這種分類器，它們不需要統(tǒng)計參數(shù)。34 線性分類器： 判別函數(shù)為線性函數(shù)的分類器是線性分類器，此時決策分界面的方程是線性方程。35 非線性分類器： 是非參數(shù)分類器的一種，其中判別函數(shù)或決策面方程是某種特定的非線性函數(shù)，如二次函數(shù)，多項(xiàng)函數(shù)表示的分類器。37 近鄰法： 通過計算待分類樣本與已知類別的模板樣本集計算相似度(相鄰性

10、),從而以最相似模板樣本的類別作為分 類依據(jù)的方法。38 K-近鄰法： 是近鄰法中的一種，對待分類樣本找到K 個近鄰，并以該K 個近鄰中的主導(dǎo)類別作為待分類樣本的分類 該種設(shè)計方法要找到分界面的最佳法線, 使兩類別訓(xùn)練樣本到該法線向量的投影體現(xiàn)“類間盡可能分離，類內(nèi)盡可能密 集”的最佳準(zhǔn)則。40 感知準(zhǔn)則函數(shù)： 是線性分類器的另一種著名設(shè)計方法。該種方法通過迭代優(yōu)化確定最佳分界面。最佳準(zhǔn)則取決于所 使用的最佳準(zhǔn)則，如最小錯分?jǐn)?shù)準(zhǔn)則等。其特點(diǎn)是利用錯分類信息對當(dāng)前的分界面進(jìn)行修正。41 感知器： 使用感知準(zhǔn)則函數(shù)設(shè)計的分類器稱為感知器，它是人工神經(jīng)網(wǎng)絡(luò)中最簡單的一種，是人工神經(jīng)前期研究的 42

11、剪輯近鄰法： 對近鄰法使用的模板樣本集通過剪輯進(jìn)行修正，以達(dá)到進(jìn)一步減小錯誤率，壓縮模板樣本數(shù)量為目的。43 壓縮近鄰法： 是另一種改進(jìn)近鄰法的方法，以最大限度削減近鄰法中模板樣本數(shù)量為目的。44 支持向量機(jī)： 是基于統(tǒng)計學(xué)習(xí)理論的一種分類器設(shè)計方法，是近年來在理論及實(shí)際問題都有重大影響的一種新方法。 就分類器設(shè)計而言，它以設(shè)計線性分類器為基礎(chǔ)，擴(kuò)展到非線性分類器。在設(shè)計線性分類器,時又分線性可分以及線性 不可分兩種情況。在線性可分條件下，即兩個類別訓(xùn)練樣本集可用線性分界面無錯誤分開的條件下，找到使兩類別訓(xùn)練 樣本正確分類的一個最佳分界面。最佳條件是指兩類樣本最靠近分界面的樣本(稱為支持向量)

12、到該分界面的法向距離 最大。也就是說使分界面兩側(cè)形成的一個隔離帶(帶中沒有任一類訓(xùn)練樣本)的間隔最寬。在線性不可分條件下，即兩 類樣本無法用線性界面無錯分開的條件下，最佳準(zhǔn)則改為綜合考慮對錯分樣本進(jìn)行控,制與使間隔帶盡可能寬這兩個條 對線性不可分條件下分類也可使用非線性分類器，支持向量機(jī)中采用將原特征空,間用非線性映射到一個新空間, 并在 該空間采用線性分類器的方法。45 特征選擇： 對樣本采用多維特征向量描述，各個特征向量對分類起的作用不一樣，在原特征空間中挑選中部分對分 類較有效的特征組成新的降維特征空間，以降低計算復(fù)雜度，同時改進(jìn)或不過分降低分類效果特征選擇的另一種含義是 指人們通過觀察

13、分析選擇適用于分類的特征。46 特征提取： 特征提取是從樣本的某種描述狀態(tài)(如一幅具體的圖象，一段聲波信等)提取出所需要的，用另一種形式表示的特征(如在圖象中抽取出輪廓信號，聲音信號提取中不同頻率的信息等。)這種提取方法往往都要通過某種形 的。 目前使用什么樣方法提取特征。主要靠設(shè)計人員確定，如選擇什么樣的變換，主要由人來決定，但如確定用某種線性變 換，則線性變換的參數(shù)可通過計算來確定。47 K-L 變換： K-L 變換是一種特殊的正交變換，它是通過對樣本集協(xié)方差矩陣求的特征值與特征向量的方式構(gòu)造正交變 換。利用部分特征值最大的特征向量構(gòu)造的正交變換可對原信號進(jìn)行降維重構(gòu)，重構(gòu)后的信號與原信號

14、之差為截尾誤差 時的最佳正交變換。最佳條件是指在降維數(shù)相同條件下，K-L 變換的平均截尾誤差平方和比任何一個其它正交變換要小。 K-L 變換的這種性質(zhì)對信息壓縮有價值，在模式識別中廣泛用于特征提取。 的目的與任務(wù)。聚類方法一般可分為動態(tài)聚類方法與分級聚類方法兩大類。 方法是一種迭代優(yōu)化算法，需要確定一種準(zhǔn)則函數(shù)，迭代過程是使準(zhǔn)則函數(shù)值趨于極度值的過程。準(zhǔn)則函數(shù)超于極值應(yīng) 能反映聚類趨于更合理。51 C-均值算法： 是動態(tài)聚類方法中的一個典型方法。其目的是將一數(shù)據(jù)集,按自然密集程度劃分成C 個聚類，它的準(zhǔn)則 對所有C 個聚類中每個數(shù)據(jù)到其各自均值的距離平方和的總和為最小。計算距離的最簡單形式是歐

15、式距離但。也 可使用其它形式的距離。迭代過程是計算這個數(shù)據(jù), 從現(xiàn)屬聚類轉(zhuǎn)移至其它聚類, 是否能使準(zhǔn)則函數(shù)值減小為依據(jù)，將 該數(shù)據(jù)轉(zhuǎn)移至合適聚類，直至這種數(shù)據(jù)轉(zhuǎn)移不再發(fā)生為止。在數(shù)據(jù)轉(zhuǎn)移過程中各個聚類的均值也隨之改變。52 ISODATA 算法： 是另一種典型的動態(tài)聚類方法，它與C-均值算法的主要不同點(diǎn)是它包含聚類的分裂與合并過程，從 而可以根據(jù)需要改變聚類的數(shù)目。53 分級聚類方法： 對數(shù)據(jù)集采用逐級合并的方法進(jìn)行聚類，在初始時整個數(shù)據(jù)集的每個數(shù)據(jù)自成一類，然后按相似度 最高的要求進(jìn)行合并，隨著相似度要求逐次降低，小的集群逐級合并，聚類數(shù)量逐漸減少。這種方法基于分類學(xué)原理， 如人與類人猿相近

16、，貓與虎同屬貓科, 就是基于這種原理。 向量(如模式識別中常用的特征向量)，輸出端只有一個。該模型由兩部分功能組成，一部分功能將輸入端信號進(jìn)行線 性迭加，另一部分是對該迭加值進(jìn)行非線性映射及從輸出端輸出。 這種 01 輸出也可改成- 1+1 輸出。近來人們根據(jù)需要, 在人工神經(jīng)元模型中也采用其它類型的非線性映射。56 單層感知器： 一個 McCulloch-Pitts模型可實(shí)現(xiàn)的功能是兩類別線性分類器，輸入向量的線性求和是判別函數(shù)，非線 性映射及輸出的0、1 值表示了分類結(jié)果。這種線性分類器的系數(shù)若采用感知準(zhǔn)則函數(shù)方法確定，它就是一個感知器。 這種感知器與多層感知器相比，只有一層，因而稱為單層

17、感知器。57 人工神經(jīng)元網(wǎng)絡(luò)：將多個人工神經(jīng)元模型連接成網(wǎng)就是人工神經(jīng)元網(wǎng)絡(luò)。常用的人工神經(jīng)元網(wǎng)絡(luò)有多層感知器， 58 多層感知器： 將多個感知器組成分層結(jié)構(gòu)，由輸入結(jié)點(diǎn)層向第一層結(jié)點(diǎn)傳遞信息，而較低層結(jié)點(diǎn)輸出的信息往更高 一層傳遞。這種信息單向傳遞的層次結(jié)構(gòu)稱為多層感知器。多層感知器可以實(shí)現(xiàn)復(fù)雜的邏輯運(yùn)算功能，輸入與輸出之間 的非線性映射功能。9 前饋網(wǎng)絡(luò)： 前饋網(wǎng)絡(luò)是指像多層感知器這樣的信息單向傳輸?shù)木W(wǎng)絡(luò)。60 隱層結(jié)點(diǎn)： 由兩層及兩層以上結(jié)點(diǎn)組成的前饋網(wǎng)絡(luò)中處于非輸出層的結(jié)點(diǎn)稱為隱層結(jié)點(diǎn)，一個只含一個隱含層的前 饋網(wǎng)絡(luò)稱為雙層前饋網(wǎng)絡(luò)。含兩個隱含層的稱三層前饋網(wǎng)絡(luò)。一般使用至多兩個隱含層

18、的網(wǎng)絡(luò)。BP，是在感知準(zhǔn)則函數(shù)訓(xùn)練方法基礎(chǔ)上發(fā)展的方法。網(wǎng)絡(luò)在輸入某個向量時期望的輸出值。3 網(wǎng)絡(luò)的實(shí)際輸出值： 前饋網(wǎng)絡(luò)在輸入某個向量時輸出端的實(shí)際輸出值。64 誤差回傳算法： 前饋網(wǎng)絡(luò)中各種參數(shù)的設(shè)定是通過訓(xùn)練樣本集迭代的訓(xùn)練過程確定的。當(dāng)網(wǎng)絡(luò)中的參數(shù)不合適時，輸入向量 的實(shí)際輸出與期望輸出值之間不一致，稱為誤差。利用這種誤差從輸出層向輸入層逐級反傳，以確定各個參數(shù)的修正量，這種 方法因而稱之為誤差回傳算法。65 經(jīng)向基函數(shù)網(wǎng)絡(luò)： 在多層感知器的人工神經(jīng)元一般采用 S 型函數(shù)作非線性映射。而經(jīng)向基函數(shù)網(wǎng)絡(luò)則采用單峰型函數(shù)(如高 斯函數(shù))為非線性映射函數(shù)。在實(shí)現(xiàn)數(shù)據(jù)擬合等等應(yīng)用中較多。訓(xùn)練也較簡單。66 Hopfield 模型： 是人工神經(jīng)元網(wǎng)絡(luò)中一個典型網(wǎng)絡(luò)，該網(wǎng)絡(luò)中的所有神經(jīng)元實(shí)行全聯(lián)接，即任一個神經(jīng)元的輸入輸出都聯(lián)接 至其它結(jié)點(diǎn)的輸入端