數(shù)字圖像處理與模式識別.ppt

1、數(shù)字圖像處理與模式識別,主講： 相 明 西安交通大學電信學院計算機系 E-Mail: M,緒 論,一、模式識別的基本概念 二、模式識別系統(tǒng)的基本設(shè)計方法 三、模式識別問題的一般描述 四、模式識別的應用 五、數(shù)字圖像處理與模式識別 六：本課程的主要研究內(nèi)容,一、模式識別的基本概念 1、什么是模式識別？ 簡單地說，模式識別就是對觀察到的物理對象進行識別與分類。模式識別無所不在，我們每一天都在進行著成功的模式識別。一個簡單的例子是根據(jù)聲音識別汽車的類別。再如讀書看報。 2、如何讓機器自動進行模式識別？ 模式識別的定義：根據(jù)對某個物理對象的觀測信息，利用計算機對該物理對象進行分類，從而給出該物理對象所

2、屬的類別。在這里，“模式”就是指存儲于計算機內(nèi)的有關(guān)物理對象的觀測信息，它可以是圖像、聲音、溫度、壓力等任何可以測量的觀測量。為了讓機器自動完成模式識別任務，我們需要（1）數(shù)據(jù)采集設(shè)備（2）模式識別算法。 一個簡單的問題：如何讓機器可以認字？,3、模式識別研究的意義 對外界事物的感知與識別是智能的基礎(chǔ)。如果我們能夠很好的解決模式識別問題，就能夠制造出更高級的智能系統(tǒng)。一個例子是手寫體識別。另一個例子是自動駕駛系統(tǒng)。 模式識別在計算機學科中的地位：模式識別是計算機科學與控制科學的一個交叉學科，是智能系統(tǒng)及智能信息處理的一個重要基礎(chǔ)。,二、模式識別系統(tǒng)的基本設(shè)計方法 模式識別問題的一個例子：設(shè)計一

3、個自動分類系統(tǒng)，實現(xiàn)對兩種不同類別魚類的自動分類(salmon,sea bass)。結(jié)合該例子，我們討論以下幾個問題（1）觀測量的獲?。?）特征提?。?）分類器的訓練（4）分類器的測試（5）分類器的設(shè)計過程（6）分類器設(shè)計過程中需要考慮的一些關(guān)鍵因素。,1、觀測量的獲?。▓D像獲?。菏紫韧ㄟ^攝像機獲取圖像，然后采用圖像分割技術(shù)，得到單個物理對象的圖像。,2、特征提?。撼槿￡P(guān)鍵特征，并根據(jù)這些特征對物理對象進行分類。 長度特征:根據(jù)長度進行分類 salmon一般較短，sea bass一般較長,亮度特征：根據(jù)亮度進行分類 salmon一般較暗， sea bass一般較亮,特征向亮：提取一組特征，構(gòu)

4、成特征向量，根據(jù)特征向量進行分類。特征向量=（亮度、寬度）；x=(x1,x2);特征空間: 特征向量所有可能的取值的集合樣 本: (x,y), x:該樣本對應的特征向量y:該樣本的類別，y=+1(salmon),或y= -1(bass),在特征空間中構(gòu)造一個分類面，對兩類樣本進行分類。,3、分類器的訓練：根據(jù)已有的一組樣本（樣本集），構(gòu)造一個判決函數(shù)d(x)，根據(jù)d(x)實現(xiàn)對兩類樣本的正確分類。我們希望d(x)盡可能滿足 ： 對于第一類樣本(x,y),y= 1: d(x)0或sign(d(x)= 1 對于第二類樣本(x,y),y=-1: d(x)0或sign(d(x)=-1 其中，d(x)=

5、0 稱為分類器的分類面。這一過程稱為分類器的訓練過程，在訓練過程中使用的樣本，稱為訓練樣本。由訓練樣本構(gòu)成的集合，稱為訓練集。 判決函數(shù)d(x)可以采用多種不同的函數(shù)模型，常用模型有線性模型、多項式模型、神經(jīng)網(wǎng)絡(luò)模型等。在本例中我們可以采用線性模型 d(x)=w.x+b. 因此，分類器訓練的任務就是，根據(jù)訓練樣本確定線性分類器的權(quán)系數(shù)w及偏差項b。采用所得分類器對訓練樣本進行分類時的錯誤率，稱為訓練誤差。,4、分類器的測試：在分類器訓練過程結(jié)束后，需要采用一些新的樣本對分類器的分類性能進行測試，這些樣本稱為測試樣本。由測試樣本構(gòu)成的集合稱為測試集。 測試過程： 對于測試樣本(x,y),y= 1

6、, 如果d(x)0則分類正確。 如果d(x) 0則產(chǎn)生一個分類錯誤。 分類器對測試樣本集進行分類時的錯誤率，稱為測試誤差。采用所得分類器對訓練樣本進行分類時的錯誤率，稱為訓練誤差 訓練誤差、測試誤差統(tǒng)稱為經(jīng)驗誤差。分類器優(yōu)化的原則應該是使測試誤差近可能小。因此，判決函數(shù)d(x)應根據(jù)訓練樣本及測試樣本共同確定。,分類器的應用：在對分類器進行訓練及測試，并最終確定了分類器的判決函數(shù)以后，就可將分類器投入實際應用。在實際應用中，我們只能觀測到物理對象的特征向量，但是并不知道該對象的類別。為此，我們采用分類器的判決函數(shù)對其類別進行預測（即分類）。對于觀測到的特征向量 x： 如果d(x)0，則判y=1

7、 （物理對象屬于第一類） 如果d(x)0，則判y=-1（物理對象屬于第二類）,5、分類器的設(shè)計過程,6、分類器設(shè)計過程中需要考慮的一些關(guān)鍵因素： (1) 兩類不同樣本的特征向量的真實分布：特征向量的概率分布決定了分類器在實際應用中的真實分類能力（泛化能力）。特征向量的概率分布通常是未知的。因此分類器的泛化能力也是未知的。但是，分類器的真實分類能力可以通過測試誤差進行初步的估計。 (2) 訓練樣本及測試樣本的數(shù)量：越多越好，但是在實際應用中，獲取大量的樣本通常需要付出很大的代價。,(3) 分類器的復雜度選擇：采用復雜度高的分類器可以獲得較小的訓練誤差。但是，隨著分類器復雜度的進一步提高，伴隨著訓

8、練誤差的降低，分類器的測試誤差卻會開始變大。這一現(xiàn)象稱為過度擬合（過學習）。過度擬合的出現(xiàn)，意味著分類器泛化能力的降低。它說明在分類器的設(shè)計過程中，分類器（也即判決函數(shù)）的復雜度應該受到適當?shù)南拗啤?分類器復雜度選擇的兩個基本原則： 1、Occam razor 原則：為了保證泛化能力，在經(jīng)驗誤差相近的條件下， 應該選擇復雜度較低的分類器。 2、統(tǒng)計學習理論：為了保證泛化能力，分類器的復雜度應與可用樣本的數(shù)量相平衡。樣本數(shù)量較多時，采用復雜度高的分類器才更可靠。,分類器復雜度過高：分類器復雜度過高，出現(xiàn)過度擬合，泛化能力可能會有所降低。,分類器復雜度過低：由于分類器的復雜度過低，無法有效表示不同

9、類別訓練樣本之間的分界面，從而導致訓練誤差無法得到充分的降低，這一現(xiàn)象稱為欠學習。欠學習同樣無法保證較好的泛化能力。,分類器復雜度適中：分類器的復雜度與可用樣本的數(shù)量相匹配，復雜度的選擇符合Occam razor 原則，這樣得到的分類器最有可能獲得較好的分類能力。,三、模式識別問題的一般描述 （1）構(gòu)建樣本集：獲取物理對象的觀測量，從觀測量中提取有利于進行分類的特征向量，根據(jù)特征向量及物理對象的類別構(gòu)成一個樣本。對不同類別的多個物理對象重復上述過程，獲得一個樣本集。樣本集是分類器設(shè)計的基礎(chǔ)。 （2）將樣本集分為訓練集及測試集。選擇一個合適的分類器模型，根據(jù)訓練集及測試集共同確定該分類器模型的參

10、數(shù)。這一過程稱為有監(jiān)督學習。有監(jiān)督學習是一種基于樣本的學習方法?；跇颖镜膶W習方法是解決復雜問題的一個重要手段（例如中醫(yī)診脈）。 （3）與有監(jiān)督學習相對應的是無監(jiān)督學習（聚類分析）。在聚類分析中，沒有樣本的類別信息可資利用，只有一組可能是來自于多個不同類別對象的觀測量（也稱為特征向量或樣本）。聚類分析的目的，就是根據(jù)樣本分布的自然結(jié)構(gòu)，根據(jù)樣本之間的相似性，將樣本分為多個不同的類。,一個聚類分析的例子：只有觀測信息，沒有類別信息。我們希望根據(jù)樣本的分布，將樣本劃分為若干個自然類，從而發(fā)現(xiàn)隱藏于樣本集中的可能的類別信息。,四、模式識別的應用 手寫體識別：郵政編碼 指紋識別： 人臉識別： 故障診斷： 語音識別：讀1、2、3、