模式識別課件第一章緒論

1、pattern recognition辦公地點(diǎn)：主樓辦公地點(diǎn)：主樓501email:u 1introduction to pattern recognitionu 2bayesian decision theoryu 3maximum-likelihood & bayesian parameter estimation u4linear discriminant functionsu5feature extraction & selectionu6unsupervised learning & clustering l1 richard o. duda, peter e

2、. hart, david g. stork, pattern classification, 2nd edition, john wiley & sons, inc. 2001(模式分類模式分類，李宏東 姚天翔等譯，北京：機(jī)械工業(yè)出版社，2003年9月l 2模式識別模式識別，邊肇祺，張學(xué)工等編 著，清華大學(xué)出版社，2000年1月第2版l3 vladimir n. vapnik, the nature of statistical learning, springer-verlag, new york, ny, 1995 (中譯本統(tǒng)計(jì)學(xué)習(xí)理論的統(tǒng)計(jì)學(xué)習(xí)理論的本質(zhì)本質(zhì)，張學(xué)工譯，清華大學(xué)

3、出版社，2000年9月)international journal of pattern recognition and artificial intelligence (ijprai) (http:/ ) pattern recognition pattern recognition letter machine learning neural computation模式識別與人工智能 cvpr、icpr、icml、coltnipsu1929年 g. tauschek發(fā)明閱讀機(jī)，能夠閱讀0-9的數(shù)字。u30年代 fisher提出統(tǒng)計(jì)分類理論，奠定了統(tǒng)計(jì)模式識別的基礎(chǔ)。u6070年代，統(tǒng)計(jì)模式

4、識別發(fā)展很快，但由于被識別的模式愈來愈復(fù)雜，特征也愈多，出現(xiàn)“維數(shù)災(zāi)難”。u但由于計(jì)算機(jī)運(yùn)算速度的迅猛發(fā)展，這個問題得到一定克服。統(tǒng)計(jì)模式識別仍是模式識別的主要理論。u50年代 noam chemsky 提出形式語言理論u美籍華人付京蓀提出句法(結(jié)構(gòu))模式識別。u60年代 l.a.zadeh提出了模糊集理論，模糊模式識別理論得到了較廣泛的應(yīng)用。u80年代 hopfield提出神經(jīng)元網(wǎng)絡(luò)模型理論。近些年人工神經(jīng)元網(wǎng)絡(luò)在模式識別和人工智能上得到較廣泛的應(yīng)用。u90年代小樣本學(xué)習(xí)理論，支持向量機(jī)也受到了很大的重視。 machine perception an example pattern reco

5、gnition systems the design cycle learning and adaptation methods of pattern recognition conclusionubuild a machine that can recognize patterns: speech recognition fingerprint identification ocr (optical character recognition) dna sequence identification upattern recognition is the study of how machi

6、nes can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (anil k. jain)u模式識別模式識別：把一組研究對象，根據(jù)其某些特征進(jìn)行識別并分類。what is a pattern ?u模式是指人所生活的客觀世界的總稱。u模式模式（pattern）：指一組包含了對事物所具有的特征和信息的描述。 a

7、fingerprint image a handwritten cursive word a human face a speech signal a irisu識別(recognition)再認(rèn)知(re-cognition)u 主要研究相似和分類問題 有監(jiān)督分類 無監(jiān)督分類u模式識別是模擬人的某些功能:模擬人的視覺：計(jì)算機(jī)+光學(xué)系統(tǒng)模擬人的聽覺：計(jì)算機(jī)+聲音傳感器模擬人的嗅覺和觸覺：計(jì)算機(jī)+傳感器設(shè)想有一個魚類加工廠，希望能將傳送帶上魚的品種分類過程自動進(jìn)行。speciessea bass(鱸魚)salmon(鮭魚) problem analysis set up a camera and

8、take some sample images to extract features length長度 lightness光澤 width寬度 number and shape of fins鰭的數(shù)目和形狀 position of the mouth, etc嘴的位置等 this is the set of all suggested features to explore for use in our classifier! preprocessing 用分割技術(shù)將不同的魚分離開來，或者將魚同背景分開 將每條魚的數(shù)據(jù)送入特征提取器，其作用是通過測量特定的“特征”或“屬性”來簡化原始數(shù)據(jù) t

9、he features are passed to a classifier classification select the length of the fish as a possible feature for discrimination samplingthe length is a poor feature alone!select the lightness as a possible feature. threshold decision boundary and cost relationship move our decision boundary toward smal

10、ler values of lightness in order to minimize the cost (reduce the number of sea bass that are classified salmon!)task of decision theory adopt the lightness and add the width of the fishlightnesswidthfishx = x1, x2t怎樣才能事先知道其中哪個特征對分類性能最重要呢?因?yàn)槠渲心承┨卣骱芸赡苁侨哂嗟?。比如，如果魚眼睛的顏色、與寬度完全相關(guān)，那么分類器的性能將不因增加了魚眼顏色這一特征而有任

11、何改善。即使不考慮獲得更多特征時所需的額外的計(jì)算量。是否真的有必要采用非常多的特性呢？這樣作是否會給將來在非常高維的空間中進(jìn)行分類操作埋下了“禍根”？假設(shè)在上述任務(wù)中，其他的特征要么太難以測量，要么對分類器毫無用處(甚至起反作用)。這樣，將只有兩個特征好用。如果分類的判決模型非常復(fù)雜，分界面也十分復(fù)雜(而不再像圖1-4那樣是一簡單分界直線)，所有的訓(xùn)練樣本可以被完美的正確分類(如圖1-5所示)，雖然如此，這樣一個結(jié)果也依然不令人滿意。 過分復(fù)雜的模型將導(dǎo)致復(fù)雜的判決曲線。 設(shè)計(jì)分類器的中心目標(biāo)是能夠?qū)π聵颖?比如以前從未見過的某條魚)做出正確的反應(yīng)，這就是“推廣能力”(generalizati

12、on) 。 圖1-5那種復(fù)雜的判決邊界過分“調(diào)諧” (tune)到某些特定的訓(xùn)練樣本上了，而不是類別的共同特征，或者說是待分類的全部鱸魚(或者鮭魚)的總體模型。 雖然這種判決曲線對訓(xùn)練樣本可以得到完美的分類效果，但是對將來的新模式推廣能力很差。例如，圖1-5中標(biāo)記“？”的新模式應(yīng)該更像是鮭魚。然而卻被分類為鱸魚。 自然地，想采集更多的訓(xùn)練樣本，以獲得特征向量的更好估計(jì)。 例如，可以使用類別樣本的概率分布。 可是，在某些模式識別問題中，能夠比較容易獲得的樣本數(shù)據(jù)十分有限。即使在連續(xù)的特征空間中已經(jīng)有大量的樣本點(diǎn)，可是如果按照圖1-5的思路，分類器將給出極度復(fù)雜的判決邊界，而且將不太可能很好地處理

13、全新的樣本模式。 尋求某種“簡化”分類器的方案。分類器所需的模型或判別邊界將不需要像圖1-5那樣復(fù)雜。 如果已經(jīng)能夠更好的分類新的測試樣本，那么即使它對訓(xùn)練樣本集的分類性能不夠好，也應(yīng)該接受它。 但是，假如在設(shè)計(jì)“復(fù)雜”的分類器時其推廣能力可能不是很好，那么，又將如何精確和定量的設(shè)計(jì)相對“簡單”一些的分類器呢? 圖1-6圖中標(biāo)示出的判決曲線是對訓(xùn)練樣本的分類性能和分界面復(fù)雜度的一個最優(yōu)折中。 系統(tǒng)怎樣才能自動得出圖1-6所示的那種相對簡單的分界曲線，以使得其性能比圖1-4的直線分界面，或者圖1-5復(fù)雜分界曲線更為優(yōu)越？ 假設(shè)能夠做到“推廣能力”和“復(fù)雜度”的折中，又將怎么樣去預(yù)測系統(tǒng)對新模式的

14、推廣能力如何呢？統(tǒng)計(jì)模式識別統(tǒng)計(jì)模式識別要研究的中心問題。要研究的中心問題。錯誤率錯誤率0.1500 0.03330.13330.0833pattern recognition systemsusensing use of a transducer (camera or microphone) pr system depends of the bandwidth, the resolution sensitivity distortion of the transducerusegmentation and grouping patterns should be well separated

15、and should not overlapfeature extraction discriminative features invariant features with respect to translation, rotation and scale.classification use a feature vector provided by a feature extractor to assign the object to a categorypost processing exploit context input dependent information other

16、than from the target pattern itself to improve performancepattern recognition systemsudata collectionufeature choiceumodel choiceutraininguevaluationucomputational complexitythe design cycleudata collection how do we know when we have collected an adequately large and representative set of examples

17、for training and testing the system?ufeature choice depends on the characteristics of the problem domain. simple to extract, invariant to irrelevant transformation insensitive to noise.the design cycleumodel choice use data to determine the classifier. many different procedures for training classifi

18、ers and choosing modelsutraining unsatisfied with the performance of our fish classifier and want to jump to another class of modeluevaluation measure the error rate (or performance and switch from one set of features to another one)the design cycleucomputational complexity what is the trade-off bet

19、ween computational ease and performance? (how an algorithm scales as a function of the number of features, patterns or categories?)the design cyclelsupervised learning a teacher provides a category label or cost for each pattern in the training setlunsupervised learning the system forms clusters or

20、“natural groupings” of the input patternslreinforcement learning the most typical way to train a classifier is to present an input, compute its tentative category label, and use the known target category label to improve the classifier. in reinforcement learning or learning with a critic, no desired

21、 category signal is given; instead, the only teaching feedback is that the tentative category is right or wrong.p模板匹配模板匹配p統(tǒng)計(jì)方法統(tǒng)計(jì)方法p句法方法句法方法p神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)首先對每個類別建立一個或多個模板輸入樣本和數(shù)據(jù)庫中每個類別的模板進(jìn)行比較，求相關(guān)或距離根據(jù)相關(guān)性或距離大小進(jìn)行決策優(yōu)點(diǎn)：直接、簡單缺點(diǎn)：適應(yīng)性差變形模板methods of pattern recognition根據(jù)訓(xùn)練樣本，建立決策邊界統(tǒng)計(jì)決策理論根據(jù)每一類總體的概率分布決定決策邊界判別分析方法給出帶參數(shù)的決策邊界，根據(jù)某種準(zhǔn)則，由訓(xùn)練樣本決定“最優(yōu)”的參數(shù)本課程的重點(diǎn)內(nèi)容