第1章模式識(shí)別緒論西安電子科技大學(xué)

第1章緒論1.1模式識(shí)別的基本概念1.2模式識(shí)別系統(tǒng)1.3模式識(shí)別的基本方法第一頁，共三十一頁。1.1模式識(shí)別的基本概念人們?cè)谌粘Ｉ钪?幾乎時(shí)時(shí)在進(jìn)行類識(shí)別活動(dòng)。對(duì)于視覺而言,眼睛收集外界信息傳至大腦,由大腦對(duì)所接收的視覺信息進(jìn)行識(shí)別和理解。視覺信息識(shí)別是低層次的類識(shí)別,例如,當(dāng)我們看見一只貓時(shí),很容易識(shí)別出貓這一動(dòng)物的類別。而高層次的視覺理解,是通過分析直觀的觀測(cè)結(jié)果得到更深層次的信息,這對(duì)人的知識(shí)和素質(zhì)有很強(qiáng)的依賴性。第二頁，共三十一頁。例如,在二戰(zhàn)時(shí)期,一名高素質(zhì)的情報(bào)人員根據(jù)看到的一只經(jīng)常出來曬太陽的波斯貓推斷出敵方高級(jí)指揮所的位置,從而為己方提供了非常有價(jià)值的情報(bào)信息。對(duì)于聽覺而言,人耳將聲音信息傳至大腦,由大腦對(duì)所接收的聲音信息進(jìn)行識(shí)別和理解,獲得聲音所屬的語言種類(語種識(shí)別)、聲音所對(duì)應(yīng)的說話人(說話人識(shí)別)以及聲音所包含的關(guān)鍵詞(關(guān)鍵詞識(shí)別)等。除此之外,人還具有對(duì)觸覺、味覺、嗅覺等信息的類識(shí)別能力,且也具有低級(jí)和高級(jí)兩個(gè)層次。第三頁，共三十一頁。模式識(shí)別的目的就是利用計(jì)算機(jī)實(shí)現(xiàn)人的類識(shí)別能力,是對(duì)兩個(gè)不同層次的識(shí)別能力的模擬。對(duì)信息的理解往往含有推理過程,需要專家系統(tǒng)、知識(shí)工程等相關(guān)學(xué)科的支持。本書講述的模式識(shí)別理論主要是指對(duì)人的低級(jí)類識(shí)別能力的模擬,具體地說,就是實(shí)現(xiàn)“觀察對(duì)象是什么”的判斷,其中觀察對(duì)象就是模式。第四頁，共三十一頁。模式是指具有某種特定性質(zhì)的觀察對(duì)象。特定性質(zhì)指的是可以用來區(qū)別觀察對(duì)象是否相同或是否相似而選擇的特性。觀察對(duì)象存在于現(xiàn)實(shí)世界,可以是視覺、聽覺、觸覺、味覺、嗅覺等所能感知的任何物質(zhì)。例如,一個(gè)數(shù)字、一句話、一張照片等都是觀察對(duì)象,都可以成為模式識(shí)別中的識(shí)別對(duì)象。廣義地說,存在于時(shí)間和空間中可觀察的事物,如果可以區(qū)別它們是否相同或是否相似,都可以稱為模式。根據(jù)模式的特性,將具有相似特性的模式的集合表達(dá)為模式類。模式識(shí)別就是根據(jù)模式的特性,將其判入某一類。第五頁，共三十一頁。模式識(shí)別是一種智能活動(dòng),包含分析和判斷兩個(gè)過程。分析的過程在于確定用于劃分模式類的特征及其表達(dá)方法;判斷的過程則體現(xiàn)在依據(jù)待識(shí)別對(duì)象的特性,將其判屬于某一個(gè)模式類。模式識(shí)別作為一門學(xué)科,屬于機(jī)器智能,故屬于人工智能的范疇。模式識(shí)別理論的發(fā)展和廣泛應(yīng)用,極大地推動(dòng)了人工智能的發(fā)展和應(yīng)用。第六頁，共三十一頁。1.2模式識(shí)別系統(tǒng)模式識(shí)別的本質(zhì)就是根據(jù)模式的特性表達(dá)和模式類的劃分方法,利用計(jì)算機(jī)將模式判屬特定的類。因此,模式識(shí)別需要解決5個(gè)問題:模式的數(shù)字化表達(dá)、模式特性的選擇、特性表達(dá)方法的確定、模式類的表達(dá)和判決方法的確定。一般地,模式識(shí)別系統(tǒng)由信息獲取、預(yù)處理、特征提取和選擇、分類判決等4個(gè)部分組成,如圖1-1所示。第七頁，共三十一頁。圖1-1模式識(shí)別系統(tǒng)的組成框圖1.信息獲取對(duì)于人腦識(shí)別而言,人腦通過感覺器官獲取模式信息。對(duì)于機(jī)器識(shí)別來說,由于計(jì)算機(jī)只能處理數(shù)字信號(hào),計(jì)算機(jī)獲取模式信息意味著實(shí)現(xiàn)觀察對(duì)象的數(shù)字化表達(dá),因此,需要借助于各種傳感器設(shè)備,將視覺、聽覺、觸覺、味覺、嗅覺等信息轉(zhuǎn)化為電信號(hào),再通過模/數(shù)(A/D)轉(zhuǎn)換裝置將電信號(hào)轉(zhuǎn)換成數(shù)字化信息。信息獲取過程如圖1-2所示。第八頁，共三十一頁。圖1-2信息獲取示意圖不同性質(zhì)的信息需要不同的傳感器設(shè)備,有的傳感器和A/D轉(zhuǎn)換設(shè)備是融為一體的,有的則是分離的。例如,對(duì)于視覺信息,可以先采用攝像機(jī)完成光電轉(zhuǎn)換,再采用圖像采集卡完成A/D轉(zhuǎn)換;也可以采用數(shù)字化攝像機(jī)(CCD)、數(shù)碼相機(jī)直接獲得數(shù)字信息。數(shù)字圖像(或視頻)是視覺信息的數(shù)字化表達(dá)。對(duì)于聽覺信息,可以先采用話筒完成聲電轉(zhuǎn)換,再采用聲卡完成A/D轉(zhuǎn)換;也可以采用數(shù)字錄音機(jī)直接獲得數(shù)字信息。數(shù)字語音是聽覺信息的數(shù)字化表達(dá)。第九頁，共三十一頁。2.預(yù)處理在得到模式的數(shù)字化表達(dá)后,往往需要對(duì)它進(jìn)行預(yù)處理,以便去除或減少噪聲的影響,突出有用信息。對(duì)于圖像信息,采用數(shù)字圖像處理技術(shù)作為其預(yù)處理技術(shù),常用的方法有幾何校正、圖像增強(qiáng)、圖像還原等。第十頁，共三十一頁。對(duì)于語音信息,采用數(shù)字語音處理技術(shù)作為其預(yù)處理技術(shù)。作為一種一維信號(hào),除了它和人耳特性有關(guān)的一些特殊方法外,也可以用一般的信號(hào)處理方法進(jìn)行處理。對(duì)于電信號(hào),一般可以用信號(hào)處理的方法進(jìn)行處理,包括統(tǒng)計(jì)信號(hào)處理、自適應(yīng)信號(hào)處理和譜分析等技術(shù),其目的在于抑制噪聲或?qū)⑿盘?hào)轉(zhuǎn)換成更便于識(shí)別的形式。第十一頁，共三十一頁。3.特征提取和選擇在模式識(shí)別中,需要先建立模式類,對(duì)于給定的模式,識(shí)別就是將其判屬于某一個(gè)模式類的過程。模式和模式類能進(jìn)行從屬關(guān)系判決的前提條件是,模式和模式類中的元素具有相似的性質(zhì)(或稱特性)。為此,需要對(duì)模式信息進(jìn)行特性分析。特性分析包含兩個(gè)方面:一個(gè)是分類特性的選擇;另一個(gè)是特性表達(dá)方法的選擇。第十二頁，共三十一頁。分類特性的選擇是模式識(shí)別系統(tǒng)設(shè)計(jì)中非常重要而又關(guān)鍵的一步,與識(shí)別目的具有很大的相關(guān)性,且往往對(duì)領(lǐng)域?qū)＜矣休^強(qiáng)的依賴性。例如,在遙感圖像軍事目標(biāo)識(shí)別中,需要結(jié)合軍事專家的知識(shí)和判圖專家的判讀分析經(jīng)驗(yàn),形成對(duì)目標(biāo)的特性描述,如描述一個(gè)艦船目標(biāo),可選用艦船長度、寬度、高度等特性。特征是用于描述模式性質(zhì)(特性)的一種定量的概念,通過對(duì)模式的分析得到一組特征,稱這個(gè)過程為特征形成。特征一般有兩種表達(dá)方法:一種是將特征表達(dá)為數(shù)值;另一種是將特征表達(dá)為基元。第十三頁，共三十一頁。(1)當(dāng)將特征表達(dá)為數(shù)值時(shí),一個(gè)模式的d個(gè)特征值就構(gòu)成了一個(gè)特征向量,記為x,即其中,x的每個(gè)分量xi(i=1,2,…,d)對(duì)應(yīng)一個(gè)特征。(2)當(dāng)特征表達(dá)為基元時(shí),一個(gè)模式表述為一個(gè)句子,記為x,即其中，xi(i=1,2,…,d)為基元，反映構(gòu)成模式的基本要素。第十四頁，共三十一頁。通常用于描述模式性質(zhì)的特征很多,需要從一組特征中挑選出一些最有效的特征以降低特征空間維數(shù),即特征選擇。特征提取是指采用映射(或變換)實(shí)現(xiàn)由模式測(cè)量空間向特征空間的轉(zhuǎn)變,或者將特征空間的維數(shù)從高維變成低維。例如,現(xiàn)有的遙感成像光譜儀波段數(shù)達(dá)數(shù)百個(gè)之多,如果直接用原始數(shù)據(jù)進(jìn)行地物分類,會(huì)因數(shù)據(jù)量太大而導(dǎo)致計(jì)算復(fù)雜,且分類效果不一定好,可通過映射或變換的方法,由原始數(shù)據(jù)空間變換到特征空間,得到最能反映模式本質(zhì)的特征,同時(shí)降低空間維數(shù)。第十五頁，共三十一頁。4.分類判決模式類是指具有相似特性的模式的集合,模式和模式類的關(guān)系就是元素和集合的關(guān)系。模式的分類過程,事實(shí)上就是判定表征觀察對(duì)象的元素和指定集合的從屬關(guān)系的過程。當(dāng)元素只和某個(gè)集合具有從屬關(guān)系時(shí),就將該對(duì)象判屬于該集合對(duì)應(yīng)的類;當(dāng)元素和多個(gè)集合具有從屬關(guān)系時(shí),既可以任選一類進(jìn)行判決,也可以拒絕判決;當(dāng)元素和任何一個(gè)集合都不具有從屬關(guān)系時(shí),不作分類判決,即拒絕判決。第十六頁，共三十一頁?；跈C(jī)器學(xué)習(xí)的模式識(shí)別系統(tǒng)由兩個(gè)過程組成,即設(shè)計(jì)和實(shí)現(xiàn)。設(shè)計(jì)是用一定數(shù)量的樣本進(jìn)行分類器的設(shè)計(jì),這些樣本的所屬類別已知,稱為訓(xùn)練樣本。實(shí)現(xiàn)是用所設(shè)計(jì)的分類器對(duì)待識(shí)別模式進(jìn)行分類判決。第十七頁，共三十一頁。1.3模式識(shí)別的基本方法模式識(shí)別的本質(zhì)在于實(shí)現(xiàn)元素(表征觀察對(duì)象)和集合(表征模式類)的從屬關(guān)系的判定過程。根據(jù)是否有已知所屬類別的訓(xùn)練樣本,可將模式識(shí)別分為監(jiān)督模式識(shí)別和非監(jiān)督模式識(shí)別。根據(jù)模式識(shí)別的基本方法,可將模式識(shí)別分為統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別、模糊模式識(shí)別、神經(jīng)網(wǎng)絡(luò)模式識(shí)別和多分類器融合等。本節(jié)簡要介紹模式識(shí)別的基本方法。第十八頁，共三十一頁。1.統(tǒng)計(jì)模式識(shí)別統(tǒng)計(jì)模式識(shí)別把觀察對(duì)象表達(dá)為一個(gè)隨機(jī)向量(即特征向量),將模式類表達(dá)為由有窮或無窮個(gè)具有相似數(shù)值特性的模式組成的集合。識(shí)別是從模式中提取一組特性的度量,構(gòu)成特征向量來表示模式,然后通過劃分特征空間的方式進(jìn)行分類。統(tǒng)計(jì)模式識(shí)別適用于用較少特征就能描述觀察對(duì)象的場(chǎng)合。第十九頁，共三十一頁。統(tǒng)計(jì)分類判決對(duì)模式類的統(tǒng)計(jì)特性具有非常強(qiáng)的依賴性,有時(shí)還要考慮人的主觀感受。例如,在構(gòu)造判別函數(shù)時(shí),使用的最優(yōu)準(zhǔn)則既可以是主觀的,也可以是客觀的;特征的權(quán)分配體現(xiàn)人的主觀重視程度。如圖1-3所示,統(tǒng)計(jì)模式識(shí)別系統(tǒng)主要由信息獲取、預(yù)處理、特征提取和選擇以及分類器4個(gè)部分組成,其中,分類器包括分類器設(shè)計(jì)和分類決策。第二十頁，共三十一頁。圖1-3統(tǒng)計(jì)模式識(shí)別系統(tǒng)的組成框圖第二十一頁，共三十一頁。2.結(jié)構(gòu)模式識(shí)別對(duì)于較復(fù)雜的模式,要對(duì)其充分描述需要很多數(shù)值特征,以至過于復(fù)雜。結(jié)構(gòu)模式識(shí)別采用一些比較簡單的子模式組成多級(jí)結(jié)構(gòu),來描述一個(gè)復(fù)雜模式。先將模式分解為若干個(gè)子模式,子模式又分解為更簡單的子模式,依次分解,直至在某個(gè)研究水平上不再需要細(xì)分。最后一級(jí)最簡單的子模式稱為模式基元,要求基元的識(shí)別比識(shí)別模式本身容易得多。第二十二頁，共三十一頁。結(jié)構(gòu)模式識(shí)別把觀察對(duì)象表達(dá)為一個(gè)由基元組成的句子;將模式類表達(dá)為由有限或無限個(gè)具有相似結(jié)構(gòu)特性的模式組成的集合。基元構(gòu)成模式所遵循的規(guī)則即為文法,或稱句法。與統(tǒng)計(jì)模式識(shí)別類似,用已知類別的訓(xùn)練樣本進(jìn)行學(xué)習(xí),產(chǎn)生該類或至少是這些樣本的文法,這個(gè)學(xué)習(xí)和訓(xùn)練過程稱為文法推斷。因此,結(jié)構(gòu)模式識(shí)別又稱為句法模式識(shí)別。第二十三頁，共三十一頁。結(jié)構(gòu)模式識(shí)別系統(tǒng)的組成框圖如圖1-4所示。其中,模式表達(dá)包括兩部分:模式分割和基元及關(guān)系的識(shí)別。對(duì)于一個(gè)模式,經(jīng)過預(yù)處理并對(duì)模式分解提取基元后,得到表征模式的句子,然后進(jìn)行句法分析,判斷它是否能被代表某個(gè)模式類的文法所接受,最終給出模式結(jié)構(gòu)描述和識(shí)別結(jié)果。第二十四頁，共三十一頁。圖1-4結(jié)構(gòu)模式識(shí)別系統(tǒng)的組成框圖在實(shí)際應(yīng)用中,統(tǒng)計(jì)方法和句法分析往往相互配合、互相補(bǔ)充。一般地,采用統(tǒng)計(jì)方法完成基元的識(shí)別,再用句法分析來表達(dá)模式的結(jié)構(gòu)信息。第二十五頁，共三十一頁。3.模糊模式識(shí)別模式識(shí)別的實(shí)質(zhì)就是判定觀察對(duì)象(元素)和模式類(集合)之間的從屬關(guān)系。傳統(tǒng)的集合論中,元素和集合的關(guān)系是非常絕對(duì)的,要么屬于,要么不屬于,兩者必居其一,而且二者僅居其一,絕不模棱兩可?；趥鹘y(tǒng)的集合論的判決方式稱為硬判決,其中,待識(shí)別的對(duì)象只能是屬于多類中的某一類。第二十六頁，共三十一頁。模糊集合論采用隸屬度來描述元素屬于一個(gè)集合的程度,用來解決信息的不確定性問題。模糊模式識(shí)別是以模糊集合論為基礎(chǔ),對(duì)應(yīng)的判決方式是一種軟判決,識(shí)別結(jié)果是觀察對(duì)象屬于每一類的隸屬度。根據(jù)需要,利用某種原則可以把模糊模式識(shí)別的軟判決結(jié)果轉(zhuǎn)化為硬判決。此時(shí),隸屬度成了用于判決的一個(gè)二次特征。第二十七頁，共三十一頁。4.神經(jīng)網(wǎng)絡(luò)模式識(shí)別人工神經(jīng)網(wǎng)絡(luò),簡稱神經(jīng)網(wǎng)絡(luò),是由大量簡單的處理單元廣泛互連而成的復(fù)雜網(wǎng)絡(luò),是在現(xiàn)代生物學(xué)研究人腦組織所取得的成果基礎(chǔ)上提出的,用以模擬人類大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和行為。第二十八頁，共三十一頁。模式識(shí)別的研究目標(biāo)是利用計(jì)算機(jī)實(shí)現(xiàn)人類的識(shí)別能力,而人對(duì)外界感知的主要生理基礎(chǔ)就是神經(jīng)系統(tǒng)。因此,根據(jù)人腦生理結(jié)構(gòu)構(gòu)造而成的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有用于模式識(shí)別的理論和結(jié)構(gòu)基礎(chǔ)。事實(shí)上,模式識(shí)別是人工神經(jīng)網(wǎng)絡(luò)最成功的應(yīng)用領(lǐng)域之一。神經(jīng)網(wǎng)絡(luò)模式識(shí)別主要利用人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)、記憶和歸納功能,先根據(jù)訓(xùn)練樣本,訓(xùn)練分類器,再利用分類器對(duì)待識(shí)別對(duì)象進(jìn)行分類決策。第二十九頁，共三十一頁。5.多分類器融合對(duì)于模式識(shí)別問題,其最終的目標(biāo)是得到盡可能好的識(shí)別性能。為了實(shí)現(xiàn)這一目標(biāo),傳統(tǒng)的做法是設(shè)計(jì)不同的分類方案,再根據(jù)實(shí)驗(yàn)結(jié)果,選擇一個(gè)最好的分類器作為最終的解決方法。過去十多年中,對(duì)分類器研究的焦點(diǎn)從單個(gè)分類器的研究轉(zhuǎn)移到多分類器系統(tǒng)的研究。多分類器融合,也稱多分類器集成,就是融合多個(gè)分類器提供的信息,得到更加準(zhǔn)確的分類(識(shí)別)結(jié)果。多分類器融合是信息融合技術(shù)在模式識(shí)別中的應(yīng)用,利用多個(gè)分類器之間的互補(bǔ)性,能夠有效地提高分類的準(zhǔn)確度。第三十頁，共三十一頁。內(nèi)容總結(jié)第1章緒論