模式識(shí)別 復(fù)習(xí)筆記new

1、第一章 概論1 什么是模式識(shí)別？使計(jì)算機(jī)模仿人的感知能力，從感知數(shù)據(jù)中提取信息（判別物體和行為）的過(guò)程。（老師的簡(jiǎn)略說(shuō)法：用機(jī)器判斷事物類別）2 模式識(shí)別系統(tǒng)主要由四個(gè)部分組成：原始數(shù)據(jù)的獲取和預(yù)處理，特征提取與選擇，分類或類聚，后處理。3 緊致性：做模式識(shí)別的前提條件是每個(gè)模式類滿足緊致性。4 相似性度量滿足的條件：1234點(diǎn)5 一些專業(yè)術(shù)語(yǔ)的中英文：PR（pattern recognition）模式識(shí)別BP（back-propagation）反向傳播算法PCA（principal component analysis）主成分分析NN （neural networks）神經(jīng)網(wǎng)絡(luò)6 歐式距離：

2、7 馬氏距離：第2章 貝葉斯決策（兩大貝葉斯決策=最小錯(cuò)誤率貝葉斯決策+最小風(fēng)險(xiǎn)貝葉斯決策）：1 貝葉斯決策的三個(gè)前提條件：類別數(shù)確定，各類的先驗(yàn)概率p(wi)已知，各類的條件概率密度函數(shù)p(x|wi)已知。2 最小錯(cuò)誤率貝葉斯決策：使錯(cuò)誤率最小的分類決策。對(duì)應(yīng)于最大后驗(yàn)概率。貝葉斯公式：P17 白細(xì)胞例子3 最小風(fēng)險(xiǎn)貝葉斯決策：考慮各種錯(cuò)誤造成損失不同時(shí)的一種最優(yōu)決策。第三章 最大似然估計(jì)（兩大參數(shù)估計(jì)=最大似然估計(jì)+貝葉斯估計(jì)）：最可能出一題最大似然估計(jì)的計(jì)算題。判斷估計(jì)好壞的標(biāo)準(zhǔn)：無(wú)偏性、有效性、一致性。1 最大似然估計(jì)的求解流程：1、構(gòu)造似然函數(shù) 2、對(duì)數(shù)化 3、求偏導(dǎo) 4、求解第四章

3、 線性分類器1 Fisher判別法Fisher準(zhǔn)則：找到一個(gè)最合適的投影軸，使兩類樣本在該軸上的投影之間的距離盡可能遠(yuǎn)，而每一類樣本的投影盡可能緊湊，從而使分類效果為最佳。各類樣本均值向量mi判定函數(shù)J（w）越大，說(shuō)明分子類間距離越大，分母類內(nèi)距離越小。符合fisher準(zhǔn)則。引入拉格朗日函數(shù)：求偏導(dǎo)2 最小二乘法 y=ax+b 第五章 非線性分類器1 反向傳播算法BP：1. 三層結(jié)構(gòu)2. 簡(jiǎn)述BP過(guò)程、偏差回來(lái)調(diào)整權(quán)系數(shù)P953. 學(xué)習(xí)規(guī)則：a. 隨機(jī)給定權(quán)系數(shù)；b. 計(jì)算輸出；c. 得到偏差；d. 進(jìn)行調(diào)整4. 算法步驟：第七章 特征選擇遺傳算法過(guò)程：a. 初始化：設(shè)置進(jìn)化代數(shù)計(jì)數(shù)器t=0，

4、設(shè)置最大進(jìn)化代數(shù)T，隨機(jī)生成M個(gè)個(gè)體作為初始群體P（0）.b. 個(gè)體評(píng)價(jià)：計(jì)算群體P（t）中各個(gè)個(gè)體的適應(yīng)度。c. 選擇：將選擇算子作用于群體。選擇的目的是把優(yōu)化的個(gè)體直接遺傳到下一代或通過(guò)配對(duì)交叉產(chǎn)生新的個(gè)體再遺傳到下一代。選擇操作是建立在群體中個(gè)體的適應(yīng)度評(píng)估基礎(chǔ)上的。d. 交叉：將交叉算子作用于群體。作為交叉是指把兩個(gè)父代個(gè)體的部分結(jié)構(gòu)加以替換重組而生成新個(gè)體的操作。遺傳算法中起核心作用的就是交叉算子。e. 變異：將變異算子作用于群體。即是對(duì)群體中的個(gè)體串的某些基因座上的基因值變動(dòng)。群體P(t)經(jīng)過(guò)選擇、交叉、變異運(yùn)算之后得到下一代群體P(t+1)。f. 終止條件判斷：若t=T，則以進(jìn)化

5、過(guò)程中所得到的具有最大適應(yīng)度個(gè)體作為最優(yōu)解輸出，終止計(jì)算。（終止條件：達(dá)到適應(yīng)度函數(shù)或達(dá)到進(jìn)化規(guī)定的代數(shù)）第八章 特征提取1 PCA（主成分分析）2 K-L變換（最優(yōu)正交線性）（完整掌握）3 結(jié)合KL變換敘述人臉識(shí)別的經(jīng)典流程：1. 對(duì)向量x用確定的完備正交歸一向量基uj展開(kāi)，對(duì)應(yīng)到的人臉識(shí)別問(wèn)題上就是一個(gè)臉可以由無(wú)窮多個(gè)本征臉進(jìn)行重構(gòu)；2. 用有限項(xiàng)估計(jì)X，對(duì)應(yīng)人臉識(shí)別時(shí)一個(gè)臉由有限個(gè)本征臉進(jìn)行重構(gòu)，假設(shè)有d個(gè)，則；3. 下面是尋找uj，即對(duì)應(yīng)的本征臉；4. 由于是用d個(gè)本征臉來(lái)重構(gòu)一張臉x，所以存在一定的誤差。求估計(jì)的均方誤差：第九章 非監(jiān)督模式識(shí)別K均值聚類1 基本思想：k均值聚類是最著名的劃分聚類算法，由于簡(jiǎn)潔和效率使得他成為所有聚類算法中最廣泛使用的。給定一個(gè)數(shù)據(jù)點(diǎn)集合和需要的聚類數(shù)目k，k由用戶指定，k均值算法根據(jù)某個(gè)距離函數(shù)反復(fù)把數(shù)據(jù)分入k個(gè)聚類中。2 K均值的迭代思想：3 K均值算法：先隨機(jī)選取K個(gè)對(duì)象作為初始的聚類中心。然后計(jì)算每個(gè)對(duì)象與各個(gè)種子聚類中心之間的距離，把每個(gè)對(duì)象分配給距離它最近的聚類中心。聚類中心以及分配給它們的對(duì)象就代表一個(gè)聚類。一旦全部對(duì)象都被分配了，每個(gè)聚類的聚類中心會(huì)根據(jù)聚類中現(xiàn)有的對(duì)象被重新計(jì)算。這個(gè)過(guò)程將不斷重復(fù)直到滿足某個(gè)終止條件。終止條件可以是以下任何一個(gè)：1)沒(méi)有（或最小數(shù)目）對(duì)象