中科院計算機(jī)學(xué)院現(xiàn)代信息檢索復(fù)習(xí)

1、復(fù) 習(xí) 第一章 模式識別概論 第二章 聚類分析 第三章 判別函數(shù) 第四章 統(tǒng)計判別 第五章 特征選擇與提取 第六章 人工神經(jīng)網(wǎng)絡(luò) 第七章 句法模式識別第八章 模糊模式識別方法第九章 模式識別應(yīng)用第一章 模式識別概論 模式 概念 廣義地說，存在于時間和空間中可觀察的物體，如果可以區(qū)別它們是否相同或是否相似，都可以稱之為模式。 直觀特性 可觀察性 可區(qū)分性 相似性 模式識別 目的 利用計算機(jī)對物理對象進(jìn)行分類，在錯誤概率最小的條件下，使識別的結(jié)果盡量與客觀物體相符合。 方法（兩種假說） 監(jiān)督學(xué)習(xí)、概念驅(qū)動或歸納假說 非監(jiān)督學(xué)習(xí)、數(shù)據(jù)驅(qū)動或演繹假說第一章 模式識別概論 模式分類 數(shù)據(jù)聚類 統(tǒng)計分類

2、神經(jīng)網(wǎng)絡(luò) 結(jié)構(gòu)模式識別 模式識別系統(tǒng)組成 模式識別過程實例第二章 聚類分析 聚類分析的相關(guān)概念 定義 對一批沒有標(biāo)出類別的模式樣本集，按照樣本之間的相似程度分類，相似的歸為一類，不相似的歸為另一類，這種分類稱為聚類分析。 模式相似/分類的依據(jù) 把整個模式樣本集的特征向量看成是分布在特征空間中的一些點，點與點之間的距離即可作為模式相似性的測量依據(jù)。 聚類分析的有效性 特征選擇的維數(shù)和降維處理第二章 聚類分析 模式相似性的測度和聚類準(zhǔn)則 相似性測度 歐氏距離 馬氏距離 一般化的明氏距離 角度相似性函數(shù) 聚類準(zhǔn)則 試探方法 聚類準(zhǔn)則函數(shù)法第二章 聚類分析 基于試探的聚類搜索算法 按最近鄰規(guī)則的簡單試

3、探法 最大最小距離算法 系統(tǒng)聚類法 算法 幾種距離計算準(zhǔn)則：最小距離準(zhǔn)則 實例 動態(tài)聚類法 K-均值算法 算法和實例 ISODATA算法 基本步驟和思路 算法和實例第三章 判別函數(shù) 線性判別函數(shù) 用判別函數(shù)分類的概念 線性判別函數(shù)的一般形式和分類問題 兩類情況： 多類情況：三種多類情況 廣義線性判別函數(shù) 基本思想 廣義線性判別函數(shù)的意義 線性的判別函數(shù) 判別函數(shù)選用二次多項式函數(shù) 判別函數(shù)選用r次多項式函數(shù) 分段線性判別函數(shù) 模式空間和權(quán)空間第三章 判別函數(shù) Fisher線性判別 從d維空間到一維空間的一般數(shù)學(xué)變換方法 Fisher準(zhǔn)則函數(shù)的定義 基于最佳變換向量的投影 感知器算法 線性判別函

4、數(shù)的感知器賞罰訓(xùn)練算法 采用感知器算法的多類模式的分類 可訓(xùn)練的確定性分類器的迭代算法 梯度法 固定增量的逐次調(diào)整算法 最小平方誤差(LMSE)算法第三章 判別函數(shù) 勢函數(shù)法 判別函數(shù)的產(chǎn)生 分析步驟 勢函數(shù)的選擇 第一類勢函數(shù) 對稱的有限多項式展開 第二類勢函數(shù) 雙變量的對稱函數(shù) 實例 決策樹簡介 概念 二叉樹第四章 統(tǒng)計判別 作為統(tǒng)計判別問題的模式分類 貝葉斯判別原則 貝葉斯最小風(fēng)險判別 正態(tài)分布模式的貝葉斯分類器 M種模式類別的多變量正態(tài)類密度函數(shù) 兩類問題且其類模式都是正態(tài)分布的特殊情況 模式分布密度的協(xié)方差矩陣不等 模式分布密度的協(xié)方差矩陣相等 實例第四章 統(tǒng)計判別 在貝葉斯分類器中

5、，構(gòu)造分類器需要知道類概率密度函數(shù)。 類概率密度是正態(tài)分布，它完全由其均值向量和協(xié)方差矩陣所確定。 均值和協(xié)方差矩陣的非隨機(jī)參數(shù)的估計 均值和協(xié)方差矩陣的估計量定義 均值和協(xié)方差矩陣估計量的迭代運(yùn)算 均值向量和協(xié)方差矩陣的貝葉斯學(xué)習(xí) 一般概念 單變量正態(tài)密度函數(shù)的均值學(xué)習(xí)第五章 特征選擇與提取 特征選擇的概念 所謂特征選擇，就是從n個度量值集合中，按某一準(zhǔn)則選取出供分類用的子集，作為降維（m維，mn）的分類特征； 特征提取的概念 所謂特征提取，就是通過某種變換，從n個度量值集合中產(chǎn)生m個特征 (mn) ，作為新的分類特征（或稱為二次特征）； 目的 為了在盡可能保留識別信息的前提下，降低特征空間

6、的維數(shù)，已達(dá)到有效的分類。第五章 特征選擇與提取 模式類別可分性的測度 點到點之間的距離 點到點集之間的距離 類內(nèi)距離 類內(nèi)散布矩陣 類間距離和類間散布矩陣 多類模式集的散布矩陣 特征選擇 對于獨立特征的選擇原則 一般特征的散布矩陣準(zhǔn)則第五章 特征選擇與提取 離散K-L變換 一種適用于任意概率密度函數(shù)的正交變換 將原來的特征做正交變換，獲得的每個數(shù)據(jù)都是原來n個數(shù)據(jù)的線性組合，然后從新的數(shù)據(jù)中選出少數(shù)幾個，使其盡可能多地反映各類模式之間的差異，而這些特征間又相互獨立。 離散的有限K-L展開 K-L展開式的性質(zhì) K-L展開式系數(shù)的計算步驟 按K-L展開式選擇特征 三條結(jié)論 實例第六章 人工神經(jīng)網(wǎng)

7、絡(luò) 概念和特點 人工神經(jīng)網(wǎng)絡(luò)定義 固有的并行結(jié)構(gòu)和并行處理 知識分布存儲 容錯性 自適應(yīng)性 局限性 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 生物原型（大腦） 人工神經(jīng)網(wǎng)絡(luò)處理單元（人工神經(jīng)元）特性 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 存儲和回憶功能 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法 人工神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性第六章 人工神經(jīng)網(wǎng)絡(luò) 前饋網(wǎng)絡(luò) 感知器模型 符號單元 功能表示能力 訓(xùn)練算法 線性單元 加權(quán)的直接求解法 規(guī)則訓(xùn)練算法 非線性單元 加權(quán)求解描述 Sigmoid函數(shù)情況 多層網(wǎng)絡(luò)的訓(xùn)練誤差反傳訓(xùn)練算法（BP算法） 原理和推算過程 訓(xùn)練算法實現(xiàn)步驟（Sigmoid函數(shù)） BP訓(xùn)練算法存在的問題及改進(jìn)第六章 人工神經(jīng)網(wǎng)絡(luò) 反饋網(wǎng)絡(luò) H

8、opfield網(wǎng)絡(luò)（離散型） 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)及描述 網(wǎng)絡(luò)運(yùn)行過程及其神經(jīng)元的演變和狀態(tài)的變遷 網(wǎng)絡(luò)聯(lián)想方法和網(wǎng)絡(luò)訓(xùn)練 隨機(jī)神經(jīng)網(wǎng)絡(luò) 模擬退火算法 基本思想 實現(xiàn)過程 玻爾茲曼機(jī) 與BP網(wǎng)絡(luò)的差別 訓(xùn)練算法第六章 人工神經(jīng)網(wǎng)絡(luò) 自組織神經(jīng)網(wǎng)絡(luò) 普通的無指導(dǎo)信號的訓(xùn)練過程 一種常用的無指導(dǎo)學(xué)習(xí)方法 競爭學(xué)習(xí)，包括： 競爭過程的權(quán)值調(diào)整 最佳匹配 競爭過程的網(wǎng)絡(luò)組織 勝者為王 一種典型的自組織網(wǎng)絡(luò) Hamming網(wǎng)絡(luò) Kohonen網(wǎng)絡(luò) 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 網(wǎng)絡(luò)自組織算法第六章 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用開發(fā)設(shè)計 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的可行性 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的特點 人工神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用情況 人工神經(jīng)

9、網(wǎng)絡(luò)模型的選取原則 網(wǎng)絡(luò)大小 所需輸出類型 聯(lián)想記憶類型 訓(xùn)練方法 時間的限定 人工神經(jīng)網(wǎng)絡(luò)模型的設(shè)計 確定結(jié)點的類型 確定網(wǎng)絡(luò)、層的大小和連接要求 確定學(xué)習(xí)算法和參數(shù) 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)的評價 網(wǎng)絡(luò)的大小 速度 完全訓(xùn)練標(biāo)準(zhǔn) 網(wǎng)絡(luò)的實驗第七章 句法模式識別 句法模式識別系統(tǒng)構(gòu)成 系統(tǒng)框圖 處理過程 學(xué)習(xí)過程 集合論中的關(guān)系運(yùn)算 形式語言理論和句法模式識別 文法定義 語言的生成過程 文法的分類 無約束文法 上下文有關(guān)文法 上下文無關(guān)文法 正則文法 實例第七章 句法模式識別 句法結(jié)構(gòu)的自動機(jī)識別 確定有限態(tài)自動機(jī) 非確定有限態(tài)自動機(jī) 正則文法有限態(tài)自動機(jī) 上下文無關(guān)文法下推自動機(jī) 基元的提取 圖形邊界或骨架的基元選擇 按區(qū)域劃分成多邊形近似的基元 形式語言在圖形識別中的應(yīng)用 各種文法用于模式識別的功能比較 程序文法 圖形描述語言PDL 樹文法第七章 句法模式識別 句法分析 通過生成樹的句法分析 CKY分析算法 最小距離誤差的句法校正分析 句法模式識別的隨機(jī)文法 隨機(jī)文法定義 隨機(jī)有限態(tài)自動機(jī)識別器 文法推斷 基本概念 人機(jī)交互式的歸納推斷法 啟發(fā)式的歸