線性判別分析LDA

線性判別分析（LDA）介紹線性判別分析(Linear

Discriminant

Analysis,

LDA)，也叫做Fisher線性判別(Fisher

Linear

Discriminant

,FLD)，是模式識別的經(jīng)典算法，1936年由RonaldFisher首次提出，并在1996年由Belhumeur引入模式識別和人工智能領(lǐng)域?；舅枷刖€性判別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達到抽取分類信息和壓縮特征空間維數(shù)的效果。投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類間散布矩陣最大，并且同時類內(nèi)散布矩陣最小。LDALDA與PCA(主成分分析)都是常用的降維技術(shù)。PCA主要是從特征的協(xié)方差角度，去找到比較好的投影方式。LDA更多的是考慮了標注，即希望投影后不同類別之間數(shù)據(jù)點的距離更大，同一類別的數(shù)據(jù)點更緊湊。下面給出一個例子，說明LDA的目標：可以看到兩個類別，一個綠色類別，一個紅色類別。左圖是兩個類別的原始數(shù)據(jù)，現(xiàn)在要求將數(shù)據(jù)從二維降維到一維。直接投影到x1軸或者x2軸，不同類別之間會有重復(fù)，導(dǎo)致分類效果下降。右圖映射到的直線就是用LDA方法計算得到的，可以看到，紅色類別和綠色類別在映射之后之間的距離是最大的，而且每個類別內(nèi)部點的離散程度是最小的（或者說聚集程度是最大的）。LDA要說明白LDA，首先得弄明白線性分類器(LinearClassifier)：因為LDA是一種線性分類器。對于K-分類的一個分類問題，會有K個線性函數(shù)：當(dāng)滿足條件：對于所有的j，都有Yk>Yj,的時候，我們就說x屬于類別k。對于每一個分類，都有一個公式去算一個分值，在所有的公式得到的分值中，找一個最大的，就是所屬的分類。權(quán)向量（weightvector）法向量（normalvector）閾值（threshold）偏置（bias）LDA上式實際上就是一種投影，是將一個高維的點投影到一條高維的直線上，LDA最求的目標是，給出一個標注了類別的數(shù)據(jù)集，投影到了一條直線之后，能夠使得點盡量的按類別區(qū)分開，當(dāng)k=2即二分類問題的時候，如下圖所示：紅色的方形的點為0類的原始點、藍色的方形點為1類的原始點，經(jīng)過原點的那條線就是投影的直線，從圖上可以清楚的看到，紅色的點和藍色的點被原點明顯的分開了，這個數(shù)據(jù)只是隨便畫的，如果在高維的情況下，看起來會更好一點。下面我來推導(dǎo)一下二分類LDA問題的公式：LDA假設(shè)用來區(qū)分二分類的直線（投影函數(shù))為：LDA分類的一個目標是使得不同類別之間的距離越遠越好，同一類別之中的距離越近越好，所以我們需要定義幾個關(guān)鍵的值:LDA類別i的原始中心點(均值)為：（Di表示屬于類別i的點):類別i投影后的中心點為：衡量類別i投影后，類別點之間的分散程度（方差）為：最終我們可以得到一個下面的公式，表示LDA投影到w后的目標優(yōu)化函數(shù)：LDA我們分類的目標是，使得類別內(nèi)的點距離越近越好（集中），類別間的點越遠越好。LDA分母表示每一個類別內(nèi)的方差之和，方差越大表示一個類別內(nèi)的點越分散，分子為兩個類別各自的中心點的距離的平方，我們最大化J(w)就可以求出最優(yōu)的wLDA我們定義一個投影前的各類別分散程度的矩陣，這個矩陣看起來有一點麻煩，其實意思是，如果某一個分類的輸入點集Di里面的點距離這個分類的中心店mi越近，則Si里面元素的值就越小，如果分類的點都緊緊地圍繞著mi，則Si里面的元素值越更接近0.帶入Si，將J(w)分母化為：LDA同樣的將J(w)分子化為：這樣目標優(yōu)化函數(shù)可以化成下面的形式：

推