廣義線性分段線性模式空間和權(quán)空間資料講解

廣義線性判別函數(shù)出發(fā)點(diǎn)線性判別函數(shù)簡單，容易實(shí)現(xiàn)；非線性判別函數(shù)復(fù)雜，不容易實(shí)現(xiàn)；若能將非線性判別函數(shù)轉(zhuǎn)換為線性判別函數(shù)，則有利于模式分類的實(shí)現(xiàn)。廣義線性判別函數(shù)基本思想 設(shè)有一個訓(xùn)練用的模式集{x}，在模式空間x中線性不可分，但在模式空間x*中線性可分，其中x*的各個分量是x的單值實(shí)函數(shù)，x*的維數(shù)k高于x的維數(shù)n，即若取 x*=(f1(x),f2(x),….,fk(x)),k>n 則分類界面在x*中是線性的，在x中是非線性的，此時只要將模式x進(jìn)行非線性變換，使之變換后得到維數(shù)更高的模式x*，就可以用線性判別函數(shù)來進(jìn)行分類。[描述]廣義線性判別函數(shù)廣義線性判別函數(shù)的意義[線性的判別函數(shù)][fi(x)選用二次多項(xiàng)式函數(shù)][x是二維的情況][x是n維的情況][fi(x)選用r次多項(xiàng)式函數(shù)，x是n維的情況][例子][d(x)的總項(xiàng)數(shù)]說明d(x)的項(xiàng)數(shù)隨r和n的增加會迅速增大，即使原來模式x的維數(shù)不高，若采用次數(shù)r較高的多項(xiàng)式來變換，也會使變換后的模式x*的維數(shù)很高，給分類帶來很大困難。實(shí)際情況可只取r=2，或只選多項(xiàng)式的一部分，例如r=2時只取二次項(xiàng)，略去一次項(xiàng)，以減少x*的維數(shù)。分段線性判別函數(shù)出發(fā)點(diǎn)線性判別函數(shù)在進(jìn)行分類決策時是最簡單有效的，但在實(shí)際應(yīng)用中，常常會出現(xiàn)不能用線性判別函數(shù)直接進(jìn)行分類的情況。采用廣義線性判別函數(shù)的概念，可以通過增加維數(shù)來得到線性判別，但維數(shù)的大量增加會使在低維空間里在解析和計算上行得通的方法在高維空間遇到困難，增加計算的復(fù)雜性。引入分段線性判別函數(shù)的判別過程，它比一般的線性判別函數(shù)的錯誤率小，但又比非線性判別函數(shù)簡單。分段線性判別函數(shù)圖例：用判別函數(shù)分類可用一個二次判別函數(shù)來分類也可用一個分段線性判別函數(shù)來逼近這個二次曲線分段線性判別函數(shù)分段線性判別函數(shù)的設(shè)計采用最小距離分類的方法[最小距離分類]分段線性判別函數(shù)圖例：分段線性分類設(shè)計模式空間和權(quán)空間[分類描述]模式空間對一個線性方程w1x1+w2x2+w3x3=0，它在三維空間(x1x2x3)中是一個平面方程式，w=(w1w2w3)T是方程的系數(shù)。把w向量作為該平面的法線向量，則該線性方程決定的平面通過原點(diǎn)且與w垂直。模式空間和權(quán)空間模式空間若x是二維的增廣向量，此時x3=1，則在非增廣的模式空間中即為{x1,x2}二維坐標(biāo)，判別函數(shù)是下列聯(lián)立方程的解 w1x1+w2x2+w3=0 x3=1 即為這兩個平面相交的直線AB此時，w=(w1w2)T為非增廣的權(quán)向量，它與直線AB垂直；AB將平面分為正、負(fù)兩側(cè)，w離開直線的一側(cè)為正，w射向直線的一側(cè)為負(fù)。模式空間和權(quán)空間模式空間增廣向量決定的平面非增廣向量決定的直線模式空間和權(quán)空間權(quán)空間若將方程x1w1+x2w2+w3=0繪在權(quán)向量w=(w1w2w3)T的三維空間中，則x=(x1x21)T為方程的系數(shù)。若以x向量作為法線向量，則該線性方程所決定的平面為通過原點(diǎn)且與法線向量垂直的平面，它同樣將權(quán)空間劃分為正、負(fù)兩邊。在系數(shù)x不變的條件下，若w值落