廣義線性分段線性模式空間和權(quán)空間

1、2022-7-411 廣義線性判別函數(shù) 出發(fā)點(diǎn) 線性判別函數(shù)簡單，容易實(shí)現(xiàn)； 非線性判別函數(shù)復(fù)雜，不容易實(shí)現(xiàn)； 若能將非線性判別函數(shù)轉(zhuǎn)換為線性判別函數(shù)，則有利于模式分類的實(shí)現(xiàn)。2022-7-422 廣義線性判別函數(shù) 基本思想設(shè)有一個(gè)訓(xùn)練用的模式集x，在模式空間x中線性不可分，但在模式空間x*中線性可分，其中x*的各個(gè)分量是x的單值實(shí)函數(shù)，x*的維數(shù)k高于x的維數(shù)n，即若取x* = (f1(x), f2(x), ., fk(x), kn則分類界面在x*中是線性的，在x中是非線性的，此時(shí)只要將模式x進(jìn)行非線性變換，使之變換后得到維數(shù)更高的模式x*，就可以用線性判別函數(shù)來進(jìn)行分類。 描述2022-7

2、-433 廣義線性判別函數(shù) 廣義線性判別函數(shù)的意義 線性的判別函數(shù) fi(x)選用二次多項(xiàng)式函數(shù) x是二維的情況 x是n維的情況 fi(x)選用r次多項(xiàng)式函數(shù)， x是n維的情況 例子 d(x)的總項(xiàng)數(shù) 說明 d(x)的項(xiàng)數(shù)隨r和n的增加會(huì)迅速增大，即使原來模式x的維數(shù)不高，若采用次數(shù)r較高的多項(xiàng)式來變換，也會(huì)使變換后的模式x*的維數(shù)很高，給分類帶來很大困難。 實(shí)際情況可只取r=2，或只選多項(xiàng)式的一部分，例如r=2時(shí)只取二次項(xiàng)，略去一次項(xiàng)，以減少x*的維數(shù)。2022-7-444 廣義線性判別函數(shù) 例子：一維樣本空間 -二維樣本空間2022-7-455分段線性判別函數(shù) 出發(fā)點(diǎn) 線性判別函數(shù)在進(jìn)行分

3、類決策時(shí)是最簡單有效的，但在實(shí)際應(yīng)用中，常常會(huì)出現(xiàn)不能用線性判別函數(shù)直接進(jìn)行分類的情況。 采用廣義線性判別函數(shù)的概念，可以通過增加維數(shù)來得到線性判別，但維數(shù)的大量增加會(huì)使在低維空間里在解析和計(jì)算上行得通的方法在高維空間遇到困難，增加計(jì)算的復(fù)雜性。 引入分段線性判別函數(shù)的判別過程，它比一般的線性判別函數(shù)的錯(cuò)誤率小，但又比非線性判別函數(shù)簡單。2022-7-466 分段線性判別函數(shù) 圖例：用判別函數(shù)分類 可用一個(gè)二次判別函數(shù)來分類 也可用一個(gè)分段線性判別函數(shù)來逼近這個(gè)二次曲線2022-7-477 分段線性判別函數(shù) 分段線性判別函數(shù)的設(shè)計(jì) 采用最小距離分類的方法 最小距離分類2022-7-488 分段

4、線性判別函數(shù) 圖例：分段線性分類設(shè)計(jì)2022-7-499 模式空間和權(quán)空間 分類描述 模式空間 對(duì)一個(gè)線性方程w1x1+w2x2+w3x3=0，它在三維空間(x1 x2 x3)中是一個(gè)平面方程式，w=(w1 w2 w3)T是方程的系數(shù)。 把w向量作為該平面的法線向量，則該線性方程決定的平面通過原點(diǎn)且與w垂直。2022-7-41010 模式空間和權(quán)空間 模式空間 若x是二維的增廣向量，此時(shí)x3=1，則在非增廣的模式空間中即為x1, x2 二維坐標(biāo)，判別函數(shù)是下列聯(lián)立方程的解 w1x1+w2x2+w3=0 x3=1即為這兩個(gè)平面相交的直線AB 此時(shí)，w =(w1 w2)T為非增廣的權(quán)向量，它與直線AB垂直；AB將平面分為正、負(fù)兩側(cè)，w離開直線的一側(cè)為正， w射向直線的一側(cè)為負(fù)。2022-7-41111 模式空間和權(quán)空間模式空間增廣向量決定的平面(a) 非增廣向量決定的直線2022-7-41212 模式空間和權(quán)空間 權(quán)空間 若將方程x1w1+x2w2+w3=0繪在權(quán)向量w=(w1 w2 w3)T的三維空間中，則x=(x1 x2 1)T為方程的系數(shù)。 若以x向量作為法線向量，則該線性方程所決定的平面為通過原點(diǎn)且與法線向量垂直的平面，它同樣將權(quán)空間劃分為正、負(fù)兩邊。 在系數(shù)x不變的條件下，若w值落在法線