KL變換特征提取

第9章基于K-L變換特征提取線性變換法特征提取9.1傅立葉級數(shù)展開式周期隨機過程的傅立葉級數(shù)（三角級數(shù)）平穩(wěn)隨機過程：自相關(guān)函數(shù)等于其數(shù)學(xué)期望的2階原點矩。公式說明：9.2K-L展開非周期隨機過程：正弦函數(shù)族不能使其傅立葉系數(shù)不相關(guān)，但是可以尋找一個新的正交函數(shù)族?n(t)，使得其變換系數(shù)互不相關(guān)。

K-L變換定義假設(shè)一個非周期隨機過程，在區(qū)間[a,b]展開式為函數(shù)族?n(t)是正交的變換系數(shù)互不相關(guān)稱式為x(t)的K-L展開，其逆過程為K-L變換。其中n是為使得自相關(guān)系數(shù)單位化引入的實或復(fù)的系數(shù)計算相關(guān)函數(shù)在離散情況下結(jié)論9.閱3揚K-茂L展開麻式的妥性質(zhì)基于鋪這些磁性質(zhì)仔，K-蒼L變換品適用插于特絡(luò)征提蛾取。性質(zhì)售一：濁展開胞系數(shù)腫互不眼相關(guān)K-窯L展開避式的籮第一親個重年要性忌質(zhì)是邀展開伏系數(shù)貼彼此無偷關(guān)的吊，即低任意睡兩個莖系數(shù)平乘積豎的期榮望為其中賞：ij為Kr叫on無ec距ke拘r積勢。說明趙：因為站來絞自樣拐本，K-牙L坐標差系將風(fēng)其作了對鋒角化姨，消浸除了似原向候量x各分羽量之肉間的辣相關(guān)性。貴從而紙可能諷消去司帶有紐奉較少廉信息揀的坐隸標軸跳，降低鄭空間制的維呀數(shù)。林例如精，簡替化坐翼標：性質(zhì)規(guī)二：剩表示元熵信息養(yǎng)熵是穗對于挨不確尺定性忽的度嗓量。K-蘋L變換葬的實分質(zhì)是眨使矩恒陣的D個特壟征值暢中，庸只有即幾個給是較裝大的填，其哭余較乖小，根因此謹，K-欣L坐標載系可訊以有套效地品進行賤信息閱壓縮推。說明哪：1如果綿所有茶的特弄征值俱相等監(jiān)，即哪同等瀉重要復(fù)，則HR取最引大值封。2如果罰熵值=0，則雪表示x的所歪有信閣息僅駱由一腔個展嘗開項誼表示她即可悔。3熵函持數(shù)叫算做表蜜示熵提，可植以用搜來估晉計信其息壓縮的繳程度窯。4對同臘一特維征向魂量集{x悔}，K-橫L坐標難系下敗的表夢示熵釀為最么小。性質(zhì)習(xí)三：胞總體退熵一般到說來跪，各躺類均煙值向蜘量通高常包叨含有恢較多鮮的判父別信秩息。選擇煮這樣凡一些治特征稿量，攜使當(dāng)么用同鵝一類狡的這能些特敲征量懂的均倚值所鉆組成趕的向單量代聯(lián)表該摸類的掉樣本朝用來鏟進行證分類脅時，金所引榴起的護分類全不確蕩定性遣度量飲最小桶?？梢灾T用總啊體熵彎來度者量這嘆種分訓(xùn)類的扁不確圓定性勁。總體急熵可帽以作疑為類艇均值扶向量茶代表址同類瞇各樣肝本的起不確究定性欄的一暑種度針量?？傮w亭熵的追意義9.差4栽K-從L坐標漏系的嶼生成數(shù)據(jù)慘集合{x}的K-私L坐標柜系是餓由二雕階統(tǒng)邊計量腹來確攜定的斗。可釣以使壟用以迫下幾察種方妖法來仆生成K-庭L坐標彎系：樣本筒所屬四類別訴未知區(qū)時：1、可凱以使太用樣貌本的坊自相右關(guān)矩膚陣2、對駱于無惰類別屈標簽禾的樣旋本集瘦，均封值向拍量無得意義，捧也常達使用盯協(xié)方舒差矩遍陣樣本瞇所屬闖類別淺已知絹時：可以桌使用險各種駝二階宣矩，呈得到里不同順的K-棍L坐標墨系1、使噸用總躲類內(nèi)豈離散紹度矩州陣使用異條件頁：（1）樣豬本集掏合{x}有類虛別標隆簽（2）各樂類的極先驗城概率維已知（3）均園值向敬量已字知（4）協(xié)巖方差齊矩陣澤已知2、每夏次使劈燕用一闊個類友別樣慕本集么合來類建立K-槳L坐標系仁，該K-元L變換犧常用勾于信見息壓在縮，目很少疫用于顧分類外。例：9.竊5貪K昏-L變換渾的應(yīng)嘩用類條利件均綢值向果量包蠶含有詞大量嘆的分則類信庸息。淡可以意應(yīng)用K-墻L變換鍋來降光低研差究問旗題的搬維數(shù)晶，以氣便有顯效地棚分類族。步驟案：1、使嗚用總量類內(nèi)鏡離散燃度生擦成K-夢L坐標民系一、凱類均捧值向慈量的亞坐標沫壓縮2、計禍算Sw的特僚征值惜矩陣與變誰換矩嫩陣U，3、計文算各如個分鏟量的塔分類主性能J(xj)4、將J(xj)重新蔥排隊確定慘由前d個K-架L分量儲來表貍征對測象的堪顯著勺性。5、確巡壽定空詞間壓查縮維辦數(shù)（d維）巨或者燃分類網(wǎng)。為了家把維經(jīng)數(shù)從2壓縮逃到1，首智先求計算?？傤愄O內(nèi)離放散度知，K-窮L坐標旨系生好成依隨據(jù)。Sw的特快征值那矩陣團與特亮征向不量變換盞矩陣計算瓣類間村離散襖度計算升分類編性能K-棚L(fēng)分量餓的分估量x1顯著選特憑征向棒量1作為執(zhí)一維孩坐標捎軸壓縮仆分析梳：使用厚一維凱坐標軍軸u1后，禍完成虜了壓芒縮?？宓前从删傊迪驍D量的悠位置過可知怎，仍閃然包沃含有u2坐標屯軸信凈息，納因此賞從數(shù)白據(jù)壓燒縮的奶原理湖上，菠壓縮把后的報信息赴仍然最有坐已標的盜相關(guān)封性（脊即使辰略去u2坐標斯），份不是江最優(yōu)劇的。二、帳類均純值向樂量的環(huán)最優(yōu)K-接L壓縮上面抽討論警的K-艷L壓縮揉不是舉最優(yōu)舊壓縮乏。尋麥找一鎮(zhèn)種解饞除坐標德之間蹄的相挨關(guān)性的方只法，竟又稱煮兩步羅變換拉，即界最優(yōu)麻壓縮凝變換鈔。第咐一步殺實現(xiàn)僚坐標槳軸之逗間耦蟲合的掀解除倚，第竊二步季實現(xiàn)綱正交倚歸一下變換降。例9.星2前例歡，求消保持濤類平施均向猾量中泉全部侮分類信息歇條件備下壓見縮為欠一維榮特征批空間企的坐算標系臭。二次準變換鄭的最鑼優(yōu)壓拉縮對淋數(shù)據(jù)合的作傻用如斯圖所西示三、腹由類軟中心族向量販獲取右判別茂信息1、類浙中心淺向量域包含黎的信烘息兩類他問題竭：類罵均值區(qū)相等喊，但斗是類議方差旬不等靈，其分液類信六息如乳圖所掙示。類條煙件方嘉差的號離散飛度可以岸衡量扣該分聚量對砌于分哨類的準顯著榴性（3）由等熵準決則J(xj)表征xj的顯嘩著性（4）熵丑值排闊序，掩根據(jù)隊分量健的顯柳著性隆確定傳壓縮坐標取前d個坐宵標軸房誠作為聰壓縮朱坐標遇系統(tǒng)脊。說明顧：四、屬用于親非監(jiān)手督模狼式識肆別問題番中的島特征索提取例題9.鼓4五、K-伸L變換紫用于昨圖象磚壓縮已知2維像第素數(shù)購據(jù)作Wa置ls誓h變換Wa蓮ls躺h變換聲矩陣甲為由2維Wa股ls稅h變換矮有計算Y的協(xié)算方差條矩陣Ry中大焰于1的數(shù)危據(jù)只讓有4個取Y的近鵝似原來笨傳輸16個數(shù)潑據(jù)，現(xiàn)經(jīng)覺過壓膠縮，傾僅傳輸4個數(shù)聚據(jù)即波可。作Wa為ls藏h反變搬換均方芬誤差獵最小黃。用于份可視摔電話刷數(shù)據(jù)呆的傳犬輸可止將數(shù)夸據(jù)壓皂縮為蜂：2b較it棄/p誘ix粗el附錄瓜：Wa博ls衣h變換過：哈特并馬函走數(shù)生成縣：h2刺=[泉1革1;騾1邊-1墻];h4退=[嶺h2揮h機2;糞h2惡-介h2越];h8它=[沫h(huán)4郊h撲4;鹽h4惠-冤h4旁];Wa背ls伶h變換彩：Y=丸HX六、K-勺L變換脫應(yīng)用沃于人困臉圖薄象的賀識別1、圖糖象獲忽得X12屑812鉛8，12衡812葡8個像遺素點農(nóng)。2、圖葉象歸似一化曠：旋光轉(zhuǎn)，櫻比例翼，縮恢放，姻裁剪榨，灰基度，縮慧光照丸等變筐換，霞可以桑參考欲圖象奪處理健有關(guān)疲書籍驢。3、K-塘L變換阻：以市樣本稍集合嚼的總槍體離貼散度愛矩陣短作為KL變換竊產(chǎn)生夾矩陣幣，M為樣灰本數(shù)總體院離散投度矩歲陣令矩美陣計算賠矩陣R的特股征值i與正固交歸北一化再特征扶向量vi，排序?qū)侵嗵卣鲝U矩陣變換使矩陣4、構(gòu)獸造“暑特征置臉”由于“特蛋征臉富”“特籠征臉駝”是足降維牽（r維）言重構(gòu)妻圖象5、識慰別甲，設(shè)攔定閾睡值，實允現(xiàn)人承臉的厲識別使用腎信噪懼比評跡價指鄉(xiāng)豐標討論一般淚說來棗，實敲際中旁的一套個模線式識特別問常題往堵往包磚含以衣下5個階斷段：問題描的提牧出和蒙定義窯；數(shù)據(jù)痕獲取舌和預(yù)揭處理材；特征堅提取蛾和選塔擇；分類辰器設(shè)風(fēng)計；分類喊及結(jié)揪果解亮釋。1.問題島的提黃出和足定義即把旅一個達實際展的問殖題抽蜓象成銅一個至模式辮識別危問題姑。對具診體問監(jiān)題所彩在的鑒領(lǐng)域恥的充磁分了痛解和蒼對模德式識良別技哈術(shù)特夸點的輔掌握軋是十鳳分必啞要的共。在很膛多情令況下立，一沾個復(fù)茫雜問繁題本耽身可納能就蠶是一縣個?；蚴阶R俯別問呼題，僻往往顯需要澤對問隨題進喉行必減要的鉗分解鉛或簡差化。提出濃一個厲好問拴題往描往是限解決凳問題針的一堪半，跪把問耕題定蒼義明丑確對暴于設(shè)席計一半個模詞式識紐奉別系六統(tǒng)來態(tài)說是夾十分般必要班的，給這一拍點在格實際嬌中往竄往容堆易被典忽略炊。2.數(shù)據(jù)船獲取弟和預(yù)卷處理對于界已確能定的汁問題貧（分示類目知標）褲，研裹究獲著得什梯么樣偷的數(shù)炭據(jù)才知能有量效地促實現(xiàn)貸模式遷識別景任務(wù)歲是十險分重抹要的起。只經(jīng)有所董提取辛的數(shù)咱據(jù)確噸實與遲分類倘目標辦間存籮在一縱定的雄依存吳關(guān)系崖（函旱數(shù)關(guān)懂系）革，這認個模勉式識置別問賢題才嶄能真舍正成息立。問題址領(lǐng)域疼的知漠識應(yīng)籃該發(fā)蝕揮重塔要的盈作用押。所獲傭取的置數(shù)據(jù)呢應(yīng)該鄰具有帳什么松性質(zhì)賺和特葬點才拾能更蜜好地紛發(fā)揮柔模式形識別己技術(shù)綁的優(yōu)盯勢，墾這也味許是恥模式