支持向量機(jī)在輸電線(xiàn)路故障識(shí)別中的應(yīng)用研究

密級(jí) 分類(lèi)號(hào)密級(jí) UDC 碩士學(xué)位論文支持向量機(jī)在輸電線(xiàn)路故障識(shí)別中的應(yīng)用研究學(xué)位申請(qǐng)人：馬新明學(xué)科專(zhuān)業(yè)：電力系統(tǒng)及其自動(dòng)化指導(dǎo)教師：王成江副教授ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofScienceinEngineeringResearchonApplicationofSupportVectorMachineinFault

IdentificationforTransmissionlinesGraduateStudent:MaxinmingMajor:PowerSystemanditsAutomationSupervisor:Associateprof.WangchengjiangChinaThreeGorgesUniversityYichang,443002,P.R.China

May,2010#引言電力輸電線(xiàn)路發(fā)生各種故障后，要求能夠準(zhǔn)確、快速地識(shí)別出所發(fā)生故障的類(lèi)型，通常的做法是依據(jù)相應(yīng)的邏輯關(guān)系設(shè)置門(mén)檻值來(lái)實(shí)現(xiàn)。然而發(fā)生故障時(shí)所獲取的電壓、電流信息一般都是受運(yùn)行方式、故障位置和故障時(shí)刻等各種因素的影響，從而使整個(gè)故障數(shù)據(jù)類(lèi)型一般是非線(xiàn)性可分的，各種故障數(shù)據(jù)之間通常不具有顯著的線(xiàn)性劃分界限。并且這些方法在數(shù)據(jù)預(yù)處理方面步驟較多，一旦其中某一環(huán)節(jié)出錯(cuò)，則對(duì)最后的分類(lèi)帶來(lái)很大的誤差，而且前期數(shù)據(jù)處理過(guò)程多則意味著到最終分類(lèi)的速度會(huì)變慢，這對(duì)輸電線(xiàn)路發(fā)生故障后準(zhǔn)確、迅速地識(shí)別故障類(lèi)型是不利的，所以基于門(mén)檻值的邏輯判別方法就存在一定的缺陷。本文在充分研究支持向量機(jī)（SVM二叉樹(shù)多分類(lèi)的基礎(chǔ)上，結(jié)合輸電線(xiàn)路故障的特點(diǎn)，考慮不同故障發(fā)生的優(yōu)先級(jí)后，設(shè)計(jì)基于 SVM勺改進(jìn)二叉樹(shù)輸電線(xiàn)路故障分類(lèi)器，借助它可以利用歸一化后的短路電流數(shù)據(jù)和短路電壓數(shù)據(jù)直接進(jìn)行輸電線(xiàn)路故障分類(lèi)。通過(guò)仿真和編程驗(yàn)證，該方法處理過(guò)程簡(jiǎn)單、分類(lèi)步驟少和分類(lèi)正確率高等優(yōu)點(diǎn)。1緒論課題研究的目的和意義隨著現(xiàn)代電力網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大，確保供電的可靠性和連續(xù)性是電力系統(tǒng)安全穩(wěn)定運(yùn)行的關(guān)健問(wèn)題。輸電線(xiàn)路作為輸電系統(tǒng)中的樞紐干線(xiàn)，在電力系統(tǒng)中起著重要作用，其故障直接威脅著現(xiàn)代電力系統(tǒng)的安全運(yùn)行，且引起的經(jīng)濟(jì)損失也越來(lái)越大。在電力系統(tǒng)發(fā)生事故的情況下，正確而快速的故障診斷，對(duì)于電力系統(tǒng)的恢復(fù)決策，提高供電可靠性具有重要意義[1,2]，這也是國(guó)內(nèi)外對(duì)電力系統(tǒng)故障診斷課題廣泛研究的原因。社會(huì)的發(fā)展推動(dòng)著電力工業(yè)和輸電線(xiàn)路的不斷發(fā)展，隨著電力負(fù)荷的不斷增大，現(xiàn)代電力系統(tǒng)需要將大容量的電能輸送到負(fù)荷中心。輸配電系統(tǒng)是電力系統(tǒng)的重要組成部分，是發(fā)電廠與電力用戶(hù)之間輸送電能與分配電能的中間環(huán)節(jié)，包括各電壓等級(jí)的輸電線(xiàn)路和變電所，它們擔(dān)負(fù)著輸送電力的重要任務(wù)。隨著社會(huì)的進(jìn)步，用戶(hù)對(duì)電能的可靠性特別是連續(xù)性的要求越來(lái)越高，然而電力系統(tǒng)的故障卻是不可避免的，為了快速監(jiān)測(cè)及消除故障確保系統(tǒng)安全穩(wěn)定運(yùn)行、增強(qiáng)供電的可靠性和連續(xù)性，就需要一個(gè)優(yōu)質(zhì)的故障診斷系統(tǒng)快速實(shí)現(xiàn)輸電線(xiàn)路的故障定位和故障類(lèi)型識(shí)別，以便于檢修和事故后的快速恢復(fù)。電力系統(tǒng)的任何地方都可能發(fā)生故障，而高壓和超高壓輸電線(xiàn)是經(jīng)常會(huì)發(fā)生故障的重要環(huán)節(jié)。高壓輸電線(xiàn)路是電力系統(tǒng)的命脈，其故障直接著威脅電力系統(tǒng)的安全運(yùn)行。由運(yùn)行經(jīng)驗(yàn)統(tǒng)計(jì)表明，它是系統(tǒng)中故障率較高的設(shè)備，這是由它們所處的運(yùn)行環(huán)境決定的。因?yàn)楦邏汉统邏狠旊娋€(xiàn)路輸電距離長(zhǎng)，所穿越地區(qū)的地形往往比較復(fù)雜，運(yùn)行環(huán)境較為惡劣，輸電線(xiàn)路有時(shí)還會(huì)因雷電等過(guò)電壓引起閃絡(luò)，或者樹(shù)木及鳥(niǎo)類(lèi)以及人類(lèi)活動(dòng)等造成導(dǎo)體與導(dǎo)體之間、導(dǎo)體與地之間的短時(shí)接觸，形成瞬時(shí)性故障。在高壓輸電線(xiàn)路發(fā)生故障后，為了減少停電帶來(lái)的損失，要求電力維修人員能夠迅速到達(dá)現(xiàn)場(chǎng)，檢修電路，恢復(fù)供電，而進(jìn)行恢復(fù)處理的前提是準(zhǔn)確而快速的檢測(cè)出故障原因、故障設(shè)備、故障類(lèi)型以及故障位置。在輸電線(xiàn)路的故障診斷中，專(zhuān)業(yè)人員的經(jīng)驗(yàn)和所掌握的專(zhuān)業(yè)知識(shí)對(duì)快速診斷故障起著決定性的作用，但是隨著現(xiàn)代電力系統(tǒng)的復(fù)雜化和自動(dòng)化程度的不斷提高，一旦發(fā)生故障，在很短的時(shí)間內(nèi)會(huì)有大量的報(bào)警信息傳入控制中心[3,4]，僅靠一、二位專(zhuān)家的經(jīng)驗(yàn)往往難以進(jìn)行快速、準(zhǔn)確的故障診斷，并盡快解決。其次，單純依靠人工全線(xiàn)檢查故障有時(shí)是極其困難并且是非常費(fèi)時(shí)的，所以必須要求在輸電線(xiàn)路發(fā)生故障時(shí)，采取有效的方法，準(zhǔn)確而迅速地判斷故障類(lèi)型。本論文在充分研究支持向量機(jī)多分類(lèi)的基礎(chǔ)上，結(jié)合輸電線(xiàn)路故障的特點(diǎn)，考慮不同故障的優(yōu)先級(jí)后，設(shè)計(jì)基于SVM勺輸電線(xiàn)路故障分類(lèi)器，借助它可以利用歸一化后的短路電流數(shù)據(jù)和短路電壓數(shù)據(jù)直接進(jìn)行輸電線(xiàn)路故障分類(lèi)。該分類(lèi)器的數(shù)據(jù)預(yù)處理過(guò)程簡(jiǎn)單，分類(lèi)步驟少，而且故障類(lèi)型的識(shí)別不受故障過(guò)渡電阻、故障位置的影響，可以實(shí)現(xiàn)輸電線(xiàn)路故障的快速分類(lèi)。因此該課題研究具有重要的科學(xué)意義和應(yīng)用前景。國(guó)內(nèi)外研究現(xiàn)狀目前傳統(tǒng)的輸電線(xiàn)路的故障類(lèi)型識(shí)別主要有兩種方法[5,6,7]：一種是采用相電流差突變量選相，另外一種是穩(wěn)態(tài)故障量選相。相電流差突變量選相突變量選相中，利用相電流差突變量的選相原理有兩種：其中一種是采用正、負(fù)序故障電流序分量相對(duì)相位的關(guān)系來(lái)選相，這種選相原理是先假設(shè)正、負(fù)序電流分支系數(shù)相等，然后使得其推導(dǎo)過(guò)程簡(jiǎn)化。該選相原理在選相過(guò)程中裕度角比較小，選相精度不是很夠，因此其可靠性比較低；而另一種是相電流差突變量選相元件，這種是利用單相接地故障時(shí)另外兩相的相電流差突變量為零這一特點(diǎn)而進(jìn)行選相的。但前提是這只在正序和負(fù)序分支系數(shù)相等的情況下才能成立，如果正、負(fù)序分支系數(shù)不同則會(huì)對(duì)選相結(jié)果的影響比較大。目前普遍采用的相電流差突變量選相是在各種的不同故障時(shí)兩相工頻電流差的變化量幅值特征進(jìn)行選相，再結(jié)合有無(wú)零序分量來(lái)區(qū)分是否兩相短路或者兩相短路接地。該方法在故障的初期靈敏度比較高，且不受負(fù)荷電流和過(guò)渡電阻的影響。但當(dāng)保護(hù)位置在弱電源側(cè)或者發(fā)生轉(zhuǎn)換性故障時(shí)，則其靈敏度就會(huì)不足甚至?xí)?dǎo)致誤選相。為了克服此類(lèi)缺陷，可以采用相間電壓突變量選相，該方法具有相電流差突變量選相的部分特點(diǎn)，又彌補(bǔ)了其自身的不足，但是在較長(zhǎng)的線(xiàn)路末端故障時(shí)會(huì)可能存在其靈敏度不足的問(wèn)題。補(bǔ)償電壓（相補(bǔ)償電壓和相間補(bǔ)償電壓）突變量選相同時(shí)具有相電流差突變量的優(yōu)點(diǎn)和相間電壓突變量選相的優(yōu)點(diǎn)，其選相性能比較優(yōu)越，近年來(lái)也獲得了比較廣泛的應(yīng)用。穩(wěn)態(tài)故障量選相穩(wěn)態(tài)故障量選相又包括兩類(lèi)，一類(lèi)為阻抗選相，其方法主要依據(jù)阻抗測(cè)量元件的測(cè)量結(jié)果來(lái)確認(rèn)不同故障相的，其在多數(shù)比較簡(jiǎn)單的故障類(lèi)型情況下能正確地進(jìn)行故障類(lèi)型的識(shí)別，但是卻會(huì)受到系統(tǒng)運(yùn)行方式、故障點(diǎn)的過(guò)渡電阻的影響比較大。另一類(lèi)方法是故障序分量選相，其實(shí)依據(jù)正序、負(fù)序及零序故障時(shí)的序分量電流相對(duì)于相位關(guān)系原理來(lái)進(jìn)行故障類(lèi)型的識(shí)別。這種方法受故障點(diǎn)過(guò)渡電阻的影響比較小，但是正序故障電流時(shí)的提取將會(huì)受到負(fù)荷電流的影響。目前在國(guó)內(nèi)數(shù)字式高壓線(xiàn)路保護(hù)中則主要采用突變量選相和穩(wěn)態(tài)量選相相結(jié)合的方法，其是利用突變量元件來(lái)作為保護(hù)啟動(dòng)后的第一次選相元件，并且利用序電流的分區(qū)與阻抗比較的方法來(lái)作為振蕩閉鎖期間的故障選相元件。無(wú)論是穩(wěn)態(tài)故障量選相還是相電流差突變量選相，在原理上其都是設(shè)置基于門(mén)檻值方法，依據(jù)一定的邏輯關(guān)系去實(shí)現(xiàn)的。但是故障后所獲得的電壓、電流等信息會(huì)隨著系統(tǒng)的運(yùn)行方式、故障的位置、故障點(diǎn)的阻抗和故障時(shí)刻等因素而發(fā)生變化，這將會(huì)導(dǎo)致整個(gè)故障模式識(shí)別空間一般都是非線(xiàn)性可分的。因此在基于門(mén)檻值的方法有可能不會(huì)適應(yīng)故障后的電流、電壓的信息的變化，亦可以說(shuō)如果依據(jù)故障后電壓、電流或相位角等的信息來(lái)區(qū)分故障模式，則各種故障模式之間一般不具有明顯的線(xiàn)性分界線(xiàn)，由于其相關(guān)的因素比較復(fù)雜，不易用數(shù)學(xué)模型來(lái)進(jìn)行理論的描述，所以設(shè)置基于門(mén)檻值的方法存在著一定的缺陷。隨著人工智能理論與技術(shù)的發(fā)展，人工智能為輸電線(xiàn)路的故障類(lèi)型識(shí)別提供了一些新的方法?；谥悄芨咝录夹g(shù)研發(fā)的各種高壓輸電線(xiàn)路故障分類(lèi)器已經(jīng)有了不少的研究，在基于模糊理論輸電線(xiàn)路故障類(lèi)型的識(shí)別方法中，將故障類(lèi)型識(shí)別中的大量電氣信息量進(jìn)行模糊處理，從而在一定的程度上改進(jìn)了線(xiàn)性劃分方法中存在的局限性。支持向量機(jī)(SupportVectorMachine)是基于統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出的一種模式識(shí)別方法。它采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理(StructuralRiskMinimization)簡(jiǎn)稱(chēng)SRMM則，兼顧訓(xùn)練誤差和泛化能力，在解決非線(xiàn)性、小樣本等的模式識(shí)別問(wèn)題中展現(xiàn)出一定的優(yōu)勢(shì)。文獻(xiàn)［7］用模糊邏輯規(guī)則對(duì)輸電線(xiàn)路故障先進(jìn)行了分層歸類(lèi)的處理，然后再利用它們之間的故障相別與相位角等的關(guān)系，設(shè)計(jì)出表示不同故障相別的樣本數(shù)，最后利用SVM算法對(duì)樣本數(shù)據(jù)進(jìn)行訓(xùn)練，得到可以識(shí)別出不同輸電線(xiàn)路故障類(lèi)型的最優(yōu)分類(lèi)面。文獻(xiàn)［8］是對(duì)發(fā)生短路后的三相短路電流信號(hào)進(jìn)行分析計(jì)算，計(jì)算出每相的小波熵權(quán)，然后對(duì)故障類(lèi)型進(jìn)行識(shí)別。因此基于支持向量機(jī)的輸電線(xiàn)路故障類(lèi)型得識(shí)別方法，可以充分利用SVM在解決模式識(shí)別問(wèn)題中的優(yōu)勢(shì)，并且故障類(lèi)型的識(shí)別不會(huì)受到系統(tǒng)的運(yùn)行方式、故障的過(guò)渡電阻、故障位置的影響，具有極高的可靠性。所以基于智能理論的故障識(shí)別方法，能夠有效地處理故障模式與不同的影響因素之間的非線(xiàn)性關(guān)系，達(dá)到較高的識(shí)別率。在神經(jīng)網(wǎng)絡(luò)方法中，由于其依靠于給定的輸電線(xiàn)路的系統(tǒng)結(jié)構(gòu)，用涵蓋整個(gè)故障模式空間的典型模式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練實(shí)現(xiàn)的，所以在一定程度上受到輸電線(xiàn)路的系統(tǒng)結(jié)構(gòu)的制約，限制了該方法的通用性。此外，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法是采用的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(EmpiricalRiskMinimization-ERM)原理，它并沒(méi)有使期望風(fēng)險(xiǎn)值達(dá)到最小，即在有限的小樣本上得到的小誤差并不能保證其在測(cè)試集上的小誤差，而且會(huì)影響到對(duì)所有故障類(lèi)型識(shí)別的準(zhǔn)確性。文獻(xiàn)［9］運(yùn)用了模糊神經(jīng)網(wǎng)絡(luò)、征映射神經(jīng)網(wǎng)絡(luò)和概率神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行故障類(lèi)型的識(shí)別,取得了比較理想的結(jié)果，但其算法都是針對(duì)雙端電源網(wǎng)絡(luò)中的簡(jiǎn)單輸電線(xiàn)路進(jìn)行故障識(shí)別，在此簡(jiǎn)單網(wǎng)絡(luò)上選取訓(xùn)練和測(cè)試樣本，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后用于測(cè)試該簡(jiǎn)單網(wǎng)絡(luò)的故障類(lèi)型，但神經(jīng)網(wǎng)絡(luò)方法在訓(xùn)練時(shí)結(jié)果也不太穩(wěn)定。綜上所述，不管是那種方法，都存在著數(shù)據(jù)預(yù)處理方面步驟較多，一旦其中某一環(huán)節(jié)出錯(cuò)，則會(huì)對(duì)最后的分類(lèi)帶來(lái)很大的誤差，而且前期數(shù)據(jù)處理過(guò)程多則意味著到最終分類(lèi)的速度會(huì)變慢，這對(duì)輸電線(xiàn)路發(fā)生故障后準(zhǔn)確、迅速地識(shí)別故障類(lèi)型是不利的。本論文就是在這樣的情況下，提出一種簡(jiǎn)單而有效的輸電線(xiàn)路故障診斷分類(lèi)的方法，即基于SVM的改進(jìn)二叉樹(shù)輸電線(xiàn)路故障診斷分類(lèi)的方法。在輸電線(xiàn)路發(fā)生故障時(shí)，能夠快速的診斷出線(xiàn)路的故障類(lèi)型，從而對(duì)運(yùn)行維護(hù)人員起到智能助手作用。本文工作1）廣泛閱讀了輸電線(xiàn)路故障診斷與識(shí)別相關(guān)著作和文獻(xiàn)，了解了線(xiàn)路故障識(shí)別的國(guó)內(nèi)外研究現(xiàn)狀，進(jìn)行了分析研究，找出問(wèn)題所在；2）研究支持向量機(jī)在電力系統(tǒng)輸電線(xiàn)路故障識(shí)別中的應(yīng)用，分別從基本概念、支持向量機(jī)算法、算法選擇等方面進(jìn)行了闡述，以及結(jié)合輸電線(xiàn)路的故障特點(diǎn)對(duì)支持向量機(jī)的算法進(jìn)行了改進(jìn)；3）利用電力系統(tǒng)分析綜合程序（PSASP）軟件模擬仿真了7-BUS和36-BUS輸電線(xiàn)路的所有類(lèi)型的短路電流故障數(shù)據(jù)和短路電壓故障數(shù)據(jù)，并且選取合適的歸一化方法對(duì)故障數(shù)據(jù)進(jìn)行了歸一化處理；4） 對(duì)SVM算法中的二叉樹(shù)算法進(jìn)行改進(jìn)，結(jié)合輸電線(xiàn)路故障類(lèi)型發(fā)生的優(yōu)先級(jí)建立故障分類(lèi)模型；5） 以MATLAB7.0為編程工具，利用仿真得到的一部分故障數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，最后得到輸電線(xiàn)路的短路電流故障分類(lèi)器和短路電壓故障分類(lèi)器，再利用剩余的一部分故障數(shù)據(jù)對(duì)兩個(gè)故障分類(lèi)器進(jìn)行測(cè)試與驗(yàn)證，并且在每個(gè)故障分類(lèi)器中得出九個(gè)二分類(lèi)SVM的判別函數(shù)的系數(shù)矩陣；6）利用得到的九個(gè)判別函數(shù)的系數(shù)矩陣重新編寫(xiě)SVM故障分類(lèi)器程序，且將改進(jìn)的SVM故障分類(lèi)器的分類(lèi)結(jié)果與利用BP神經(jīng)網(wǎng)路和其他SVM算法建立的故障分類(lèi)器的分類(lèi)結(jié)果進(jìn)行比較分析；7） 最后將在MATLAB7.0環(huán)境下的故障分類(lèi)程序文件轉(zhuǎn)換為動(dòng)態(tài)鏈接庫(kù)文件類(lèi)型，即DLL文件，從而使故障分類(lèi)程序脫離MATLAB7.0環(huán)境，以供下級(jí)程序的調(diào)用。2支持向量機(jī)理論支持向量機(jī)方法［8,9］（SupportVectorMachine, 簡(jiǎn)稱(chēng)SVM是基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，它是建立在基于統(tǒng)計(jì)學(xué)習(xí)理論上的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理（StructuralRiskMinimization 簡(jiǎn)稱(chēng)SRM原貝U）基礎(chǔ)上，到目前為止，對(duì)于支持向量機(jī)還沒(méi)有一個(gè)確定的定義。其基本思想［10］可以概括為：首先通過(guò)非線(xiàn)性變換將輸入空間變換到一個(gè)線(xiàn)性高維空間，然后在這個(gè)新空間中求取最優(yōu)線(xiàn)性分類(lèi)面。SVM是由vapnik在20世紀(jì)70年代提出的并且在90年代逐步完善的針對(duì)小樣本數(shù)據(jù)的機(jī)器學(xué)習(xí)理論，目前已經(jīng)在許多的智能信息的獲取與處理的領(lǐng)域都取得了較為成功的應(yīng)用。vapnik提出的SVM算法是基于統(tǒng)計(jì)學(xué)學(xué)習(xí)理論的一種模式識(shí)別方式，這種算法不僅是在于訓(xùn)練樣本上追求準(zhǔn)確性，而且在訓(xùn)練樣本的準(zhǔn)確性的基礎(chǔ)上還考慮了基于學(xué)習(xí)空間的復(fù)雜性，即在訓(xùn)練樣本學(xué)習(xí)的精度和學(xué)習(xí)空間的復(fù)雜性之間采取了一種折中，從而使所訓(xùn)練得到的分類(lèi)模型對(duì)于未知的測(cè)試樣本具有較好的推廣或泛化能力。傳統(tǒng)的學(xué)習(xí)理論是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（ ERM準(zhǔn)則）原則，并且是以大量的訓(xùn)練樣本進(jìn)行訓(xùn)練， 然后找到一個(gè)能夠準(zhǔn)確的逼近這些訓(xùn)練樣本的函數(shù)，該函數(shù)能夠?qū)ξ粗臏y(cè)試樣本做出良好的預(yù)測(cè)。并且當(dāng)學(xué)習(xí)能力過(guò)強(qiáng)，即會(huì)產(chǎn)生過(guò)學(xué)習(xí)情況，而此時(shí)訓(xùn)練得到的函數(shù)模型的復(fù)雜性就會(huì)很高，函數(shù)把訓(xùn)練樣本數(shù)據(jù)中的噪聲也全部的作為實(shí)際中的訓(xùn)練樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)，因此推廣或泛化能力極差。vapnik則提出了基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化（SRM準(zhǔn)則）原則的算法，在函數(shù)集的復(fù)雜性和樣本的復(fù)雜性之間采取了一種折中，并且在理論上給出了其推廣誤差的界，其推廣誤差的界可分為兩部分：經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍。經(jīng)驗(yàn)風(fēng)險(xiǎn) ［11］即為傳統(tǒng)學(xué)習(xí)機(jī)在訓(xùn)練樣本數(shù)據(jù)上的誤差；置信范圍的度量則是以vapnik等提出的VC維理論為參數(shù)進(jìn)行的，這種參數(shù)度量了函數(shù)集的復(fù)雜性。一個(gè)良好的學(xué)習(xí)機(jī)器需要在這二者之間做出一定的權(quán)衡，繼而達(dá)到總的推廣誤差最小，此即為結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則。SVM具有直觀的幾何意義，對(duì)于線(xiàn)性可分 ［12,13］情況：在給定的訓(xùn)練樣本如：（x「％）,&2丫2）,（Xn,yn）中且y€{+1,-1}，在尋找一個(gè)超平面w*x-b=0將其能夠正確的分開(kāi)，這樣的超平面將不止一個(gè)，且往往很多，但其中與兩類(lèi)樣本點(diǎn)的距離中最大的分類(lèi)超平面將只會(huì)有一個(gè)，其將會(huì)獲得最佳的推廣能力：即最優(yōu)分離超平面。這種最優(yōu)分類(lèi)超平面僅僅只由離它最近的樣本數(shù)據(jù)點(diǎn)來(lái)決定，而與其它樣本數(shù)據(jù)點(diǎn)無(wú)關(guān)，這些樣本數(shù)據(jù)點(diǎn)即是所謂的支持向量，這也正是支持向量機(jī)名稱(chēng)的來(lái)源。如圖2.1所示，其中位于H1線(xiàn)上的樣本數(shù)據(jù)點(diǎn)和位于H2線(xiàn)上的樣本數(shù)據(jù)點(diǎn)即為支持向量，而其他樣本數(shù)據(jù)點(diǎn)為非支持向量，在分類(lèi)過(guò)程中這些非支持向量可以被完全剔除掉，并且對(duì)分類(lèi)器的分類(lèi)結(jié)果沒(méi)有直接的影響。

圖2.1支持向量機(jī)圖2.1支持向量機(jī)00H12.1統(tǒng)計(jì)學(xué)習(xí)理論概要2.1.1機(jī)器學(xué)習(xí)問(wèn)題的表示依據(jù)某些給定的訓(xùn)練樣本數(shù)據(jù)來(lái)求出對(duì)某一個(gè)系統(tǒng)的輸入與輸出之間的特殊關(guān)系，并使這種關(guān)系能夠做出極為準(zhǔn)確的預(yù)測(cè)對(duì)未知的輸出，這就是機(jī)器學(xué)習(xí)問(wèn)題的目的所在。由訓(xùn)練器、產(chǎn)生器和學(xué)習(xí)機(jī)器三部分組成樣本數(shù)據(jù)學(xué)習(xí)的機(jī)器學(xué)習(xí)模型。圖2.2是一個(gè)從樣本數(shù)據(jù)學(xué)習(xí)的模型示意圖：圖2.2從樣本數(shù)據(jù)學(xué)習(xí)的模型圖在圖2.2中的訓(xùn)練器S可以對(duì)輸入的每個(gè)向量x返回一個(gè)比較明確的輸出值y，固定而卻未知的條件分布函數(shù)F(yx)是其產(chǎn)生輸出的依據(jù)據(jù)。樣本數(shù)據(jù)產(chǎn)生器G是能夠從同樣確定而未知的概率分布函數(shù)F(x)中可以單獨(dú)產(chǎn)生隨機(jī)的向量Rn。依據(jù)聯(lián)合分布函數(shù)(2.1)(2.1)取樣得到的L個(gè)數(shù)據(jù)對(duì)(Xi，yj,(x2,y2),(Xi，yj (2.2)從而構(gòu)成訓(xùn)練函數(shù)集。學(xué)習(xí)機(jī)器LM能在一組函數(shù)集f(x,a),a?上(其中上是參數(shù)集合)中選擇出使輸出值y能夠最好的接近訓(xùn)練響應(yīng)值y的函數(shù)f(x,a。)。必須對(duì)于任意輸入的值x給出輸出值y在訓(xùn)練之后的學(xué)習(xí)機(jī)器上，從而使得期望風(fēng)險(xiǎn)R(a)值最小，其表示為：R(a)二L(y,f(x,a))dF(x,y) (2.3)L(y,f(x,a))為其給定的輸入值x下訓(xùn)練器的輸出值y與學(xué)習(xí)器所給出的函數(shù)f(x，a)之間的損失的期望值。此處的f(x,a),a?上稱(chēng)作為預(yù)測(cè)函數(shù)集或者稱(chēng)作為學(xué)習(xí)函數(shù)集，在函數(shù)集中a為廣義參數(shù)。亦可將預(yù)測(cè)函數(shù)稱(chēng)作為學(xué)習(xí)機(jī)器、學(xué)習(xí)模型或者學(xué)習(xí)函數(shù)等。有不同的損失函數(shù)在不同類(lèi)型的學(xué)習(xí)問(wèn)題中。 在構(gòu)成三種最基本的機(jī)器學(xué)習(xí)的問(wèn)題中：即函數(shù)逼近問(wèn)題、概率密度估計(jì)問(wèn)題和模式識(shí)別問(wèn)題，可以通過(guò)定義不同的損失函數(shù)。在兩類(lèi)情況下y={0，1}(或者y{-l，1})，輸出的y是類(lèi)別標(biāo)號(hào)，預(yù)測(cè)函數(shù)稱(chēng)作為指示函數(shù)，損失函數(shù)可以定義作L(y,f(x,a))=<QyL(y,f(x,a))=<(2.4)yM(2.4)損失函數(shù)通?？梢远x為使風(fēng)險(xiǎn)最小，也就是在貝葉斯決策函數(shù)中所得到的錯(cuò)誤率為最小，在函數(shù)逼近問(wèn)題中，輸出的y是連續(xù)的變量。(2.5)L(y,f(x,a))=(y-f(x,a))(2.5)依據(jù)訓(xùn)練樣本數(shù)據(jù)來(lái)確定x的概率密度是概率密度估計(jì)問(wèn)題中學(xué)習(xí)的目的。如果估計(jì)密度函數(shù)為p(x，a)，那么其損失函數(shù)可以表示作：(2.6)L(p(x,a))二(2.6)2.1.2.經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則使其期望風(fēng)險(xiǎn)最小化是機(jī)器學(xué)習(xí)問(wèn)題的學(xué)習(xí)目標(biāo)。而傳統(tǒng)的機(jī)器學(xué)習(xí)方法采用

的是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理[16,17,18](EmpiricalRiskMinimization ，ERM準(zhǔn)貝U)，即是依據(jù)大數(shù)定律思想在概率論中，前提是假設(shè)概率都是均勻分布的，則用樣本數(shù)據(jù)來(lái)定義的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化為：、L(y,f(人，a))RempQ)二亠 (2.7)n來(lái)作為對(duì)式(2.3)的估算。實(shí)際上用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理來(lái)替代 EMP是沒(méi)有經(jīng)過(guò)一些充分的理論的論證，而只是從直觀上進(jìn)行的合理的推算。但卻在樣本有限的情況下仍然有較好的識(shí)別效果，在沒(méi)有經(jīng)過(guò)理論保證的樣本無(wú)窮大條件下所得到的學(xué)習(xí)機(jī)器。另外，大數(shù)定律只是一種說(shuō)明在概率論中，在某些情況下，當(dāng)樣本數(shù)據(jù)趨于無(wú)窮大時(shí)，Remp(a)在概率意義上將會(huì)趨近于R(a)，并且不能保證Remp(a)和R(a)將會(huì)取得最小值在同一個(gè)點(diǎn)上。2.1.3.結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理在機(jī)器學(xué)習(xí)的過(guò)程中，對(duì)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理以及其推廣能力的相對(duì)分析的結(jié)論中得出，如果要得到良好的實(shí)際風(fēng)險(xiǎn)［19,20］，依次可對(duì)未來(lái)樣本產(chǎn)生較好的預(yù)測(cè)性，不僅要使其經(jīng)驗(yàn)風(fēng)險(xiǎn)達(dá)到最小，而且還要使其 VC維也要盡可能的小，從而來(lái)縮小置信范圍。事實(shí)上，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理在當(dāng)樣本數(shù)據(jù)有限時(shí)是不合理的。在一些傳統(tǒng)的學(xué)習(xí)方法當(dāng)中，存在一些理論上的指導(dǎo)，普遍的做法都是根據(jù)經(jīng)驗(yàn)和先驗(yàn)知識(shí)，采取人為的方法一次次的修改其算法和學(xué)習(xí)模型，從而來(lái)調(diào)整其置信范圍，這種人為的方法一般比較適合于離線(xiàn)性訓(xùn)練在現(xiàn)有樣本數(shù)據(jù)的情況下。如果當(dāng)樣本改變并且當(dāng)樣本數(shù)據(jù)更新了以后，繼而出現(xiàn)所選擇的模型將會(huì)出現(xiàn)了很大的偏差的問(wèn)題，從而需要進(jìn)一步的修改，于是就出現(xiàn)了一些自適應(yīng)算法與其他算法等的修正算法，雖然出現(xiàn)了很多的算法但卻從根本上沒(méi)有解決問(wèn)題。如果存在一個(gè)比較復(fù)雜的，其置信范圍較大的機(jī)器，即便是把經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化到零，其錯(cuò)誤數(shù)目仍然有可能比較大在測(cè)試集上，這就是上文中所提到的過(guò)學(xué)習(xí)問(wèn)題。所以為了防止出現(xiàn)過(guò)學(xué)習(xí)現(xiàn)象，就要構(gòu)造一種在學(xué)習(xí)機(jī)器中 VC維較小的方法，還要考慮的是如果函數(shù)集的VC維很小，則逼近真實(shí)的訓(xùn)練數(shù)據(jù)比較困難，這樣就會(huì)出現(xiàn)了矛盾。隨即又出現(xiàn)一個(gè)新的問(wèn)題就是怎樣能使這二者達(dá)到非常好的同一問(wèn)題。針對(duì)這兩種矛盾，當(dāng)構(gòu)造學(xué)習(xí)機(jī)器的時(shí)候，可以采取兩種不同的處理方法依據(jù)不同的側(cè)重點(diǎn)：首先制定一個(gè)確定復(fù)雜度的函數(shù)集合，并且實(shí)施經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則在此函數(shù)集合上。在神經(jīng)網(wǎng)絡(luò)算法中，選擇不同的網(wǎng)絡(luò)算法結(jié)構(gòu)依據(jù)需解決的問(wèn)題和樣本數(shù)據(jù)間的具體情況。網(wǎng)絡(luò)結(jié)構(gòu)的容量隨著結(jié)構(gòu)算法模型的制定后亦為之確定，也就是明確了算法的置信范圍，接著求出實(shí)際最小風(fēng)險(xiǎn)根據(jù)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則。確定一個(gè)經(jīng)驗(yàn)誤差最低底線(xiàn)，接著選擇出 VC維最小的函數(shù)集使其能夠滿(mǎn)足這個(gè)誤差最低底線(xiàn)。結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的思路就是通過(guò)上述方法得到的。而支持向量機(jī)就是這種思路的具體實(shí)現(xiàn)，而且SVM只要清楚不同函數(shù)集的VC維的相對(duì)大小即可，不需要計(jì)算出VC維的具體大小的數(shù)值，神經(jīng)網(wǎng)路采取了保持置信范圍恒定，并采取了使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的方法，支持向量機(jī)采取的是保持經(jīng)驗(yàn)風(fēng)險(xiǎn)恒定不變或等于零，并采取了使置信范圍最小化的策略。由此可以看出，支持向量機(jī)更側(cè)重于對(duì)推廣能力的良好獲得。對(duì)于SVM方法，在運(yùn)用結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則時(shí)，為了使函數(shù)集 VC維的大小方便比較，在文獻(xiàn)［13］中提出了一種新的方法策略，即把函數(shù)集構(gòu)造成一個(gè)函數(shù)的子集序列，并且讓各個(gè)子集進(jìn)行排列依據(jù) VC維的大小，這樣置信范圍就會(huì)在同一個(gè)子集中一樣；并且尋找最小經(jīng)驗(yàn)風(fēng)險(xiǎn)在每一個(gè)子集當(dāng)中，一般其會(huì)隨著子集復(fù)雜度的提高而隨之減小。在子集當(dāng)中選取經(jīng)驗(yàn)風(fēng)險(xiǎn)最小 Remp(a)與置信范圍"n/h)的之和最小的子集，將此作為期望風(fēng)險(xiǎn)最小化的模型。這種思想就是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則(StructuralRiskMinimization) ，簡(jiǎn)稱(chēng)SRM準(zhǔn)則，其基本的思路［21,22］可以用下圖2.3來(lái)表示：圖2.3 結(jié)構(gòu)風(fēng)險(xiǎn)最小化示意圖從圖2.3中可以看出結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則既是要選取合適的 h,使經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信區(qū)間的和取得最小值。有兩個(gè)思路可以實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則:1） 求取最小經(jīng)驗(yàn)風(fēng)險(xiǎn)值在每個(gè)子集當(dāng)中,接著選取使置信范圍和最小經(jīng)驗(yàn)風(fēng)險(xiǎn)的和最小的子集。在對(duì)于子集數(shù)目不是很大的情況下,這種方法還可以行得通,但當(dāng)子集數(shù)目趨向于無(wú)窮大情況時(shí),這種方法就不可行了。2） 設(shè)計(jì)出函數(shù)集的某些模型使其在每個(gè)子集當(dāng)中都能獲得最小的經(jīng)驗(yàn)風(fēng)險(xiǎn),接著只需要采取適當(dāng)?shù)淖蛹怪眯欧秶_(dá)到最小,那么這個(gè)子集將使得置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)會(huì)同時(shí)達(dá)到最小。支持向量機(jī)就是利用了第2個(gè)的思路實(shí)現(xiàn)了上述思想。支持向量機(jī)2.2.1SVM的理論基礎(chǔ)1） 在傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法當(dāng)中,只有在樣本數(shù)據(jù)趨向于無(wú)窮大時(shí),其識(shí)別性能才有理論上的保證。統(tǒng)計(jì)學(xué)習(xí)理論（STL）是研究在有限樣本數(shù)據(jù)情況下的機(jī)器學(xué)習(xí)方法。支持向量機(jī)的理論基礎(chǔ)就是基于統(tǒng)計(jì)學(xué)習(xí)理論；2） 傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)模式識(shí)別方法在進(jìn)行學(xué)習(xí)時(shí),是強(qiáng)調(diào)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則。可是單一的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生“過(guò)學(xué)習(xí)問(wèn)題”,導(dǎo)致其推廣能力變得很差。推廣能力也可以說(shuō)是泛化能力[23,24,25],是學(xué)習(xí)機(jī)器（即預(yù)測(cè)函數(shù),或稱(chēng)作學(xué)習(xí)函數(shù)、學(xué)習(xí)模型）對(duì)即將輸出結(jié)果而進(jìn)行正確的預(yù)測(cè)的能力,就是對(duì)未知測(cè)試樣本數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)的精確度。“過(guò)學(xué)習(xí)問(wèn)題”是在某些情況下,如果訓(xùn)練誤差過(guò)小將反而會(huì)使其推廣能力導(dǎo)致下降；3） 根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論,由置信范圍值和經(jīng)驗(yàn)風(fēng)險(xiǎn)值兩個(gè)部分組成學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法其推廣能力會(huì)比較差是因?yàn)闆](méi)有最小化置信范圍值,而是只是注重了訓(xùn)練樣本數(shù)據(jù)的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差；4） 而Vapnik所提出的支持向量機(jī)（SupportVectorMachine--SVM）以置信范圍值最小化作為其優(yōu)化目標(biāo)且以訓(xùn)練誤差作為其優(yōu)化問(wèn)題的約束條件,即支持向量機(jī)是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法,從而使它的推廣能力要明顯的優(yōu)于一些傳統(tǒng)的機(jī)器學(xué)習(xí)方法；5） 由于SVM的解將是全局唯一的最優(yōu)解，它的求解是最后轉(zhuǎn)化為求解二次規(guī)劃問(wèn)題；6）SVM可以使其推廣運(yùn)用到函數(shù)擬合等的其他機(jī)器學(xué)習(xí)問(wèn)題當(dāng)中， 并在解決小樣本情況、非線(xiàn)性情況及其高維模式識(shí)別問(wèn)題中表現(xiàn)出了許多其獨(dú)特的優(yōu)勢(shì)。SVM方法的特點(diǎn)

支持向量機(jī)的最終判別函數(shù)只是由少數(shù)的支持向量來(lái)確定的，計(jì)算的復(fù)雜性完全取決于其支持向量的數(shù)目，而不是樣本數(shù)據(jù)空間的維數(shù)，因此，這在某種意義上避免了“維數(shù)災(zāi)難”問(wèn)題。SVM的最終的結(jié)果將由少數(shù)的支持向量來(lái)決定，這不僅可以讓我們“剔除”掉大量的冗余非支持向量樣本、抓住關(guān)鍵樣本數(shù)據(jù)，而且注定了此方法不僅是算法簡(jiǎn)單，而且是具有很好的“魯棒”性，主要體現(xiàn)在：1)增加和刪除非支持向量樣本數(shù)據(jù)對(duì)建立的模型沒(méi)有直接的影響；支持向量樣本集具有一定的魯棒性；在一些相對(duì)成功的應(yīng)用中，支持向量機(jī)方法對(duì)核函數(shù)參數(shù)的選取不敏感。SVM基本原理SVM是最新發(fā)展起來(lái)在統(tǒng)計(jì)學(xué)習(xí)理論的部分中，是Vapnik等人提出來(lái)的依據(jù)統(tǒng)計(jì)學(xué)學(xué)習(xí)理論中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則。Vapnik等在有限樣本數(shù)據(jù)條件下機(jī)器學(xué)習(xí)當(dāng)中的的部分根本性的問(wèn)題進(jìn)行了系統(tǒng)的理論研究，在支持向量機(jī)理論中取得了很好的解決，而且支持向量機(jī)還充分考慮到了其算法的推廣性，因而統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)被許多的人都認(rèn)為是研究機(jī)器學(xué)習(xí)問(wèn)題的一個(gè)框架。線(xiàn)性判別函數(shù)和判別面線(xiàn)性判別函數(shù)(DiscriminantFunction)是指由x的各個(gè)分量的線(xiàn)性組合而成的函數(shù)。(2.8)g(x)=wxw(2.8)對(duì)于兩類(lèi)問(wèn)題情況的決策規(guī)則為：如果g(x)>0,貝U判定x屬于C1，如果g(x)<0,貝U判定x屬于C2,如果g(x)=0，則可以將x任意分到某一類(lèi)或者拒絕判定。如圖 2.4所示支持向量機(jī)分類(lèi)原理圖圖2.4支持向量機(jī)分類(lèi)原理圖圖2.4下圖2.5表示的是一個(gè)較簡(jiǎn)單的線(xiàn)性分類(lèi)器，其具有 d個(gè)輸入單元，其中每個(gè)輸入單元對(duì)應(yīng)于一個(gè)輸入向量在各維上的分量值。該圖類(lèi)似于神經(jīng)網(wǎng)絡(luò)中的一個(gè)神經(jīng)元。g(x)g(x)圖2.5SVM線(xiàn)性分類(lèi)器其中方程g(x)定義了一個(gè)線(xiàn)性判定面，它把其中歸類(lèi)于 C1中的點(diǎn)與歸類(lèi)于C2中的點(diǎn)分開(kāi)來(lái)。當(dāng)g(x)是線(xiàn)性函數(shù)時(shí)，這個(gè)平面被稱(chēng)為“超平面” (hyperplane)。但當(dāng)x1和x2都在判定面上時(shí)即：wTwT% w0=wTx2 w0(2.9)或者(2.10)這表示w和超平面上的任意向量正交，并且把w稱(chēng)作為超平面的法向量。其中：x1-x2表示超平面上的其中一個(gè)向量判別函數(shù)g(x)是一種代數(shù)度量，是其在特征空間中某點(diǎn)x到超平面距離。總之：線(xiàn)性判別函數(shù)是利用一個(gè)超平面把特征空間分隔成不同的兩個(gè)區(qū)域空間，其中由法向量w確定超平面的方向，其位置是由閾值w0來(lái)確定。判別函數(shù)g(x)與x點(diǎn)到超平面的代數(shù)距離(帶正負(fù)號(hào))是一種正比的關(guān)系。那么，如果 x點(diǎn)在超平面的正側(cè)時(shí)，則g(x)>0;如果x點(diǎn)在超平面的負(fù)側(cè)時(shí)，則g(x)<0。最優(yōu)分類(lèi)面最優(yōu)分類(lèi)線(xiàn)(或最優(yōu)分類(lèi)面)就是要求分類(lèi)線(xiàn)不但能將兩類(lèi)情況正確的分開(kāi)(即訓(xùn)練錯(cuò)誤率為0)，而且使分類(lèi)的間隔最大。將此推廣到高維空間中時(shí)[26,27,28]，最優(yōu)分類(lèi)線(xiàn)就變?yōu)樽顑?yōu)分類(lèi)面。距離最優(yōu)分類(lèi)超平面最近的向量稱(chēng)為支持向量。最優(yōu)超平面可以分為線(xiàn)性可分的和線(xiàn)性不可分的兩種情況，而支持向量機(jī)方法在最初就是在線(xiàn)性可分的情況下提出來(lái)的。為了不失普遍性地得出支持向量機(jī)中的最優(yōu)分類(lèi)超平面，在此我們討論支持向量機(jī)的基本內(nèi)容只是限定在二分類(lèi)的范圍內(nèi)。我們所要獲得的目標(biāo)是將要確定一個(gè)判別函數(shù)，是由訓(xùn)練樣本來(lái)確定此函數(shù)的，它可以完全的分開(kāi)將兩類(lèi)訓(xùn)練樣本數(shù)據(jù),并且可以將未知的樣本數(shù)據(jù)也能夠正確的進(jìn)行分類(lèi)在訓(xùn)練后得到的分類(lèi)器，即其具有良好的泛化性能或推廣能力。圖2.6最佳分類(lèi)超平面如上圖2.6所示，如果要將兩類(lèi)樣本數(shù)據(jù)分開(kāi)，那么會(huì)存在有很多的線(xiàn)性分類(lèi)器都可以將這兩組數(shù)據(jù)正確的分開(kāi)，可是卻只有一條線(xiàn)性分類(lèi)器可以使得兩類(lèi)點(diǎn)與他的距離（Margin）達(dá)到最大值，那么我們所要求的最佳分類(lèi)超平面就是這個(gè)線(xiàn)性分類(lèi)器。很顯然，我們可以看出該分類(lèi)超平面的邊界與其它的亦可能正確分類(lèi)的邊界相比卻具有更好的泛化能力或推廣能力，這就是為什么SVMt匕其它分類(lèi)方法優(yōu)越的所在，即支持向量機(jī)不但尋求能夠?qū)颖緮?shù)據(jù)能夠正確的分開(kāi)，而且還尋求一種最優(yōu)的分類(lèi)線(xiàn)或分類(lèi)面。從線(xiàn)性可分的情況下的最優(yōu)分類(lèi)面發(fā)展所得來(lái)的支持向量機(jī) ，其基本思想可用圖2.7中的兩維和兩類(lèi)樣本數(shù)據(jù)的情況來(lái)加以說(shuō)明的。在圖中，方形點(diǎn)和圓形點(diǎn)代表這兩類(lèi)不同的樣本數(shù)據(jù)點(diǎn)，H為分類(lèi)線(xiàn)（當(dāng)然亦是唯一的一條最優(yōu)分類(lèi)線(xiàn)），H1和H2是分別為過(guò)各類(lèi)樣本數(shù)據(jù)點(diǎn)中的離分類(lèi)線(xiàn)（最優(yōu)分類(lèi)線(xiàn)）最近的樣本數(shù)據(jù)點(diǎn)，并且是平行于分類(lèi)線(xiàn)（最優(yōu)分類(lèi)線(xiàn)）的兩條直線(xiàn)，兩條線(xiàn)之間的距離叫做分類(lèi)間隔（margin）。如下圖2.7所示：

H1wH1w設(shè)線(xiàn)性可分情況下的樣本數(shù)據(jù)集為(x,yi),i=1,…，n,xRd,y{1,-1}。d維空間中的線(xiàn)性判別函數(shù)為：g(x)=wx+b，而分類(lèi)面的方程為wx+b=Q首先我們可以對(duì)其進(jìn)行歸一化處理，使得所有樣本數(shù)據(jù)都滿(mǎn)足 g(x)=1，那么這樣分類(lèi)間隔就將等于2/w。如果要求其分類(lèi)間隔為最大，那么其實(shí)就是需要 w值最小，而如果要求所得的分類(lèi)面對(duì)所有樣本能夠正確的分類(lèi)，那么就是要求要滿(mǎn)足：yiyiWxib丨一1_0,i ，n,(2.11)因此在滿(mǎn)足上式公式中的且使 w值最小的分類(lèi)面就是我們所要求取的最優(yōu)分類(lèi)面。在這兩類(lèi)樣本數(shù)據(jù)點(diǎn)中距離最優(yōu)分類(lèi)面最近的數(shù)據(jù)點(diǎn)，且在 H1和H2兩類(lèi)線(xiàn)上的訓(xùn)練樣本數(shù)據(jù)點(diǎn)，就是使公式等號(hào)成立的那些樣本數(shù)據(jù)點(diǎn)我們就稱(chēng)作為支持向量。求取最優(yōu)分類(lèi)面問(wèn)題可以轉(zhuǎn)化為如下式(2.12)的約束優(yōu)化問(wèn)題：minise —M2 ￡im (2.12)subjectto yi“Xjb丨-1i_0i=1,2,,l公式(2.12)是一個(gè)二次凸規(guī)劃的問(wèn)題，由于其目標(biāo)函數(shù)和約束條件都是凸

的，依據(jù)最優(yōu)化的理論，那么這一問(wèn)題將會(huì)存在唯一的全局最小解。應(yīng)用 Lagrange12L(w,b,a)=2啊乘子法且滿(mǎn)足12L(w,b,a)=2啊l(2.13)-、ai(yi((wX」b)-1)(2.13)i=1這里的ai-0是拉格朗日乘子。

應(yīng)用拉格朗日乘子法對(duì)其求極值，對(duì)其相應(yīng)的w和b求偏導(dǎo)數(shù)，則可找到相應(yīng)的對(duì)偶形式：將得到的關(guān)系式:iL(w,b,a)cw：：L(w,b,a)dwi八yiai=0i4lw=為 Yia將得到的關(guān)系式:iL(w,b,a)cw：：L(w,b,a)dwi八yiai=0i4lw=為 YiaiXii-1lyiai二0i4(2.14)(2.15)(2.16)代入到原始的拉格朗日函數(shù)中，可得到:1L(w,b,a)=22Iw-\ai(yi((wXi)b)-1)111yiyjaiaj(XiXj)-'yyjaiaj(^2i,j1 i,jm1Xj) 'ai(2.17)1 11二 a： ；yiyja：aj(XiXj)i1 2i,jd在這里考慮Karush-Kuhn-Tucker互補(bǔ)條件，條件要求最優(yōu)解a*,(w*,b*)必須滿(mǎn)足：a*[yi(wXi b*)-1]=0,^1,2/,1(2.18)這表明僅僅是函數(shù)間隔為1的輸入點(diǎn)Xi，也即最靠近超平面的點(diǎn)所對(duì)應(yīng)的a*為零，所有其它的點(diǎn)所對(duì)應(yīng)的參數(shù)a*為零。因此當(dāng)要轉(zhuǎn)換表達(dá)式到權(quán)重向量中時(shí)，只包括哪些最靠近于超平面的樣本點(diǎn)在內(nèi)，這也就是為什么要將這些樣本數(shù)據(jù)點(diǎn)稱(chēng)作為支持向量的原因(支持向量機(jī)的由來(lái)也緣于此)。支持向量機(jī)決策的依據(jù)就是從訓(xùn)練樣本數(shù)據(jù)中得到最后的支持向量，從而求取最優(yōu)分類(lèi)超平面的決策函數(shù)。最后可得到解上述問(wèn)題的最優(yōu)分類(lèi)函數(shù)為：k****f(x)二sgn{wxb}二sgn{二aiyi(Xi*x)b} (2.19)i=1上式（2.19）中a*與b*是確定最后最優(yōu)分類(lèi)超平面的參數(shù)， （x^x）為其兩個(gè)向量的點(diǎn)積。由上式可知：非支持向量所對(duì)應(yīng)的ai都全部為零，所以求和只是對(duì)于少數(shù)支持向量而進(jìn)行。在線(xiàn)性不可分的情況下，可以在條件yi[wxib]-1_0 （2.20）中增加一個(gè)松弛項(xiàng)i_0使其成為(2.21)(2.22)yJwXjb]-1 (2.21)(2.22)將目標(biāo)改為求12“

wCCi)2 i4使公式（2.22）最小，即折中考慮最小錯(cuò)分樣本數(shù)和最大分類(lèi)間隔，由此就可以得到廣義的最優(yōu)分類(lèi)面。其中，C>0是一個(gè)常數(shù)，它是控制對(duì)錯(cuò)分樣本數(shù)據(jù)的懲罰程度。2.2.4支持向量機(jī)上節(jié)所得到的最優(yōu)分類(lèi)函數(shù)為：kf（x）=sgn{wxb}=sgn{'aiyi（x^x）b} （2.23）im該式只是包含有需待分類(lèi)樣本數(shù)據(jù)點(diǎn)和訓(xùn)練樣本數(shù)據(jù)點(diǎn)中的支持向量的內(nèi)積運(yùn)算，由此可見(jiàn)如要解決一個(gè)特征空間中的最優(yōu)線(xiàn)性分類(lèi)問(wèn)題時(shí)，我們只是需要知道在這個(gè)特征空間中的內(nèi)積運(yùn)算便可。對(duì)于在非線(xiàn)性問(wèn)題中，我們可以進(jìn)行將非線(xiàn)性變換轉(zhuǎn)化為在某個(gè)高維空間中的線(xiàn)性問(wèn)題來(lái)解決，在變換空間求取最優(yōu)分類(lèi)面。但是這種變換相對(duì)是比較復(fù)雜的，所以在一般情況下是不容易實(shí)現(xiàn)這種思路的。依據(jù)泛函的相關(guān)理論基礎(chǔ)，只要存在一種核函數(shù) K（Xi,Yj）在滿(mǎn)足Mercer條件時(shí)，它就會(huì)對(duì)應(yīng)于某一變換空間中的內(nèi)積。因此若要實(shí)現(xiàn)某一非線(xiàn)性變換后的線(xiàn)性分類(lèi)時(shí)，只要在最優(yōu)分類(lèi)面中采取適當(dāng)?shù)膬?nèi)積核函數(shù) K（Xi,Yj）即可，而其計(jì)算的復(fù)雜度也不會(huì)增加的。相對(duì)應(yīng)的分類(lèi)函數(shù)也變?yōu)榱耍簁f（x）二sgn{'aiyiK（x「x）b} （2.24）i=i

這就是支持向量機(jī)X2__,K(Xi,x)K(X2,x) 這就是支持向量機(jī)X2__,K(Xi,x)K(X2,x) ?Sgn()K(Xm，X)圖2.8 支持向量機(jī)網(wǎng)絡(luò)示意圖由圖2.8中可以看出，SVM所求得的決策函數(shù)在形式上與一個(gè)神經(jīng)網(wǎng)絡(luò)比較類(lèi)似，其輸出是由若干個(gè)中間層的節(jié)點(diǎn)依據(jù)線(xiàn)性而組合的，而在其中的每一個(gè)中間層的節(jié)點(diǎn)對(duì)應(yīng)輸入樣本數(shù)據(jù)點(diǎn)與一個(gè)支持向量的內(nèi)積運(yùn)算，因此它也被稱(chēng)作為支持向量網(wǎng)絡(luò)。225SVM核函數(shù)采用不同的核函數(shù)k(x,xj可以構(gòu)造出實(shí)現(xiàn)輸入空間中不同類(lèi)型的非線(xiàn)性決策面的學(xué)習(xí)機(jī)，從而形成不同的SVM算法。在解決實(shí)際問(wèn)題當(dāng)中，通常是直接給出核函數(shù)［29,30］。常用的核函數(shù)有線(xiàn)性核函數(shù)(linearkernel )(2.25)k(x,xj=(2.25)得到的是線(xiàn)性分類(lèi)器多項(xiàng)式核函數(shù)(polynomialkernel)k(x,x)=(s(xxjc)d (2.26)其中s,c,d為參數(shù)。線(xiàn)性核函數(shù)可以看做是多項(xiàng)式核函數(shù)的一種特殊情況。得到的是q階多項(xiàng)式分類(lèi)器徑向基核函數(shù)(radicalbasisfunction,rbf )2x~xk(x,xj二exp{2 } (2.27)CT其中二為參數(shù)，這種得到的是一種徑向基函數(shù)分類(lèi)器。Sigmoid核函數(shù)(Sigmoidtanh)k(x,xj=tanh(s(xxi)c) (2.28)其中s和c為參數(shù)。這里支持向量機(jī)實(shí)現(xiàn)的就是包含有一個(gè)隱含層的多層感知器，隱含層的節(jié)點(diǎn)數(shù)是由算法本身自動(dòng)確定的，而且其算法并不存在會(huì)困擾神經(jīng)網(wǎng)絡(luò)方法的局部極小點(diǎn)問(wèn)題。SVM多類(lèi)分類(lèi)方法SVM最初是針對(duì)于二分類(lèi)問(wèn)題提出來(lái)的，但如何將二分類(lèi)擴(kuò)展到多類(lèi)分類(lèi)是SVM研究的一個(gè)非常重要的內(nèi)容。利用二分類(lèi)的svM解決多類(lèi)分類(lèi)問(wèn)題的方法大致有兩種：一種方法是將多分類(lèi)看作是二分類(lèi)的組合，即基于 SVM的二分類(lèi)，用二分類(lèi)來(lái)運(yùn)用各種不同的方法組合成一個(gè)多類(lèi)別的分類(lèi)器，最終將多分類(lèi)問(wèn)題轉(zhuǎn)化為二分類(lèi)問(wèn)題來(lái)解決；第二種方法是通過(guò)修改SVM勺目標(biāo)函數(shù)，從根本上解決支持向量機(jī)的多類(lèi)別分類(lèi)問(wèn)題。由于后者所花的代價(jià)很高，因此只適合于解決小規(guī)模的問(wèn)題，所以在解決多類(lèi)別分類(lèi)時(shí)通常多采用第一種方法。假定多分類(lèi)問(wèn)題有k個(gè)類(lèi)別S=｛1,2,3,,,k｝，訓(xùn)練樣本為｛xi,yi｝，i=｛1,2,3, ,,1｝，其中yi€S。有以下傳統(tǒng)方法實(shí)現(xiàn)SVM的多類(lèi)別分類(lèi)。一對(duì)多SVM“一對(duì)多”方法(one-against-rest method)針對(duì)不同的k類(lèi)分類(lèi)，需要構(gòu)造k個(gè)SVM分類(lèi)器，其中第一個(gè)SVM二分類(lèi)將第一類(lèi)別分開(kāi)出來(lái)，第二個(gè)SVM二分類(lèi)將第二類(lèi)分開(kāi)出來(lái)，依次類(lèi)推則第m個(gè)分類(lèi)器是將第m類(lèi)與其余的類(lèi)別分開(kāi)，即將第m類(lèi)重新標(biāo)號(hào)為1，其它類(lèi)重新標(biāo)號(hào)為-1。完成整個(gè)分類(lèi)過(guò)程則需要計(jì)算k個(gè)判別函數(shù)，這個(gè)方法的不足之處在于在改變其中的一類(lèi)類(lèi)別的不同識(shí)別順序后容易使其類(lèi)別的樣本被歸于其他的類(lèi)別中去，降低分類(lèi)的準(zhǔn)確率，而且訓(xùn)練樣本數(shù)據(jù)過(guò)大，訓(xùn)練困難，耗時(shí)多，所以其推廣性較差。一對(duì)一SVM“一對(duì)一”方法(one-against-onemethod)是從眾多的樣本中任意分別選取2個(gè)不同的類(lèi)別構(gòu)成一個(gè)單獨(dú)的SVM子分類(lèi)器，這樣經(jīng)過(guò)排列組合后將共有k(k-1)/2個(gè)SVMf分類(lèi)器。在構(gòu)成識(shí)別類(lèi)別i和識(shí)別類(lèi)別j的SVh分類(lèi)器時(shí)，在樣本數(shù)據(jù)集中選取屬于類(lèi)別i和屬于類(lèi)別j的樣本數(shù)據(jù)作為訓(xùn)練樣本數(shù)據(jù)，并且將屬于類(lèi)別i的樣本數(shù)據(jù)標(biāo)記為正，將屬于類(lèi)別j的樣本數(shù)據(jù)標(biāo)記為負(fù)，其它的每個(gè)二分類(lèi)SVM的做法與此相同進(jìn)行。在進(jìn)行測(cè)試時(shí)，將測(cè)試樣本數(shù)據(jù)對(duì) k(k-1)/2個(gè)SVM子分類(lèi)器都分別進(jìn)行樣本數(shù)據(jù)的測(cè)試，并且累計(jì)相加各類(lèi)別測(cè)試結(jié)果的得分，最后選擇得分最高者所對(duì)應(yīng)的類(lèi)別為需測(cè)試樣本數(shù)據(jù)的類(lèi)別。但此法的不足之處是如果單個(gè)SVMT分類(lèi)器不規(guī)范化，則會(huì)導(dǎo)致整個(gè)N類(lèi)分類(lèi)器將會(huì)趨向于過(guò)學(xué)習(xí)狀態(tài)，推廣誤差無(wú)界，分類(lèi)器在數(shù)目K隨需分類(lèi)類(lèi)別急劇增加時(shí)，將會(huì)導(dǎo)致在決策時(shí)速度很慢。本章小結(jié)本章首先介紹了統(tǒng)計(jì)學(xué)習(xí)理論的概念，指出統(tǒng)計(jì)學(xué)習(xí)理論是針對(duì)有限樣本的機(jī)器學(xué)習(xí)理論，具有比較堅(jiān)實(shí)的理論基礎(chǔ)。然后介紹了SVM勺理論基礎(chǔ)、特點(diǎn)、基本原理及其核函數(shù)等內(nèi)容，并且介紹了SVM勺多類(lèi)分類(lèi)方法，說(shuō)明了SVMS于統(tǒng)計(jì)學(xué)習(xí)理論中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，在小樣本數(shù)據(jù)情況下具有很好的推廣性能和泛化能力，尤其適合于電力系統(tǒng)這種要求高穩(wěn)定性、不易得到大量的故障樣本數(shù)據(jù)的系統(tǒng)中。輸電線(xiàn)路的故障模擬電力一般是從遠(yuǎn)離市區(qū)的火力或水力等發(fā)電廠通過(guò)架空輸電線(xiàn)或者電纜送給用戶(hù)或負(fù)荷端，中間又以變電站為中樞點(diǎn)對(duì)電壓進(jìn)行升壓和降壓處理，其中也聯(lián)接著其它許多的輸電線(xiàn)路系統(tǒng)。并且其電力的傳輸是包含有大地的電路，但是與電纜不同，輸電線(xiàn)路是裸露在自然環(huán)境當(dāng)中的，其隨時(shí)可能會(huì)遭遇到雷擊等的突發(fā)事故。特別是在遠(yuǎn)距離的高壓和超高壓的輸電線(xiàn)路系統(tǒng)中，當(dāng)發(fā)生各種類(lèi)型故障的時(shí)候，可能會(huì)給用電用戶(hù)或負(fù)荷端造成大面積的停電和造成各種事故的發(fā)生，將會(huì)給人民生活和工業(yè)生產(chǎn)帶來(lái)非常大的不便[31,32]。因此，必須找到一種合適而有效的事故識(shí)別方法，能夠快速的發(fā)現(xiàn)故障，進(jìn)而判斷出故障類(lèi)型，為最后確定其故障位置進(jìn)而采用合適的故障處理手段提供一種依據(jù)，能在最短的時(shí)間內(nèi)能夠快速的解決線(xiàn)路上所發(fā)生的故障，并且把由于故障所帶來(lái)的損失能夠盡量降低到最低點(diǎn)。為了解決上述的這些問(wèn)題，首先我們要必須要對(duì)電力系統(tǒng)的遠(yuǎn)距離輸電線(xiàn)路的結(jié)構(gòu)和特點(diǎn)，及其可能會(huì)發(fā)生故障的原因和類(lèi)型都要有所了解，在了解了輸電線(xiàn)路的所有這些實(shí)際的情況后，我們才能對(duì)癥下藥，找到一個(gè)合理而有效地針對(duì)這些突發(fā)事故的處理方法。電力的傳輸方式現(xiàn)代電力的傳輸方式主要有兩種[33,34]:交流輸電方式和直流輸電方式。而在我國(guó)直流輸電方式采用的相對(duì)較少，大多采用的都是交流輸電方式。交流輸電方式交流輸電方式是通過(guò)升壓變壓器和降壓變壓器對(duì)電壓進(jìn)行有效的升、降壓，現(xiàn)在是廣泛地應(yīng)用于電力系統(tǒng)的電力傳輸中。在交流輸電方式中現(xiàn)有單相2線(xiàn)制、單相3線(xiàn)制、三相3線(xiàn)制、三相4線(xiàn)制四種方式，這些方式中其各有其自己的適用場(chǎng)合。一般的對(duì)于家用電器比如照明燈或空調(diào)系統(tǒng)等的具有小功能電器的用電設(shè)備，大多都采用單相2線(xiàn)制或者單相3線(xiàn)制方式，而對(duì)于電動(dòng)機(jī)，汽輪機(jī)等大型負(fù)荷或者更大一些的負(fù)荷，則應(yīng)用三相3線(xiàn)制或者三相4線(xiàn)制方式。但是其中三相3線(xiàn)制交流輸電方式被廣泛地運(yùn)用在各種場(chǎng)合，它有以下幾個(gè)優(yōu)點(diǎn):1）其可以很方便的從三相交流電中得到單相交流電；2）當(dāng)具有相同的電壓等級(jí)和功率時(shí)，在1條線(xiàn)路上所送出的功率將是單相2線(xiàn)制的1.15倍；3）其是產(chǎn)生動(dòng)力源的主要旋轉(zhuǎn)磁場(chǎng)；4）在相同的電壓等級(jí)、損耗和距離等條件下時(shí)，其所需要電力線(xiàn)路的電線(xiàn)重量是單相2線(xiàn)制的3/4。

基于以上的優(yōu)點(diǎn)，普遍應(yīng)用三相3線(xiàn)制作為電力的輸電方式。在高壓輸電線(xiàn)路方面的配電線(xiàn)路及動(dòng)力用的低壓線(xiàn)路等當(dāng)中，都采用三相3線(xiàn)制的方式。在本論文中也是采用三相3線(xiàn)制的交流輸電方式。直流輸電方式直流輸電方式也是一種比較適合于電力的輸送，但其電壓的升降不容易實(shí)現(xiàn)，在我國(guó)也有部分地區(qū)采用這種方式，其特點(diǎn)有:l）直流輸電方式不存在無(wú)功功率，而且其損耗?。?）在相同的有效電壓情況下時(shí)，與交流輸電方式相比直流輸電方式的振幅小，有利于絕緣；3）沒(méi)有電容電流，而且不會(huì)產(chǎn)生介質(zhì)損耗，更有利于電纜的送電；4）在送電端與受電端之間不會(huì)象交流輸電時(shí)存在的相位差，其穩(wěn)定輸電的容量不會(huì)受限制，而且輸電的穩(wěn)定性更高。輸電線(xiàn)路的故障類(lèi)型、現(xiàn)象、原因及特點(diǎn)輸電線(xiàn)路的故障類(lèi)型在電力系統(tǒng)的電力傳輸中，輸電線(xiàn)路上常見(jiàn)的故障類(lèi)型有短路、斷路和接地等幾種故障類(lèi)型，而其中最為常見(jiàn)的和對(duì)電力系統(tǒng)的影響和危害最大的是各種短路故障類(lèi)型[35,36,37]障類(lèi)型[35,36,37]l）短路故障類(lèi)型輸電線(xiàn)路中在其中不同電位的兩個(gè)點(diǎn)被導(dǎo)體連接或短接起來(lái)，從而造成了輸電線(xiàn)路的非正常運(yùn)行的故障。2）斷路故障類(lèi)型輸電線(xiàn)路斷路故障是指輸電線(xiàn)路中的某一個(gè)回路在非正常情況下斷開(kāi)，使電流不能夠在回路當(dāng)中繼續(xù)流通的故障，稱(chēng)為斷路故障。如斷線(xiàn)、接觸不良等。3）接地故障類(lèi)型輸電線(xiàn)路中的某點(diǎn)在非正常接地情況下所形成的故障，稱(chēng)為接地故障。接地故障類(lèi)型有單相接地故障、兩相接地故障和三相接地故障三種類(lèi)型。對(duì)于在中性點(diǎn)直接接地系統(tǒng)中的單相接地情況，實(shí)質(zhì)是構(gòu)成了單相短路故障。對(duì)于在中性點(diǎn)不接地中的單相接地情況，將使三相對(duì)地電壓發(fā)生較大的變化，進(jìn)而會(huì)造成電氣絕緣擊穿故障等。比較典型的斷線(xiàn)故障和接地故障如圖3.1所示。發(fā)電廠升壓變壓器輸電線(xiàn)路降壓變壓器負(fù)荷發(fā)電廠升壓變壓器輸電線(xiàn)路降壓變壓器負(fù)荷(b)接地故障

圖3.1斷線(xiàn)故障和接地故障3.2.2輸電線(xiàn)路的故障現(xiàn)象、原因及特點(diǎn)短路故障的現(xiàn)象及其原因短路故障的現(xiàn)象短路是指電力系統(tǒng)在正常運(yùn)行情況以外的所有一切相與相之間或者相與地之間的短接情況。其中在三相系統(tǒng)中，ABC三相同時(shí)一起短接的情況稱(chēng)為三相短路，由于三相各阻抗相同，三相都對(duì)稱(chēng)，所以又稱(chēng)作為對(duì)稱(chēng)短路。在電力系統(tǒng)中發(fā)生在同一位置的不對(duì)稱(chēng)短路有：?jiǎn)蜗嘟拥囟搪?、兩相接地短路以及兩相短路，?dāng)在發(fā)生此類(lèi)各種短路的故障中，三相系統(tǒng)是處于不對(duì)稱(chēng)狀態(tài)的昭o在電力系統(tǒng)運(yùn)行中，各種短路故障所發(fā)生的幾率都是不相同的，其中單相接地短路故障發(fā)生的幾率最高，約占65%左右，兩相接地短路故障發(fā)生的幾率約占 20%左右，兩相短路故障約占10%左右，三相短路故障發(fā)生的幾率最小約占5%左右。短路故障的原因電力系統(tǒng)短路故障發(fā)生的原因很多，既有客觀的，也有主觀的，而且由于設(shè)備的結(jié)構(gòu)和安裝地點(diǎn)的不同，弓I發(fā)短路故障的原因也不相同。但是，根本原因是電氣設(shè)備載流部分相與相之間或相與地之間的絕緣遭到破壞。例如，架空線(xiàn)路的絕緣子可能由于受到雷擊過(guò)電壓而發(fā)生閃絡(luò)，或者由于絕緣子表面的污穢而在正常工作電壓下放電。再如發(fā)電機(jī)、變壓器、電纜等設(shè)備中載流部分的絕緣材料在運(yùn)行中損壞。有時(shí)因鳥(niǎo)獸跨接在裸露的載流部分，或者因?yàn)榇箫L(fēng)或在導(dǎo)線(xiàn)上浮冰，引發(fā)架空線(xiàn)路桿塔倒塌而造成短路。此外，線(xiàn)路檢修后，在未拆地線(xiàn)的情況下運(yùn)行人員就對(duì)線(xiàn)路送電而發(fā)生的誤操作，也會(huì)引起短路故障?？傊?，短路故障產(chǎn)生的根本原因則是在不同的電位導(dǎo)體之間的絕緣被擊穿或者是相互的短接而形成的。三相輸電線(xiàn)路的短路故障通常是由如下原因造成的:l）線(xiàn)路受到外力的破壞；2）桿塔倒塌造成的三相接地短路故障；3）三相線(xiàn)路帶地線(xiàn)合閘；4）輸電線(xiàn)路長(zhǎng)時(shí)間的運(yùn)行，造成其絕緣性能下降等原因。兩相短路故障的原因:1）收到外力的作用，如導(dǎo)電物體搭在兩根線(xiàn)上造成的兩相短路；2）線(xiàn)路的弧垂過(guò)大，當(dāng)遇到刮大風(fēng)時(shí)造成導(dǎo)線(xiàn)的擺動(dòng)，從而導(dǎo)致兩根導(dǎo)線(xiàn)相碰或者線(xiàn)路發(fā)生絞線(xiàn)形成的兩相短路；3）受到雷擊導(dǎo)致兩相短路等。斷路故障的現(xiàn)象及原因（l）斷路故障的現(xiàn)象斷路故障是輸電線(xiàn)路故障中最常見(jiàn)的故障類(lèi)型，發(fā)生斷路故障時(shí)較為基本的形式就是電路回路無(wú)電流，即回路不通。在一定的情況下，斷路故障還有可能會(huì)引起過(guò)電壓現(xiàn)象[39,40]，而斷路點(diǎn)所產(chǎn)生的電弧還有可能會(huì)引發(fā)火災(zāi)或爆炸事故等。l）斷路點(diǎn)電弧故障。輸電線(xiàn)路的電路發(fā)生斷線(xiàn)，特別是在線(xiàn)路上的那些似斷非斷或接觸不良的位置點(diǎn)即那些有時(shí)通有時(shí)斷開(kāi)的斷路點(diǎn)上，在斷路點(diǎn)處斷開(kāi)的瞬間通常會(huì)產(chǎn)生電弧或者在斷路點(diǎn)處產(chǎn)生高溫，而這些有可能會(huì)導(dǎo)致一些重大的火災(zāi)，造成一定的經(jīng)濟(jì)損失。2）三相電路中的斷路故障。在輸電線(xiàn)路的三相電路中如果發(fā)生了其中一相斷路故障，則會(huì)出現(xiàn)使三相電路不對(duì)稱(chēng)和有可能會(huì)使電動(dòng)機(jī)由于缺相運(yùn)行而被損壞；在三相電路當(dāng)中，如果零線(xiàn)發(fā)生了斷路故障，那么其對(duì)負(fù)荷的影響將會(huì)很大。（2）斷路故障的原因輸電線(xiàn)路發(fā)生斷路故障通常有以下的原因:l）線(xiàn)路的導(dǎo)線(xiàn)連接頭處可能存在接觸不良或者已被燒斷；2）由于外力的作用從而導(dǎo)致了其中一相的斷線(xiàn)；3）在配電低壓側(cè)處，可能其中一相的保險(xiǎn)絲被燒斷；4）線(xiàn)路中的其中一相導(dǎo)線(xiàn)因故而斷開(kāi)。線(xiàn)路接地故障原因輸電線(xiàn)路的接地故障通常有以下的原因:1）輸電線(xiàn)路的導(dǎo)線(xiàn)接頭處由于氧化腐蝕等原因而脫落，從而導(dǎo)致了導(dǎo)線(xiàn)的斷開(kāi)而落地；2）在輸電線(xiàn)路附近存在的樹(shù)枝等物體碰及線(xiàn)路的導(dǎo)線(xiàn)導(dǎo)致線(xiàn)路接地；3） 由于輸電線(xiàn)路的電氣元件長(zhǎng)期運(yùn)行而導(dǎo)致絕緣能力的下降，從而對(duì)附近物體的放電；4） 線(xiàn)路被外部原因或自然因素等破壞從而導(dǎo)致導(dǎo)線(xiàn)的斷開(kāi)而落地。3.224輸電線(xiàn)路故障的特點(diǎn)輸電線(xiàn)路的短路有單相接地、兩相接地、兩相不接地短路和三相短路4種類(lèi)型。而單相接地又可以分為A相對(duì)地短路（AG）,B相對(duì)地短路（BG）和C相對(duì)地短路（CG）;同樣地,兩相短路又分AB,BCCA三種類(lèi)型；兩相接地又有ABGBCGCAGE種類(lèi)型，因此，輸電線(xiàn)路故障分類(lèi)是一個(gè)多層多分類(lèi)問(wèn)題。統(tǒng)計(jì)分析表明，電力系統(tǒng)中不同類(lèi)型故障的發(fā)生概率是不相同的，其中單相接地短路最多，占到總故障的80流右，兩相短路次之，三相短路出現(xiàn)的概率最??；然而，不同故障的危害程度及其出現(xiàn)的概率剛好相反，三相短路的后果最為嚴(yán)重，單相接地短路的后果相對(duì)較輕。這就要求我們對(duì)不同類(lèi)型的故障設(shè)置不同的分類(lèi)優(yōu)先級(jí)。兩相短路和兩相短路接地的識(shí)別是常規(guī)方法的一個(gè)難點(diǎn)， 通常是靠實(shí)測(cè)或分解電流中的零序分量，利用有無(wú)零序電流，判別是接地還是非接地故障，這樣做的結(jié)果是增加了硬件投資或者計(jì)算步驟，實(shí)際上，短路相電流里就包含有零序電流的信息，如果能夠不通過(guò)零序分量，而直接用短路相電流進(jìn)行兩相短路的識(shí)別，必將提高計(jì)算速度，為此，本設(shè)計(jì)中將考慮兩相短路的直接識(shí)別問(wèn)題。3.3本論文采用的輸電線(xiàn)路模型及仿真網(wǎng)絡(luò)圖3.3.1本論文采用的輸電線(xiàn)路模型本論文是針對(duì)一個(gè)較為典型的輸電線(xiàn)路模型而進(jìn)行設(shè)計(jì)的。下圖 3.2為該輸電線(xiàn)路模型的結(jié)構(gòu)圖。本模型是采用的三相 3線(xiàn)制的交流輸電方式，供電的額定電壓為500kV。母#1 #2 線(xiàn)路段1 #n母線(xiàn)路段2線(xiàn):: X/ :II ? 1線(xiàn)X/:! ZK :-A::▽:B側(cè)；； 八 !側(cè)圖3.2 輸電線(xiàn)路模型結(jié)構(gòu)圖在圖3.2中選取母線(xiàn)A側(cè)到母線(xiàn)B側(cè)的線(xiàn)路1段作為數(shù)據(jù)模擬段，并且從線(xiàn)路的0雅U100%t隨機(jī)選取幾個(gè)模擬點(diǎn)，模擬單相接地故障、兩相短路故障、兩相短路接地故障和三相短路故障。并且模擬所有故障類(lèi)型的短路電流故障數(shù)據(jù)和短路電壓故障數(shù)據(jù)。最后將一部分樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余樣本數(shù)據(jù)作為測(cè)試數(shù)據(jù)，以驗(yàn)證故障分類(lèi)器的合理性和正確率。輸電線(xiàn)路故障類(lèi)型判別方法在上幾節(jié)中敘述了輸電線(xiàn)路的基本結(jié)構(gòu)和輸電線(xiàn)路的各種故障類(lèi)型等的基本信息后，本節(jié)描述本故障分類(lèi)器進(jìn)行故障識(shí)別的幾個(gè)基本前提。1）輸電系統(tǒng)是線(xiàn)性電路；2）在輸電線(xiàn)路發(fā)生事故前的瞬間，系統(tǒng)是三相平衡的或者是基本平衡的；3）所要識(shí)別的故障均為線(xiàn)路故障，不存在其他的輸電設(shè)備故障形式。基于以上3個(gè)前提，輸電線(xiàn)路故障識(shí)別的推理將會(huì)變的條理有序。下面是輸電線(xiàn)路上的故障數(shù)據(jù)信息與故障識(shí)別之間的的關(guān)系問(wèn)題。故障類(lèi)型的判別：本論文故障分類(lèi)器是通過(guò)仿真輸電線(xiàn)路其中一條線(xiàn)路上的短路電壓和短路電流的所有故障類(lèi)型數(shù)據(jù)，而所仿真得到的故障數(shù)據(jù)包含了關(guān)于線(xiàn)路故障的全部信息，下面是他們之間的具體關(guān)系，而此關(guān)系亦是故障識(shí)別的準(zhǔn)則所在。（1）單相接地故障的確定結(jié)合上幾節(jié)中的輸電線(xiàn)路模型內(nèi)容，當(dāng)在輸電線(xiàn)路的某一相線(xiàn)路上中的某一點(diǎn)發(fā)生了單相接地故障時(shí)，其所產(chǎn)生的故障特征是該故障相的短路電流將會(huì)遠(yuǎn)遠(yuǎn)大于非故障相得正常電流數(shù)據(jù)，而且其對(duì)地電壓數(shù)據(jù)將遠(yuǎn)遠(yuǎn)小于正常相的對(duì)地電壓數(shù)據(jù)。則可判斷出該相是否發(fā)生了單相接地故障。（2）相間故障的確定當(dāng)發(fā)生了相間故障時(shí)所產(chǎn)生的特征是非故障相電流數(shù)據(jù)遠(yuǎn)遠(yuǎn)小于故障相的電流數(shù)據(jù)。因?yàn)榉枪收舷嚯娏魇窃撓嗟膶?duì)地電容電流，而故障相的電流則是發(fā)生相間故障時(shí)由電源提供的短路電流。則可判斷出是哪兩相發(fā)生了相間故障。（3）三相接地故障的確定當(dāng)輸電線(xiàn)路發(fā)生三相故障時(shí)，其所產(chǎn)生的故障特征是在故障點(diǎn)的同一側(cè)的三相電壓數(shù)據(jù)和電流數(shù)據(jù)為相同的數(shù)據(jù)，依據(jù)此原則，即可判斷出是否發(fā)生了三相故障。（4）斷路故障的確定當(dāng)在輸電線(xiàn)路上某一相的某一點(diǎn)發(fā)生了單相斷路故障時(shí)，其所產(chǎn)生的故障特征是故障相的電流很小，幾乎趨近于零，故障點(diǎn)兩邊的電壓為額定供電電壓。依據(jù)此原則，即可判斷出是否發(fā)生了斷路故障。在本論文中因?yàn)閿嗑€(xiàn)故障數(shù)據(jù)在PSASP軟件中無(wú)法仿真得到，故本論文中只考慮單相接地、兩相短路、兩相短路接地、三相短路故障一共十種故障類(lèi)型的識(shí)別分類(lèi)問(wèn)題。333利用PSASF實(shí)際仿真網(wǎng)絡(luò)模型圖本論文采用的網(wǎng)絡(luò)模型圖是PSASF自帶的7-BUS和36-BUS的算例。網(wǎng)絡(luò)模型圖如下圖3.3所示，其中輸電線(xiàn)路母線(xiàn)電壓均為500kV。(a)7-BUS網(wǎng)絡(luò)圖EUS25 EUSSt5Q呂竝1E0S2SBUS308BllSf-BUSS?._EUS59BU￡^1(a)7-BUS網(wǎng)絡(luò)圖EUS25 EUSSt5Q呂竝1E0S2SBUS308BllSf-BUSS?._EUS59BU￡^1J—LBUS33■mE(jS14EosirEUS5BUS16BUS3(b)36-BUS網(wǎng)絡(luò)圖圖3.3系統(tǒng)仿真圖對(duì)圖3.3所示的7-BUS和36-BUS網(wǎng)絡(luò)的短路，分別在圖（a）的B3和B4母線(xiàn)之間的500kV的線(xiàn)路以及圖（b）的B22和B23母線(xiàn)之間的500kV的線(xiàn)路上模擬短路故障，利用PSASP軟件計(jì)算和記錄故障線(xiàn)路的故障點(diǎn)處的兩端的短路電流和短路電壓標(biāo)么值。為了保證所設(shè)計(jì)的故障分類(lèi)器在不同節(jié)點(diǎn)的系統(tǒng)中和同一系統(tǒng)中的不同位置發(fā)生短路時(shí)的故障分類(lèi)器的應(yīng)用通用性，在同一系統(tǒng)中分別改變線(xiàn)路參數(shù)，改變各發(fā)電機(jī)的出力和選用不同節(jié)點(diǎn)算例進(jìn)行模擬短路測(cè)試，分別記錄測(cè)試線(xiàn)路長(zhǎng)度從0%到100%的隨機(jī)不同的地方作為短路點(diǎn)分別記錄不同點(diǎn)的短路電流和短路電壓故障數(shù)據(jù)，并將其中的一部分?jǐn)?shù)據(jù)作為訓(xùn)練樣本數(shù)據(jù)，剩余的部分?jǐn)?shù)據(jù)作為測(cè)試樣本數(shù)據(jù)，以驗(yàn)證所得分類(lèi)器的合理性和正確性。在分類(lèi)器通用性方面，本論文選用7-BUS網(wǎng)絡(luò)圖的部分故障數(shù)據(jù)作為訓(xùn)練樣本數(shù)據(jù)，再利用 36-BUS網(wǎng)絡(luò)圖的所有故障數(shù)據(jù)作為測(cè)試樣本數(shù)據(jù)，依次驗(yàn)證故障分類(lèi)器的通用性。仿真軟件和程序語(yǔ)言介紹運(yùn)行環(huán)境本論文運(yùn)行環(huán)境采用的是WindowsXP開(kāi)發(fā)平臺(tái)。MicrosoftWindowsXP秉承了Windows2000的安全性和可靠性，并且集成了Windows2000的易用性，為各個(gè)行業(yè)的用戶(hù)提供了一種簡(jiǎn)單有效而且強(qiáng)大的計(jì)算平臺(tái)。是一個(gè)適合于多任務(wù)和環(huán)境的桌面操作系統(tǒng)。WindowsXP具有如下的特點(diǎn)。1） 穩(wěn)定性更強(qiáng)；2） 安全性更強(qiáng)；3） 更好的應(yīng)用程序恢復(fù)功能?？傊瑆indowsXP具有功能強(qiáng)大，使用和維護(hù)比較簡(jiǎn)便，系統(tǒng)更加穩(wěn)定等優(yōu)點(diǎn)。其不但提供了數(shù)據(jù)庫(kù)、服務(wù)器和通信平臺(tái)的光鏈集成，與當(dāng)前絕大多數(shù)的網(wǎng)絡(luò)協(xié)議相兼容，與客戶(hù)機(jī)可以協(xié)同工作。并且它也支持網(wǎng)絡(luò)并行軟件 PVM和MPI,具有更加強(qiáng)大的網(wǎng)絡(luò)功能。PSASP6.2仿真軟件電力系統(tǒng)分析綜合程序（PowerSystemAnalysisSoftwarePackage）簡(jiǎn)稱(chēng)PSASP由中國(guó)電力科學(xué)研究院設(shè)計(jì)開(kāi)發(fā)的一套功能強(qiáng)大、使用方便的電力系統(tǒng)分析程序軟件，它具有我國(guó)的自主知識(shí)產(chǎn)權(quán)，是資源共享、高度集成、使用方便和開(kāi)放的大型電力系統(tǒng)分析軟件包。PSASP包括有固定模型庫(kù)、電網(wǎng)基礎(chǔ)數(shù)據(jù)庫(kù)以及用戶(hù)自定義模型庫(kù)等部分，可以進(jìn)行電力系統(tǒng)的輸電、配電和供電系統(tǒng)的各種短路計(jì)算和分析。PSASP的結(jié)構(gòu)、功能及特點(diǎn)：（1）PSAS唄有三層的體系結(jié)構(gòu)1）第一層是模型和公用數(shù)據(jù)的資源庫(kù)；2）第二層是基于第一層的資源庫(kù)的應(yīng)用程序包；3）第三層是分析工具和最后的計(jì)算結(jié)果庫(kù)。（2）PSASP各種計(jì)算的公用數(shù)據(jù)是由文本和圖形兩種數(shù)據(jù)輸入編輯方式的電網(wǎng)基礎(chǔ)數(shù)據(jù)庫(kù)來(lái)支持的，其中包含有變壓器、發(fā)電機(jī)、負(fù)荷、交流線(xiàn)、直流線(xiàn)等電網(wǎng)結(jié)構(gòu)的一些基本元件。有文本和圖形兩種輸入編輯方式， PSASP提供了各種用于計(jì)算和分析的基本數(shù)據(jù)支持，可以從中抽取計(jì)算基本的數(shù)據(jù)，直觀方便，而且還提供了功能強(qiáng)大的用戶(hù)自定義模型方法。PSASP提供了功能非常強(qiáng)大的用戶(hù)自定義（UD）建模方法，為研究電力系統(tǒng)新設(shè)備、新裝置的自行建模提供了很好的工具。近些年來(lái)在國(guó)內(nèi)許多大學(xué)和科研單位都應(yīng)用PSASP的UD建模方法做出了大量的研究工作。用戶(hù)自定義建模方法是在可以不用了解程序內(nèi)部結(jié)構(gòu)和編程設(shè)計(jì)的條件下，用戶(hù)可以按照自己所需計(jì)算和分析的要求，設(shè)計(jì)各種所需的電網(wǎng)模型，并且可以靈活模擬大量的系統(tǒng)元件、自動(dòng)裝置和控制功能。為PSASPT充其功能，為用戶(hù)開(kāi)放提供了強(qiáng)有力的工具。PSASP可使用戶(hù)建立任何元件的模型（負(fù)荷、電源、各種控制保護(hù)裝置元件等）作為各種計(jì)算的模型庫(kù)，直觀方便的文本和圖形兩種模型編輯方式調(diào)用簡(jiǎn)單，計(jì)算快速，基于公用資源的交直流電力系統(tǒng)分析程序包，有以下應(yīng)用功能：潮流計(jì)算、網(wǎng)損分析、暫態(tài)穩(wěn)定、電壓穩(wěn)定、短路電流、短路電壓、靜態(tài)安全分析、靜態(tài)和動(dòng)態(tài)等值、小干擾穩(wěn)定、直接法暫態(tài)穩(wěn)定、參數(shù)優(yōu)化協(xié)調(diào)、最優(yōu)潮流和無(wú)功優(yōu)化、繼電保護(hù)整定與仿真等。PSASP的主要特點(diǎn)：1） PSASP提供了實(shí)用的用戶(hù)程序接口（UPI）環(huán)境，使的可以讓PSASP莫塊聯(lián)合用戶(hù)程序模塊共同運(yùn)行，共同完成用戶(hù)所需的計(jì)算任務(wù)；2） 交直流混合電力系統(tǒng)、固定模型庫(kù)和用戶(hù)自定義模型庫(kù)支持、提供用戶(hù)程序接口，實(shí)現(xiàn)與用戶(hù)程序聯(lián)合運(yùn)行、文本和圖形兩種運(yùn)行模式及多種形式的結(jié)果輸出、開(kāi)放友好的用戶(hù)程序接口環(huán)境；3） 用戶(hù)程序接口（UPI）為用戶(hù)提供了進(jìn)一步自由，進(jìn)一步開(kāi)放的環(huán)境進(jìn)行聯(lián)合編程；4） 利用Windows操作系統(tǒng)提供的動(dòng)態(tài)連接庫(kù)（DLL）支持，在計(jì)算精度和時(shí)間上可以使用戶(hù)程序接口（UPI）方式與PSAS吶部的固定模型方式達(dá)到同樣的效果。下圖3.4和圖3.5是PSAS仿真短路數(shù)據(jù)的部分截圖

圖3.4 短路計(jì)算信息圖3.5 填寫(xiě)故障信息與數(shù)據(jù)MATLAB7.0工具箱程序語(yǔ)言MATLAB?序語(yǔ)言是矩陣實(shí)驗(yàn)室（MatrixLaboratory）的簡(jiǎn)稱(chēng)，是美國(guó)MathWorks公司研制的商業(yè)數(shù)學(xué)軟件，可用于算法開(kāi)發(fā)、數(shù)據(jù)的分析、數(shù)據(jù)可視化以及數(shù)值計(jì)算的一種高級(jí)計(jì)算語(yǔ)言和交互式環(huán)境，主要包括MATLA編程環(huán)境和Simulink仿真兩大部分。MATLA在數(shù)學(xué)方面的科技應(yīng)用軟件中，其數(shù)值計(jì)算可謂是首屈一指。MATLA可以進(jìn)行矩陣運(yùn)算、實(shí)現(xiàn)算法、創(chuàng)建用戶(hù)自己的界面、繪制函數(shù)和數(shù)據(jù)、連接其他編程語(yǔ)言的程序等，主要應(yīng)用于圖像處理、工程計(jì)算、信號(hào)檢測(cè)、信號(hào)處理與通訊、控制設(shè)計(jì)、金融建模設(shè)計(jì)與分析等領(lǐng)域。MATLA程序語(yǔ)言有以下特點(diǎn)：1） 可運(yùn)用于工程技術(shù)的計(jì)算；2） 其開(kāi)發(fā)環(huán)境可對(duì)程序代碼、文件和數(shù)據(jù)進(jìn)行管理；3） 交互式工具可以按迭代的方式探查、設(shè)計(jì)及求解問(wèn)題；4） 提供的各種工具可用于構(gòu)建自定義的圖形用戶(hù)界面；5） 二維和三維的圖形函數(shù)可用于可視化數(shù)據(jù)；6） 內(nèi)核僅僅支持小寫(xiě)，不支持大寫(xiě)輸入；7） 數(shù)學(xué)函數(shù)可運(yùn)用于統(tǒng)計(jì)、線(xiàn)性代數(shù)、傅立葉分析、篩選、優(yōu)化以及數(shù)值積分等；8） 各種函數(shù)可將基于MATLA的算法與外部應(yīng)用程序和語(yǔ)言（如C、C++Fortran、Java、COM以及MicrosoftExcel）集成。MATLA相比與其他程序語(yǔ)言其優(yōu)勢(shì)：1） 友好的工作平臺(tái)和編程環(huán)境；2） 簡(jiǎn)單易用的程序語(yǔ)言；3） 強(qiáng)大的科學(xué)計(jì)算機(jī)數(shù)據(jù)處理能力；4） 出色的圖形處理功能；5） 應(yīng)用廣泛的模塊集合工具箱；6） 實(shí)用的程序接口和發(fā)布平臺(tái)；7） 應(yīng)用軟件開(kāi)發(fā)（包括用戶(hù)界面）。本章小結(jié)本章主要分析了電力系統(tǒng)的兩種輸電方式、輸電線(xiàn)路的故障類(lèi)型、故障現(xiàn)象、原因及其特點(diǎn)，給出了本論文所研究的輸電線(xiàn)路的模型和實(shí)際要仿真的網(wǎng)絡(luò)圖，并對(duì)該模型進(jìn)行了分析，介紹了PSASF軟件和MATLAB軟件。最后根據(jù)輸電線(xiàn)路的故障數(shù)據(jù)的特點(diǎn)，總結(jié)了簡(jiǎn)單有效的輸電線(xiàn)路故障判別方法。

SVM在輸電線(xiàn)路中的具體應(yīng)用LS-SVM原理及LS-SVMMATLAB具箱從上世紀(jì)九十年代以來(lái)，在支持向量機(jī)的算法研究、設(shè)計(jì)和實(shí)現(xiàn)等方面已經(jīng)取得了大量的成果。1）對(duì)SVM的最優(yōu)化技術(shù)進(jìn)行了改進(jìn)或改造SVM的形式，對(duì)SVM的計(jì)算過(guò)程進(jìn)行簡(jiǎn)化，例如線(xiàn)性SVM最小二乘支持向量機(jī)［41,42,43］（LS-SVM等；2）為便于SVM處理大規(guī)模的問(wèn)題，對(duì)SVM勺計(jì)算速度進(jìn)行了進(jìn)一步的提高，例如序列最小化算法；3）利用SVM的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理（SRM原則）、核函數(shù)思想等對(duì)傳統(tǒng)的線(xiàn)性算法進(jìn)行了改造，設(shè)計(jì)出其對(duì)應(yīng)的核形式，例如核主成份分析等； 4）依據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理（SRM?則）和SVM的—些核心思想提出了的新的算法，例如廣義支持向量機(jī)算法、v-SVM算法等。由于支持向量機(jī)具有很好的泛化能力［44］，并且在其訓(xùn)練時(shí)所得到的解是其全局最優(yōu)解，因而SVM在許多模式識(shí)別領(lǐng)域得到了廣泛的應(yīng)用。但其在訓(xùn)練時(shí)是一個(gè)具有約束條件的二次規(guī)劃問(wèn)題，而且其約束數(shù)目等于樣本容量，這就使得 SVM在訓(xùn)練時(shí)將消耗大量的時(shí)間，特別是在當(dāng)樣本容量比較大的時(shí)候其訓(xùn)練時(shí)間有時(shí)會(huì)過(guò)長(zhǎng)而被難以接受。為了解決這個(gè)問(wèn)題，提高支持向量機(jī)的訓(xùn)練效率， suykcn等人改變了標(biāo)準(zhǔn)支持向量機(jī)的風(fēng)險(xiǎn)函數(shù)和約束條件，推導(dǎo)設(shè)計(jì)出了一種新的支持向量機(jī)算法：最小二乘支持向機(jī)（LeastSquaresSupportVectorMachine,即LS-SVM算法）。LS-SVM在訓(xùn)練時(shí)只需要求解一個(gè)線(xiàn)性的方程組從而使 SVM便于實(shí)現(xiàn)，并且在很大程度上提高了SVM勺訓(xùn)練效率，因而其在非線(xiàn)性建模和模式識(shí)別等領(lǐng)域得到了進(jìn)一步0圖4.1LS-SVM的故障識(shí)別框圖廣泛的應(yīng)用。圖4.1為具體的LS-SVM的故障識(shí)別框圖0圖4.1LS-SVM的故障識(shí)別框圖最小二乘支持向量機(jī)LS-SVM(LeastSquareSupportVectorMachines) 是SVM的其中一種改進(jìn)的算法，LS-SVM將SVM中的二次規(guī)劃問(wèn)題利用二次損失函數(shù)轉(zhuǎn)化為求解線(xiàn)性方程組問(wèn)題，在確保其計(jì)算精度的同時(shí)有效地降低了其計(jì)算的復(fù)雜性，有效地提高了其求解速度。4.1.1LS-SVM原理最小二乘支持向量機(jī)(LS-SVM是SVM的一種改進(jìn)算法，它是將傳統(tǒng)SVM中的不等式約束條件修改為等式約束最小二乘支持向量機(jī)LS-SVM(LeastSquareSupportVectorMachines) 是SVM的其中一種改進(jìn)的算法，LS-SVM將SVM中的二次規(guī)劃問(wèn)題利用二次損失函數(shù)轉(zhuǎn)化為求解線(xiàn)性方程組問(wèn)題，在確保其計(jì)算精度的同時(shí)有效地降低了其計(jì)算的復(fù)雜性，有效地提高了其求解速度。4.1.1LS-SVM原理最小二乘支持向量機(jī)(LS-SVM是SVM的一種改進(jìn)算法，它是將傳統(tǒng)SVM中的不等式約束條件修改為等式約束［45,46,47］，并且將誤差平方和損失函數(shù)作為訓(xùn)練集的經(jīng)驗(yàn)損失,將SVM中的二次規(guī)劃問(wèn)題轉(zhuǎn)化為線(xiàn)性方程組求解，有效地提高了求解速度和計(jì)算的收斂精度。1)兩類(lèi)LS-SVM分類(lèi)器在兩類(lèi)分類(lèi)問(wèn)題中，設(shè)有訓(xùn)練樣本集Sv：｛xi,yi),^1,2/,l其中xrR'為模式向量，I為樣本的容量，另yj?｛1-1｝為目標(biāo)的類(lèi)別標(biāo)號(hào)，則將支持向量機(jī)中的優(yōu)化問(wèn)題的不等式約束條件改為等式約束，并將其經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)改為二次函數(shù)，利用LS-SVM算法構(gòu)造出二分類(lèi)的SVMLS-SVM選擇了誤差/乍為二次項(xiàng)，則其優(yōu)化問(wèn)題為：minQ(‘，)=1 ‘丁‘ 1Jj2 2 i=1(4.1)上式(4.1)的等式約束條件為yi@J*(Xi)+b)=1-? ,21,2,…，1(4.2)通過(guò)上式(4.2)的對(duì)偶形式可求得其最優(yōu)解，依據(jù)目標(biāo)函數(shù)和約束條件可對(duì)對(duì)偶形式建立拉格朗日函數(shù)：L(，b，"22心iI-、ai(yiC-T(xjb)-1jid(4.3)上式(4.3)中a為拉格朗日乘子，根據(jù)庫(kù)恩-塔克(Kuhn-Tucker)條件:(4.4)可得:(4.5)[0 (巧呷=；01(4.5)巴Q+cP一[a一[Y一在上式(4.5)中,

(4.6)kW(Xk)]f(Xi)」丫=[%』2,…，y」Ti「[1,1,….1]T(4.6)a=[aHa2， ,ai]上式(4.6)為一線(xiàn)性方程組，可用最小二乘法求解出a和b的值，由此可得到分類(lèi)決策的判別函數(shù)為：y(x)二signCai((x))T(x)b) (4.7)上式(4.7)中Sv為支持向量的集合。對(duì)每一個(gè)二分類(lèi)的 SVM訓(xùn)練后找出其對(duì)應(yīng)的支持向量，建立最優(yōu)分類(lèi)面。多類(lèi)LS-SVM分類(lèi)器顯然上述LS-SVM方法只能應(yīng)用到兩類(lèi)模式的分類(lèi)問(wèn)題當(dāng)中，卻不能解決多類(lèi)分類(lèi)問(wèn)題。當(dāng)LS-SVM應(yīng)用于解決多類(lèi)分類(lèi)問(wèn)題時(shí)，假設(shè)在I類(lèi)分類(lèi)問(wèn)題中，其訓(xùn)練樣本數(shù)據(jù)Sv：")」=1,2,,l,其中yi為l維的由-1和+1組成的l維向量，當(dāng)x為第j類(lèi)別時(shí)，yi的第j個(gè)目標(biāo)元素為-1，其余目標(biāo)元素的皆為+1。為了下述方便，將訓(xùn)練樣本數(shù)據(jù)存儲(chǔ)到兩個(gè)數(shù)據(jù)矩陣X和丫中，他們的第i行分別為Xi和y。根據(jù)SRM原則可得到式(4.8)所示的約束優(yōu)化問(wèn)題[48,49]:1 T 1 門(mén) 1 .minQ(■i,6, =才、■■i■■i 二二匚:i (4.8)i 2 k=1i=1而通過(guò)與兩類(lèi)SVM^類(lèi)類(lèi)似的變換，上式(4.8)的解由下式給出:I0TyiI0Tyi'1(i)■C4-I_a(i)=1,2,,1(4.9)上式(4.9)中，yi.為丫的第i列，0⑴則由元素0:=丫⑴％訃(為，xQ組成，a⑴是對(duì)應(yīng)于yh的Lagrange乘子向量，bi是對(duì)應(yīng)于y.的常數(shù)項(xiàng)。上式(4.9)的求解是求解上式(4.5)的問(wèn)題。在求解出了a(i)和bi之后，則可以建立下述LS-SVM函數(shù):(4.10)(4.10)yj(x)=為ajyjk(x,Xi)bj,i,j=1,2, ,1而測(cè)試向量x的所屬類(lèi)別則由最后所得的判別函數(shù)y(x)二si働心))，j=1,2/,1輸出組成的向量y決定。LS-SVMIab工具箱基于MATLAB^最小二乘支持向量機(jī)工具箱，包括回歸、分類(lèi)、時(shí)間序列預(yù)測(cè)和無(wú)監(jiān)督的學(xué)習(xí)等內(nèi)容。該工具箱的代碼都是采用 C語(yǔ)言程序進(jìn)行編寫(xiě)的。LS-SVM工具箱根據(jù)不同的計(jì)算機(jī)系統(tǒng)可以運(yùn)用在 Windows版本和Linux版本，目前LS-SVM工具箱有3個(gè)版本，其中包括有基本的和高級(jí)的，另外一個(gè)是在 C語(yǔ)言環(huán)境下運(yùn)行的版本，每個(gè)不同的算法包含不同的函數(shù)。在 LS-SVM工具箱呦外有一個(gè)C程序的編譯器,它會(huì)自動(dòng)把Matlab程序編譯成C程序,然后在C程序下進(jìn)行計(jì)算,這樣就大大提高了LS-SVM的運(yùn)算效率。MATLA可以根據(jù)數(shù)據(jù)的多少和數(shù)據(jù)文件的格式不同，而采用對(duì)應(yīng)的方法獲取數(shù)據(jù)。1)用元素列表的方法直接輸入數(shù)據(jù)；2)創(chuàng)建數(shù)據(jù)文件，通過(guò)