機(jī)器學(xué)習(xí)——凸優(yōu)化

1、機(jī)器學(xué)習(xí)外外凸優(yōu)化文章目錄一、計(jì)算幾何一計(jì)算幾何的定義計(jì)算幾何是指的對(duì)幾何外形信息的計(jì)算機(jī)表示、分析和綜合。幾何外形信息那些用來(lái)確定某些幾何外形的離散數(shù)據(jù)點(diǎn)或特征多邊形計(jì)算機(jī)表示按照給定的信息，建立一定的數(shù)學(xué)模型，再通過(guò)計(jì)算機(jī)進(jìn)行計(jì)算，求得其他所需的信息分析和綜合對(duì)所建立的數(shù)學(xué)模型特性及誤差等進(jìn)行分析、綜合，以便逼真地反映出幾何形體直線(xiàn)的表達(dá)方式初中數(shù)學(xué)表達(dá)直線(xiàn)上的兩點(diǎn)P1、P2的坐標(biāo)分別為(x1,y1)、(x2,y2),且(xlg,所以直線(xiàn)I的斜率K=X；-X；在直線(xiàn)I上任意取一點(diǎn)P(x,y)，將直線(xiàn)I的斜率K,P點(diǎn)的坐標(biāo)代入直線(xiàn)的點(diǎn)斜式方程/y=k(xxi)中得y2-y1yyi=x2x1*

2、（xxi）即直線(xiàn)I的兩點(diǎn)式方程y2y1=xxix2x1計(jì)算幾何表達(dá)(凸集)直線(xiàn)的表示(x1fx2)y=Oxi+(10)x2兩者的對(duì)比初中數(shù)學(xué)表達(dá)上能夠表示二維空間下，除坐標(biāo)軸以外的其他直線(xiàn)，是學(xué)習(xí)空間幾何的起點(diǎn)。計(jì)算幾何表式能夠表示n維歐式空間內(nèi)所有的兩個(gè)點(diǎn)連成的直線(xiàn)，擴(kuò)大了表示的維度，更具有泛化性。、凸集一)凸集的定義凸集凸集(convexset)是在凸組合下閉合的仿射空間的子集。更具體地說(shuō)，在歐氏空間中，凸集是對(duì)于集合內(nèi)的每一對(duì)點(diǎn)，連接該對(duì)點(diǎn)的直線(xiàn)段上的每個(gè)點(diǎn)也在該集合內(nèi)。(任何中空的或具有凹痕的都不是凸集)仿射集仿射集亦稱(chēng)仿射流形、線(xiàn)性流形、仿射簇，是實(shí)線(xiàn)性空間中的一類(lèi)子集。非空間射集M

3、的維數(shù)定義為上述子空間L的維數(shù)?？占木S數(shù)定義為-1。維數(shù)分別為0、1,以及2的仿射集為點(diǎn)、直線(xiàn)和平面。直線(xiàn)是凸集，也是仿射集)平面的表達(dá)1點(diǎn)法式方程法向量n=(A,B,C)，平面上的點(diǎn)Mo(xo,y,z)A(x-x0)+B(y-y0)+C(z-z0)=0般方程Ax+By+Cz+D=o截距型方程平面上的點(diǎn)A(a,O,O),B(O,b,O),C(O,O,c)xa+yb+zc=o(三)超平面的表達(dá)超平面定義超平面是指n維線(xiàn)性空間中維度為n-1的子空間。它可以把線(xiàn)性空間分割成不相交的兩部分。比如二維空間中，一條直線(xiàn)是一維的，它把平面分成了兩塊；三維空間中，一個(gè)平面是二維的，它把空間分成了兩塊。超平面

4、公式法向量3,常數(shù)b公式：3Tx+b=0詳細(xì)內(nèi)容，請(qǐng)參考下面鏈接：三、凸函數(shù)凸函數(shù)的定義凸函數(shù)是一個(gè)定義在某個(gè)向量空間的凸子集C上的實(shí)值函數(shù)f,而且對(duì)于凸子集C中任意兩個(gè)向量x1、x2有f(衍2)f(Xl+X2)成立。HessianMatrix矩陣Hessen矩陣是是一個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)構(gòu)成的方陣，描述了函數(shù)的局部曲率，利用Hessian矩陣可判定多元函數(shù)的極值問(wèn)題凸函數(shù)的判別對(duì)于一元函數(shù)f(x),我們可以通過(guò)其二階導(dǎo)數(shù)f(x)的符號(hào)來(lái)判斷。如果函數(shù)的二階導(dǎo)數(shù)總是非負(fù)，即f(x)NO,則f(x)是凸函數(shù)對(duì)于多元函數(shù)f(X),我們可以通過(guò)其Hessian矩陣(Hessian矩陣是由多元函數(shù)的二階導(dǎo)數(shù)組成的方陣)的正定性來(lái)判斷。如果Hessian矩陣是半正定矩陣，則是f(X)凸函數(shù)判別f(x)=x3函數(shù)是否為凸函數(shù)對(duì)f(x)求二階導(dǎo)y=6x判斷二階導(dǎo)的值x0,y非負(fù)，xp為凸觀劃=與一般的就優(yōu)化問(wèn)題標(biāo)準(zhǔn)形式和比，凸規(guī)劃有三點(diǎn)附加條件:（1）目標(biāo)函數(shù)/（*）必須是凸函數(shù);2）不尊式約束函數(shù)田（刃必須是凸函數(shù)，不等式gix）/再若口f”內(nèi)丄,|尸nut憐Jhhh斷*出mH犧%（二）凸規(guī)劃問(wèn)題的判別II判斷f(x)是否為凸函數(shù)判斷不等式約束函數(shù)是否為凸函數(shù)舉例說(shuō)明m