




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、監(jiān)督學(xué)習(xí)應(yīng)用與梯度下降分類: machine learning2014-04-12 23:42 17人閱讀 評(píng)論(0) 收藏 舉報(bào)本課內(nèi)容:1、 線性回歸2、 梯度下降3、 正規(guī)方程組 (復(fù)習(xí))監(jiān)督學(xué)習(xí):告訴算法每個(gè)樣本的正確答案,學(xué)習(xí)后的算法對(duì)新的輸入也能輸入正確的答案 1、 線性回歸例:Alvin汽車,先讓人開車,Alvin攝像頭觀看(訓(xùn)練),而后實(shí)現(xiàn)自動(dòng)駕駛。本質(zhì)是一個(gè)回歸問(wèn)題,汽車嘗試預(yù)測(cè)行駛方向。 例:上一節(jié)課的房屋大小與價(jià)格數(shù)據(jù)
2、集 引入通用符號(hào):m = 訓(xùn)練樣本數(shù)x = 輸入變量(特征)y = 輸出變量(目標(biāo)變量)(x,y) 一個(gè)樣本 第i個(gè)訓(xùn)練樣本 = 本例中:m:數(shù)據(jù)個(gè)數(shù),x:房屋大小,y:價(jià)格 監(jiān)督學(xué)習(xí)過(guò)程:1) 將訓(xùn)練樣本提供給學(xué)習(xí)算法2) 算法生成一個(gè)輸出函數(shù)(一般用h表示,成為假設(shè))3)
3、0; 這個(gè)函數(shù)接收輸入,輸出結(jié)果。(本例中為,接收房屋面積,輸出房?jī)r(jià))將x映射到y(tǒng)。如下圖所示: 對(duì)假設(shè)進(jìn)行線性表示: 通常來(lái)說(shuō),回歸問(wèn)題有多個(gè)輸入特征。如上例中,我們還已知房屋的臥室數(shù),即有個(gè)第二個(gè)特征。即表示大小,表示臥室數(shù),則可將假設(shè)寫成: 為了將公式寫整潔,定義,則h可寫成:n = 特征數(shù)目, :參數(shù) 選擇的目的,是使h(x)與y的平方差盡量小。又由于有m個(gè)訓(xùn)練樣本,需要計(jì)算每個(gè)樣本的平方差,最后為了簡(jiǎn)化結(jié)果乘以1/2,即:我們要做的就是求:min(J()求min(J()方法:梯度下降和正規(guī)方
4、程組 2、 梯度下降梯度下降是一種搜索算法,基本思想:先給出參數(shù)向量一個(gè)初始值,比如0向量;不斷改變,使得J()不斷縮小。 改變 的方法:梯度下降如圖所示,水平坐標(biāo)軸表示,垂直坐標(biāo)表示J() 一開始選擇0向量作為初始值,假設(shè)該三維圖為一個(gè)三維地表,0向量的點(diǎn)位于一座“山”上。梯度下降的方法是,你環(huán)視一周,尋找下降最快的路徑,即為梯度的方向,每次下降一小步,再環(huán)視四周,繼續(xù)下降,以此類推。結(jié)果到達(dá)一個(gè)局部最小值,如下圖: 當(dāng)然,若初始點(diǎn)不同,則結(jié)果可能為另一個(gè)完全不同的局部最小值,如下: 表明梯度下降的結(jié)果依賴于參數(shù)初始值。&
5、#160;梯度下降算法的數(shù)學(xué)表示: 為賦值運(yùn)算符,即表示程序中的的賦值語(yǔ)句。每一次將減去對(duì)求偏導(dǎo)的結(jié)果,即沿最陡峭的“山坡”下降 將偏導(dǎo)數(shù)展開分析: 代入上式: :學(xué)習(xí)速度,即決定你下山時(shí)每一步邁多大。設(shè)的過(guò)小,收斂時(shí)間長(zhǎng),設(shè)的過(guò)大,可能會(huì)超過(guò)最小值 (1) 批梯度下降算法:上述為處理一個(gè)訓(xùn)練樣本的公式,將其派生成包含m個(gè)訓(xùn)練樣本的算法,循環(huán)下式直至收斂: 復(fù)雜度分析:對(duì)于每個(gè)的每次迭代,即上式所示,時(shí)間為O(m)每次迭代(走一步)需要計(jì)算n個(gè)特征的梯度
6、值,復(fù)雜度為O(mn) 一般來(lái)說(shuō),這種二次函數(shù)的的三維圖形為一個(gè)碗狀,有一個(gè)唯一的全局最小值。其等高線為一個(gè)套一個(gè)的橢圓形,運(yùn)用梯度下降會(huì)快速收斂到圓心。 梯度下降性質(zhì):接近收斂時(shí),每次的步子會(huì)越來(lái)越小。其原因是每次減去乘以梯度,但是梯度會(huì)越來(lái)越小,所以步子會(huì)越來(lái)越小。 下圖為使用梯度下降擬合的上例房屋大小和價(jià)格的曲線 檢測(cè)是否收斂的方法:1) 檢測(cè)兩次迭代的改變量,若不再變化,則判定收斂2)
7、;更常用的方法:檢驗(yàn),若不再變化,判定收斂 批梯度下降算法的優(yōu)點(diǎn)是能找到局部最優(yōu)解,但是若訓(xùn)練樣本m很大的話,其每次迭代都要計(jì)算所有樣本的偏導(dǎo)數(shù)的和,時(shí)間過(guò)慢,于是采用下述另一種梯度下降方法。 (2) 隨機(jī)梯度下降算法(增量梯度下降算法): 每次計(jì)算不需要再遍歷所有數(shù)據(jù),而是只需計(jì)算樣本i即可。即批梯度下降中,走一步為考慮m個(gè)樣本;隨機(jī)梯度下降中,走一步只考慮1個(gè)樣本。每次迭代復(fù)雜度為O(n)。當(dāng)m個(gè)樣本用完時(shí),繼續(xù)循環(huán)到第1個(gè)樣本。 上述使用了迭代的方法求最小值,實(shí)際上對(duì)
8、于這類特定的最小二乘回歸問(wèn)題,或者普通最小二乘問(wèn)題,存在其他方法給出最小值,接下來(lái)這種方法可以給出參數(shù)向量的解析表達(dá)式,如此一來(lái)就不需要迭代求解了。 3、 正規(guī)方程組給定一個(gè)函數(shù)J,J是一個(gè)關(guān)于參數(shù)數(shù)組的函數(shù),定義J的梯度關(guān)于的導(dǎo)數(shù),它自己也是一個(gè)向量。向量大小為n+1維(從0到n),如下:所以,梯度下降算法可寫成:更普遍的講,對(duì)于一個(gè)函數(shù)f,f的功能是將一個(gè)m*n的矩陣映射到實(shí)數(shù)空間上,即:假設(shè)輸入為m*n大小的矩陣A,定義f關(guān)于矩陣A的導(dǎo)數(shù)為:導(dǎo)數(shù)本身也是個(gè)矩陣,包含了f關(guān)于A的每個(gè)元素的偏導(dǎo)數(shù)。 如果A是一個(gè)方陣,即n*n的矩陣,則將A的跡定義為A的對(duì)角元素
9、之和,即: trA即為tr(A)的簡(jiǎn)化。 一些關(guān)于跡運(yùn)算符和導(dǎo)數(shù)的定理:1) trAB = trBA2) trABC = trCAB = trBCA3) 4) 5) 若 ,tra = a6)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 山西省臨汾市第一中學(xué)2025屆高二化學(xué)第二學(xué)期期末綜合測(cè)試試題含解析
- 佛山生豬養(yǎng)殖管理辦法
- 城市應(yīng)急通信保障-洞察及研究
- 園區(qū)廢水排放管理辦法
- 促銷管理辦法限時(shí)制度
- 技術(shù)賦能下的金融科技革新與金融體系重構(gòu)研究
- 食品添加劑相互作用-洞察及研究
- 關(guān)節(jié)鏡技術(shù)進(jìn)展-洞察及研究
- 安全防范與人員管理指引
- 省會(huì)經(jīng)濟(jì)圈產(chǎn)業(yè)協(xié)同發(fā)展的機(jī)制與影響因素研究
- 2025至2030全球及中國(guó)近炸引信傳感器行業(yè)項(xiàng)目調(diào)研及市場(chǎng)前景預(yù)測(cè)評(píng)估報(bào)告
- 部編版三年級(jí)語(yǔ)文上冊(cè) 寫字表
- 工廠十周年活動(dòng)策劃方案
- 天津匯融商業(yè)管理有限公司招聘筆試題庫(kù)2025
- 廣東教育學(xué)院德育研究中心
- 產(chǎn)品標(biāo)品牌管理制度
- 高壓氣體絕緣設(shè)備中SF6分解產(chǎn)物檢測(cè)SO2傳感器的設(shè)計(jì)與應(yīng)用
- GB/T 5359.1-2019摩托車和輕便摩托車術(shù)語(yǔ)第1部分:車輛類型
- 中藥學(xué)多選題含答案
- 起重作業(yè)吊索具使用安全培訓(xùn)課件
- 順德區(qū)國(guó)家工作人員因私出國(guó)(境)審批表
評(píng)論
0/150
提交評(píng)論