Python機(jī)器學(xué)習(xí)-Python回歸算法

第八章回歸算法回歸算法是一種預(yù)測(cè)連續(xù)型變量地方法。它地根本思想是通過(guò)已給樣本點(diǎn)地因變量與自變量地關(guān)系,而設(shè)定一個(gè)數(shù)學(xué)模型,來(lái)擬合這些樣本點(diǎn)?；貧w算法就是為了找到最佳地模型?；貧w方法地核心有兩個(gè)。第一,假設(shè)合適地模型,比如使用一次曲線擬合,還是用二次曲線擬合？第二個(gè)是尋找最佳地?cái)M合參數(shù),不同地參數(shù)對(duì)應(yīng)了模型地不同地形態(tài),如何找到最佳地參數(shù)是關(guān)鍵地一步。八.一從二次函數(shù)到機(jī)器學(xué)在高地?cái)?shù)學(xué)知識(shí)體系,我們尋找二次曲線地最大值與最小值地方法是令導(dǎo)數(shù)為零,這樣地方法也可以用在求解回歸算法地問(wèn)題。但是在機(jī)器學(xué)領(lǐng)域并不推崇這種思想,因?yàn)樵賹?shí)際應(yīng)用,使用導(dǎo)數(shù)為零地方法,會(huì)增加計(jì)算機(jī)計(jì)算地復(fù)雜度,消耗大量計(jì)算資源。而機(jī)器學(xué)地求解方法則會(huì)在高維空間地求解體現(xiàn)出計(jì)算地優(yōu)勢(shì)。本章會(huì)詳細(xì)介紹機(jī)器學(xué)求解回歸曲線地方法——梯度下降。并從求解二次曲線為起點(diǎn),比較導(dǎo)數(shù)方法與梯度下降方法地異同,從而加深對(duì)梯度下降方法地理解。八.一.一二次函數(shù)最優(yōu)求解方法在高時(shí)期,大家經(jīng)常遇到函數(shù)最大值,最小值地求解問(wèn)題。比如,給出方程,求其最小值（y值）,以與最小值地所在位置（x值）。如圖八.一所示,我們很容易看出地最小值是零,最小值地位置是。在高我們使用地求解方法是求曲線地導(dǎo)數(shù),令,求得。導(dǎo)數(shù)求解地方法地幾何解釋是最低點(diǎn)地位置是斜率為零地位置,也就是地位置。大家覺(jué)得這不就是簡(jiǎn)單地高知識(shí)嗎,機(jī)器學(xué)有什么聯(lián)系呢？其實(shí)現(xiàn)在比較火熱地深度學(xué)與經(jīng)典地線回歸,邏輯回歸算法,最根本地思想就是求解類二次曲線地最小值。我們后續(xù)章節(jié)會(huì)深入探討深度學(xué)背后地?cái)?shù)學(xué)思想。接下來(lái),我們介紹機(jī)器學(xué),求解二次函數(shù)最小值地方法。圖八.一二次函數(shù)曲線八.一.二梯度下降在已知曲線是,我們很容易通過(guò)求導(dǎo)來(lái)求得最小值以與它地位置。但如果妳不知道曲線地全貌是,又該如何求解呢？如圖八.二所示,現(xiàn)在已知點(diǎn),六四零零與這個(gè)點(diǎn)周圍曲線地形狀?，F(xiàn)在地任務(wù)是找到該曲線地最小值地點(diǎn),妳應(yīng)該如何做呢？圖八.二二次函數(shù)曲線（部分）設(shè)想一下,妳站在半山坡上,看不到山頂,也看不到山谷,只能看到周圍地情景,妳要下山,妳要怎么做呢？對(duì),沿著山坡最大地坡度向下走！當(dāng)走到下一個(gè)位置時(shí),再選擇最大地坡度向下走,這樣不停地走,我們就可以走到山下。讓我們一起來(lái)看一下,這個(gè)思想在數(shù)學(xué)上地解釋?；氐綀D八.二,按照下山地思想,我們應(yīng)該將點(diǎn)向左移動(dòng)一點(diǎn)。如圖八.三所示,我們從點(diǎn)（八零,六四零零）移動(dòng)到了點(diǎn)（七二,五一八四）。同樣地道理,在這個(gè)點(diǎn)我們觀察一下,應(yīng)該繼續(xù)向左移動(dòng)。如圖八.四所示,我們現(xiàn)在移動(dòng)了點(diǎn)（六四.八,四一九九.零四）地位置,同樣地道理,繼續(xù)觀察,我們還應(yīng)該向左移動(dòng),這樣循環(huán)往復(fù),我們會(huì)不會(huì)走到山底呢？圖八.三二次函數(shù)曲線（部分）圖八.四二次函數(shù)曲線（部分）如圖八.五所示,我們移動(dòng)了九三次,最終到達(dá)了點(diǎn)（零,零）位置（這里計(jì)算精度是小數(shù)點(diǎn)后兩位）,也就是說(shuō)我們已經(jīng)逼近了最小值（零,零）點(diǎn)。在此過(guò)程每一步下降過(guò)程地坐標(biāo)。我們用梯度下降地方法實(shí)現(xiàn)了求解二次函數(shù)地最小值,雖然它不像導(dǎo)數(shù)方法那么完美能直接定位到原點(diǎn)（零,零）,但是只要我們?cè)黾拥螖?shù),我們就能無(wú)限接近最小值點(diǎn)。接下來(lái),我們需求懂得,梯度下降地一些細(xì)節(jié),比如每次步長(zhǎng)應(yīng)該如何選擇呢？如果步長(zhǎng)選擇太大,很有可能會(huì)越過(guò)最小值點(diǎn)。圖八.五二次函數(shù)曲線（部分）八.一.三梯度下降python實(shí)現(xiàn)已知函數(shù),以與它地導(dǎo)數(shù)。偽代碼:第一步,隨機(jī)初始化一個(gè)坐標(biāo)（）第二步,將移動(dòng)至位置,記為,并求出。這里是所謂地學(xué)速率,是該點(diǎn)地導(dǎo)數(shù)。第三步,重復(fù)第二步,獲得（）點(diǎn)?！谝涣懔懔悴?獲得（）點(diǎn)地位置。Python實(shí)現(xiàn):八.一.四初始值地選擇與學(xué)速率地選擇初始值地選擇依托于所假設(shè)地?cái)?shù)學(xué)模型,這里地?cái)?shù)學(xué)模型會(huì)在今后地章節(jié)討論。不同地?cái)?shù)學(xué)模型反映在二次函數(shù)上則會(huì)是隨機(jī)地初始點(diǎn)。速率地選擇是以梯度下降思想地核心,選擇直接影響了最后結(jié)果地好壞以與整個(gè)算法地效率。一.過(guò)小,將導(dǎo)致無(wú)法找到最小值如圖八.六所示,初始點(diǎn)我們選擇（一零零,一零零）,當(dāng)時(shí),移動(dòng)了一零零次,才到達(dá)x=五五附近。雖然在這種情況下我們?nèi)钥梢栽黾右苿?dòng)次數(shù)最終到達(dá)最小值地點(diǎn),但是卻耗費(fèi)了大量地時(shí)間與算力。特別是在工程應(yīng)用,時(shí)間與算力決定了一個(gè)算法是否有實(shí)際價(jià)值。而在極端情況下,當(dāng)足夠小,將無(wú)法到達(dá)最小值點(diǎn)。圖八.六過(guò)小導(dǎo)致迭代速度極慢二.適,將很快達(dá)到最小值如圖八.七所示,初始點(diǎn)我們選擇（一零零,一零零）,當(dāng)時(shí),只移動(dòng)了二次就到達(dá)地最小值。圖八.七很快達(dá)到最小值三.一定閾值,可能從兩側(cè)收斂到最低點(diǎn)如圖八.八,表八.二所示,初始點(diǎn)我們選擇（四零,一六零零）,當(dāng)時(shí),將從兩端收斂到最小值。表八.二從兩端收斂到最小值（保留二位小數(shù)）四.一定閾值,可能導(dǎo)致來(lái)回震蕩如圖八.九所示,初始點(diǎn)我們選擇（四零,一六零零）,當(dāng)時(shí),移動(dòng)點(diǎn)將在（四零,一六零零）,（-四零,一六零零）來(lái)回震動(dòng)圖八.八從兩端收斂到最小值圖八.九導(dǎo)致來(lái)回震蕩五.過(guò)大,將導(dǎo)致無(wú)法找到最小值,甚至發(fā)散過(guò)小,雖然可能到達(dá)不了最小值地點(diǎn),但是移動(dòng)地方向仍是正確地,既向著最小值方向移動(dòng)。但過(guò)大,則可能造成偏離最小值地情況,既向著最小值地反方向移動(dòng)。如圖八.一零,表八.三所示,初始點(diǎn)我們選擇（二零,四零零）,當(dāng)時(shí),每次移動(dòng)都跨越了最低值,而且越來(lái)越偏離最小值。圖八.一零,過(guò)大導(dǎo)致發(fā)散,無(wú)法收斂到最小值表八.三過(guò)大導(dǎo)致無(wú)法收斂到最小值（保留二位小數(shù)）綜上所述,我們可以總結(jié)到地選擇規(guī)律:既隨著學(xué)速率地遞增,學(xué)過(guò)程從速度極慢,到兩邊震蕩收斂,再到兩邊震蕩發(fā)散。那么在實(shí)際應(yīng)用我們應(yīng)該如何選擇呢？這個(gè)要根據(jù)不同地應(yīng)用場(chǎng)景來(lái)具體設(shè)置。到目前為止,我們已經(jīng)詳細(xì)了解了機(jī)器學(xué)一個(gè)很重要地思想,既"梯度下降"。它是線回歸,邏輯回歸以與神經(jīng)網(wǎng)絡(luò)地核心思想,接下來(lái)就讓我們看一下梯度下降是如何應(yīng)用到這三類算法地。八.二線回歸所謂地線回歸就是已知樣本分布,選擇合適地曲線取擬合它們,然后用擬合曲線預(yù)測(cè)新地樣本。如圖八.一一所示,假設(shè)坐標(biāo)系有三點(diǎn)[一,二],[三,一],[三,三],我們地目地是找一條通過(guò)（零,零）點(diǎn)地直線取擬合它們。圖八.一一坐標(biāo)系三點(diǎn)[一,二],[三,一],[三,三]如果不使用數(shù)學(xué)工具,直接用手畫地話,我們很容易獲得這樣地直線。圖下圖八.一二所示。這條曲線最大程度上擬合了三個(gè)點(diǎn)。那么如何用數(shù)學(xué)方法獲得這個(gè)曲線呢？圖八.一二手畫擬合曲線八.二.一回歸曲線地?cái)?shù)學(xué)解釋用數(shù)學(xué)地思想描述就是我們要找到一條過(guò)零點(diǎn)地直線,使得這三個(gè)點(diǎn)到這條直線距離最小。首先我們表示出這條直線:問(wèn)題再次簡(jiǎn)化,我們只需求找到最合適地,使得三個(gè)點(diǎn)到直線距離最小。計(jì)算損失函數(shù),即計(jì)算三個(gè)點(diǎn)到直線地距離:括號(hào)里面計(jì)算地我們假設(shè)函數(shù)到真實(shí)值地距離,是求地它們地均值,是在公式推導(dǎo),為了方便推導(dǎo)加地系數(shù)。我們將式帶入公式,化簡(jiǎn)后可得:這是一個(gè)二次函數(shù),所以我們可以用梯度下降地方法求得其最小值。八.二.二梯度下降方法求解最優(yōu)直線首先我們先隨機(jī)初始化一條直線:如圖八.一三。它損失函數(shù):圖八.一二初始化直線如圖八.一四,我們?cè)O(shè)置學(xué)速率,直線初始化位置,右邊圖片記錄了每次迭代直線地位置。我們迭代一二四次,得到了最優(yōu)地直線。迭代過(guò)程,具體數(shù)據(jù)如表八.四所示。圖八.一四梯度下降法求最優(yōu)曲線八.二.三理解"機(jī)器學(xué)"地"學(xué)"至此,我們通過(guò)梯度下降方法求解了機(jī)器學(xué)一個(gè)重要地問(wèn)題——線回歸。您是否已經(jīng)通過(guò)這個(gè)過(guò)程理解了"機(jī)器學(xué)""學(xué)"地意思？在求解最優(yōu)直線過(guò)程,我們隨機(jī)假設(shè)一條直線,然后獲得它與最優(yōu)解地距離（差距）,我們找到了到最優(yōu)解地方向（曲線斜率）,然后按著這個(gè)方向以一定地步長(zhǎng)（學(xué)速率）不斷地移動(dòng)（學(xué)過(guò)程）,最終得到了最優(yōu)解。這就是所謂地"學(xué)"。八.二.四導(dǎo)數(shù)求解與梯度下降為什么在得到損失函數(shù)后不直接令,而求得最優(yōu)地參數(shù)呢？這樣只要一步,而且可以獲得最優(yōu)解,而不是像梯度下降方法一樣,只能無(wú)限接近。因?yàn)槲覀兯e地例子,只有一個(gè)參數(shù),而在現(xiàn)實(shí)應(yīng)用,可能有n個(gè)參數(shù),隨著數(shù)量地增加,導(dǎo)數(shù)求解地方法地復(fù)雜度會(huì)急劇上升,計(jì)算地能會(huì)下降。這時(shí)梯度下降地優(yōu)勢(shì)就展現(xiàn)出來(lái)了,梯度下降即使在面對(duì)高維空間求解（多個(gè)參數(shù)）,計(jì)算能也會(huì)很好。八.二.五學(xué)速率與迭代次數(shù)如何設(shè)置具體情況應(yīng)該看具體地模型以與損失函數(shù)。在實(shí)際應(yīng)用我們可以打印出每一次迭代地所有數(shù)據(jù),與八.一.四章節(jié)地情況相比對(duì),從而得出最優(yōu)地學(xué)速率。一般情況下,取。而迭代次數(shù)也是決定最終模型好壞地關(guān)鍵因素,同樣地,在第一次迭代模型地時(shí)候可以設(shè)置一個(gè)比較大地值,每次迭代觀察系數(shù)地變化。根據(jù)這些值獲得最優(yōu)地迭代值。一般設(shè)置迭代次數(shù)為一零零零。八.三實(shí)戰(zhàn)—糖尿病患者病情預(yù)測(cè)回歸算法被廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域。本章節(jié)我們將通過(guò)糖尿病患者地體重,預(yù)測(cè)糖尿病患者接下來(lái)病情發(fā)展地情況。在實(shí)際應(yīng)用,我們就可以根據(jù)這樣地預(yù)測(cè)模型,提前預(yù)知病患地病情發(fā)展,從而提前做好應(yīng)對(duì)措施,改善患者地病情。（一）導(dǎo)入必要地模塊。這里我們用到了sklearn地diabetes數(shù)據(jù)集,所以要先導(dǎo)入數(shù)據(jù)集模塊。然后我們會(huì)使用線回歸模型,所以導(dǎo)入了linear_model模塊。在最后我們需求對(duì)模型行評(píng)估所以需求導(dǎo)入mean_squared_error,r二_score模塊。（二）導(dǎo)入數(shù)據(jù)集。（三）觀察目地變量。這里我們導(dǎo)入目地變量,并對(duì)它地一些信息行觀察。（四）觀察體重指標(biāo)變量。這個(gè)模型,我們主要想通過(guò)體重指標(biāo)來(lái)預(yù)測(cè)目地變量,所以通過(guò)numpy地索引方法取得體重有關(guān)地?cái)?shù)據(jù)。（五）處理訓(xùn)練集與測(cè)試集。分別對(duì)因變量與自變量行分組,通過(guò)訓(xùn)練集來(lái)訓(xùn)