邏輯回歸的過程

邏輯回歸的過程

規(guī)律回歸的過程前:規(guī)律回歸可以看作是個最簡潔的神經(jīng)絡(luò),理解規(guī)律回歸對于理解神經(jīng)絡(luò)的原理常有關(guān)心。

先簡要說明下什么是回歸。

即我們有些數(shù)據(jù)點(diǎn),我們條線去對這些點(diǎn)進(jìn)擬合,這個擬合的過程就是回歸。

即我們在坐標(biāo)系中去找條線,使得這條線盡最可能地串聯(lián)這些已知的數(shù)據(jù)點(diǎn),假如法串聯(lián)則盡量靠近這些已知點(diǎn)。

此外,還有些未知點(diǎn),但這些未知點(diǎn)和已知點(diǎn)符合某種不為知的相同規(guī)律,我們的線不僅僅要盡量串聯(lián)已知點(diǎn),還要保證這條線,將來在猜測未知點(diǎn)也有良好的效果。

規(guī)律回歸就是在回歸的思想去處理分類的問題。

規(guī)律回歸在功能上是做分類的問題實(shí)際上分類問題可以擴(kuò)展到多分類的問題,并給出相應(yīng)概率。

詳細(xì),我們假設(shè)有堆數(shù)據(jù)分布在坐標(biāo)系中,我們現(xiàn)在要把這堆數(shù)據(jù)分為兩類。

我們認(rèn)為相同類別的數(shù)據(jù)必定有著某種類似的特征,因此在坐標(biāo)系中,同類的數(shù)據(jù)點(diǎn)定都“蜷縮”在起。

因此,我們要將這兩類數(shù)據(jù)“切兩斷”,采條直線將其分割開來假如是維坐標(biāo)就直線切割,三維坐標(biāo)則切割,以此類推。

猶如上圖,藍(lán)和紅點(diǎn)分別代表兩類數(shù)據(jù),我們現(xiàn)在條直線將其分割開來。

實(shí)際上,數(shù)據(jù)分布的狀況不定可以完全直線切割開來,你可以使更簡單的線去擬合,但是這規(guī)律回歸使較為簡潔的模型。

因此,我們的的不是做到完全個點(diǎn)都不判錯,是盡量使得誤差最。

規(guī)律回歸很多機(jī)器算法都是過程致分為兩個階段,訓(xùn)練階段和猜測階段。

訓(xùn)練階段我們需要使量的帶有的數(shù)據(jù)也就是知道這些輸將輸出的正確結(jié)果輸?shù)侥Ｐ彤?dāng)中,然后模型會依據(jù)這些輸數(shù)據(jù)調(diào)整的參數(shù),當(dāng)模型訓(xùn)練到個較佳狀態(tài)時即可以進(jìn)猜測了。

猜測階段即將訓(xùn)練好的模型拿來,輸沒有的數(shù)據(jù),進(jìn)猜測輸出結(jié)果。

現(xiàn)在,我們假設(shè)我們的每個數(shù)據(jù)有個特征點(diǎn),記作={0,1,2,…,}。

規(guī)律回歸就是去建個參數(shù)向量={0,1,2,...,}。

使得=00+11+22+…+這樣就是計(jì)算的結(jié)果了。

但既然是分類,我們先想到我們需要我們的模型最終只輸出兩個值——0和1。

的值是可能超過0~1之間的,因此我們需要把的值映射到0~1之間。

具有這種性質(zhì)的函數(shù)我們先想到海維賽德階躍函數(shù),或者直接稱為單位階躍函數(shù)。

簡潔來說,就是如下公式:然,海維賽德階躍函數(shù)的問題在于:該函數(shù)在跳動點(diǎn)上從0瞬間跳動到1,這個地是不行導(dǎo)的,我們之后梯度下降的過程中需要到導(dǎo)數(shù),因此我們舍棄該函數(shù)使函數(shù)。

函數(shù)在神經(jīng)絡(luò)中叫做激活函數(shù),其公式為由圖可以看出,只要橫坐標(biāo)的刻度夠,其外形就常像階躍函數(shù)。

這我們就把輸出值類,類。

我們將輸出概率記作,=。

若=這寫在的前還是后取決于兩者的,則此時有公式因此我們現(xiàn)在就要找到最佳的,我們的標(biāo)就是使得損失函數(shù),也就是計(jì)算猜測值和真實(shí)值的誤差最。

公式為其中,的底數(shù)般為也存在其它狀況,但本未說明則律默認(rèn)為,*為結(jié)果。

接下來就是梯度下降求解最佳的的值了:我們將狀況具象化,假設(shè)我們的有組數(shù)據(jù),每組數(shù)據(jù)有三個特征點(diǎn)。

留意這^-,這是和相乘之后對進(jìn)對位處理此時公式為以上*為,圓點(diǎn)符號為點(diǎn)乘,同樣都是對位處理接下來要求解先我們求留意這個地我們不能直接鏈?zhǔn)椒▌t:=**因此下的計(jì)算也就變成了由此可以看出最終的值是由、、*打算的。

最終是梯度下降的公式:的初始值般是隨機(jī)成的,為率,中的、、*在訓(xùn)練過程中都是已知的。

由這個公式就可以看出是如何找到最佳值的。

如下圖事實(shí)上,是個向量,單個的值,所以這-圖實(shí)際上是不標(biāo)準(zhǔn)的,但是這為了畫圖便和理解便,我們就使個維坐標(biāo)系表去查找最佳值的個過程,于為向量的狀況,都是可以依據(jù)本圖進(jìn)類推的。

假設(shè)現(xiàn)在有個-的圖,我們要做的就是找到使得最的時候的的值為多少,猶如在座上,去找海拔最低的。

事實(shí)上,我們是法見到整座的全貌的,但是我們知道我們所站的地的“坡度”,也就是,在圖中表現(xiàn)為某個點(diǎn)的斜率。

也就是說我要往我所站的地的下坡路,由于下坡的地定我現(xiàn)在的海拔低,那么我動的距離也就是*,這也就是率,其掌握著你每次所的距離,率越,你每次也就得越遠(yuǎn)率是訓(xùn)練開頭之前就設(shè)置好的,雖然也存在動態(tài)的率,但這我們不爭論這個問題,都使固定的率。

是于0的,-=*這樣就意味著假如于0則我就變,反之則變。

對應(yīng)圖中假如我在點(diǎn),此時我切線斜率于0我就會往回到點(diǎn),假如我在點(diǎn),此時切線斜率于0我就往前到點(diǎn)。

我們會通過這種式到底斜率為0的地事實(shí)上,我們不太可能找到完善的底,般是在常接近于底的地左右震蕩。

此外,率對于我們找到底也是常有影響的。

假如我在點(diǎn),假如率過,我可能的步長就越,我或許就直接從點(diǎn)躍到點(diǎn)了,錯過了中間的點(diǎn),從點(diǎn)躍回到點(diǎn)四周,每次都會錯過點(diǎn)。

假如率過,也就是說我步長很,或許你就不會錯過中間