LogisticRegression原理及公式推導(dǎo)

1、Logistic Regression （邏輯回歸）原理及公式推導(dǎo)版權(quán)聲明：本文為原創(chuàng)文章： Logistic Regression （邏輯回歸）是機(jī)器學(xué)習(xí)中一個(gè)非常非常 常見的模型，在實(shí)際生產(chǎn)環(huán)境中也常常被使用，是一種經(jīng)典 的分類模型（不是回歸模型） 。本文主要介紹了 Logistic Regression （邏輯回歸）模型的原理以及參數(shù)估計(jì)、公式推導(dǎo)方法。模型構(gòu)建在介紹 Logistic Regression 之前我們先簡單說一下線性回 歸，線性回歸的主要思想就是通過歷史數(shù)據(jù)擬合出一條直 線，用這條直線對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測，線性回歸可以參考我 之前的一篇文章。我們知道，線性回歸的公式如下：z

2、= e o+ e 1x1+ e 2x2+ e 3x3.+ e nxn= e Tx而對(duì)于 Logistic Regression 來說，其思想也是基于線性回歸（Logistic Regression 屬于廣義線性回歸模型） 。其公式如下：he (x)=11+e?z=11+e? e Tx其中，y=11+e?x被稱作sigmoid函數(shù)，我們可以看到，Logistic Regression算法是將線性函數(shù)的結(jié)果映射到了sigmoid函數(shù)中。sigmoid 的函數(shù)圖形如下： 我們可以看到， sigmoid 的函數(shù)輸 出是介于( 0， 1 )之間的，中間值是 0.5，于是之前的公式 h e (x)的含義就

3、很好理解了，因?yàn)閔 e (x)輸出是介于(0,1) 之間，也就表明了數(shù)據(jù)屬于某一類別的概率，例如 ：he (x)0.5 則說明當(dāng)前數(shù)據(jù)屬于 B 類。所以我們可以將 sigmoid 函數(shù)看成樣本數(shù)據(jù)的概率密度函 數(shù)。有了上面的公式，我們接下來需要做的就是怎樣去估計(jì)參數(shù)e 了。首先我們來看， e 函數(shù)的值有特殊的含義，它表示 he (x) 結(jié)果取 1 的概率，因此對(duì)于輸入 x 分類結(jié)果為類別 1 和類別 0 的概率分別為：P(y=1|x; e )=h e (x)P(y=0|x; e )=1?h e (x)極大似然估計(jì) 根據(jù)上式，接下來我們可以使用概率論中極大似然估計(jì)的方 法去求解損失函數(shù)，首先得到

4、概率函數(shù)為：P(y|x; e )=(h e (x)y?(1?h e (x)1?y因?yàn)闃颖緮?shù)據(jù) (m 個(gè) )獨(dú)立，所以它們的聯(lián)合分布可以表示為 各邊際分布的乘積 ,取似然函數(shù)為：L( e )= n i=1mP(y(i)|x(i); e )L( e弓n i=1m(h e (x(i)y(i)?(1?h e (x(i)1?y(i)取對(duì)數(shù)似然函數(shù)：l( e )=log(L( e )=刀 i=1mlog(h e (x(i)y(i)+log(1?h e (x(i)1?y(i)l( e )=log(L( e )=刀 i=1my(i)log(h e (x(i)+(1?y(i)log(1?h e (x(i)最大似然估計(jì)就是要求得使 l(e ) 取最大值時(shí)的 e ，這里 可以使用梯度上升法求解。我們稍微變換一下：j（ e）=?imi（ e）因?yàn)槌肆艘粋€(gè)負(fù)的系數(shù) ?1m，