邏輯回歸模型筆記整理1從概念到推導(dǎo)交叉熵?fù)p失函數(shù)

1、邏輯回歸模型筆記整理1-從概念到推導(dǎo)交叉熵?fù)p失函數(shù)1.邏輯回歸算法描述（是什么？）1.1邏輯回歸的定義可以答作用：用于分類的回歸算法，被廣泛用于估算一個(gè)實(shí)例屬于某個(gè)特定類別的概率。比如：”這封電子郵件屬于垃圾郵件的概率是什么？“某人患病的概率？C明天下雨的概率明天下雨的概率如果預(yù)估概率超過(guò)50%，則模型預(yù)測(cè)該實(shí)例屬于該類別（稱為正類，標(biāo)記為“1”），反之，則預(yù)測(cè)不是；也就是負(fù)類，標(biāo)記為“0”。這樣它就成了一個(gè)二分類器。邏輯回歸處理的常見(jiàn)的時(shí)二分類或二項(xiàng)分布問(wèn)題，也可以處理多分類問(wèn)題。1.2邏輯回歸的優(yōu)點(diǎn)邏輯回歸不僅能夠進(jìn)行分類，而且還能夠獲取屬于該類別的概率。這在現(xiàn)實(shí)中是非常實(shí)用的。注意：邏輯

2、回歸，我們不要被其名字所誤導(dǎo)，實(shí)際上，邏輯回歸是一個(gè)分類算法！2.邏輯回歸算法的分類思想（思路）邏輯回歸實(shí)現(xiàn)分類的思想為：將每條樣本進(jìn)行“打分”，然后設(shè)置一個(gè)閾值，達(dá)到這個(gè)閾值的，分為一個(gè)類別，而沒(méi)有達(dá)到這個(gè)閾值的，分為另外一個(gè)類別。（打分，閾值）對(duì)于閾值，比較隨意，劃分為哪個(gè)類別都可以，但是，要保證閾值劃分的一致性。監(jiān)督學(xué)習(xí)回G和分類臉普學(xué)習(xí)定色有插監(jiān)，週過(guò)啟史敵據(jù)建站理，嗣y吋兇對(duì)于未知的謙迤輸出幾兒回歸材躁別r壤佰.砌n拙a対星冋歸的住務(wù)2.分類vine離敵血賊認(rèn)為是分炎的任號(hào)my拘門噥底歷蟲(chóng)的制工瞬未來(lái)的房忻、房?jī)r(jià)1塊2塊是密密麻麻.就是回陽(yáng)”時(shí)間，伶梧，生命周朋”點(diǎn)是不搐的*eg劉f

3、fiF性別，狂黒醍比菇乍類別.就是分鴛邏輯回歸分類到概率，舉例理解？直接舉兩個(gè)例子：eg.學(xué)生的成績(jī)，分?jǐn)?shù)是連續(xù)值，然后根據(jù)分?jǐn)?shù)分類成優(yōu)良差。分類算法，可以說(shuō)是基于線性回歸基礎(chǔ)上進(jìn)行的分類。需要對(duì)每一個(gè)樣本進(jìn)行打分，打分后，以一個(gè)點(diǎn)進(jìn)行分割，高于這個(gè)點(diǎn)的，算一個(gè)類別。以一個(gè)中間點(diǎn)，作為分類。eg.學(xué)生考試，只知道能考上，不知道考上的概率是多少？只是進(jìn)行了分類，少了信心指數(shù)，少了衡量這種類別多大的可能。以分?jǐn)?shù)是60作為分界，分?jǐn)?shù)是100也是優(yōu)等，分?jǐn)?shù)是60也是優(yōu)等，但是100是優(yōu)等的可能性肯定是大于分?jǐn)?shù)是60的可能性。采用最大似然估計(jì)的方法，求出損失函數(shù)4.邏輯回歸的算法模型4.1sigmoid

4、函數(shù)帶入二分類問(wèn)題的概率與自變量之間的關(guān)系圖形往往是一個(gè)S形曲線，常采用數(shù)學(xué)上的Sigmoid函數(shù)實(shí)現(xiàn)，其函數(shù)定義如下所以，邏輯回歸雖然是分類，但回歸也不是白叫的，有回歸的成分。葢=用|“可+旳+vnx+b二昌炳+b不過(guò)，z的值是一個(gè)連續(xù)的值（z就是對(duì)樣本的打分，就是線性回歸的連續(xù)值的輸出），取值范圍為（一x,+x）我們需要將其轉(zhuǎn)換為概率值，邏輯回歸使用sigmoid函數(shù)來(lái)實(shí)現(xiàn)轉(zhuǎn)換，該函數(shù)的原型為：sigmoid（z）=1+1e-zwhy引入sigmoid函數(shù)？我們想讓這個(gè)z更直觀，變成概率0,1之間當(dāng)Z的值從一X向+X過(guò)度時(shí)，sigmoid函數(shù)的取值范圍為0,1,這正好是概率的取值范圍，當(dāng)=

5、0時(shí)，sigmoid(0)的值為0.5。因此,模型就可以將sigmoid的輸出p作為正例的概率，而1-p作為負(fù)例的概率。以閾值0.5作為兩個(gè)分類的標(biāo)準(zhǔn)，假設(shè)真實(shí)的分類y的值為1與0，則：c_J1p=0.5因?yàn)楦怕蕄就是sigmW函數(shù)股輸出宜因此有:r(Idg爪oid(z)=0.50sigmoid0.5也可以表示兀；以上3個(gè)關(guān)于y_hat的表達(dá)式都是一個(gè)意思z不是以一個(gè)有直觀意義的分值，而是通過(guò)sigmoid轉(zhuǎn)化為與概率相同的區(qū)間。對(duì)于0-1型變量，y=1的概率分布公式定義如下：P(y=1)=p對(duì)應(yīng)的y=0的概率分布公式定義如下：P(y=0)=1-p如果采用線性模型進(jìn)行分析，其公式變換如下：P(

6、y=1|x)=80+81x1+82x2+8nxn實(shí)際應(yīng)用中，概率p與因變量往往是非線性的，為了解決該類問(wèn)題，可以引入logit變換，使logit與自變量之間存在線性相關(guān)的關(guān)系，邏輯回歸模型定義如下：.輔助理解：繪制sigmoid函數(shù)圖像(ithcodes)現(xiàn)在，我們通過(guò)Python程序來(lái)繪制sigmoid函數(shù)在-10,10區(qū)間的圖像。4.3樣本概率表示根據(jù)之前的介紹，我們可以將類別y(1與0)的概率表示如下(這里使用s代表sigmoid函數(shù))：p(y=1k;w)=s(z)p(y-0|x;w)-1一s(z)我船可以將以上兩個(gè)式子綜合表示為:綜合式丨2i-V/1MJ、p(y|x;w)=s(z)y(1s(z)i-y4.4得到交叉熵?fù)p失函數(shù)，by最大似然估計(jì)以上是一個(gè)樣本的概率，我們要求解能夠使所有樣本聯(lián)合密度最大的w值，因此，根據(jù)極大似然估計(jì)，所有樣本的聯(lián)合概率密度函數(shù)(即似然函數(shù))為：L(w)=n=1p(y(訓(xùn)曲);w)=n=1s(z(i)y(i(1s(z(i)1-y(il仙)二EEiP(訊忖);)=TT訂畀)臚仃訂畀)1-廬1為了方便求解，我們?nèi)?duì)數(shù)似然函數(shù)，讓累計(jì)乘積變成累計(jì)求和：加厶仰)二加(口暮回嚴(yán)(1-0)m)我們要使得上式的值最大(概率最大)，可以采用梯度上升的方式。不過(guò)，這里我們?yōu)榱艘霌p失函數(shù)的概念，我們采用相反的方式，即只需要