第5章 建立回歸模型

第5章建立回歸模型教學(xué)目標(biāo)理解回歸模型的基本思路和理論框架，能夠識(shí)別回歸模型適用的典型業(yè)務(wù)場(chǎng)景；理解回歸模型的3要素，以及線性回歸和邏輯回歸的基礎(chǔ)理論知識(shí)；掌握使用Excel建立和檢驗(yàn)線性回歸模型和邏輯回歸模型的方法；掌握解讀線性回歸模型和邏輯回歸模型的結(jié)果，以及基于模型做出業(yè)務(wù)改進(jìn)建議的方法；掌握數(shù)據(jù)分析報(bào)告模型分析與解讀部分的寫作方法。教學(xué)方式與課時(shí)安排課堂講授：6學(xué)時(shí)演示匯報(bào)：3學(xué)時(shí)教學(xué)重點(diǎn)與難點(diǎn)本章內(nèi)容包含較多統(tǒng)計(jì)學(xué)技術(shù)細(xì)節(jié)。對(duì)于非數(shù)據(jù)科學(xué)專業(yè)學(xué)生的數(shù)據(jù)技能訓(xùn)練課程，或數(shù)據(jù)科學(xué)專業(yè)新生的專業(yè)基礎(chǔ)課，學(xué)生可能缺乏全面理解其中部分技術(shù)細(xì)節(jié)的知識(shí)儲(chǔ)備。本書提供了一些配套微課講解這些相關(guān)內(nèi)容。如學(xué)生程度較好或?qū)W時(shí)較為富余，老師可配合微課較為深入、詳盡地介紹相關(guān)內(nèi)容。但仍建議將授課重點(diǎn)放在理解回歸分析的思路框架，幫助學(xué)生建立用回歸方法剖析問題的思路上，即優(yōu)先理解回歸模型“可以解決什么問題”“如何將一個(gè)業(yè)務(wù)問題規(guī)范為一個(gè)回歸問題”“如何使用一個(gè)回歸模型結(jié)果解決業(yè)務(wù)問題”“為什么要選用這樣的模型形式”“這個(gè)目標(biāo)函數(shù)的含義是什么”，其次才是回歸模型“如何推導(dǎo)”“如何估計(jì)”“如何評(píng)價(jià)”“如何檢驗(yàn)”等。系統(tǒng)地學(xué)習(xí)回歸分析中的技術(shù)性內(nèi)容可留待統(tǒng)計(jì)學(xué)或回歸分析等課程。本課程的教學(xué)重點(diǎn)仍然是學(xué)會(huì)用數(shù)據(jù)的思路去剖析和解決實(shí)際問題，學(xué)生可以在軟件輸出結(jié)果中找到并使用與模型估計(jì)、評(píng)價(jià)、檢驗(yàn)相關(guān)的指標(biāo)并對(duì)其做出解讀即可。教學(xué)過程課堂講授：6學(xué)時(shí)導(dǎo)入(45分鐘)：講解。老師回顧圖1.2，講解模型分析的重要性。講解。老師介紹案例背景。講解。老師講解回歸模型的基本構(gòu)成元素：一個(gè)可量化的關(guān)鍵業(yè)務(wù)要素Y，多個(gè)可量化且對(duì)關(guān)鍵指標(biāo)有影響力的X，Y與X之間的關(guān)聯(lián)關(guān)系。提問。老師根據(jù)案例背景和回歸模型的基本構(gòu)成要素，提問學(xué)生在“知識(shí)網(wǎng)紅”案例中可以定義哪些Y、每一個(gè)Y應(yīng)當(dāng)如何定義。討論。學(xué)生分組，一半小組指定題目“哪些專家可以成為知識(shí)網(wǎng)紅”，一半小組指定題目“什么樣的話題更受歡迎”。各小組基于章案例數(shù)據(jù)討論Y是什么、X有哪些、每個(gè)X對(duì)于Y的影響預(yù)估是什么樣的(正相關(guān)還是負(fù)相關(guān)、影響力大小等)。這個(gè)過程要注意引導(dǎo)學(xué)生，并非所有的數(shù)據(jù)都是現(xiàn)成準(zhǔn)備好的，要根據(jù)自己的建模需求進(jìn)行加工，可作為第三章相關(guān)內(nèi)容的回顧(比如在“哪些專家可以成為知識(shí)網(wǎng)紅”這個(gè)問題中，原始數(shù)據(jù)中并沒一個(gè)現(xiàn)成的變量“是否是知識(shí)網(wǎng)紅”，就需要學(xué)生自己根據(jù)專家的業(yè)務(wù)量做出劃分)。兩個(gè)題目各選擇代表小組上臺(tái)陳述，老師做出提問和點(diǎn)評(píng)，點(diǎn)評(píng)主要基于回歸模型的基本構(gòu)成要素的框架來進(jìn)行。五種常見的回歸模型(20分鐘)講解。老師介紹五種常見的回歸模型。提問。老師列舉各類典型場(chǎng)景，學(xué)生回答應(yīng)當(dāng)使用哪種回歸方法、如何定義Y，可以考慮尋找哪些X。線性回歸模型-導(dǎo)入(10分鐘)講解。老師回顧線性回歸適用的Y，詳細(xì)講解Y連續(xù)在實(shí)際中的處理方式。講解X的重要性。提問。老師提出一些實(shí)際數(shù)據(jù)的例子，學(xué)生回答，是否可使用線性回歸模型，并回答理由；盡可能多地列舉出可能的X，并陳述可以從哪個(gè)數(shù)據(jù)源獲取相關(guān)數(shù)據(jù)，是否需要對(duì)數(shù)據(jù)進(jìn)行一定的加工，是否有一些X難以獲取、是否可替代等。線性回歸模型-理論(40分鐘)講解。老師講解使用線性回歸模型分析數(shù)據(jù)的基本流程，確定場(chǎng)景適用、確定數(shù)據(jù)符合模型基本假設(shè)(如不符合可做一定轉(zhuǎn)換)、估計(jì)模型、檢驗(yàn)?zāi)Ｐ汀⑼ㄟ^變量選擇等方法調(diào)整模型形式、評(píng)價(jià)模型、診斷殘差、解讀模型、應(yīng)用模型。講解。老師講解線性回歸模型的基礎(chǔ)形式，重點(diǎn)理解參數(shù)的含義。講解。老師講解線性回歸模型的基本假設(shè)，重點(diǎn)理解線性關(guān)系、如過數(shù)據(jù)呈現(xiàn)非線性關(guān)系要如何處理。講解。老師講解線性回歸模型的參數(shù)估計(jì)，重點(diǎn)理解理解目標(biāo)函數(shù)的含義，即為什么以它為目標(biāo)函數(shù)。講解。老師講解F檢驗(yàn)和t檢驗(yàn)，重點(diǎn)理解兩個(gè)檢驗(yàn)的零假設(shè)和備擇假設(shè)分別是什么含義，實(shí)踐中希望看到什么樣的檢驗(yàn)結(jié)果。如果看到F檢驗(yàn)通過而部分變量t檢驗(yàn)未通過的情況，要進(jìn)行變量選擇。重點(diǎn)理解如果不進(jìn)行變量選擇則模型不穩(wěn)定，預(yù)測(cè)結(jié)果不可靠。講解。老師講解線性回歸模型的評(píng)價(jià)，重點(diǎn)理解：R2公式所表達(dá)的意義：衡量模型可以解釋的數(shù)據(jù)變動(dòng)在整體數(shù)據(jù)變動(dòng)中所占的比例。講解。老師講解線性回歸模型殘差中幾種典型問題，重點(diǎn)理解每種問題產(chǎn)生的原因、可使用的解決方法。提問。老師以提問形式帶領(lǐng)學(xué)生回顧線性回歸模型相關(guān)的知識(shí)點(diǎn)，提問重點(diǎn)是b~g中要求重點(diǎn)的理解的內(nèi)容。線性回歸模型-實(shí)現(xiàn)(25分鐘)演示。老師演示5.2.1和5.3.2小節(jié)中安裝插件、建立線性回歸模型、根據(jù)建模結(jié)果改進(jìn)線性回歸模型等相關(guān)操作；如學(xué)生程度較好，可由老師提出要求，學(xué)生自行完成操作。提問。老師展示模型結(jié)果，由學(xué)生逐一找到(4)d~g中相關(guān)的結(jié)果，并對(duì)結(jié)果做出解讀，老師對(duì)回答做出評(píng)價(jià)，復(fù)習(xí)線性回歸模型相關(guān)理論知識(shí)。線性回歸模型-解讀(15分鐘)講解。老師講解如何對(duì)線性回歸模型參數(shù)做出解讀?？山柚⒄n5-8進(jìn)行翻轉(zhuǎn)課堂。提問。老師展示圖5.16，學(xué)生回答結(jié)果中各部分的用途、并根據(jù)數(shù)據(jù)對(duì)模型的可靠性等做出評(píng)價(jià)，對(duì)模型結(jié)果做出具體解讀。通過復(fù)習(xí)再次回顧線性回歸相關(guān)的知識(shí)。提問。老師展示圖5.16，給出幾組X值，要求學(xué)生應(yīng)用模型計(jì)算預(yù)測(cè)值，并將模型預(yù)測(cè)結(jié)果轉(zhuǎn)化為Y的原始量綱，對(duì)預(yù)測(cè)結(jié)果的可靠性做出評(píng)價(jià)?？蛇m度發(fā)散，通過預(yù)測(cè)實(shí)例引導(dǎo)學(xué)生思考：比較用于預(yù)測(cè)的X取值位于用于建模的X取值范圍內(nèi)，和兩者相差過大兩種情況，對(duì)預(yù)測(cè)預(yù)測(cè)結(jié)果的可靠性是否有影響。邏輯回歸模型-導(dǎo)入(10分鐘)講解。老師回顧邏輯回歸適用的Y。講解在編碼時(shí)如何確定正事件和負(fù)事件。提問。老師要求學(xué)生舉出一些適用邏輯回歸的實(shí)際問題，并明確在這些場(chǎng)景中Y應(yīng)如何定義，可選取哪些X，數(shù)據(jù)都可從何渠道獲得。邏輯回歸模型-理論(40分鐘)講解。老師講解使用邏輯回歸模型分析數(shù)據(jù)的基本流程，與線性回歸相似。講解。老師講解邏輯回歸模型的基礎(chǔ)形式，重點(diǎn)在Logit變換：為什么要進(jìn)行這個(gè)變化(Y是0-1變量，通過變換可以套用線性回歸的模型形式)；通過變換套用線性回歸模型形式，但為什么沒有誤差項(xiàng)(可借助微課5-9進(jìn)行翻轉(zhuǎn)課堂)。講解。老師講解邏輯回歸模型的參數(shù)估計(jì)，重點(diǎn)理解理解目標(biāo)函數(shù)的含義，即為什么以它為目標(biāo)函數(shù)。講解。老師講解評(píng)價(jià)邏輯回歸模型的常用指標(biāo)，重點(diǎn)理解臨界值、混淆矩陣、靈敏度和特異性、ROC曲線和AUC值的定義和用途。提問。老師以提問形式帶領(lǐng)學(xué)生回顧邏輯回歸模型相關(guān)的知識(shí)點(diǎn)，提問重點(diǎn)是b~d中要求重點(diǎn)的理解的內(nèi)容，如：給出ROC曲線，要求選擇臨界值、計(jì)算AUC值，根據(jù)計(jì)算結(jié)果評(píng)價(jià)模型；給出TP、FN、TN、FP，要求計(jì)算TPR、FPR等指標(biāo)，根據(jù)計(jì)算結(jié)果評(píng)價(jià)模型；針對(duì)同一問題，給出多個(gè)邏輯回歸模型，要求學(xué)生選擇哪個(gè)模型更好。邏輯回歸模型-實(shí)現(xiàn)(25分鐘)演示。老師演示5.2.1和5.4.2小節(jié)中安裝插件、建立邏輯回歸模型、根據(jù)建模結(jié)果改進(jìn)邏輯回歸模型等相關(guān)操作；如學(xué)生程度較好，可由老師提出要求，學(xué)生自行完成操作。講解。老師講解原始系數(shù)和指數(shù)化系數(shù)區(qū)別，如何在兩者間互換。提問。老師展示模型結(jié)果，由學(xué)生逐一找到(8)c~d中相關(guān)的結(jié)果，并對(duì)結(jié)果做出解讀，老師對(duì)回答做出評(píng)價(jià)，復(fù)習(xí)線性邏輯模型相關(guān)理論知識(shí)。邏輯回歸模型-解讀(10分鐘)講解。老師講解如何對(duì)邏輯回歸模型參數(shù)做出解讀?？山柚⒄n5-11進(jìn)行翻轉(zhuǎn)課堂。提問。老師展示圖5.21，學(xué)生回答結(jié)果中各部分的用途、并根據(jù)數(shù)據(jù)對(duì)模型的可靠性等做出評(píng)價(jià)，對(duì)模型結(jié)果做出具體解讀。通過復(fù)習(xí)再次回顧線性回歸相關(guān)的知識(shí)。提問。老師展示圖5.21，給出幾組X值和不同的臨界值，要求學(xué)生應(yīng)用模型計(jì)算預(yù)測(cè)值，引導(dǎo)學(xué)生觀察臨界值選取對(duì)于預(yù)測(cè)結(jié)果的影響，對(duì)預(yù)測(cè)結(jié)果的可靠性做出評(píng)價(jià)。數(shù)據(jù)分析報(bào)告寫作(25分鐘)講解。老師講解數(shù)據(jù)分析報(bào)告中模型分析部分的重要性和寫作方法。討論。學(xué)生分組，每組分到一個(gè)模型結(jié)果(圖5.16或圖5.21)+一種報(bào)告形式(文字版或演示版)，所有小組應(yīng)覆蓋全部4種組合。學(xué)生討論列出在指定形式的數(shù)據(jù)分析報(bào)告中匯報(bào)相關(guān)模型的詳細(xì)內(nèi)容大綱。文字版報(bào)告要列出每個(gè)自然段的段落大意，并將引用的相關(guān)圖表也插入到相關(guān)位置。演示版報(bào)告要列出每一頁P(yáng)PT的內(nèi)容摘要+該頁要呈現(xiàn)的圖表。完成后部分小組進(jìn)行匯報(bào)，老師做出評(píng)價(jià)反饋。全部匯報(bào)完成后，老師可對(duì)4種組合做一定