PySpark大數(shù)據(jù)技術(shù)與應(yīng)用 教案 第7章 案例分析：基于PySpark的信用貸款風(fēng)險(xiǎn)分析

第7章案例分析基于PySpark的信用貸款風(fēng)險(xiǎn)分析教案課程名稱：PySpark大數(shù)據(jù)分析與應(yīng)用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論32學(xué)時(shí)，實(shí)驗(yàn)32學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：8學(xué)時(shí)材料清單《PySpark大數(shù)據(jù)分析與應(yīng)用》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)本章結(jié)合企業(yè)真實(shí)案例，培養(yǎng)學(xué)生運(yùn)用所學(xué)知識(shí)解決問題的能力，提高分析、判斷和創(chuàng)新能力。同時(shí)培養(yǎng)學(xué)生的合作精神和溝通能力。在案例教學(xué)過程中，引導(dǎo)學(xué)生根據(jù)所給的案例數(shù)據(jù)進(jìn)行分析、推理和判斷、找到解決問題的方法的策略，包括數(shù)據(jù)探索分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)特征選擇，訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)劃分、預(yù)測(cè)模型選擇和訓(xùn)練、模型的驗(yàn)證。通過案例教學(xué)，培養(yǎng)學(xué)生解決問題的能力；通過編程練習(xí)和應(yīng)用實(shí)例加深對(duì)機(jī)器學(xué)習(xí)理論的理解，更好地御用所學(xué)的知識(shí)和技能。基本要求掌握數(shù)據(jù)探索與數(shù)據(jù)預(yù)處理的操作過程。掌握使用PySpark編程實(shí)現(xiàn)分類模型。了解GBTs分類模型。掌握分類模型的評(píng)估。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。構(gòu)建機(jī)器學(xué)習(xí)模型前，數(shù)據(jù)探索的目的和意義為什么要進(jìn)行數(shù)據(jù)探索？數(shù)據(jù)預(yù)處理對(duì)后續(xù)模型建立的意義。機(jī)器學(xué)習(xí)模型的選擇。探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。數(shù)據(jù)探索的主要內(nèi)容有哪些？（數(shù)據(jù)收集與整理、數(shù)據(jù)可視化、探索變量間的關(guān)系，探索變量分布和趨勢(shì)，探索異常值和離群點(diǎn)）。數(shù)據(jù)預(yù)處理的方法有哪些。（處理缺失值，重復(fù)信息、異常信息，字符編碼、數(shù)據(jù)特征提取等）。構(gòu)建模型是訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的選擇。GTBs模型構(gòu)建參數(shù)的確定，模型泛化能力如何？模型在分布式環(huán)境中的運(yùn)行。拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。數(shù)據(jù)探索和數(shù)據(jù)預(yù)處理的一般過程和方法。GBTs超參數(shù)的設(shè)置和微調(diào)。如何模型在分布式環(huán)境中的運(yùn)行。主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)分析案例中的需求，設(shè)計(jì)系統(tǒng)架構(gòu)。數(shù)據(jù)探索（數(shù)據(jù)收集與整理、數(shù)據(jù)可視化、探索變量間的關(guān)系，探索變量分布和趨勢(shì)，探索異常值和離群點(diǎn)）。數(shù)據(jù)的預(yù)處理（處理缺失值，重復(fù)信息、異常信息，字符編碼、數(shù)據(jù)特征提取等）構(gòu)建GBTs分類模型。部署和提交PySpark應(yīng)用程序。重點(diǎn)數(shù)據(jù)探索（數(shù)據(jù)收集與整理、數(shù)據(jù)可視化、探索變量間的關(guān)系，探索變量分布和趨勢(shì)，探索異常值和離群點(diǎn)）。數(shù)據(jù)的預(yù)處理（處理缺失值，重復(fù)信息、異常信息，字符編碼、數(shù)據(jù)特征提取等）難點(diǎn)。教學(xué)過程設(shè)計(jì)理論教學(xué)過程介紹案例背景和業(yè)務(wù)需求，根據(jù)業(yè)務(wù)需求，設(shè)計(jì)系統(tǒng)架構(gòu)。在Hive中構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，存儲(chǔ)數(shù)據(jù)。根據(jù)業(yè)務(wù)需求，結(jié)合數(shù)據(jù)信息，探索變量間的關(guān)系及趨勢(shì)；異常值和離群點(diǎn)，結(jié)果可視化。數(shù)據(jù)預(yù)處理（構(gòu)建新特征，處理重復(fù)數(shù)據(jù)、缺失數(shù)據(jù)、異常數(shù)據(jù)，編碼分類數(shù)據(jù)）。構(gòu)建并訓(xùn)練GBTs分類模型，驗(yàn)證模型的性能及準(zhǔn)確率。部署和提交PySpark程序。實(shí)驗(yàn)教學(xué)過程在Hive中構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，導(dǎo)入數(shù)據(jù)。探索用戶信息完善情況與逾期率的關(guān)系。探索用戶信息修改情況與逾期率的關(guān)系。探索用戶借款月份與逾期率的關(guān)系探索。計(jì)算用戶信息缺失個(gè)數(shù)及借款月份構(gòu)建新特征。用戶更新信息重建。用戶登錄信息重建。分類數(shù)據(jù)預(yù)處理。字符串字段編碼處理。分類數(shù)據(jù)重編碼。缺失值處理。構(gòu)建與評(píng)估GBTs模型。部署和提交PySpark應(yīng)用程序。教材與參考資料教材戴剛，張良均．《PySpark大數(shù)據(jù)分析與應(yīng)用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機(jī)械工業(yè)出版社．2022．[3] 曾文權(quán)，張良均．Pyth