PySpark大數(shù)據(jù)技術與應用 教案 第7章 案例分析：基于PySpark的信用貸款風險分析

第7章案例分析基于PySpark的信用貸款風險分析教案課程名稱：PySpark大數(shù)據(jù)分析與應用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術類相關專業(yè)總學時：64學時（其中理論32學時，實驗32學時）總學分：4.0學分本章學時：8學時材料清單《PySpark大數(shù)據(jù)分析與應用》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標本章結合企業(yè)真實案例，培養(yǎng)學生運用所學知識解決問題的能力，提高分析、判斷和創(chuàng)新能力。同時培養(yǎng)學生的合作精神和溝通能力。在案例教學過程中，引導學生根據(jù)所給的案例數(shù)據(jù)進行分析、推理和判斷、找到解決問題的方法的策略，包括數(shù)據(jù)探索分析、數(shù)據(jù)預處理、數(shù)據(jù)特征選擇，訓練數(shù)據(jù)與測試數(shù)據(jù)劃分、預測模型選擇和訓練、模型的驗證。通過案例教學，培養(yǎng)學生解決問題的能力；通過編程練習和應用實例加深對機器學習理論的理解，更好地御用所學的知識和技能。基本要求掌握數(shù)據(jù)探索與數(shù)據(jù)預處理的操作過程。掌握使用PySpark編程實現(xiàn)分類模型。了解GBTs分類模型。掌握分類模型的評估。問題引導性提問引導性提問需要教師根據(jù)教材內(nèi)容和學生實際水平，提出問題，啟發(fā)引導學生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。構建機器學習模型前，數(shù)據(jù)探索的目的和意義為什么要進行數(shù)據(jù)探索？數(shù)據(jù)預處理對后續(xù)模型建立的意義。機器學習模型的選擇。探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑教釂栔猩形瓷婕暗谡n文中又是重要的問題加以設問。數(shù)據(jù)探索的主要內(nèi)容有哪些？（數(shù)據(jù)收集與整理、數(shù)據(jù)可視化、探索變量間的關系，探索變量分布和趨勢，探索異常值和離群點）。數(shù)據(jù)預處理的方法有哪些。（處理缺失值，重復信息、異常信息，字符編碼、數(shù)據(jù)特征提取等）。構建模型是訓練數(shù)據(jù)與測試數(shù)據(jù)的選擇。GTBs模型構建參數(shù)的確定，模型泛化能力如何？模型在分布式環(huán)境中的運行。拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態(tài)后，根據(jù)學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。數(shù)據(jù)探索和數(shù)據(jù)預處理的一般過程和方法。GBTs超參數(shù)的設置和微調。如何模型在分布式環(huán)境中的運行。主要知識點、重點與難點主要知識點分析案例中的需求，設計系統(tǒng)架構。數(shù)據(jù)探索（數(shù)據(jù)收集與整理、數(shù)據(jù)可視化、探索變量間的關系，探索變量分布和趨勢，探索異常值和離群點）。數(shù)據(jù)的預處理（處理缺失值，重復信息、異常信息，字符編碼、數(shù)據(jù)特征提取等）構建GBTs分類模型。部署和提交PySpark應用程序。重點數(shù)據(jù)探索（數(shù)據(jù)收集與整理、數(shù)據(jù)可視化、探索變量間的關系，探索變量分布和趨勢，探索異常值和離群點）。數(shù)據(jù)的預處理（處理缺失值，重復信息、異常信息，字符編碼、數(shù)據(jù)特征提取等）難點。教學過程設計理論教學過程介紹案例背景和業(yè)務需求，根據(jù)業(yè)務需求，設計系統(tǒng)架構。在Hive中構建數(shù)據(jù)倉庫，存儲數(shù)據(jù)。根據(jù)業(yè)務需求，結合數(shù)據(jù)信息，探索變量間的關系及趨勢；異常值和離群點，結果可視化。數(shù)據(jù)預處理（構建新特征，處理重復數(shù)據(jù)、缺失數(shù)據(jù)、異常數(shù)據(jù)，編碼分類數(shù)據(jù)）。構建并訓練GBTs分類模型，驗證模型的性能及準確率。部署和提交PySpark程序。實驗教學過程在Hive中構建數(shù)據(jù)倉庫，導入數(shù)據(jù)。探索用戶信息完善情況與逾期率的關系。探索用戶信息修改情況與逾期率的關系。探索用戶借款月份與逾期率的關系探索。計算用戶信息缺失個數(shù)及借款月份構建新特征。用戶更新信息重建。用戶登錄信息重建。分類數(shù)據(jù)預處理。字符串字段編碼處理。分類數(shù)據(jù)重編碼。缺失值處理。構建與評估GBTs模型。部署和提交PySpark應用程序。教材與參考資料教材戴剛，張良均．《PySpark大數(shù)據(jù)分析與應用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術與應用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機械工業(yè)出版社．2022．[3] 曾文權，張良均．Pyth