Hive大數(shù)據(jù)存儲與處理 教案 第7章 廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導出 教案

第7章廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導出教案課程名稱：Hive大數(shù)據(jù)存儲與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術類相關專業(yè)總學時：64學時（其中理論36學時，實驗28學時）總學分：4.0學分本章學時：10學時材料清單《Hive大數(shù)據(jù)存儲與處理》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標本章的目標是先探索廣電用戶無效數(shù)據(jù)，再進行數(shù)據(jù)清洗與保存。本章首先探索了無效用戶數(shù)據(jù)，如探索重復的用戶數(shù)、特殊線路用戶數(shù)據(jù)和政企用戶數(shù)據(jù)等，其次探索了無效收視行為數(shù)據(jù)，主要探索用戶觀看時長，接著探索了無效賬單和訂單數(shù)據(jù)，探索用戶應付金額should_pay字段和訂購產品價格cost字段是否存在小于0的數(shù)據(jù)，再按照探索結果進行數(shù)據(jù)清洗，最終將清洗結果保存至Linux本地目錄和HDFS目錄?；疽笳莆誋ive內置函數(shù)的使用方法。掌握Hive中對數(shù)據(jù)進行清洗與統(tǒng)計分析的方法。掌握將Hive表中的數(shù)據(jù)導出至Linux本地與HDFS的方法。問題引導性提問引導性提問需要教師根據(jù)教材內容和學生實際水平，提出問題，啟發(fā)引導學生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。在處理廣電用戶數(shù)據(jù)時，如何通過Hive查詢語句識別并統(tǒng)計出重復的用戶記錄數(shù)量？假設發(fā)現(xiàn)某些用戶的觀看時長異常長，遠超一般用戶，應如何設計一個查詢來篩選出這些可能的異常數(shù)據(jù)？如何使用Hive的查詢語句驗證數(shù)據(jù)清洗的結果？探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。在面對不同類型的數(shù)據(jù)錯誤（如空值、異常值、重復值）時，應如何決定采取刪除、填充還是修正的策略，以最大限度保留數(shù)據(jù)的有效性？在執(zhí)行大規(guī)模數(shù)據(jù)清洗時，如何通過調整Hive的配置參數(shù)或優(yōu)化查詢邏輯來提升數(shù)據(jù)處理的效率和速度？清洗后的數(shù)據(jù)如何進行質量評估，以確保數(shù)據(jù)準確無誤地反映了業(yè)務實際情況？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態(tài)后，根據(jù)學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。除了INSERTOVERWRITE語句，還有哪些方法可以將數(shù)據(jù)導出至文件系統(tǒng)？如何通過Shell腳本實現(xiàn)自動化執(zhí)行數(shù)據(jù)清洗流程，包括數(shù)據(jù)探索、清洗、驗證及導出到指定位置的全過程？主要知識點、重點與難點主要知識點探索無效用戶數(shù)據(jù)。刪除無效用戶數(shù)據(jù)。探索無效收視行為數(shù)據(jù)。刪除無效收視行為數(shù)據(jù)。探索無效賬單數(shù)據(jù)。探索無效訂單數(shù)據(jù)。刪除無效賬單和無效訂單數(shù)據(jù)。使用INSERTOVERWRITE語句將數(shù)據(jù)導出至文件系統(tǒng)。保存處理結果至Linux本地和HDFS。重點使用INSERTOVERWRITE語句將數(shù)據(jù)導出至文件系統(tǒng)。難點使用INSERTOVERWRITE語句將數(shù)據(jù)導出至文件系統(tǒng)。教學過程設計理論教學過程清洗無效用戶數(shù)據(jù)。清洗無效收視行為數(shù)據(jù)。清洗無效賬單和訂單數(shù)據(jù)。導出處理結果至Linux本地和HDFS。實驗教學過程探索無效用戶數(shù)據(jù)。刪除無效用戶數(shù)據(jù)。探索無效收視行為數(shù)據(jù)。刪除無效收視行為數(shù)據(jù)。探索無效賬單數(shù)據(jù)。探索無效訂單數(shù)據(jù)。刪除無效賬單和無效訂單數(shù)據(jù)。使用INSERTOVERWRITE語句將數(shù)據(jù)導出至文件系統(tǒng)。保存處理結果至Linux本地和HDFS。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基