Hive大數(shù)據(jù)存儲(chǔ)與處理 教案 第7章 廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出 教案

第7章廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出教案課程名稱：Hive大數(shù)據(jù)存儲(chǔ)與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分本章學(xué)時(shí)：10學(xué)時(shí)材料清單《Hive大數(shù)據(jù)存儲(chǔ)與處理》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)本章的目標(biāo)是先探索廣電用戶無效數(shù)據(jù)，再進(jìn)行數(shù)據(jù)清洗與保存。本章首先探索了無效用戶數(shù)據(jù)，如探索重復(fù)的用戶數(shù)、特殊線路用戶數(shù)據(jù)和政企用戶數(shù)據(jù)等，其次探索了無效收視行為數(shù)據(jù)，主要探索用戶觀看時(shí)長(zhǎng)，接著探索了無效賬單和訂單數(shù)據(jù)，探索用戶應(yīng)付金額should_pay字段和訂購產(chǎn)品價(jià)格cost字段是否存在小于0的數(shù)據(jù)，再按照探索結(jié)果進(jìn)行數(shù)據(jù)清洗，最終將清洗結(jié)果保存至Linux本地目錄和HDFS目錄?；疽笳莆誋ive內(nèi)置函數(shù)的使用方法。掌握Hive中對(duì)數(shù)據(jù)進(jìn)行清洗與統(tǒng)計(jì)分析的方法。掌握將Hive表中的數(shù)據(jù)導(dǎo)出至Linux本地與HDFS的方法。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實(shí)際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識(shí)，發(fā)展各種能力和提高思想覺悟的目的。在處理廣電用戶數(shù)據(jù)時(shí)，如何通過Hive查詢語句識(shí)別并統(tǒng)計(jì)出重復(fù)的用戶記錄數(shù)量？假設(shè)發(fā)現(xiàn)某些用戶的觀看時(shí)長(zhǎng)異常長(zhǎng)，遠(yuǎn)超一般用戶，應(yīng)如何設(shè)計(jì)一個(gè)查詢來篩選出這些可能的異常數(shù)據(jù)？如何使用Hive的查詢語句驗(yàn)證數(shù)據(jù)清洗的結(jié)果？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計(jì)，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問題切入，進(jìn)行插入式提問?；蛘呤菍?duì)引導(dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。在面對(duì)不同類型的數(shù)據(jù)錯(cuò)誤（如空值、異常值、重復(fù)值）時(shí)，應(yīng)如何決定采取刪除、填充還是修正的策略，以最大限度保留數(shù)據(jù)的有效性？在執(zhí)行大規(guī)模數(shù)據(jù)清洗時(shí)，如何通過調(diào)整Hive的配置參數(shù)或優(yōu)化查詢邏輯來提升數(shù)據(jù)處理的效率和速度？清洗后的數(shù)據(jù)如何進(jìn)行質(zhì)量評(píng)估，以確保數(shù)據(jù)準(zhǔn)確無誤地反映了業(yè)務(wù)實(shí)際情況？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動(dòng)態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。除了INSERTOVERWRITE語句，還有哪些方法可以將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)？如何通過Shell腳本實(shí)現(xiàn)自動(dòng)化執(zhí)行數(shù)據(jù)清洗流程，包括數(shù)據(jù)探索、清洗、驗(yàn)證及導(dǎo)出到指定位置的全過程？主要知識(shí)點(diǎn)、重點(diǎn)與難點(diǎn)主要知識(shí)點(diǎn)探索無效用戶數(shù)據(jù)。刪除無效用戶數(shù)據(jù)。探索無效收視行為數(shù)據(jù)。刪除無效收視行為數(shù)據(jù)。探索無效賬單數(shù)據(jù)。探索無效訂單數(shù)據(jù)。刪除無效賬單和無效訂單數(shù)據(jù)。使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。保存處理結(jié)果至Linux本地和HDFS。重點(diǎn)使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。難點(diǎn)使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。教學(xué)過程設(shè)計(jì)理論教學(xué)過程清洗無效用戶數(shù)據(jù)。清洗無效收視行為數(shù)據(jù)。清洗無效賬單和訂單數(shù)據(jù)。導(dǎo)出處理結(jié)果至Linux本地和HDFS。實(shí)驗(yàn)教學(xué)過程探索無效用戶數(shù)據(jù)。刪除無效用戶數(shù)據(jù)。探索無效收視行為數(shù)據(jù)。刪除無效收視行為數(shù)據(jù)。探索無效賬單數(shù)據(jù)。探索無效訂單數(shù)據(jù)。刪除無效賬單和無效訂單數(shù)據(jù)。使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)。保存處理結(jié)果至Linux本地和HDFS。教材與參考資料教材何煌，張良均．Hive大數(shù)據(jù)存儲(chǔ)與處理[M]．北京：人民郵電出版社．2024．參考資料[1] 張軍，張良均．Hadoop大數(shù)據(jù)開發(fā)基