Hive大數(shù)據(jù)存儲與處理-教學(xué)大綱

《Hive大數(shù)據(jù)存儲與處理》教學(xué)大綱課程名稱：Hive大數(shù)據(jù)存儲與處理課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論36學(xué)時(shí)，實(shí)驗(yàn)28學(xué)時(shí)）總學(xué)分：4.0學(xué)分課程的性質(zhì)隨著5G技術(shù)、云計(jì)算、人工智能等新一代技術(shù)的發(fā)展，大數(shù)據(jù)與行業(yè)的融合全面展開，融合生態(tài)加速構(gòu)建，新技術(shù)、新業(yè)態(tài)、新模式不斷涌現(xiàn)。黨的二十大以來，國家要求加快實(shí)施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略，加快實(shí)現(xiàn)高水平科技自立自強(qiáng)，以國家戰(zhàn)略需求為導(dǎo)向，增強(qiáng)企業(yè)自主創(chuàng)新能力。在發(fā)展的過程中，各企業(yè)積累了大量的業(yè)務(wù)數(shù)據(jù)，企業(yè)將不斷增長的業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲并從中挖掘具有潛在商業(yè)價(jià)值的信息，為企業(yè)發(fā)展提供有力支撐，從而創(chuàng)造更大的價(jià)值。目前，離線數(shù)據(jù)分析框架主要有MapReduce和Spark，然而使用MapReduce和Spark，需要開發(fā)人員具備Java等開發(fā)基礎(chǔ)，這對于熟悉SQL的傳統(tǒng)數(shù)據(jù)分析人員來說并不友好，且MapReduce和Spark不具備數(shù)據(jù)存儲的功能，因此支持SQL且能實(shí)現(xiàn)數(shù)據(jù)存儲的分布式處理框架的需求日益增長。在這樣的背景下，既支持SQL又能存儲數(shù)據(jù)的數(shù)據(jù)倉庫Hive逐漸成為主流的離線數(shù)據(jù)分析框架。目前開設(shè)大數(shù)據(jù)專業(yè)的高校越來越多，然而有關(guān)Hive開發(fā)的課程較少。為了推動我國大數(shù)據(jù)，云計(jì)算，人工智能行業(yè)的發(fā)展，滿足日益增長的數(shù)據(jù)分析人才需求，特開設(shè)Hive大數(shù)據(jù)存儲與處理課程。課程的任務(wù)通過本課程的學(xué)習(xí)，使學(xué)生學(xué)會使用Hive進(jìn)行廣電大數(shù)據(jù)用戶數(shù)據(jù)分析，包括廣電大數(shù)據(jù)用戶畫像需求分析、部署Hive開發(fā)環(huán)境、了解廣電用戶數(shù)據(jù)存儲方法、學(xué)習(xí)廣電用戶基本數(shù)據(jù)簡單查詢、廣電用戶賬單與訂單數(shù)據(jù)查詢、廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化、廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)，最終學(xué)會廣電用戶數(shù)據(jù)存儲與處理的程序的開發(fā)。通過分階段分步驟完成多個廣電大數(shù)據(jù)數(shù)據(jù)實(shí)際案例，將理論與實(shí)踐相結(jié)合，為將來從事大數(shù)據(jù)分析挖掘研究、工作奠定基礎(chǔ)。課程學(xué)時(shí)分配序號教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它1第1章廣電大數(shù)據(jù)用戶畫像需求分析202第2章部署開發(fā)環(huán)境443第3章廣電用戶數(shù)據(jù)存儲444第4章廣電用戶基本數(shù)據(jù)簡單查詢445第5章廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階446第6章廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化647第7章廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出648第8章廣電用戶數(shù)據(jù)存儲與處理的程序開發(fā)64總計(jì)3628教學(xué)內(nèi)容及學(xué)時(shí)安排理論教學(xué)序號章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1廣電大數(shù)據(jù)用戶畫像需求分析需求分析與架構(gòu)認(rèn)識Hive了解廣電大數(shù)據(jù)用戶畫像需求分析的背景了解目前常見的幾種大數(shù)據(jù)存儲產(chǎn)品了解Hive原理架構(gòu)和Hive的主要特點(diǎn)了解Hive和傳統(tǒng)數(shù)據(jù)庫的主要區(qū)別22部署開發(fā)環(huán)境安裝部署Hadoop集群安裝部署Hive使用HiveCLI掌握Hadoop集群的安裝部署方法掌握MySQL數(shù)據(jù)庫的安裝配置方法掌握Hive的安裝配置及啟動方法掌握HiveCLI的使用方法43廣電用戶數(shù)據(jù)存儲創(chuàng)建業(yè)務(wù)數(shù)據(jù)表將數(shù)據(jù)導(dǎo)入Hive表掌握在Hive中創(chuàng)建與管理數(shù)據(jù)庫的操作了解Hive的基礎(chǔ)數(shù)據(jù)類型和復(fù)雜數(shù)據(jù)類型掌握在Hive中創(chuàng)建與管理表的常用操作掌握裝載數(shù)據(jù)至Hive表的操作44廣電用戶基本數(shù)據(jù)簡單查詢查詢廣電用戶的用戶編號及開戶時(shí)間查詢指定用戶狀態(tài)的用戶基本數(shù)據(jù)統(tǒng)計(jì)用戶基本數(shù)據(jù)表中品牌名稱的種類個數(shù)統(tǒng)計(jì)不同用戶等級名稱的記錄數(shù)統(tǒng)計(jì)不同用戶狀態(tài)的

記錄數(shù)統(tǒng)計(jì)指定用戶數(shù)量范圍的用戶等級統(tǒng)計(jì)用戶數(shù)最多的3種用戶狀態(tài)查詢用戶發(fā)生狀態(tài)變更的時(shí)間及開戶時(shí)間了解SELECT語句基本的語法掌握使用WHERE關(guān)鍵字實(shí)現(xiàn)條件查詢的方法。掌握表別名、列別名的使用方法掌握聚合函數(shù)的使用方法掌握分組查詢的實(shí)現(xiàn)方法了解不同排序關(guān)鍵字之間的區(qū)別掌握使用通配符、正則表達(dá)式實(shí)現(xiàn)模糊查詢的方法45廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階統(tǒng)計(jì)訂單的消費(fèi)類型統(tǒng)計(jì)用戶每年消費(fèi)應(yīng)付總額統(tǒng)計(jì)用戶每月消費(fèi)應(yīng)付總額統(tǒng)計(jì)用戶每月實(shí)際賬單金額查詢用戶寬帶訂單的地址數(shù)據(jù)抽樣統(tǒng)計(jì)用戶訂購產(chǎn)品情況了解常見的Hive內(nèi)置函數(shù)掌握條件函數(shù)、字符函數(shù)、日期函數(shù)及數(shù)學(xué)函數(shù)的使用方法掌握各類JOIN語句的使用方法掌握J(rèn)OIN語句與UNIONALL關(guān)鍵字的區(qū)別掌握桶表中抽樣查詢的使用方法46廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化使用視圖統(tǒng)計(jì)不同節(jié)目的用戶觀看人數(shù)優(yōu)化統(tǒng)計(jì)直播頻道數(shù)使用子查詢統(tǒng)計(jì)節(jié)目類型為直播的頻道Top10掌握Hive查詢優(yōu)化的方法掌握Hive視圖的使用方法了解配置Fetch抓取的方法掌握Hive設(shè)置map和reduce任務(wù)數(shù)的方法掌握Hive配置并行執(zhí)行的方法掌握子查詢的使用方法掌握GROUPBY語句的優(yōu)化配置方法掌握LIMIT語句的優(yōu)化配置方法67廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出清洗無效用戶數(shù)據(jù)清洗無效收視行為數(shù)據(jù)清洗無效賬單和訂單數(shù)據(jù)導(dǎo)出處理結(jié)果至Linux本地和HDFS掌握Hive內(nèi)置函數(shù)的使用方法掌握Hive中對數(shù)據(jù)進(jìn)行清洗與統(tǒng)計(jì)分析的操作掌握Hive表中數(shù)據(jù)導(dǎo)出至Linux本地與HDFS的方法68廣電用戶數(shù)據(jù)存儲與處理的程序開發(fā)配置Hive遠(yuǎn)程服務(wù)搭建Hive遠(yuǎn)程連接環(huán)境編寫程序?qū)崿F(xiàn)廣電數(shù)據(jù)的存儲掌握Hive遠(yuǎn)程服務(wù)的配置過程掌握HiveServer2的使用方法和使用第三方語言（Java）開發(fā)的配置過程掌握在IDEA編程軟件中進(jìn)行程序運(yùn)行與調(diào)試的過程和方法6學(xué)時(shí)合計(jì)36實(shí)驗(yàn)教學(xué)序號實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)要求學(xué)時(shí)1部署開發(fā)環(huán)境安裝部署Hadoop集群VMware虛擬機(jī)安裝和網(wǎng)絡(luò)設(shè)置部署CentOSHadoop集群部署前準(zhǔn)備Hadoop集群部署安裝部署Hive安裝配置MySQL安裝配置Hive使用HiveCLI啟動HiveCLI 56在Hive中執(zhí)行BashShell和Hadoopdfs命令在Shell中執(zhí)行Hive查詢安裝42廣電用戶數(shù)據(jù)存儲創(chuàng)建與管理Hive表創(chuàng)建業(yè)務(wù)數(shù)據(jù)表裝載數(shù)據(jù)至Hive表中將廣電用戶數(shù)據(jù)導(dǎo)入Hive表中43廣電用戶基本數(shù)據(jù)簡單查詢SELECT語句查詢廣電用戶的用戶編號及開戶時(shí)間使用WHERE關(guān)鍵字添加查詢條件使用WHERE關(guān)鍵字添加常見查詢條件查詢指定用戶狀態(tài)的用戶基本數(shù)據(jù)使用DISTINCT關(guān)鍵字去重查詢使用聚合函數(shù)統(tǒng)計(jì)用戶基本數(shù)據(jù)表中品牌名稱的種類個數(shù)設(shè)置列別名統(tǒng)計(jì)不同用戶等級名稱的記錄數(shù)統(tǒng)計(jì)不同用戶狀態(tài)的記錄數(shù)使用GROUPBY關(guān)鍵字分組查詢統(tǒng)計(jì)不同用戶狀態(tài)的記錄數(shù)統(tǒng)計(jì)指定用戶數(shù)量范圍的用戶等級使用HAVING關(guān)鍵字對分組結(jié)果進(jìn)行篩選統(tǒng)計(jì)指定用戶數(shù)量范圍的用戶等級使用LIMIT關(guān)鍵字設(shè)置查詢結(jié)果展示使用排序關(guān)鍵字對查詢結(jié)果排序統(tǒng)計(jì)用戶數(shù)最多的3種用戶狀態(tài)使用正則表達(dá)式查詢數(shù)據(jù)查詢用戶發(fā)生狀態(tài)變更的時(shí)間及開戶時(shí)間44廣電用戶賬單與訂單數(shù)據(jù)查詢進(jìn)階介紹Hive內(nèi)置函數(shù)使用條件函數(shù)使用類型轉(zhuǎn)換函數(shù)統(tǒng)計(jì)訂單的消費(fèi)類型使用字符函數(shù)統(tǒng)計(jì)用戶每年消費(fèi)應(yīng)付總額使用日期函數(shù)統(tǒng)計(jì)用戶每月消費(fèi)應(yīng)付總額使用數(shù)學(xué)函數(shù)統(tǒng)計(jì)用戶每月實(shí)際賬單金額使用JOIN語句介紹UNIONALL關(guān)鍵字查詢用戶寬帶訂單的地址數(shù)據(jù)使用桶表抽樣查詢創(chuàng)建視圖抽樣統(tǒng)計(jì)用戶訂購產(chǎn)品情況45廣電用戶收視行為數(shù)據(jù)查詢優(yōu)化創(chuàng)建視圖查看與刪除視圖使用視圖統(tǒng)計(jì)不同節(jié)目的用戶觀看人數(shù)配置Fetch抓取合理設(shè)置map和reduce任務(wù)數(shù)配置并行執(zhí)行優(yōu)化統(tǒng)計(jì)直播頻道數(shù)使用子查詢優(yōu)化查詢語句優(yōu)化配置GROUPBY語句使用GROUPBY代替COUNT(DISTINCT)去重統(tǒng)計(jì)優(yōu)化配置LIMIT語句使用子查詢統(tǒng)計(jì)節(jié)目類型為直播的頻道Top1046廣電用戶數(shù)據(jù)清洗及數(shù)據(jù)導(dǎo)出探索無效用戶數(shù)據(jù)刪除無效用戶數(shù)據(jù)探索無效收視行為數(shù)據(jù)刪除無效收視行為數(shù)據(jù)探索無效賬單數(shù)據(jù)探索無效訂單數(shù)據(jù)刪除無效賬單和無效訂單數(shù)據(jù)使用INSERTOVERWRITE語句將數(shù)據(jù)導(dǎo)出至文件系統(tǒng)保存處理結(jié)果至Linux本地和HDFS47廣電用戶數(shù)據(jù)存儲與處理的程序開發(fā)配置Hive遠(yuǎn)程服務(wù)搭建Hive遠(yuǎn)程連接環(huán)境創(chuàng)建IDEA開發(fā)項(xiàng)目添加依賴手動加載MySQL驅(qū)動JDBC及其主要接口創(chuàng)建連接測試程序編寫程序?qū)崿F(xiàn)廣電數(shù)據(jù)的存儲創(chuàng)建開發(fā)項(xiàng)目創(chuàng)建HiveHelper類和連接Hive創(chuàng)建測試類創(chuàng)建Hive數(shù)據(jù)庫創(chuàng)建Hive表裝載數(shù)據(jù)程序運(yùn)行與調(diào)試編寫程序?qū)崿F(xiàn)廣電數(shù)據(jù)的查詢與處理查詢數(shù)據(jù)刪除無效用戶數(shù)據(jù)刪除無效收視行為數(shù)據(jù)刪除無效賬單和無效訂單數(shù)據(jù)4學(xué)時(shí)合計(jì)28考核方式突出學(xué)生解決實(shí)際問題的能力，加強(qiáng)過程性考核。課程考核的成績構(gòu)成=平時(shí)作業(yè)（10%）+課堂參與（20%）+期末考核（70%），期末考試建議采用開卷形式，試題應(yīng)包括基本概念、繪圖、分組聚合、數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)變