《數(shù)據(jù)倉庫技術(shù)與應(yīng)用》教學(xué)大綱

《數(shù)據(jù)倉庫技術(shù)與應(yīng)用》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：08150871課程性質(zhì)：專業(yè)選修課學(xué)分：2學(xué)分學(xué)時：32學(xué)時（理論20學(xué)時，實(shí)驗(yàn)12學(xué)時）先修課程：數(shù)據(jù)庫原理及應(yīng)用后續(xù)課程：商務(wù)智能分析適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開課單位：計算機(jī)科學(xué)與技術(shù)學(xué)院一、課程說明本課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門選修課程，是在學(xué)習(xí)《數(shù)據(jù)庫原理及應(yīng)用》課程后，具備了SQL編程的基本能力的基礎(chǔ)上，開設(shè)的一門理實(shí)一體化的課程，其功能是對接專業(yè)人才培養(yǎng)目標(biāo)，面向數(shù)據(jù)倉庫相關(guān)崗位群，培養(yǎng)學(xué)生理解數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別及各自的應(yīng)用場景，掌握數(shù)據(jù)倉庫體系架構(gòu)的設(shè)計，掌握Hive數(shù)據(jù)倉庫的基本使用，樹立和踐行社會主義核心價值觀，建立邏輯嚴(yán)謹(jǐn)?shù)目茖W(xué)思維能力、靈活的分析問題和解決問題能力，提高學(xué)生探索創(chuàng)新、求真務(wù)實(shí)的科學(xué)態(tài)度和團(tuán)隊精神、溝通協(xié)作等綜合素質(zhì)，為后續(xù)《商務(wù)智能分析》課程學(xué)習(xí)奠定基礎(chǔ)。二、課程目標(biāo)通過本課程的學(xué)習(xí)，使學(xué)生達(dá)到如下目標(biāo)：課程目標(biāo)1：理解課程包含的基本概念和理論，掌握并運(yùn)用數(shù)據(jù)倉庫開發(fā)技術(shù)的基本思想和方法，為后續(xù)課程“商務(wù)智能分析”打下良好的基礎(chǔ)。課程目標(biāo)2：掌握數(shù)據(jù)倉庫設(shè)計的企業(yè)應(yīng)用規(guī)范，并運(yùn)用相關(guān)技術(shù)解決實(shí)際工程問題；具備一定的綜合分析問題能力、評價能力和創(chuàng)新性解決問題的能力。課程目標(biāo)3：積極培育社會主義核心價值觀，踐行中國優(yōu)秀傳統(tǒng)文化教育，樹立正確的人生觀、世界觀和價值觀；樹立正確的勞動觀念，切實(shí)提升心理素質(zhì)，增強(qiáng)干事創(chuàng)業(yè)的信心。三、課程目標(biāo)與畢業(yè)要求《數(shù)據(jù)倉庫技術(shù)與應(yīng)用》課程教學(xué)目標(biāo)對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)畢業(yè)要求的支撐見表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)支撐強(qiáng)度1.工程知識1.3掌握相關(guān)自然科學(xué)知識、工程基礎(chǔ)知識和思維方法，能夠?qū)⑵溆糜诮鉀Q數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域的復(fù)雜工程問題，能夠?qū)?shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)知識用于對復(fù)雜工程問題解決方案的分析與優(yōu)化。課程目標(biāo)1：理解課程包含的基本概念和理論，掌握并運(yùn)用數(shù)據(jù)倉庫開發(fā)技術(shù)的基本思想和方法，為后續(xù)課程“課程設(shè)計”和“畢業(yè)設(shè)計”打下良好的基礎(chǔ)。課程目標(biāo)2：掌握數(shù)據(jù)倉庫設(shè)計的企業(yè)應(yīng)用規(guī)范，并運(yùn)用相關(guān)技術(shù)解決實(shí)際工程問題；具備一定的綜合分析問題能力、較基礎(chǔ)的評價能力和創(chuàng)新性解決問題的能力。H4.研究4.2能夠基于科學(xué)原理并采用科學(xué)方法對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域相關(guān)問題選擇研究路線，并設(shè)計實(shí)驗(yàn)方案。課程目標(biāo)2：掌握數(shù)據(jù)倉庫設(shè)計的企業(yè)應(yīng)用規(guī)范，并運(yùn)用相關(guān)技術(shù)解決實(shí)際工程問題；具備一定的綜合分析問題能力、較基礎(chǔ)的評價能力和創(chuàng)新性解決問題的能力。M12.終身學(xué)習(xí)12.2養(yǎng)成正確的生活、學(xué)習(xí)習(xí)慣，具備良好的身心素質(zhì)，為自身知識和能力的持久發(fā)展提供身心保障。課程目標(biāo)3：積極培育社會主義核心價值觀，踐行中國優(yōu)秀傳統(tǒng)文化教育，樹立正確的人生觀、世界觀和價值觀；樹立正確的勞動觀念，切實(shí)提升心理素質(zhì)，增強(qiáng)干事創(chuàng)業(yè)的信心。M注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點(diǎn)難點(diǎn)理論學(xué)時實(shí)驗(yàn)學(xué)時對應(yīng)的課程目標(biāo)1.概述1.1數(shù)據(jù)倉庫概述1.2數(shù)據(jù)中心1.3混合型數(shù)據(jù)中心教學(xué)要求：了解數(shù)據(jù)倉庫的基本概念及應(yīng)用場景，理解數(shù)據(jù)倉庫的基本架構(gòu)。重點(diǎn)：數(shù)據(jù)倉庫的基本概念、數(shù)據(jù)中心難點(diǎn)：混合型數(shù)據(jù)中心21,22.數(shù)據(jù)倉庫與數(shù)據(jù)ETL2.1數(shù)據(jù)倉庫的結(jié)構(gòu)2.2數(shù)據(jù)倉庫的數(shù)據(jù)模型2.3ETL2.4OLAP教學(xué)要求：理解數(shù)據(jù)倉庫的結(jié)構(gòu)及數(shù)據(jù)模型的概念；了解ETL和OLAP的概念。重點(diǎn)：數(shù)據(jù)倉庫的結(jié)構(gòu)及數(shù)據(jù)模型難點(diǎn)：數(shù)據(jù)倉庫與ETL的使用41,23.Hive入門3.1Hive概述3.2Hive安裝部署3.3Hive架構(gòu)與工作原理3.4Hive基本類型教學(xué)要求：了解Hive的基本概念及應(yīng)用場景，掌握Hive的配置及客戶端的使用、具備基于Hadoop平臺對Hive數(shù)據(jù)倉庫進(jìn)行搭建維護(hù)的能力。重點(diǎn)：Hive客戶端的使用難點(diǎn)：Hive安裝部署221,24.Hive的基本操作4.1DDL基礎(chǔ)4.2分區(qū)與分桶4.3庫與表操作4.4數(shù)據(jù)加載查詢教學(xué)要求：學(xué)生能夠掌握Hive表的管理相關(guān)操作、理解分區(qū)和分桶的基本概念及應(yīng)用場景、具備利用SQL對數(shù)據(jù)進(jìn)行處理的能力。重點(diǎn)：分區(qū)與分桶、數(shù)據(jù)庫及表常見操作。難點(diǎn)：數(shù)據(jù)加載、查詢數(shù)據(jù)。221,2,35.Hive運(yùn)算符與函數(shù)5.1Hive運(yùn)算符5.2Hive內(nèi)置函數(shù)5.3自定義函數(shù)5.4聚合函數(shù)5.5窗口函數(shù)教學(xué)要求：學(xué)生能夠掌握常見內(nèi)置函數(shù)的使用、掌握自定義函數(shù)的使用、具備函數(shù)進(jìn)行數(shù)據(jù)分析和處理的能力。重點(diǎn)：Hive內(nèi)置函數(shù)、自定義函數(shù)、聚合函數(shù)。難點(diǎn)：窗口函數(shù)。421,2,36.Hive優(yōu)化6.1Hive存儲優(yōu)化6.2Hive參數(shù)優(yōu)化6.3HiveQL語句優(yōu)化教學(xué)要求：學(xué)生能夠了解Hive優(yōu)化的基本概念、掌握Hive優(yōu)化的常見方法。重點(diǎn)：Hive存儲優(yōu)化、參數(shù)優(yōu)化難點(diǎn)：HiveQL語句優(yōu)化21,2,37.Sqoop遷移工具7.1Sqoop概述7.2數(shù)據(jù)導(dǎo)入7.3數(shù)據(jù)導(dǎo)出7.4Sqoopjob作業(yè)教學(xué)要求：學(xué)生能夠理解Sqoop遷移的基本原理、掌握Sqoop的配置與使用、具備利用Sqoop遷移數(shù)據(jù)的能力。重點(diǎn)：導(dǎo)入數(shù)據(jù)、導(dǎo)出數(shù)據(jù)。難點(diǎn)：job作業(yè)。221,2,38.數(shù)據(jù)倉庫綜合應(yīng)用8.1需求分析8.2數(shù)倉設(shè)計8.3具體實(shí)現(xiàn)8.4可視化教學(xué)要求：學(xué)生能夠理解數(shù)據(jù)倉庫設(shè)計的整體過程、掌握數(shù)據(jù)倉庫各層次的實(shí)現(xiàn)方法、具備基于具體需求設(shè)計實(shí)現(xiàn)數(shù)據(jù)倉庫的能力。重點(diǎn)：數(shù)倉設(shè)計、具體實(shí)現(xiàn)。難點(diǎn)：具體實(shí)現(xiàn)。241,2,3合計20122.實(shí)驗(yàn)部分實(shí)驗(yàn)部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表3。表3實(shí)驗(yàn)內(nèi)容與學(xué)時實(shí)驗(yàn)項目實(shí)驗(yàn)內(nèi)容和要求實(shí)驗(yàn)學(xué)時對應(yīng)的課程目標(biāo)1.Hive的安裝、部署與使用實(shí)驗(yàn)內(nèi)容：Hive的安裝、部署；Hive的基本操作；Hive運(yùn)算符與函數(shù)的使用；實(shí)驗(yàn)要求：在Hadoop平臺安裝、部署Hive；能熟練進(jìn)行Hive的基本操作；能熟練掌握Hive運(yùn)算符和函數(shù)的使用。61,2,32.Sqoop數(shù)據(jù)遷移實(shí)驗(yàn)內(nèi)容：Sqoop的配置與使用；Sqoop數(shù)據(jù)遷移的實(shí)現(xiàn)；使用要求：能使用Sqoop將MySQL的數(shù)據(jù)遷移到Hive；能使用Sqoop將Hive的數(shù)據(jù)遷移到MySQL；掌握HiveQL語句的使用。21,2,33.數(shù)據(jù)倉庫綜合應(yīng)用實(shí)驗(yàn)內(nèi)容：項目需求分析；數(shù)據(jù)倉庫分層設(shè)計；實(shí)驗(yàn)要求：了解項目概述，能描述項目背景及需求；了解原始數(shù)據(jù)結(jié)構(gòu)；能進(jìn)行數(shù)據(jù)倉庫分層設(shè)計及開發(fā)；41,2,3合計12五、教學(xué)方法及手段本課程以課堂講授為主，結(jié)合討論、案例、視頻資源、實(shí)驗(yàn)等教學(xué)手段完成課程教學(xué)任務(wù)和相關(guān)能力的培養(yǎng)。在實(shí)驗(yàn)教學(xué)環(huán)節(jié)中，通過啟發(fā)式教學(xué)、討論式教學(xué)培養(yǎng)學(xué)生編寫、調(diào)試程序的基本能力和基本方法。培養(yǎng)學(xué)生自主學(xué)習(xí)能力、實(shí)際動手能力，激發(fā)學(xué)生的創(chuàng)新思維。采用學(xué)習(xí)通、釘釘、QQ、微信等交流工具，加強(qiáng)和學(xué)生之間的交流和溝通。六、課程資源庫1.推薦教材（1）楊力.大數(shù)據(jù)Hive離線計算開發(fā)實(shí)戰(zhàn)[M].北京:人民郵電出版社,2020.（2）陳文偉.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘教程(第3版）[M].北京:清華大學(xué)出版社,2021.（3）黑馬程序員.Hive數(shù)據(jù)倉庫應(yīng)用[M].北京:清華大學(xué)出版社,2022.2.參考書（1）王劍輝等.Hive數(shù)據(jù)倉庫[M].北京:電子工業(yè)出版社,2021．（2）遲殿委.Hive入門與大數(shù)據(jù)分析實(shí)戰(zhàn)[M].北京:清華大學(xué)出版社,2022．（3）朱曉彥,方明清,李強(qiáng)等.Hive數(shù)據(jù)倉庫技術(shù)與應(yīng)用[M].北京:中國鐵道出版社,2020．3.期刊（1）王霖等.智能化煤礦數(shù)據(jù)倉庫建模方法[J].工礦自動化,2022,48(04):5-13．（2）亢華愛.基于Hive的離線數(shù)據(jù)處理方法[J].現(xiàn)代商貿(mào)工業(yè),2022,43(05):185-186．（3）陳新房,劉義卿.分布式系統(tǒng)數(shù)據(jù)倉庫工具Hive的工作原理及應(yīng)用[J].科學(xué)技術(shù)創(chuàng)新,2021,(36):104-107．（4）任仲晟.基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘技術(shù)[J].數(shù)字技術(shù)與應(yīng)用,2021,39(09):59-61.（5）RazgallahAsma,KhouryRapha?l,HalléSylvainetal.AsurveyofmalwaredetectioninAndroidapps[J].Recommendationsandperspectivesforfutureresearch,ComputerScienceReview,2021,39(11):243-248.4.網(wǎng)絡(luò)資源（1）王大寶的CD.數(shù)據(jù)挖掘（一）你真的了解什么是數(shù)據(jù)挖掘和數(shù)據(jù)本身嗎？[R/OL].CSDN文庫.2017./sinat_22594309/article/details/74923643.（2）shaomine.大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)：數(shù)據(jù)倉庫技術(shù)[R/OL].博客網(wǎng).2022./shaosks/p/9436653.html.（3）倪老師.數(shù)據(jù)庫與數(shù)據(jù)倉庫技術(shù)[EB/OL].信管網(wǎng).2021./pm/11011.html.七、課程考核對課程目標(biāo)的支撐課程成績由過程性考核成績和期末考核成績兩部分構(gòu)成，具體考核/評價細(xì)則及對課程目標(biāo)的支撐關(guān)系見表4。表4課程考核對課程目標(biāo)的支撐考核環(huán)節(jié)占比考核/評價細(xì)則課程目標(biāo)123過過程性考核課課堂表現(xiàn)10（1）主要考核學(xué)生學(xué)習(xí)紀(jì)律和答疑情況。（2）教師根據(jù)課堂整體表現(xiàn)情況評分?！獭獭?33實(shí)實(shí)驗(yàn)20（1）根據(jù)每個實(shí)驗(yàn)的實(shí)驗(yàn)操作完成情況和實(shí)驗(yàn)報告質(zhì)量單獨(dú)評分，滿分100分；（2）每次實(shí)驗(yàn)單獨(dú)評分，取各次實(shí)驗(yàn)成績的平均值作為此環(huán)節(jié)的最終成績。（3）以實(shí)驗(yàn)成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?86作作業(yè)10（1）主要考核學(xué)生對各章節(jié)知識點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分；（2）每次作業(yè)單獨(dú)評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)評價成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?42測試10（1）主要考核學(xué)生對各章節(jié)知識點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分；（2）每次測試單獨(dú)評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以測試成績乘以其在總評成績中所占的比例計入課程總評成績。√√√442期末考核50（1）采用原創(chuàng)作品大作業(yè)的方式。（2）將大作業(yè)的成績作為期末考核成績?！獭獭?01515合計：100分383428八、考核與成績評定1.考核方式及成績評定考核方式：本課程主要以課堂表現(xiàn)、實(shí)驗(yàn)、作業(yè)、測試、期末考核等方式對學(xué)生進(jìn)行考核評價。考核基本要求：考核總成績由期末大作業(yè)成績和過程性考核成績組成。其中：期末大作業(yè)成績?yōu)?00分（權(quán)重50%）；課堂表現(xiàn)、實(shí)驗(yàn)、作業(yè)、測試等過程性考核成績?yōu)?00分（權(quán)重50%）；過程性考核和期末考核分值分配應(yīng)與教學(xué)大綱各章節(jié)的學(xué)時基本成比例。2.過程性考核成績的標(biāo)準(zhǔn)過程性考核方式重點(diǎn)考核內(nèi)容、評價標(biāo)準(zhǔn)、所占比重見表5。表5過程性考核方式評價標(biāo)準(zhǔn)考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60課堂表現(xiàn)20學(xué)習(xí)認(rèn)真、態(tài)度端正，遵守紀(jì)律,表現(xiàn)優(yōu)秀學(xué)習(xí)認(rèn)真、態(tài)度端正，遵守紀(jì)律,表現(xiàn)良好遵守紀(jì)律，學(xué)習(xí)態(tài)度良好，表現(xiàn)中等遵守紀(jì)律，學(xué)習(xí)態(tài)度一般，表現(xiàn)一般學(xué)習(xí)紀(jì)律較差，表現(xiàn)較差實(shí)驗(yàn)40實(shí)驗(yàn)預(yù)習(xí)認(rèn)真，能夠熟練掌握方法與步驟，實(shí)驗(yàn)操作過程熟練、規(guī)范，遵規(guī)守紀(jì)、團(tuán)結(jié)協(xié)作，實(shí)驗(yàn)結(jié)果詳實(shí)、結(jié)論清晰、討論合理實(shí)驗(yàn)前有預(yù)習(xí)，能夠掌握方法與步驟，實(shí)驗(yàn)操作過程正確、規(guī)范，遵規(guī)守紀(jì)、團(tuán)結(jié)協(xié)作，實(shí)驗(yàn)結(jié)果正確、討論適當(dāng)實(shí)驗(yàn)前有預(yù)習(xí)，基本能夠掌握方法與步驟，實(shí)驗(yàn)操作過程基本正確、無協(xié)作，實(shí)驗(yàn)結(jié)果基本正確，討論一般實(shí)驗(yàn)前有預(yù)習(xí)，不能掌握方法與步驟，實(shí)驗(yàn)操作過程基本正確