《Hadoop核心技術》教學大綱

《Hadoop核心技術》教學大綱課程編號：13210717英文名稱：HadoopCoreTechnology學分：3學時：總學時64學時，其中理論32學時，實踐32學時先修課程：高級語言、面向對象程序設計課程類別：專業(yè)方向課程授課對象：數據科學與大數據技術專業(yè)學生教學單位：機械與電氣工程學院修讀學期：第5學期一、課程描述和目標簡要說明課程在實現專業(yè)人才培養(yǎng)目標中的地位、作用，以及課程基本內容等。本課程擬達到的課程目標:闡明本課程在人才培養(yǎng)過程中的地位及作用，明確學生學習本課程后在知識、能力及素質發(fā)展等方面應達到的目標。課程目標1：明確本課程對用計算機相關領域的復雜工程問題的作用；掌握大數據分析的主要思想和基本步驟，并通過編程練習和典型應用實例加深了解。課程目標2：能對復雜工程問題進行深入研究的能力，根據實際復雜工程問題能選擇合適的Hadoop工具，并在此基礎上掌握對這些Hadoop工具的操作技術。對Hadoop平臺應用與開發(fā)的一般理論有所了解，如分布式數據收集、分布式數據存儲、分布式數據計算、分布式數據展示。二、課程目標對畢業(yè)要求的支撐關系畢業(yè)要求指標點課程目標權重3-1：能夠設計針對大數據系統工程問題的解決方案，包括滿足特定需求的系統架構、數據庫設計、數據挖掘方法、系統實現、測試與驗證等，并在設計環(huán)節(jié)中體現創(chuàng)新意識。課程目標1H3-3：針對大數據系統工程問題，能夠在理解復雜工程問題的基礎上定義功能、目標和限制，并設計開發(fā)復雜工程問題的解決方案。課程目標2M三、教學內容、基本要求與學時分配序號教學內容基本要求及重、難點（含德育要求）學時教學方式對應課程目標1初識Hadoop了解什么是大數據及其特征、熟悉大數據的典型應用、了解Hadoop的發(fā)展歷史及其版本、掌握Hadoop的生態(tài)體系。2講授式討論式課程目標12構建Hadoop集群了解虛擬機的安裝和克隆、熟悉Linux系統的網絡配置和SSH配置、掌握Hadoop集群的搭建和配置、掌握Hadoop集群測試、熟悉Hadoop集群初體驗的操作。2講授式啟發(fā)式探究式討論式練習式課程目標13HDFS分布式文件系統了解HDFS演變、掌握HDFS特點、掌握HDFS的架構和原理、掌握HDFS的Shell和JavaApi操作。2講授式啟發(fā)式探究式討論式練習式課程目標14MapReduce分布式計算系統理解MapReduce的核心思想、掌握MapReduce的編程模型、掌握MapReduce的工作原理、掌握MapReduce常見編程組件的使用。2講授式討論式練習式課程目標15Zookeeper分布式協調服務了解Zookeeper的概念和特性、理解Zookeeper數據模型、掌握Zookeeper的Watch機制和選舉機制、掌握Zookeeper的集群部署、掌握Zookeeper的Shell操作和JavaAPI操作、熟悉Zookeeper的應用場景。4講授式啟發(fā)式探究式討論式練習式課程目標26Hadoop2.0新特性掌握YARN的體系結構和工作流程、掌握HDFS的高可用架構、會搭建Hadoop高可用集群。4講授式啟發(fā)式探究式討論式練習式課程目標27Hive數據倉庫了解Hive的相關功能和特點、熟悉Hive的簡單安裝和配置、掌握HiveQL的相關操作。4講授式啟發(fā)式探究式討論式練習式課程目標28Flume日志采集系統了解Flume的作用、熟悉Flume的運行機制、掌握Flume的安裝部署、熟悉Flume的可靠性保證。4講授式啟發(fā)式探究式討論式練習式課程目標29Azkaban工作流管理器了解Azkaban的結構、掌握Azkaban的部署、熟悉Azkaban的基本使用。4講授式啟發(fā)式探究式討論式練習式課程目標210Sqoop數據遷移了解Sqoop基本概念、掌握Sqoop安裝配置、熟悉Sqoop常用的相關指令、掌握使用Sqoop進行導入導出。4講授式啟發(fā)式探究式討論式練習式課程目標2合計32序號實驗項目實驗內容與要求學時類型對應課程目標1MapReduce經典案例——倒排索引介紹倒排索引的定義和作用、分析案例的需求、通過代碼實現倒排索引功能。（必修）10設計課程目標12Flume日志采集的編寫服務系統的搭建與配置、配置采集方案、日東日志收集系統、日志采集系統的測試與驗證。（必修）10設計課程目標23綜合項目——網站流量日志數據分析系統掌握網站流量日志數據分析系統的業(yè)務流程的前提下，具備獨立分析日志數據，并利用MapReduce技術將數據提取出易于分析的數據結構，以及使用Hive完成數據分析，計算出需求結果的能力。（必修）12設計課程目標2合計32注：實驗要求包括必修、選修；實驗類型包括演示、驗證、綜合、設計等，后兩類占比大于80%。四、課程教學方法線上教學與線下教學相結合；集中講授與探究式教學及翻轉課堂相結合；采用講授式、啟發(fā)式、探究式、討論式和練習式等教學方式。五、學業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內容、考核標準、成績占比等，考核方法、內容應突出“學生中心、產出導向”。（以下以工科某課程為例，僅供參考。各課程要按課程實際情況設計填寫）（一）考核方式及具體要求1.課程成績構成與要求課程考核注重形成性和終結性評價相結合，考核內容主要由平時作業(yè)、課程實驗、課程論文、線下表現、期末考核組成，均按百分制計分，其中期末考核成績占50%、平時作業(yè)成績占10%、課程實驗成績占10%、課程論文成績占20%、線下表現成績占10%。2.課程目標達成考核與評價序號教學環(huán)節(jié)課程目標1（分值）課程目標2（分值）合計1平時作業(yè)55102課程實驗55103課程論文1010204線下表現55105期末大作業(yè)252550課程目標對應分值5050100（二）考核與評價標準1.平時作業(yè)考核與評價標準分值觀測點90-100分70-89分60-69分0-59分平時作業(yè)按時完成，90%以上的作業(yè)內容齊全，基本知識點理解、掌握到位。能夠利用理論知識編程求解具體問題。按時完成，70%以上的作業(yè)內容齊全，基本知識點理解、掌握得較為到位。能夠較好地利用理論知識編程求解具體問題。延時完成，60%以上的作業(yè)內容齊全，基本知識點理解、掌握得基本到位?；灸軌蚶美碚撝R編程求解具體問題。不交和補交，50%以下的作業(yè)內容齊全，基本知識點理解、掌握有偏差。基本不能利用理論知識編程求解具體問題。2.課程實驗考核與評價標準分值觀測點90-100分70-89分60-69分0-59分課程實驗能根據實驗要求自主設計實驗方案，有自己的設計理念，實驗完成度高，效果好。實驗報告內容完整。能根據實驗要求自主設計實驗方案，有自己的設計理念，實驗完成度較高，效果較好。實驗報告比較完整。能根據實驗要求自主設計實驗方案，實驗完成度一般，效果一般。實驗報告基本完整?；灸芨鶕嶒炓笞灾髟O計實驗方案，實驗完成度較差，效果較差。實驗報告不完整。3.課程論文考核與評價標準分值觀測點90-100分70-89分60-69分0-59分課程論文格式規(guī)范，符合課程論文寫作要求；內容主題明確，符合課程教學內容，有明確的綜合分析論點。參考文獻充分、正文引用恰當，文獻引文格式符合文獻標準；無摘錄摘抄痕跡，能恰當運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題明確，符合課程教學內容，具較好的綜合分析論點。參考文獻充分、正文能夠較好對文獻進行引用，文獻引文格式基本符合科技期刊論文文獻標準；正文主題大部分運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題基本明確，較符合課程教學內容，具較好的綜合分析論點。參考文獻有，文獻引文格式基本符合科技期刊論文文獻標準；正文有部分摘抄，論點分析較清晰。論文格式不符合課程論文要求，能反映部分主題內容，論文結構不完整，論點分析不清晰，參考文獻少，正文沒有引用，格式不完全符合科技論文文獻標準。4.線下表現與評價標準根據回答問題、課堂表現及團隊合作等情況及評分標準評分（百分制）。5.期末大作業(yè)考核與評價標準分值觀測點90-100分70-89分60-69分0-59分期末大作業(yè)格式規(guī)范，符合課程論文寫作要求；內容主題明確，符合課程教學內容，有明確的綜合分析論點。參考文獻充分、正文引用恰當，文獻引文格式符合文獻標準；無摘錄摘抄痕跡，能恰當運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題明確，符合課程教學內容，具較好的綜合分析論點。參考文獻充分、正文能夠較好對文獻進行引用，文獻引文格式基本符合科技期刊論文文獻標準；正文主題大部分運用自己的語言組織素材，論點正確。格式符合課程論文寫作要求；主題基本明確，較符合課程教學內容，具較好的綜合分析論點。參考文獻有，文獻引文格式基本符合科技期刊論文文獻標準；正文有部分摘抄，論點分析較清晰。論文格式不符合課程論文要求，能反映部分主題內容，論文結構不完整，論點分析不清晰，參考文獻少，正文沒有