《Hadoop大數(shù)據(jù)技術(shù)原理與應用》課程標準

1、Hadoop大數(shù)據(jù)技術(shù)原理與應用課程標準課程編號：3250578學分：4學分學 時：72學時 （其中：講課學時36上機學時：36）先修課程：Linux基礎、關系數(shù)據(jù)庫基礎、程序設計基礎、Java面向?qū)ο缶幊毯罄m(xù)課程：Spark, Python編程基礎、Python數(shù)據(jù)分析與應用適用專業(yè)：大數(shù)據(jù)應用技術(shù)一、課程的性質(zhì)與目標大數(shù)據(jù)應用開發(fā)本課程是軟件技術(shù)專業(yè)核心課程，大數(shù)據(jù)技術(shù)入門課程。通過學習 課程使得學生掌握大數(shù)據(jù)分析的主要思想和基本步驟，并通過編程練習和典型應用實例加深 了解；同時對Hadoop平臺應用與開發(fā)的一般理論有所了解，如分布式數(shù)據(jù)收集、分布式數(shù) 據(jù)存儲、分布式數(shù)據(jù)計算、分布式數(shù)據(jù)展

2、示。開設本學科的目的是讓學生掌握如何使用大數(shù)據(jù)分析技術(shù)解決特定業(yè)務領域的問題。完 本錢課程學習后能夠熟練的應用大數(shù)據(jù)技術(shù)解決企業(yè)中的實際生產(chǎn)問題。二、教學條件要求操作系統(tǒng)：Center OSHadoop 版本:開發(fā)工具：Eclipse三、課程的主要內(nèi)容及基本要求第1章初識Hadoop章名初識Hadoop學時4學習目標.了解什么是大數(shù)據(jù)及其特征.熟悉大數(shù)據(jù)的典型應用. 了解Hadoop的開展歷史及其版本.掌握Hadoop的生態(tài)體系知識點了解掌握重點難點什么是大數(shù)據(jù)V大數(shù)據(jù)的特征V研究大數(shù)據(jù)的意義V大數(shù)據(jù)的應用場景VHadoop的開展歷史VHadoop的優(yōu)勢VHadoop的生態(tài)體系VVHadoop

3、的版本V第2章構(gòu)建Hadoop集群章名Hadoop集群構(gòu)建學時5學習目標.了解虛擬機的安裝和克隆.熟悉Linux系統(tǒng)的網(wǎng)絡配置和SSH配置.掌握Hadoop集群的搭建和配置.掌握Hadoop集群測試.熟悉Hadoop集群初體驗的操作知識點了解掌握重點難點虛擬機安裝V虛擬機克隆VLinux系統(tǒng)網(wǎng)絡配置VSSH服務配置VHadoop集群部署模式VJDK安裝VHadoop安裝Hadoop集群配置VVV格式化文件系統(tǒng)V啟動和關閉Hadoop集群VV通過UI界面查看Hadoop運行狀態(tài)VHadoop集群初體驗V第3章HDFS分布式文件系統(tǒng)章名HDFS分布式文件系統(tǒng)學時5學習目標. 了解HDFS演變.掌握

4、HDFS特點.掌握IIDFS的架構(gòu)和原理. 掌握HDFS的Shell和Java Api操作知識點了解掌握重點難點HDFS的演變VHDFS的基本概念HDFS的特點VVHDFS架構(gòu)和原理VVVHDFS的Shell操作VHDFS 的 Java API 操作V第4章MapReduce分布式計算系統(tǒng)章名MapReduce分布式計算框架學時8學習目標. 理解MapReduce的核心思想.掌握MapReduce的編程模型.掌握MapReduce的工作原理.掌握MapReduce常見編程組件的使用知識點了解掌握重點難點MapReduce核心思想VMapReduce編程模型VVMapReduce編程頭例詞頻統(tǒng)計

5、VMapReduce工作過程VVVM叩Task工作原理VVReduceTask工作原理VVShuffle工作原理VVMapReduce編程組件VVVMapReduce運行模式VMapReduce性能優(yōu)化策略MapReduce經(jīng)典案例倒排索引VMapReduce經(jīng)典案例數(shù)據(jù)去重VMapReduce 經(jīng)典案例 TopNV第5章Zookeeper分布式協(xié)調(diào)服務章名Hadoop進階學時10學習目標. 了解Zookeeper的概念和特性. 理解Zookeeper數(shù)據(jù)模型.掌握Zookeeper的Watch機制和選舉機制.掌握Zookeeper的集群部署. 掌握Zookeeper的Shell操作和Java

6、 API操作.熟悉Zookeeper的應用場景知識點了解掌握重點難點Zookeeper的簡介VZookeeper的特性Zookeeper集群角色Zookeeper的數(shù)據(jù)模型Zookeeper 的 Watch 機制VZookeeper的選舉機制VVZookeeper分布式集群部署VVZookeeper Shell 操作JZookeeper Java API 操作JZookeeper典型應用場景J第6章Hadoop2.0新特性章名Hadoop2.0新特性學時3學習目標.掌握YARN的體系結(jié)構(gòu)和工作流程.掌握HDFS的高可用架構(gòu).會搭建Hadoop Wj可用集群知識點了解掌握重點難點Hadoop2.

7、0改進與提升VYARN體系結(jié)構(gòu)VVYARN工作流程VVHDFS HA的搭建方式VHadoop的rWj可用架構(gòu)V啟動Hadoop HA方式V第7章Hive數(shù)據(jù)倉庫章名Hive數(shù)據(jù)倉庫學時7學習目標. 了解Hive的相關功能和特點.熟悉Hive的簡單安裝和配置.掌握HiveQL的相關操作知識點了解掌握重點難點數(shù)據(jù)倉庫簡介V數(shù)據(jù)倉庫的結(jié)構(gòu)VV數(shù)據(jù)倉庫數(shù)據(jù)模型VVHive簡介VHive系統(tǒng)架構(gòu)VVHive工作原理VVVHive數(shù)據(jù)模型VVHive安裝模式Hive的管理方式VHive內(nèi)置數(shù)據(jù)類型VVHive的操作方式V第8章Flume日志采集系統(tǒng)章名Flume日志采集系統(tǒng)學時6學習目標. 了解Flume

8、的作用.熟悉Flume的運行機制.掌握Flume的安裝部署.熟悉Flume的可靠性保證.熟悉案例一一日志采集的編寫知識點了解掌握重占難點Flume簡介VFlume運行機制VFlume日志采集系統(tǒng)結(jié)構(gòu)Flume基本使用Flume安裝配置VFlume SourcesVFlume ChannelsFlume SinksVFlume負載均衡VFlume故障轉(zhuǎn)移VFlume攔截器V第9章Azkaban工作流管理器章名Azkaban工作流、/宜學時5管理器子學習目標. 了解Azkaban的結(jié)構(gòu).掌握Azkaban的部署3,熟悉Azkaban的基本使用知識點了解掌握重點難點工作流管理器簡介Azkaban 特

9、點Azkaban組織結(jié)構(gòu)VAzkaban部署模式VAzkaban安裝配置VAzkaban啟動方式VAzkaban JobAzkaban工作流VAzkaban嵌入流V依賴任務調(diào)度管理MapReduce任務調(diào)度管理Hive腳本任務調(diào)度管理第10章Sqoop數(shù)據(jù)遷移章名Sqoop數(shù)據(jù)遷移 學時3學習目標. 了解Sqoop基本概念.掌握Sqoop安裝配置.熟悉Sqoop常用的相關指令.掌握使用Sqoop進行導入導出知識點了解掌握重點難點Sqoop簡介Sqoop導入導出工作原理VSqoop安裝配置VSqoop指令介紹VMySQL表數(shù)據(jù)導入HDFSV增量導入MySQL表數(shù)據(jù)導入HiveMySQL表數(shù)據(jù)子集

10、導入VSqoop數(shù)據(jù)導出V第11章綜合工程一一網(wǎng)站流量日志數(shù)據(jù)分析系統(tǒng)章名綜合工程一一網(wǎng)站流學時7量日志數(shù)據(jù)分析系統(tǒng)學習目標.熟悉日志分析系統(tǒng)的架構(gòu).熟悉系統(tǒng)環(huán)境搭建的步驟.掌握日志分析系統(tǒng)業(yè)務流程.掌握人均瀏覽頁面模塊的實現(xiàn)方法知識點了解掌握重占難點系統(tǒng)背景介紹系統(tǒng)架構(gòu)設計VV模塊開發(fā)-數(shù)據(jù)預處理V模塊開發(fā)-數(shù)據(jù)倉庫開發(fā)模塊開發(fā)-數(shù)據(jù)分析V模塊開發(fā)-數(shù)據(jù)導出VV模塊開發(fā)-日志分析系統(tǒng)報表展示V章目講課上機合計第1章初識Hadoop2學時0學時2學時第2章構(gòu)建Hadoop集群4學時4學時8學時第3章HDFS分布式文件系統(tǒng)4學時4學時8學時第4章 M叩Reduce分布式計算系統(tǒng)3學時3學時6學時第5章 Zookeeper分布式協(xié)調(diào)服務3學時3學時3學時第6章 Hadoop2.0新特性2學時2學時4學時第7章Hive數(shù)據(jù)倉庫4學時4學時8學時第8章 HBase分布式數(shù)據(jù)庫4學時4學時8學時第9章Flume日志采集系統(tǒng)3學時3學時6學時第10章 Azkaban工作流管理器3學時3學時6學時第11章Sqoop數(shù)據(jù)遷移2學時2學時4學時第12章綜合工程一一網(wǎng)站流量日志數(shù)據(jù)分析系統(tǒng)2學時4學時6學時合計36學時36學時72學時五、考核模式與成績評定方法本課程為考試課程，期末考試采用百分制的閉卷考試模式。學生的考試成績由平時成 績（30%）和期末考試（70%）組