《Hadoop基礎(chǔ)與實(shí)踐》課程教學(xué)大綱

1、Hadoop基礎(chǔ)與實(shí)踐課程教學(xué)大綱一、課程基本信息1.課程名稱(chēng)：大學(xué)計(jì)算機(jī)基礎(chǔ)2.課程代碼：CST3043.學(xué)分：44.學(xué)時(shí)：17周，1次課/周，3學(xué)時(shí)/1次課，共51學(xué)時(shí)。二、任課教師、助教、教室等情況三、課程特點(diǎn)1. 實(shí)踐與理論并重，著眼于Hadoop等大數(shù)據(jù)處理工具。2. 以Hadoop平臺(tái)搭建及應(yīng)用為主線(xiàn)，著重培養(yǎng)學(xué)生的理解能力、獨(dú)立完成實(shí)際操作的能力。3. 以Hadoop技術(shù)的核心論文的依據(jù)，深入學(xué)習(xí)Hadoop平臺(tái)的原理。4. 培養(yǎng)獨(dú)立自主學(xué)習(xí)，引導(dǎo)課堂討論掌握知識(shí)。四、閱讀材料（一）推薦教材Tom White著，王海等譯，Hadoop權(quán)威指南，清華大學(xué)出版社。黃宜華等著，深入理解

2、大數(shù)據(jù)大數(shù)據(jù)處理與編程實(shí)踐，機(jī)械工業(yè)出版社。（二）參考教材Garry Turkington著，張治起譯，Hadoop基礎(chǔ)教程，人民郵電出版社。五、課程內(nèi)容概要（一）課程目標(biāo)1.引導(dǎo)學(xué)生進(jìn)入Hadoop分布式系統(tǒng)的領(lǐng)域。2.提升學(xué)生閱讀、理解、描述Hadoop相關(guān)學(xué)術(shù)論文的能力。3.理解Hadoop基本概念體系和基本工作原理。4.掌握Hadoop平臺(tái)搭建的基本方法。5.掌握基于Java語(yǔ)言的MapReduce編程方法。6.了解Hive，Hbase等基于Hadoop的工具。（二）教學(xué)內(nèi)容序號(hào)題目知識(shí)點(diǎn)學(xué)時(shí)1Hadoop系統(tǒng)概述Hadoop發(fā)展歷史Hadoop應(yīng)用：爬蟲(chóng)系統(tǒng)Hadoop基本設(shè)計(jì)Had

3、oop實(shí)際案例介紹32HDFS分布式文件系統(tǒng)HDFS的設(shè)計(jì)HDFS的概念Namenode和DatanodeHDFS的高可用性寫(xiě)數(shù)據(jù)讀數(shù)據(jù)63Mapreduce計(jì)算框架Mapreduce作業(yè)提交Mapreduce作業(yè)初始化任務(wù)的分配任務(wù)的執(zhí)行shuffle過(guò)程排序過(guò)程64Mapreduce編程基礎(chǔ)知識(shí)Mapreduce的類(lèi)型Map類(lèi)和Reduce類(lèi)Combiner函數(shù)Sort函數(shù)連接計(jì)數(shù)器65Hadoop簡(jiǎn)單平臺(tái)搭建Ubuntu 16.04LTS安裝SSH server安裝JDK 1.8.0安裝HDFS格式化修改配置文件啟動(dòng)和停止守護(hù)進(jìn)程環(huán)境設(shè)置66Hadoop集群平臺(tái)搭建集群規(guī)模網(wǎng)絡(luò)拓?fù)淙罩就?/p>

4、訊設(shè)置157HBase（BigTable）分布式數(shù)據(jù)庫(kù)BigTable原理BigTable存儲(chǔ)格式BigTble優(yōu)缺點(diǎn)比較HBase安裝HBase查詢(xún)基礎(chǔ)9（三）課程要求1.準(zhǔn)時(shí)上下課，積極參與到教學(xué)活動(dòng)去。2.認(rèn)真完成課堂布置的編程內(nèi)容。3.課后自主學(xué)習(xí)相關(guān)內(nèi)容，閱讀論文。 4.積極運(yùn)用現(xiàn)代教學(xué)手段，自主學(xué)習(xí)，并掌握教學(xué)內(nèi)容。（四）教學(xué)進(jìn)度安排進(jìn)度教學(xué)內(nèi)容授課方式課后作業(yè)第01周課程介紹Hadoop的概述、發(fā)展及應(yīng)用講解閱讀如何配置Hadoop運(yùn)行環(huán)境的相關(guān)材料第02周實(shí)驗(yàn)1：搭建Hadoop單機(jī)模式介紹常用的Linux命令講解解答實(shí)踐第03周實(shí)驗(yàn)2：搭建Hadoop偽分布式模式講解解答實(shí)踐

5、將Hadoop單機(jī)模式及偽分布式模式搭建實(shí)驗(yàn)結(jié)果合并，完成實(shí)驗(yàn)報(bào)告第04周?chē)?guó)慶放假第05周實(shí)驗(yàn)3：Mapreduce基礎(chǔ)算法程序設(shè)計(jì)（上）WordCount矩陣乘法關(guān)系代數(shù)運(yùn)算講解討論答疑實(shí)踐完成實(shí)驗(yàn)內(nèi)容第06周論文1：The Google File System學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論講解討論答疑課前閱讀論文，完成閱讀報(bào)告第07周實(shí)驗(yàn)4：Mapreduce基礎(chǔ)算法程序設(shè)計(jì)（下）PageRank網(wǎng)頁(yè)排名算法專(zhuān)利文獻(xiàn)分析算法講解討論答疑實(shí)踐完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告第08周實(shí)驗(yàn)5：Hadoop集群搭建（上）（小組合作）以小組為單位，通過(guò)在多臺(tái)電腦，或多個(gè)虛擬機(jī)間建立通訊，搭建H

6、adoop集群討論實(shí)踐完成實(shí)驗(yàn)內(nèi)容第09周論文2：MapReduce: Simplified Data Processing on Large Clusters學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論講解討論答疑課前閱讀論文，完成閱讀報(bào)告第10周實(shí)驗(yàn)6：Hadoop集群搭建（下）（小組合作）根據(jù)實(shí)驗(yàn)3和實(shí)驗(yàn)4中完成的算法，尋找匹配的大數(shù)據(jù)集，在搭建好的Hadoop集群上運(yùn)行，并分析結(jié)果討論實(shí)踐完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告第11周實(shí)驗(yàn)7: Hadoop大數(shù)據(jù)處理（1）（小組合作）根據(jù)提供的數(shù)據(jù)集片段，分析數(shù)據(jù)特點(diǎn)設(shè)計(jì)基于數(shù)據(jù)集的應(yīng)用編寫(xiě)代碼實(shí)現(xiàn)數(shù)據(jù)清洗運(yùn)用Mapreduce框架提取關(guān)鍵數(shù)據(jù)對(duì)數(shù)據(jù)

7、集片段進(jìn)行分析、處理講解討論答疑實(shí)踐完成實(shí)驗(yàn)內(nèi)容第12周論文3：Improving MapReduce Performance in Heterogeneous Environments學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論講解討論答疑課前閱讀論文，完成閱讀報(bào)告第13周實(shí)驗(yàn)8: Hadoop大數(shù)據(jù)處理（2）（小組合作）對(duì)Mapreduce結(jié)果進(jìn)行分析將Mapreduce任務(wù)發(fā)送至大規(guī)模分布式集群（學(xué)院實(shí)驗(yàn)室提供）運(yùn)行完整數(shù)據(jù)（可選）將上述Mapreduce程序改寫(xiě)成可在Spark平臺(tái)上運(yùn)行，并比較該程序在Hadoop和Spark上運(yùn)行的不同表現(xiàn)討論答疑實(shí)踐完成實(shí)驗(yàn)內(nèi)容第14周論文4：Bigtable: A Distributed Storage System for Structured Data學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論講解討論答疑課前閱讀論文，完成閱讀報(bào)告第15周HBase分布式數(shù)據(jù)庫(kù)基礎(chǔ)HBase數(shù)據(jù)模型HBase基本框架講解討論答疑閱讀HBase相關(guān)知識(shí)點(diǎn)第16周實(shí)驗(yàn)9：HBase安裝及應(yīng)用安裝HBase運(yùn)用HBase Shell命令創(chuàng)建表，插入數(shù)據(jù)等討論答疑實(shí)踐完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告第17周實(shí)驗(yàn)10: Hadoop大數(shù)據(jù)處理（3）（小組合作）小組課堂展示討論答疑完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告（五）教學(xué)資源六、考核方式項(xiàng)目考察內(nèi)容考察方式分值論文講