Hadoop平臺搭建與應(yīng)用課程標(biāo)準(zhǔn)

1、Hadoop平臺搭建與應(yīng)用課程標(biāo)準(zhǔn)課程名稱：Hadoop平臺搭建與應(yīng)用課程代碼：課程類型：專業(yè)基礎(chǔ)課程學(xué) 分：4計(jì)劃學(xué)時(shí)：64實(shí)踐課時(shí)比例：50%主要授課方式：理實(shí)一體化考核方式：上機(jī)操作適用專業(yè)：大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)、云計(jì)算技術(shù)與應(yīng)用專業(yè)、軟件技術(shù)專業(yè)1 .概述1.1 課程的性質(zhì)本課程是大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)、云計(jì)算技術(shù)與應(yīng)用專業(yè)、軟件技術(shù)專業(yè)的專業(yè)基礎(chǔ)課程，是 校企融合系列化課程，該課程基于Hadoop生態(tài)系統(tǒng)進(jìn)行大數(shù)據(jù)平臺的構(gòu)建。1.2 課程設(shè)計(jì)理念本課程遵循應(yīng)用型本科和高等職業(yè)教育規(guī)律，以大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)際工作崗位需求為導(dǎo)向選 取課程內(nèi)容，課程目標(biāo)是培養(yǎng)學(xué)生具備“大數(shù)據(jù)分析”應(yīng)用項(xiàng)目所

2、需系統(tǒng)環(huán)境的搭建與測試綜合職 業(yè)能力；堅(jiān)持開放性設(shè)計(jì)原則，吸收企業(yè)專家參與，建立基于Hadoop的生態(tài)環(huán)境，以“工作任務(wù)”為載體的“項(xiàng)目化”課程結(jié)構(gòu)；課程教學(xué)實(shí)施教、學(xué)、做一體，堅(jiān)持理論為實(shí)踐服務(wù)的教學(xué)原則， 通過模擬企業(yè)“大數(shù)據(jù)分析”環(huán)境進(jìn)行組織，鍛煉學(xué)生的實(shí)踐操作能力。1.3 課程開發(fā)思路通過崗位技能的項(xiàng)目化以及系統(tǒng)搭建與應(yīng)用任務(wù)的序列化，對內(nèi)容體系結(jié)構(gòu)進(jìn)行了適當(dāng)調(diào)整與 重構(gòu)，以適應(yīng)教學(xué)課程安排。以項(xiàng)目案例及其任務(wù)實(shí)現(xiàn)為驅(qū)動(dòng)，憑借翔實(shí)的操作步驟和準(zhǔn)確的說明， 幫助學(xué)生迅速掌握 Hadoop生態(tài)系統(tǒng)環(huán)境構(gòu)建與應(yīng)用，并且充分考慮學(xué)習(xí)操作時(shí)可能發(fā)生的問題，并提供了詳細(xì)的解決方案，突出崗位技能訓(xùn)練

3、。2 .課程目標(biāo)本課程的培養(yǎng)目標(biāo)是使學(xué)生以大數(shù)據(jù)系統(tǒng)運(yùn)維崗位需求為依托，以實(shí)際工作任務(wù)為導(dǎo)向，理清 Hadoop生態(tài)系統(tǒng)中各個(gè)組件的作用及應(yīng)用，培養(yǎng)學(xué)生大數(shù)據(jù)分析平臺構(gòu)建的實(shí)際動(dòng)手能力。2.1 知識目標(biāo)基于Hadoop2.X生態(tài)系統(tǒng)，要求學(xué)生全面掌握 Hive環(huán)境搭建與基本操作、 Zookeeper環(huán)境搭建 與應(yīng)用、HBase環(huán)境搭建與基本操作、 pig系統(tǒng)搭建與應(yīng)用、Sqoop系統(tǒng)搭建與應(yīng)用、Flume系統(tǒng)搭 建與應(yīng)用以及使用 Apache Ambari實(shí)現(xiàn)Hadoop集群搭建及管理等的相關(guān)知識以及操作技能。2.2 素質(zhì)目標(biāo)(1)培養(yǎng)學(xué)生動(dòng)手能力、自主學(xué)習(xí)新知識的能力(2)培養(yǎng)學(xué)生團(tuán)隊(duì)協(xié)作精

4、神2.3 能力目標(biāo)通過該課程的學(xué)習(xí)，學(xué)生能利用所學(xué)的相關(guān)技術(shù)，能搭建適用于各種大數(shù)據(jù)分析應(yīng)用業(yè)務(wù)需求 的系統(tǒng)，能處理常見的系統(tǒng)運(yùn)行問題。3 .課程內(nèi)容和要求根據(jù)專業(yè)基礎(chǔ)課程目標(biāo)和涵蓋的工作任務(wù)要求，確定課程內(nèi)容和要求， 說明學(xué)生應(yīng)獲得的知識、 技能與態(tài)度。學(xué)習(xí)情境工作任務(wù)知識要求技能要求學(xué)時(shí)安排認(rèn)識大數(shù)據(jù)認(rèn)知大數(shù)據(jù)，完成系統(tǒng) 環(huán)境搭建熟悉大數(shù)據(jù)的概念 和特征；熟悉大數(shù)據(jù) 分析流程和工具使 用。學(xué)會Ubuntu的安裝 與常用命令的應(yīng)用； 學(xué)會Hadoop的安裝 與配置。4Hadoop環(huán)境搭建熟悉Hadoop的系統(tǒng)環(huán)境和版本學(xué)會Hadoop單機(jī)模 式的安裝與配置；偽 分布式模式的安裝 與配置；集群

5、模式的 安裝與配置。4Hive環(huán)境搭建與基本操作Hive的安裝與配置了解Hive產(chǎn)生背景，Hive架構(gòu)學(xué)會MySQL安裝與 配置；學(xué)會Hive的 安裝與配置。4Hive的應(yīng)用熟悉Hive SQL基本 操作。學(xué)會Hive分區(qū)表和 桶表的創(chuàng)建。4Zookeeper 環(huán)境搭建與應(yīng)用ZooKeeper的安裝與配置了解 ZooKeeper 的 功能；識記領(lǐng)會 ZooKeeper 與 Hadoop各組件的功 能與聯(lián)系。學(xué)會 ZooKeeper的安裝與配置4ZooKeeper CLI 操作識記 ZooKeeperCLI操作的相關(guān) 知識學(xué)會znode的創(chuàng) 建操作；學(xué)會從 znode獲取數(shù)據(jù)操 作；學(xué)會為zno

6、de 設(shè)置數(shù)據(jù)操作；學(xué) 會znode的移除 操作。4HBase環(huán)境搭建與基本操作HBase的安裝與配置了解HBase產(chǎn)生 背景，HBase架 構(gòu)；熟悉HBase 的特點(diǎn)。學(xué)會HBase安裝與配置4HBase shell 操作熟悉 HBase shell相關(guān)知識學(xué)會 HBase shell 的常用操作14Hadoop常用工具組件的安裝Sqoop的安裝與應(yīng)用了解Sqoop作用，熟 悉Sqoop相關(guān)知識 內(nèi)容，學(xué)會Sqoop的安裝 與配置；學(xué)會使用 Sqoop 完成 MySQL 和HDFS之間的數(shù)據(jù) 互導(dǎo)。4pig安裝和使用了解pig作用，熟悉 pig相關(guān)知識內(nèi)容學(xué)會pig的安裝與 配置；學(xué)會使用p

7、ig4進(jìn)行簡單的數(shù)據(jù)分 析。Flume安裝和使用了解Flume作用,熟 悉Flume相關(guān)知識 內(nèi)容。學(xué)會Flume的安裝 與配置；學(xué)會使用 Flume元成日志數(shù)據(jù) 上傳HDFS4搭建 AmbariHadoop系統(tǒng)搭建 Ambari Hadoop 系統(tǒng)了解 Ambari 功 能，熟悉的相關(guān)技 術(shù)知識。學(xué) 會 Ambari Server 和 Ambari Agent的配置方 法；學(xué)會利用 Ambari 擴(kuò)展集 群。4使用 Apache Ambari 管 理Hadoop集群熟悉 Ambari Web管理界面學(xué)會使用Ambari Web管理界面對 Hadoop服務(wù)進(jìn)行 管理的方法；對集 群主機(jī)進(jìn)行管理

8、 的方法；對服務(wù)進(jìn) 程進(jìn)行管理的方 法；對服務(wù)配置文 件進(jìn)行管理的方 法。4Hadoop平臺應(yīng)用綜合案例本地?cái)?shù)據(jù)集上傳到數(shù)據(jù)倉庫Hive了解Hive;與傳統(tǒng) 關(guān)系型數(shù)據(jù)庫對比 熟悉Hive的技木優(yōu) 勢。學(xué)會將本地?cái)?shù)據(jù)集 上傳到數(shù)據(jù)倉庫 Hive中的方法4使用Hive進(jìn)行簡單的數(shù)據(jù)分析熟悉Hive的相關(guān)知 識學(xué)會使用Hive進(jìn)行 簡單的數(shù)據(jù)分析操 作4Hive、MySQL HBase數(shù)據(jù)互導(dǎo)熟悉數(shù)據(jù)互導(dǎo)的相 關(guān)知識。學(xué)會 Hive、MySQLHBase數(shù)據(jù)互導(dǎo)操作4合計(jì)644.課程實(shí)施和建議4.1課程的重點(diǎn)、難點(diǎn)及解決辦法課程重點(diǎn)在于培養(yǎng)學(xué)生能夠利用所學(xué)的相關(guān)技術(shù)知識，結(jié)合實(shí)際大數(shù)據(jù)分析應(yīng)用業(yè)務(wù)

9、，基于 Hadoop生態(tài)系統(tǒng)，完成大數(shù)據(jù)平臺的構(gòu)建與常見運(yùn)行問題的處理，難點(diǎn)在于針對基礎(chǔ)不同、興趣不 一的學(xué)生采用不同的方法進(jìn)行能力的培養(yǎng)。4.2教學(xué)方法和教學(xué)手段4. 2. 1教學(xué)方法：項(xiàng)目引領(lǐng)、任務(wù)驅(qū)動(dòng)：每個(gè)項(xiàng)目都是多個(gè)任務(wù)的結(jié)合體。每個(gè)項(xiàng)目都按規(guī)范的流程進(jìn)行組織，通過案例引導(dǎo)：將大數(shù)據(jù)企業(yè)中大數(shù)據(jù)技術(shù)與應(yīng)用崗位相關(guān)的項(xiàng)目引入課堂，演繹為工作中的各種操作任務(wù)案例，培養(yǎng)學(xué)生基于Hadoop生態(tài)系統(tǒng)的基礎(chǔ)上，結(jié)合大數(shù)據(jù)具體應(yīng)用業(yè)務(wù)，進(jìn)行大數(shù)據(jù)平臺構(gòu)建與運(yùn)維的操作技能。4 2 2 教學(xué)手段多媒體教學(xué)、上機(jī)演示教學(xué)等4.3 教學(xué)評價(jià)該課程的考核改變單一的終結(jié)性評價(jià)方法，采用過程考核和結(jié)果考核相結(jié)合

10、、理論考試和實(shí)踐考核相結(jié)合的方法。理論部分考核學(xué)生對項(xiàng)目所涉及的知識點(diǎn)綜合掌握情況，實(shí)踐部分考核基于Hadoop生態(tài)系統(tǒng)的基礎(chǔ)上，結(jié)合大數(shù)據(jù)具體應(yīng)用業(yè)務(wù)，進(jìn)行大數(shù)據(jù)平臺構(gòu)建與運(yùn)維的能力。靈活多樣的考核方式可以全面考核學(xué)生的學(xué)習(xí)效果。說明： 每個(gè)教學(xué)項(xiàng)目模塊的考核主要考察學(xué)生的出勤情況、實(shí)際動(dòng)手能力、理論知識的運(yùn)用與掌握情況、完成作業(yè)的準(zhǔn)確度、完整度、規(guī)范度等、分析問題、解決問題的能力、合作溝通能力、學(xué)習(xí)態(tài)度、總結(jié)報(bào)告（報(bào)告的內(nèi)容、態(tài)度、寫作水平等）等評定項(xiàng)目進(jìn)行考核。4.4 教材選用« Hadoop平臺搭建與應(yīng)用4.5 課程資源的開發(fā)與利用1 教輔材料：要力求接近實(shí)踐，最好是來源于實(shí)踐的案例與情境，并開發(fā)課程的習(xí)題、參考文獻(xiàn)等內(nèi)容，向?qū)W生開放，以利于學(xué)生自主學(xué)習(xí)。2實(shí)訓(xùn)指導(dǎo)書：格式正確、內(nèi)容全面，且能具體寫明對學(xué)生的各項(xiàng)要求。3軟件環(huán)境：不斷完善大數(shù)據(jù)分析綜合實(shí)訓(xùn)室的軟件環(huán)境，引進(jìn)與采購管理軟件用于教學(xué)，為學(xué)生提供更好的采購軟件模擬條件。4硬件環(huán)境：希望能夠完善硬件建設(shè)，同時(shí)，通過各種渠道加大對校外