《Hadoop大數(shù)據(jù)平臺構(gòu)建》課程標(biāo)準(zhǔn)（含課程思政）

《Hadoop大數(shù)據(jù)平臺構(gòu)建》課程標(biāo)準(zhǔn)一、課程基本信息課程名稱Hadoop大數(shù)據(jù)平臺構(gòu)建課程代碼034321026課程性質(zhì)R必修課￡專業(yè)選修課￡公共選修課開課部門軟件與大數(shù)據(jù)學(xué)院課程類型￡理論課（A類）R理論+實(shí)踐課（B類）￡實(shí)踐課（C類）課程類別￡公共課￡專業(yè)基礎(chǔ)課R專業(yè)核心課￡專業(yè)實(shí)踐課學(xué)分4學(xué)時64理論學(xué)時32實(shí)踐學(xué)時32適用專業(yè)（方向）大數(shù)據(jù)技術(shù)開設(shè)學(xué)期第3學(xué)期先修課程計(jì)算機(jī)網(wǎng)絡(luò)、Linux操作系統(tǒng)后續(xù)課程Docker容器技術(shù)與應(yīng)用、專業(yè)綜合實(shí)訓(xùn)對接1+X證書名稱“1+X”大數(shù)據(jù)平臺運(yùn)維職業(yè)技能等級證書證書級別中級使用職業(yè)教育國家規(guī)劃教材1+X系列教材，《大數(shù)據(jù)平臺運(yùn)維》（中級），新華三技術(shù)有限公司主編，電子工業(yè)出版社，2021年4月第1版二、課程性質(zhì)與任務(wù)（一）課程性質(zhì)《Hadoop大數(shù)據(jù)平臺構(gòu)建》課程是教育部大數(shù)據(jù)技術(shù)專業(yè)標(biāo)準(zhǔn)規(guī)定的專業(yè)核心課程，是我校大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)核心課程，是面向大數(shù)據(jù)運(yùn)維工程師崗位的一門綜合項(xiàng)目實(shí)戰(zhàn)課程，授課內(nèi)容對標(biāo)教育部“1+X”大數(shù)據(jù)平臺運(yùn)維職業(yè)技能等級證認(rèn)證考試，涉及大數(shù)據(jù)和Hadoop基礎(chǔ)知識、Hadoop集群及其高可用集群部署、大數(shù)據(jù)組件的運(yùn)維、大數(shù)據(jù)平臺的監(jiān)控，要求掌握大數(shù)據(jù)平臺的部署，能夠熟練進(jìn)行大數(shù)據(jù)組件的維護(hù)，能夠?qū)Υ髷?shù)據(jù)平臺實(shí)現(xiàn)監(jiān)控。（二）課程任務(wù)本課程主要講授大數(shù)據(jù)和Hadoop基礎(chǔ)知識、Hadoop集群及其高可用集群部署、大數(shù)據(jù)組件的運(yùn)維、大數(shù)據(jù)平臺的監(jiān)控，本專業(yè)培養(yǎng)能夠踐行社會主義核心價值觀，德智體美勞全面發(fā)展，具有一定的科學(xué)文化水平，良好的人文素養(yǎng)、科學(xué)素養(yǎng)、職業(yè)道德和創(chuàng)新意識，精益求精的工匠精神，較強(qiáng)的就業(yè)創(chuàng)業(yè)能力和可持續(xù)發(fā)展的能力，掌握本課程的相關(guān)知識點(diǎn)后，學(xué)生能夠從事大數(shù)據(jù)實(shí)施與運(yùn)維、大數(shù)據(jù)平臺管理、大數(shù)據(jù)技術(shù)服務(wù)等工作的高素質(zhì)技術(shù)技能人才。（三）課程設(shè)計(jì)理念以習(xí)近平總書記在全國高校思想政治工作會議上講話為指導(dǎo)，堅(jiān)持把立德樹人作為中心環(huán)節(jié)，把思想政治工作貫穿教育教學(xué)全過程，校企雙方對接大數(shù)據(jù)運(yùn)維工程師崗位典型工作任務(wù)和“1+X”、行業(yè)認(rèn)證證書標(biāo)準(zhǔn)，實(shí)現(xiàn)全程育人、全方位育人。三、課程目標(biāo)要求（一）總體目標(biāo)《Hadoop大數(shù)據(jù)平臺構(gòu)建》從大數(shù)據(jù)平臺運(yùn)維工程師的角度，全方位介紹了大數(shù)據(jù)平臺構(gòu)建的相關(guān)實(shí)踐知識和核心實(shí)操。將課程思政融入理論案例，強(qiáng)化大國情懷與責(zé)任擔(dān)當(dāng)，激發(fā)學(xué)生的社會責(zé)任擔(dān)當(dāng)與民族自豪感。（二）具體目標(biāo)1.素質(zhì)目標(biāo)具有良好的工作態(tài)度和責(zé)任心；具有較強(qiáng)的團(tuán)隊(duì)意識和協(xié)作能力；具有新時代下，大膽創(chuàng)新創(chuàng)業(yè)、勇于探索拼搏的信念；具有較強(qiáng)國家通用語言表達(dá)能力和較強(qiáng)的溝通能力；培養(yǎng)具有大國情懷的技術(shù)英才；具有國家利益、集體利益和個人利益相結(jié)合的社會主義集體主義精神。2.知識目標(biāo)掌握大數(shù)據(jù)平臺架構(gòu)；掌握Hadoop集群及其高可用集群部署；掌握大數(shù)據(jù)組件的運(yùn)維；掌握大數(shù)據(jù)平臺的監(jiān)控。3.能力目標(biāo)能熟悉大數(shù)據(jù)平臺架構(gòu)能熟練掌握Hadoop集群及其高可用集群部署；能夠?qū)Υ髷?shù)據(jù)組件進(jìn)行運(yùn)維；能熟練掌握大數(shù)據(jù)平臺監(jiān)控。（三）課程要求課程單元教學(xué)任務(wù)要求第1章大數(shù)據(jù)和Hadoop概述任務(wù)1：大數(shù)據(jù)概述任務(wù)2：大數(shù)據(jù)應(yīng)用場景任務(wù)3：Hadoop概述了解大數(shù)據(jù)及其特征；熟悉大數(shù)據(jù)的典型應(yīng)用；掌握Hadoop的生態(tài)體系。第2章Hadoop集群安裝部署任務(wù)1：VMware中安裝CentOS7任務(wù)2：常用Linux命令任務(wù)3：Linux系統(tǒng)基礎(chǔ)配置任務(wù)4：SSH免密登錄任務(wù)5：安裝和配置Java任務(wù)6：Hadoop集群基本概念任務(wù)7：偽分布式安裝任務(wù)8：配置Hadoop任務(wù)9：集群啟動任務(wù)10：完全分布式安裝任務(wù)11：啟動集群了解安裝虛擬機(jī)和克??；熟悉Linux系統(tǒng)的網(wǎng)絡(luò)配置和SSH配置；熟悉偽分布式安裝；掌握完全分布式安裝。第3章分布式文件系統(tǒng)HDFS任務(wù)1：HDFS簡介任務(wù)2：HDFS架構(gòu)和原理任務(wù)3：HDFSShell操作了解HDFS演變；掌握HDFS特點(diǎn)及架構(gòu)和原理；掌握HDFS的Shell操作。第4章分布式計(jì)算框架MapReduce任務(wù)1：MapReduce概述任務(wù)2：MapReduce運(yùn)行機(jī)制任務(wù)3：MapReduce任務(wù)流程任務(wù)4：MapReduce實(shí)現(xiàn)單詞計(jì)數(shù)理解MapReduce的核心思想；掌握MapReduce的任務(wù)流程；握MapReduce的運(yùn)行機(jī)制。第5章分布式協(xié)調(diào)框架Zookeeper任務(wù)1：Zookeeper簡介任務(wù)2：Zookeeper選舉機(jī)制任務(wù)3：Zookeeper安裝任務(wù)4：Zookeeper文件參數(shù)配置任務(wù)5：Zookeeper集群啟動任務(wù)6：ZookeeperShell操作了解Zookeeper的概念和特性；掌握Zookeeper的Watcher機(jī)制和選舉機(jī)制；掌握Zookeeper集群部署、Zookeeper的Shell操作。第6章Hadoop高可用集群搭建任務(wù)1：HDFS高可用任務(wù)2：YARN高可用任務(wù)3：HDFSHA搭建任務(wù)4：YARNHA搭建任務(wù)5：Hadoop高可用集群啟動任務(wù)6：HDFS自動故障轉(zhuǎn)移測試任務(wù)7：YARN自動故障轉(zhuǎn)移測試了解YARN和HDFS的高可用架構(gòu)；掌握HadoopHA集群部署；熟悉HadoopHA集群啟動。第7章分布式列存儲數(shù)據(jù)庫HBase任務(wù)1：HBase組件概述任務(wù)2：HBase組件部署任務(wù)3：創(chuàng)建HBase庫任務(wù)4：HBase庫操作任務(wù)5：HBase表管理任務(wù)6：HBase數(shù)據(jù)操作了解HBase基本概念；掌握HBase數(shù)據(jù)模型；掌握HBase集群架構(gòu)與原理、搭建；掌握HBase的Shell操作。第8章數(shù)據(jù)倉庫Hive任務(wù)1：Hive組件原理任務(wù)2：Hive組件部署任務(wù)3：Hive庫操作任務(wù)4：Hive表操作任務(wù)5：Hive查詢了解Hive的相關(guān)功能和特點(diǎn)；熟悉Hive的安裝部署；掌握HiveQL的相關(guān)操作；掌握Hive宕機(jī)恢復(fù)方法。第9章數(shù)據(jù)遷移工具Sqoop任務(wù)1：Sqoop組件概述任務(wù)2：Sqoop數(shù)據(jù)導(dǎo)入導(dǎo)出了解Sqoop的基本概念；掌握Sqoop的安裝配置及導(dǎo)入導(dǎo)出操作。第10章日志采集工具Flume任務(wù)1：Flume組件概述任務(wù)2：Flume安裝與使用了解Flume的基本概念；熟悉Flume的安裝部署；掌握Flume的數(shù)據(jù)采集。第11章分布式消息隊(duì)列Kafka任務(wù)1：Kafka組件概述任務(wù)2：Kafka組件部署了解Kafka的基本概念；掌握Kafka集群搭建；掌握Kafka組件數(shù)據(jù)處理。第12章大數(shù)據(jù)平臺管理與監(jiān)控任務(wù)1：平臺管理與監(jiān)控概述任務(wù)2：常用監(jiān)控工具介紹任務(wù)3：Nagios服務(wù)端安裝任務(wù)4：Nagios監(jiān)控Node1任務(wù)5：Nagios監(jiān)控Node2任務(wù)6：Nagios監(jiān)控HDFS任務(wù)7：Nagios監(jiān)控HDFS了解常見的大數(shù)據(jù)管理與監(jiān)控平臺；掌握Nagios監(jiān)控Hadoop集群。四、課程結(jié)構(gòu)與內(nèi)容（一）課程結(jié)構(gòu)與學(xué)時分配情景名稱項(xiàng)目名稱任務(wù)名稱（含子任務(wù)）任務(wù)學(xué)時項(xiàng)目學(xué)時認(rèn)識大數(shù)據(jù)第1章大數(shù)據(jù)和Hadoop概述任務(wù)1：大數(shù)據(jù)概述任務(wù)2：大數(shù)據(jù)應(yīng)用場景任務(wù)3：Hadoop概述22Hadoop集群部署第2章Hadoop集群安裝部署第3章分布式文件系統(tǒng)HDFS第4章分布式計(jì)算框架MapReduce第5章分布式協(xié)調(diào)框架Zookeeper第6章Hadoop高可用集群搭建任務(wù)1：Hadoop集群基礎(chǔ)環(huán)境配置任務(wù)2：偽分布式安裝任務(wù)3：完全分布式安裝任務(wù)4：分布式文件系統(tǒng)HDFS任務(wù)5：分布式計(jì)算框架MapReduce任務(wù)6：Zookeeper部署任務(wù)7：HadoopHA搭建3030大數(shù)據(jù)組件運(yùn)維第7章分布式列存儲數(shù)據(jù)庫HBase第8章數(shù)據(jù)倉庫Hive第9章數(shù)據(jù)遷移工具Sqoop第10章日志采集工具Flume第11章分布式消息隊(duì)列Kafka任務(wù)1：HBase組件運(yùn)維任務(wù)2：Hive組件運(yùn)維任務(wù)3：Sqoop組件運(yùn)維任務(wù)4：Flume組件運(yùn)維任務(wù)5：Kafka組件運(yùn)維2020大數(shù)據(jù)平臺監(jiān)控第12章大數(shù)據(jù)平臺管理與監(jiān)控任務(wù)1：平臺管理與監(jiān)控概述任務(wù)2：常用監(jiān)控工具介紹任務(wù)3：Nagios服務(wù)端安裝任務(wù)4：Nagios監(jiān)控Node1任務(wù)5：Nagios監(jiān)控Node2任務(wù)6：Nagios監(jiān)控HDFS任務(wù)7：Nagios監(jiān)控HDFS1212（二）課程內(nèi)容與要求教學(xué)情境教學(xué)項(xiàng)目教學(xué)內(nèi)容教學(xué)目標(biāo)教學(xué)重難點(diǎn)教學(xué)建議學(xué)時認(rèn)識大數(shù)據(jù)第1章大數(shù)據(jù)和Hadoop概述大數(shù)據(jù)及其特征；大數(shù)據(jù)的典型應(yīng)用；Hadoop的生態(tài)體系。素質(zhì)目標(biāo)：1培養(yǎng)崗位職業(yè)規(guī)范和嚴(yán)謹(jǐn)?shù)墓ぷ鲬B(tài)度；2.培養(yǎng)學(xué)生國家使命感、民族精神；知識目標(biāo)：1.了解大數(shù)據(jù)及其特征2.熟悉大數(shù)據(jù)典型應(yīng)用3.掌握Hadoop體系重點(diǎn)：大數(shù)據(jù)特征及其應(yīng)用難點(diǎn)：Hadoop的生態(tài)體系教學(xué)方法：講述教學(xué)法，案例教學(xué)法。教學(xué)環(huán)境：實(shí)訓(xùn)室。2Hadoop集群以及HadoopHA部署第2章Hadoop集群安裝部署第3章分布式文件系統(tǒng)HDFS第4章分布式計(jì)算框架MapReduce第5章分布式協(xié)調(diào)框架Zookeeper第6章Hadoop高可用集群搭建Hadoop集群搭建；HDFSshell操作；單詞計(jì)數(shù)；Zookeeper集群搭建；HA集群的搭建素質(zhì)目標(biāo)：1.培養(yǎng)學(xué)生的自主學(xué)習(xí)能力和探究意識；2.培養(yǎng)小組合作培養(yǎng)團(tuán)隊(duì)協(xié)作精神；知識目標(biāo)：1.Hadoop集群搭建2.HDFSshell操作3.單詞計(jì)數(shù)4.Zookeeper集群搭建5.HadoopHA搭建能力目標(biāo)：提高團(tuán)隊(duì)協(xié)作能力重點(diǎn)：5.Hadoop集群搭建難點(diǎn)：HadoopHA集群搭建教學(xué)方法：講述教學(xué)法，引導(dǎo)教學(xué)法，任務(wù)驅(qū)動法，案例教學(xué)法。教學(xué)環(huán)境：實(shí)訓(xùn)室。30大數(shù)據(jù)組件維護(hù)第7章分布式列存儲數(shù)據(jù)庫HBase第8章數(shù)據(jù)倉庫Hive第9章數(shù)據(jù)遷移工具Sqoop第10章日志采集工具Flume第11章分布式消息隊(duì)列KafkaHBase組件運(yùn)維；Hive組件運(yùn)維Sqoop組件運(yùn)維；Flume組件運(yùn)維；Kafka組件運(yùn)維。素質(zhì)目標(biāo)：1.培養(yǎng)團(tuán)結(jié)合作意識；2.培養(yǎng)學(xué)生敬業(yè)、誠信、友善的社會主義核心價值知識目標(biāo)：掌握組件的安裝和維護(hù)能力目標(biāo)：提高組件運(yùn)維能力重點(diǎn)：Hive組件的運(yùn)維；HBase組件的運(yùn)維；難點(diǎn)：ETL組件的運(yùn)維教學(xué)方法：講述教學(xué)法，引導(dǎo)教學(xué)法，任務(wù)驅(qū)動法，案例教學(xué)法。教學(xué)環(huán)境：實(shí)訓(xùn)室。20大數(shù)據(jù)平臺監(jiān)控第12章大數(shù)據(jù)平臺管理與監(jiān)控Nagios監(jiān)控節(jié)點(diǎn)、HDFS和DataNode。素質(zhì)目標(biāo)：1.培養(yǎng)學(xué)生嚴(yán)謹(jǐn)細(xì)致的職業(yè)素養(yǎng)；2.深刻理解國家信息技術(shù)自主可控的重要性，增強(qiáng)“四個自信”；知識目標(biāo)：1.掌握Nagios安裝；2.Nagios監(jiān)控節(jié)點(diǎn)3.Nagios監(jiān)控HDFS4.Nagios監(jiān)控DataNode能力目標(biāo)：提高平臺監(jiān)控的能力。重點(diǎn)：Nagios監(jiān)控節(jié)點(diǎn)；Nagios監(jiān)控HDFS；Nagios監(jiān)控DataNode難點(diǎn)：Nagios安裝教學(xué)方法：講述教學(xué)法，引導(dǎo)教學(xué)法，任務(wù)驅(qū)動法，案例教學(xué)法。教學(xué)環(huán)境：實(shí)訓(xùn)室12項(xiàng)目一認(rèn)識大數(shù)據(jù)（2學(xué)時）序號工作任務(wù)主要內(nèi)容教學(xué)要求學(xué)時1介紹大數(shù)據(jù)的特點(diǎn)及發(fā)展趨勢、大數(shù)據(jù)的實(shí)施和運(yùn)維流程、大數(shù)據(jù)的應(yīng)用場景與案例掌握大數(shù)據(jù)實(shí)施和運(yùn)維工程師的工作能力素養(yǎng)要求；能理解理解大數(shù)據(jù)平臺架原理2項(xiàng)目二Hadoop集群及HadoopHA部署（30學(xué)時）序號工作任務(wù)主要內(nèi)容教學(xué)要求學(xué)時11.VMware中安裝虛擬機(jī)2.Linux基礎(chǔ)環(huán)境配置3.SSH免密登陸任務(wù)1：Hadoop集群基礎(chǔ)環(huán)境配置能熟練配置Linux基礎(chǔ)環(huán)境配置實(shí)現(xiàn)SSH免密登陸821.Java軟件的安裝2.Hadoop軟件的安裝3.修改Hadoop配置文件4.啟動和測試集群5.HDFS和MapReduce使用任務(wù)2：Hadoop集群的配置和啟動任務(wù)3：HDFS和MapReduce使用能熟練配置和啟動Hadoop；HDFS和MapReduce使用123Zookeeper集群部署任務(wù)4：Zookeeper集群部署能熟練部署Zookeeper441.HDFSHA2.YARNHA任務(wù)5：HadoopHA集群的配置能熟練配置HadoopHA451.啟動HadoopHA2.測試自動故障轉(zhuǎn)移任務(wù)6：HadoopHA集群的啟動；自動故障轉(zhuǎn)移測試能熟練啟動HadoopHA，測試自動故障轉(zhuǎn)移2項(xiàng)目三大數(shù)據(jù)組件的維護(hù)（20學(xué)時）序號工作任務(wù)主要內(nèi)容教學(xué)要求學(xué)時11.HBase介紹2.HBase安裝3.HBase使用任務(wù)1：HBase組件的維護(hù)能熟練安裝HBase、掌握HBase的使用621.Hive介紹2.Hive安裝3.Hvie使用任務(wù)2：Hive組件的維護(hù)能熟練安裝Hive、掌握Hive的使用831.Sqoop的安裝和使用2.Flume的安裝和使用3.Kafka的安裝和使用任務(wù)3：ETL組件的維護(hù)能熟練安裝ETL工具、掌握ETL工具的使用6項(xiàng)目四大數(shù)據(jù)平臺監(jiān)控（12學(xué)時）序號工作任務(wù)主要內(nèi)容教學(xué)要求學(xué)時1Nagios安裝任務(wù)1：監(jiān)控端安裝Nagios能熟練安裝Nagios42Nagios監(jiān)控節(jié)點(diǎn)任務(wù)2：監(jiān)控節(jié)點(diǎn)能熟練使用Nagios監(jiān)控節(jié)點(diǎn)43Nagios監(jiān)控HDFS任務(wù)3：監(jiān)控HDFS能熟練使用Nagios監(jiān)控HDFS24Nagios監(jiān)控DataNode任務(wù)4：監(jiān)控DataNode能熟練使用Nagios監(jiān)控DataNode2（三）課程思政本課程主要講授大數(shù)據(jù)和Hadoop基礎(chǔ)知識、Hadoop集群及其高可用集群部署、大數(shù)據(jù)組件的運(yùn)維、大數(shù)據(jù)平臺的監(jiān)控。在堂理論學(xué)習(xí)中貫穿企業(yè)文化、時事政治，培養(yǎng)具有大國情懷的技術(shù)英才：國家使命感、民族精神、團(tuán)結(jié)統(tǒng)一、博大胸襟。利用所學(xué)的大數(shù)據(jù)知識，投入到為國家、民族社會的貢獻(xiàn)中去。在實(shí)踐案例的練習(xí)下，培養(yǎng)新時代科技人才精神：改革創(chuàng)新、科技創(chuàng)新、國際視野。新時代下，抓住機(jī)遇，大膽創(chuàng)新創(chuàng)業(yè)、勇于探索拼搏的信念。形成良好的職業(yè)素養(yǎng)：一絲不茍、嚴(yán)謹(jǐn)細(xì)致、責(zé)任擔(dān)當(dāng)、吃苦耐勞、數(shù)據(jù)安全意識。提升學(xué)生優(yōu)秀的職業(yè)道德品質(zhì)，盡早適應(yīng)崗位需求。（四）1+X融入大數(shù)據(jù)專業(yè)是國家教育部“1+X”大數(shù)據(jù)平臺運(yùn)維職業(yè)技能等級證書試點(diǎn)專業(yè)，本課程對應(yīng)證書的中級考核目標(biāo)。五、學(xué)生考核與評價形成性評價教學(xué)階段考核項(xiàng)目考核方式考核占比課前（20%）預(yù)習(xí)任務(wù)布置任務(wù)提交40%課中（50%）考勤、提問、表現(xiàn)考勤、提問等課堂表現(xiàn)實(shí)驗(yàn)報(bào)告和源碼提交課堂練習(xí)和實(shí)驗(yàn)課后（20%）作業(yè)提交增值評價（10%）（職業(yè)核心能力和職業(yè)素養(yǎng)）素質(zhì)目標(biāo)達(dá)成考察日?？疾煺n程考試筆試閉卷60%增值評價（社會價值）參加技能大賽、職業(yè)資格證書考核、職業(yè)技能等級證書考核等情況計(jì)分學(xué)分認(rèn)定、成績置換六、教學(xué)實(shí)施與保障（一）教學(xué)要求1.教學(xué)樓的多媒體教室。2.大數(shù)據(jù)運(yùn)維實(shí)訓(xùn)室。（二）教學(xué)方法本課程的教學(xué)模式采用“教、做、學(xué)”為一體的任務(wù)驅(qū)動式教學(xué)模式，針對具體的教學(xué)內(nèi)容和教學(xué)過程需要，制定教學(xué)方法。注重對學(xué)生分析問題，解決問題能力的培養(yǎng)，從完成某一方面的“任務(wù)”著手，通過引導(dǎo)學(xué)生完成“任務(wù)”，從而實(shí)現(xiàn)教學(xué)目標(biāo)。同時在部分章節(jié)采用探究式教學(xué)模式，即以解決實(shí)際問題為中心開展教學(xué)，在解決實(shí)際問題的過程注重學(xué)生的實(shí)踐能力和創(chuàng)新開發(fā)能力。將課程思政元素融入課程教學(xué)改革時，充分挖掘授課要點(diǎn)和思政元素的融合點(diǎn)，將實(shí)際案例項(xiàng)目引入Hadoop大數(shù)據(jù)平臺構(gòu)建全流程，導(dǎo)入大數(shù)據(jù)的應(yīng)用場景，激發(fā)學(xué)生家國情懷、大國擔(dān)當(dāng)?shù)氖姑小?。在教學(xué)方法上本課程采用講述教學(xué)法，引導(dǎo)教學(xué)法，任務(wù)驅(qū)