《大數(shù)據(jù)平臺部署與運維》課程標準（含課程思政）

《大數(shù)據(jù)平臺部署與運維》課程標準一、課程基本信息課程名稱大數(shù)據(jù)平臺部署與運維課程代碼034321026課程性質(zhì)￡公共必修課R專業(yè)必修課￡專業(yè)選修課￡公共選修課專業(yè)核心課（是/否）是課程類型理論課（A類）R理論+實踐課（B類）實踐課（C類）學分4學時64理論學時32實踐學時32適用專業(yè)（方向）大數(shù)據(jù)技術(shù)開設學期第3學期先修課程《計算機網(wǎng)絡技術(shù)》、《Linux操作系統(tǒng)》后續(xù)課程《大數(shù)據(jù)開發(fā)實戰(zhàn)》、專業(yè)綜合實訓對接1+X證書名稱大數(shù)據(jù)平臺運維證書級別中級建議使用職業(yè)教育國家規(guī)劃教材“1+X”證書系列教材，《大數(shù)據(jù)平臺運維》（中級），新華三技術(shù)有限公司主編，電子工業(yè)出版社，2020年4月第1版二、課程性質(zhì)與任務（一）課程性質(zhì)《Hadoop大數(shù)據(jù)平臺構(gòu)建》課程是大數(shù)據(jù)技術(shù)與應用專業(yè)核心課程，是國家“1+X”職業(yè)技能等級證書中“大數(shù)據(jù)平臺運維”證書的課證融通課程，是融入課程思政教育的課程。在前驅(qū)課程《計算機網(wǎng)絡技術(shù)》、《Linux系統(tǒng)及應用》的支撐下，本課程主要講解大數(shù)據(jù)的基本概念、組件部署和平臺優(yōu)化，為后續(xù)專業(yè)綜合實訓和崗位實習奠定基礎(chǔ)。（二）課程任務該課程主要講授大數(shù)據(jù)平臺高可用部署、大數(shù)據(jù)組件部署和運維、大數(shù)據(jù)平臺優(yōu)化等內(nèi)容，培養(yǎng)大數(shù)據(jù)平臺的部署實施、監(jiān)控管理崗位的高素質(zhì)技術(shù)技能人才，對本專業(yè)所面向的大數(shù)據(jù)平臺運維崗位所需要的知識、技能和素質(zhì)目標的達成起支撐作用。課程全面落實課程思政要求，弘揚勞動光榮、技能寶貴，以潤物無聲的方式將思政教育與專業(yè)知識培養(yǎng)有機融合。（三）課程設計思路課程的教學設計充分體現(xiàn)了課程內(nèi)容與職業(yè)標準對接、教學過程與生產(chǎn)過程對接的特點，依據(jù)對相關(guān)行業(yè)企業(yè)的調(diào)研及“1+x大數(shù)據(jù)平臺運維”職業(yè)技能等級證書（中級）要求，本課程采用了“項目引領(lǐng)，任務驅(qū)動”的教學模式。在充分分析大數(shù)據(jù)運維工程師崗位技能的基礎(chǔ)上，以企業(yè)生產(chǎn)過程為導向，提煉典型工作任務，為學生可持續(xù)發(fā)展奠定良好的基礎(chǔ)三、課程目標與要求（一）課程目標1.素質(zhì)目標（1）養(yǎng)成誠實守信的品德；（2）培養(yǎng)效率和安全意識，養(yǎng)成良好的職業(yè)道德和積極嚴謹?shù)那髮W態(tài)度；（3）具有不斷追求知識的自學能力、吃苦耐勞的工匠精神；（4）具有較強國家通用語言表達能力和較強的溝通能力；（5）具有善于與人共事的團隊協(xié)作意識，能進行良好的團隊合作。2.知識目標（1）了解大數(shù)據(jù)和Hadoop基本概念；（2）掌握Hadoop集群的搭建；（3）掌握HadoopHA集群搭建；（4）掌握HBase、Hive、Sqoop、Flume、Kafka組件的部署和操作；（5）掌握Linux、HDFS、MapReduce的優(yōu)化。3.能力目標（1）具備大數(shù)據(jù)部署和運維能力；（2）具備大數(shù)據(jù)平臺優(yōu)化能力；（3）具有綜合運用所學知識分析問題和解決問題的能力。（二）課程要求課程單元任務名稱（含子任務）要求大數(shù)據(jù)和Hadoop概述任務1：大數(shù)據(jù)和Hadoop基本概念任務2：大數(shù)據(jù)實施和運維流程任務3：大數(shù)據(jù)應用場景和發(fā)展趨勢1.了解大數(shù)據(jù)的相關(guān)概念和特征、發(fā)展歷程及趨勢。2.理解大數(shù)據(jù)平臺架構(gòu)的原理3.了解大數(shù)據(jù)運維工程師知識要求及工作職責Hadoop集群搭建任務1：Linux基礎(chǔ)環(huán)境配置任務2：Hadoop集群的配置任務3：Hadoop集群的啟動和測試1.掌握Java、Hadoop安裝和配置2.理解SSH免密登錄3.掌握Hadoop文件參數(shù)配置4.Hadoop集群的啟動分布式文件系統(tǒng)HDFS任務1：HDFS基本概念任務2：HDFSShell操作1.理解HDFS架構(gòu)和原理2.掌握HDFSShell常用命令分布式計算框架MapReduce任務1：MapReduce概述任務2：MapReduce工作原理任務3：YARN基本框架及組件任務4：MapReduce經(jīng)典案例1.了解MapReduce和Yarn基本概念2.理解MapReduce和Yarn工作原理3.理解MapReduce經(jīng)典案例HadoopHA集群搭建任務1：部署ZooKeeper集群任務2：配置HadoopHA集群任務3：啟動HadoopHA集群任務4：自動故障轉(zhuǎn)移測試1.掌握Zookeeper的原理和部署2.了解HadoopHA集群的實現(xiàn)原理3.理解HadoopHA集群文件配置4.掌握集群的啟動和自動故障轉(zhuǎn)移HBase組件任務1：HBase基本概念任務2：HBase組件部署任務3：HBaseShell操作1.了解HBase的相關(guān)知識2.掌握HBase的分布式部署3.掌握HBaseShell操作Hive組件任務1：Hive基本概念任務2：HBase組件部署任務3：HBase數(shù)據(jù)庫/表操作1.理解Hive架構(gòu)2.掌握Hive部署3.掌握Hive表操作ETL組件任務1：Sqoop組件安裝和使用任務2：Flume組件安裝和使用任務3：Kafka組件安裝和使用1.了解Sqoop、Flume和Kafka概念2.掌握Sqoop、Flume和Kafka安裝3.掌握Sqoop、Flume和Kafka使用大數(shù)據(jù)平臺優(yōu)化任務1：Linux系統(tǒng)優(yōu)化任務2：HDFS配置優(yōu)化任務3：MapReduce配置優(yōu)化1.掌握優(yōu)化Linux系統(tǒng)2.掌握優(yōu)化HDFS配置3.掌握優(yōu)化MapReduce配置四、課程結(jié)構(gòu)與內(nèi)容（一）課程結(jié)構(gòu)與學時分配情景名稱項目名稱任務名稱（含子任務）任務學時項目學時大數(shù)據(jù)和Hadoop概述大數(shù)據(jù)和Hadoop概述任務1：大數(shù)據(jù)和Hadoop基本概念任務2：大數(shù)據(jù)實施和運維流程任務3：大數(shù)據(jù)應用場景和發(fā)展趨勢22Hadoop集群搭建Hadoop集群搭建任務1：Linux基礎(chǔ)環(huán)境配置任務2：Hadoop集群的配置任務3：Hadoop集群的啟動和測試1616分布式文件系統(tǒng)HDFS分布式文件系統(tǒng)HDFS任務1：HDFS基本概念任務2：HDFSShell操作22分布式計算框架MapReduce分布式計算框架MapReduce任務1：MapReduce概述任務2：MapReduce工作原理任務3：YARN基本框架及組件任務4：MapReduce經(jīng)典案例22HadoopHA集群搭建HadoopHA集群搭建任務1：部署ZooKeeper集群任務2：配置HadoopHA集群任務3：啟動HadoopHA集群任務4：自動故障轉(zhuǎn)移測試1010HBase組件HBase組件任務1：HBase基本概念任務2：HBase組件部署任務3：HBaseShell操作88Hive組件Hive組件任務1：Hive基本概念任務2：Hive組件部署任務3：Hive數(shù)據(jù)庫/表操作1010ETL組件ETL組件任務1：Sqoop組件安裝和使用任務2：Flume組件安裝和使用任務3：Kafka組件安裝和使用88大數(shù)據(jù)平臺優(yōu)化大數(shù)據(jù)平臺優(yōu)化任務1：Linux系統(tǒng)優(yōu)化任務2：HDFS配置優(yōu)化任務3：MapReduce配置優(yōu)化66（二）課程內(nèi)容與要求教學情境教學項目教學內(nèi)容教學目標教學重難點教學建議學時大數(shù)據(jù)和Hadoop概述大數(shù)據(jù)和Hadoop概述Hadoop和大數(shù)據(jù)概述；大數(shù)據(jù)實施和運維流程素質(zhì)目標：培養(yǎng)崗位職業(yè)規(guī)范和嚴謹?shù)墓ぷ鲬B(tài)度。知識目標：了解大數(shù)據(jù)的概念和特征、發(fā)展歷程及趨勢；理解大數(shù)據(jù)平臺架構(gòu)的原理；了解大數(shù)據(jù)運維工程師要求及工作職責。能力目標：具備專業(yè)基本知識素養(yǎng)。思政目標：通過講述Hadoop的發(fā)展歷程，激發(fā)學生改革創(chuàng)新意識。重點：1.大數(shù)據(jù)實施和運維流程難點：1.大數(shù)據(jù)平臺架構(gòu)原理教學方法：案例教學法教學環(huán)境：大數(shù)據(jù)運維中心2Hadoop集群搭建Hadoop集群搭建Linux基礎(chǔ)環(huán)境配置；Hadoop集群的配置；Hadoop集群的啟動和測試素質(zhì)目標：培養(yǎng)學生的自主學習能力和探究意識。知識目標：掌握Hadoop集群的基本概念；掌握Linux防火墻的管理與配置；掌握IP與主機名的映射配置；掌握環(huán)境變量的配置；掌握Hadoop集群的啟動和關(guān)閉。能力目標：培養(yǎng)集群搭建能力思政目標：通過前期一系列安裝到最后部署Hadoop平臺，向?qū)W生傳輸做任何事要有工匠精神，還有大局意識。重點：1.Linux基礎(chǔ)環(huán)境配置；2.Hadoop集群的搭建和配置。難點：1.Hadoop集群配置2.Linux系統(tǒng)網(wǎng)絡配置教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心16分布式文件系統(tǒng)HDFS分布式文件系統(tǒng)HDFSHDFS基本概念；HDFSShell操作素質(zhì)目標：培養(yǎng)學生團隊協(xié)作精神。知識目標：理解HDFS架構(gòu)和原理；掌握HDFSShell常用命令能力目標：提高解決海量數(shù)據(jù)存儲問題的能力思政目標：通過講述HDFS的整體架構(gòu)和各角色的分工，引入國家和個人層面的思考，樹立正確價值觀。重點：1.HDFS基本概念；2.HDFSShell操作難點：1.HDFS架構(gòu)和原理教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心2分布式計算框架MapReduce分布式計算框架MapReduceMapReduce概述；MapReduce工作原理；YARN框架及組件；MapReduce經(jīng)典案例素質(zhì)目標：培養(yǎng)學生開拓進取、勇于探索的精神。知識目標：理解MapReduce核心思想；掌握MapReduce工作原理能力目標：培養(yǎng)分布式計算能力思政目標：通過演示MapReduce程序的運行過程，告訴學生成功沒有捷徑，要保持責任意識、職業(yè)素養(yǎng)。重點：分布式計算框架難點：MapReduce工作原理教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心2HadoopHA集群搭建HadoopHA集群搭建部署ZooKeeper集群；配置HadoopHA集群；啟動HadoopHA集群；自動故障轉(zhuǎn)移素質(zhì)目標：培養(yǎng)學生腳踏實地、有耐心有恒的鉆研精神。知識目標：了解ZooKeeper的概念；掌握ZooKeeper集群的部署；掌握HadoopHA搭建；掌握HA自動故障轉(zhuǎn)移能力目標：具備HA搭建和運維能力。思政目標：通過集群管理協(xié)調(diào)組件的學習和HA的搭建，提高學生團隊協(xié)作意識和溝通表達能力。重點：1.ZooKeeper集群部署2.HadoopHA搭建難點：自動故障轉(zhuǎn)移教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心10HBase組件HBase組件HBase基本概念；HBase組件部署；HBaseShell操作素質(zhì)目標：培養(yǎng)學生遠大理想、人生目標規(guī)劃能力。知識目標：了解HBase相關(guān)知識；掌握HBase部署和HBaseShell操作。能力目標：具備HBase的部署和使用能力思政目標：通過數(shù)據(jù)庫的學習，培養(yǎng)學生規(guī)劃能力，引導其合理規(guī)劃自己的人生目標和遠大理想。重點：1.HBase組件部署2.HBaseShell操作難點：HBase系統(tǒng)架構(gòu)和原理教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心8Hive組件Hive組件Hive基本概念；Hive組件部署Hive數(shù)據(jù)操作素質(zhì)目標：培養(yǎng)學生遠大理想、人生目標規(guī)劃能力。知識目標：了解Hive相關(guān)知識；掌握Hive部署和Hive數(shù)據(jù)操作。能力目標：具備Hive的部署和使用能力思政目標：通過數(shù)據(jù)倉庫的學習，培養(yǎng)學生規(guī)劃能力，引導其合理規(guī)劃自己的人生目標和遠大理想。重點：1.Hive組件部署2.Hive數(shù)據(jù)操作難點：1.Hive架構(gòu)2.BeelineCLI的使用教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心10ETL組件ETL組件Sqoop組件安裝和使用；Flume組件安裝和使用；Kafka組件安裝和使用素質(zhì)目標：培養(yǎng)學生良好的環(huán)保理念、法律意識。知識目標：掌握Flume安裝和Flume數(shù)據(jù)采集；掌握分布式消息隊列Kafka的安裝和使用；掌握數(shù)據(jù)遷移工具Sqoop的使用。能力目標：具備ETL部署和使用能力。思政目標：通過ETL的學習樹立學生法律意識，培養(yǎng)學生誠實守信、愛崗敬業(yè)的品格。重點：ETL組件的部署和使用難點：1.Flume架構(gòu)2.Kafka架構(gòu)3.Sqoop數(shù)據(jù)遷移教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心8大數(shù)據(jù)平臺優(yōu)化大數(shù)據(jù)平臺優(yōu)化Linux系統(tǒng)優(yōu)化；HDFS配置優(yōu)化；MapReduce配置優(yōu)化素質(zhì)目標：培養(yǎng)學生集體意識、團隊協(xié)作和溝通表達能力。知識目標：掌握Linux系統(tǒng)優(yōu)化、HDFS配置優(yōu)化、MapReduce配置優(yōu)化能力目標：具備大數(shù)據(jù)平臺優(yōu)化能力思政目標：通過大數(shù)據(jù)平臺優(yōu)化，傳輸給學生通過不同角度思考問題解決問題的方法。重點：優(yōu)化Linux系統(tǒng)的內(nèi)存、網(wǎng)絡、文件系統(tǒng)優(yōu)化Map階段和Reduce階段難點：優(yōu)化HDFS存儲教學方法：任務驅(qū)動法教學環(huán)境：H3C大數(shù)據(jù)實訓平臺；大數(shù)據(jù)運維中心6（三）課程思政實施要求本課程立足于大數(shù)據(jù)平臺運維角度，從算法原理、部署、應用三個方面規(guī)范和指導大數(shù)據(jù)平臺搭建和運維的全過程。在教學中，培養(yǎng)學生的愛國主義情懷，樹立遠大的理想；責任意識、職業(yè)道德和素養(yǎng)；民族精神、集體意識和改革創(chuàng)新精神；誠實守信、團結(jié)協(xié)作、勇于探索的科學精神；環(huán)保理念和大局意識、法律意識；樹立社會主義核心價值觀和中華優(yōu)秀傳統(tǒng)文化；心理健康和勞動精神；（四）1+X證書內(nèi)容融入大數(shù)據(jù)平臺運維職業(yè)技能等級（中級）證書主要面向大數(shù)據(jù)平臺安裝配置、大數(shù)據(jù)組件安裝配置、大數(shù)據(jù)平臺基礎(chǔ)實施、大數(shù)據(jù)平臺維護及監(jiān)控工作崗位。從事虛擬化軟件安裝與使用、基于Linux系統(tǒng)的常用服務安裝配置、安裝配置及運行Hadoop集群、安裝配置及運行核心組件、執(zhí)行客戶大數(shù)據(jù)平臺實施方案、監(jiān)控大數(shù)據(jù)平臺運行狀態(tài)等工作。掌握大數(shù)據(jù)平臺安裝和配置方法，理解Hadoop核心組件的功能及工作原理，掌握關(guān)鍵組件安裝配置方法，理解大數(shù)據(jù)平臺實施流程，熟悉常用集群監(jiān)控工具的使用方法。因此將中級證書融入到Hadoop大數(shù)據(jù)平臺構(gòu)建課程中，提升學生的專業(yè)技能。五、學生考核與評價形成性評價教學階段考核項目考核方式考核占比課前（20%）預習任務布置預習任務布置60%課中（50%）考勤、提問、表現(xiàn)考勤、提問、表現(xiàn)課堂練習課堂練習課后（20%）實驗報告和作業(yè)實驗報告和作業(yè)增值評價（10%）（職業(yè)核心能力和職業(yè)素養(yǎng)）素質(zhì)目標達成考察素質(zhì)目標達成考察終結(jié)性評價項目考核閉卷考試40%增值評價（社會價值）參加技能大賽、職業(yè)資格證書考核、職業(yè)技能等級證書考核等情況計分學分認定、成績置換六、教學實施與保障（一）教學要求1.教學樓的多媒體教室。2.國家級虛擬仿真實訓基地的大數(shù)據(jù)技術(shù)專業(yè)相關(guān)實訓室。3.H3C大數(shù)據(jù)實訓平臺（二）教學方法本課程教學內(nèi)容選取大數(shù)據(jù)平臺系統(tǒng)架構(gòu)、大數(shù)據(jù)平臺高可用部署、大數(shù)據(jù)組件維護、大數(shù)據(jù)平臺優(yōu)化四個模塊進行總體設計。每個情境劃分為多個任務，按照任務分析和描述、任務實施、任務小結(jié)、任務拓展四步教學法開展教學。學生帶著任務學知識、練技能，具有情景真實性、過程可操作性、結(jié)果可檢驗性的特點，主要培養(yǎng)目標是通過課程的學習，使學生具備大數(shù)據(jù)平臺運維的能力，通過知識的學習和訓練，激發(fā)學生創(chuàng)新意識和創(chuàng)新欲望，培養(yǎng)學生學習的積極性和主動性，達到對學生應具備的社會能力、學習能力和專業(yè)能力的進一步提升。（三）教學手段依據(jù)模塊內(nèi)容，結(jié)合探究式學習、自主式學習、項目式學習等，教學手段采用邊學邊練的方式，通過H3C大數(shù)據(jù)實訓平臺華為多媒體設備輔以教學，提高教學效果。配合教學方法，倡導使