大數(shù)據(jù)平臺方向教學(xué)計劃

1、【精品文檔】如有侵權(quán)，請聯(lián)系網(wǎng)站刪除，僅供學(xué)習(xí)與交流大數(shù)據(jù)平臺方向教學(xué)計劃.精品文檔.大數(shù)據(jù)平臺 課程標(biāo)準(zhǔn)一、課程定位現(xiàn)在企業(yè)為了提升客人使用體驗(yàn)，提高業(yè)務(wù)效率，在大數(shù)據(jù)蓬勃發(fā)展的階段里，需要對現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行轉(zhuǎn)型升級；作為大數(shù)據(jù)載體，大數(shù)據(jù)平臺工程師應(yīng)用成為有大量數(shù)據(jù)的企業(yè)必備人才。 隨著大數(shù)據(jù)應(yīng)用的大量普及，開源框架，比如hadoop，spark等，也得到長足發(fā)展。本課程著力于系統(tǒng)數(shù)據(jù)的收集和搭建技術(shù)，使得作為大數(shù)據(jù)的研發(fā)/分析帶來基礎(chǔ)設(shè)施，讓學(xué)員掌握；并通過本課程，掌握大數(shù)據(jù)平臺的理念，為將來在不同企業(yè)使用各種基礎(chǔ)設(shè)施的搭建和維護(hù)指明方向。 二、課程性質(zhì)與作用課程性質(zhì) 大數(shù)據(jù)平臺搭建核心

2、課程。課程作用 大數(shù)據(jù)平臺搭建核心課程，是整個大數(shù)據(jù)中基礎(chǔ)的一環(huán)。在實(shí)際工作中，掌握本技術(shù)是是大數(shù)據(jù)方向的重要的崗位，即大數(shù)據(jù)平臺工程師。在后續(xù)的大數(shù)據(jù)研發(fā)及大數(shù)據(jù)分析中，必須要在大數(shù)據(jù)平臺搭建完成后才能在真實(shí)生產(chǎn)環(huán)境運(yùn)行。本課程會涉及到其余的計算機(jī)知識，比如Linux操作系統(tǒng)、數(shù)據(jù)庫、集群等知識。學(xué)習(xí)完本科課程之后，為了鞏固和提高對大數(shù)據(jù)平臺搭建的理解，在后續(xù)課程中加入有實(shí)際生產(chǎn)環(huán)境的搭建過程并驗(yàn)證。三、課程目標(biāo)課程教學(xué)以生產(chǎn)環(huán)境搭建為目標(biāo)，以實(shí)際項(xiàng)目為中心，以合理知識結(jié)構(gòu)分解為手段，在理解大數(shù)據(jù)平臺架構(gòu)的過程中，主要以實(shí)際操作讓學(xué)員對相關(guān)知識點(diǎn)掌握，達(dá)到理論與實(shí)際結(jié)合，教學(xué)與企業(yè)融合的內(nèi)容

3、。學(xué)員學(xué)成后，能夠利用流程的大數(shù)據(jù)平臺框架大家生產(chǎn)環(huán)境，并且在企業(yè)相關(guān)架構(gòu)選擇有微調(diào)時，能夠觸類旁通，也能完成搭建任務(wù)。課程內(nèi)容始終圍繞全面提升學(xué)生的理論和操作的熟練程度、規(guī)范化程度以及職業(yè)素質(zhì)三個方面展開。（一）知識目標(biāo)1. 理解大數(shù)據(jù)概念及應(yīng)用場景，先導(dǎo)課程Linux的操作2. 掌握大數(shù)據(jù)HDFS、HBase、Hadoop集群搭建及數(shù)據(jù)批處理。3. 熟練掌握Spark搭建并能夠驗(yàn)證運(yùn)行。4. 熟練掌握Storm搭建并掌握流處理概念。5. Hadoop生態(tài)其他組件的安裝和應(yīng)用，Yarn &zookeeper。6.離線工具ETL和hive的安裝及應(yīng)用。（二）能力目標(biāo)1.全局的眼光理解大

4、數(shù)據(jù)，理解大數(shù)據(jù)的應(yīng)用，并有總體的概念。2.理解企業(yè)中實(shí)際生產(chǎn)環(huán)境的大數(shù)據(jù)搭建，收集，分析，應(yīng)用的過程。3.具備在實(shí)際應(yīng)用中，針對技術(shù)框架的微調(diào)，能夠應(yīng)對并能夠調(diào)試驗(yàn)證成功。四、課程設(shè)計主要指課程設(shè)計的總體思路：課程設(shè)計圍繞大數(shù)據(jù)基礎(chǔ)設(shè)施的搭建，并考慮到實(shí)際企業(yè)生產(chǎn)環(huán)境中的應(yīng)用場景，從先導(dǎo)知識，基礎(chǔ)知識，生態(tài)知識及擴(kuò)展知識。課程案例選取： 以搭建支持10GB的數(shù)據(jù)為目標(biāo)，在目標(biāo)3機(jī)器上部署大數(shù)據(jù)倉庫，并能實(shí)際運(yùn)行。模擬手機(jī)1GB的數(shù)據(jù)，能夠通過Hive進(jìn)行查詢，為將來數(shù)據(jù)清洗和數(shù)據(jù)分析提供基礎(chǔ)。五、課程內(nèi)容與要求知識塊知識點(diǎn)課程目標(biāo)課時案例先導(dǎo)知識Linux系統(tǒng)Linux 基礎(chǔ)先導(dǎo)課程，以掌握

5、Linux基本操作未基礎(chǔ)，加上對Linux操作系統(tǒng)的進(jìn)程管理的知識，為后續(xù)的部署打下基礎(chǔ)。主要能夠熟練編輯和配置Linux下的系統(tǒng)文件并能夠查找文件和文字Linux-常用命令介紹Linux-shell的特殊符號以及VI編譯工具Linux-高級指令（系統(tǒng)管理、查詢、作業(yè)控制、進(jìn)程管理和Linux三劍客）Linux-環(huán)境變量、初始化文件和定時服務(wù)Linux-shell腳本及編程Linux-備份工具Linux-安全性Linux-網(wǎng)絡(luò)互聯(lián)Linux-軟件的安裝和日志大數(shù)據(jù)基礎(chǔ)大數(shù)據(jù)概論大數(shù)據(jù)背景能夠高度概括大數(shù)據(jù)系統(tǒng)的前世今生，實(shí)際了解企業(yè)里面使用的大數(shù)據(jù)的場景大數(shù)據(jù)基本概念大數(shù)據(jù)案例大數(shù)據(jù)技術(shù)HDF

6、S分布式文件系統(tǒng)HDFS簡介掌握DFS架構(gòu)，配置及日常管理HDFS基本架構(gòu)使用場景核心設(shè)計體系架構(gòu)命令行使用JAVA接口運(yùn)行機(jī)制IO操作Hodoop集群安裝部署Linux環(huán)境準(zhǔn)備理解Hadoop生態(tài)，能夠安裝并驗(yàn)證Hadoop集群。并實(shí)際操作在現(xiàn)有生態(tài)增加組件的安裝及調(diào)整方式按照J(rèn)DK按照并配置Hadoop啟動并驗(yàn)證Hadoop集群MapReduce計算框架編程模型WordCount高級編程編程案例應(yīng)用編程開發(fā)MP工作機(jī)制和YARNYARN平臺簡介YARN結(jié)構(gòu)YARN資源調(diào)度作業(yè)調(diào)度Hbase分布式數(shù)據(jù)庫簡介理解和掌握HBase的原理及操作，并能對HBase做日常管理安裝部署和Hadoop的關(guān)

7、系核心功能模塊基本概念Hbase Shell命令行工具JAVA客戶端操作MAPreduce批量操作HBASE塊數(shù)據(jù)導(dǎo)入HBASE核心概念高級特性flume海量日志采集系統(tǒng)簡介選修，建議學(xué)員能夠通過自學(xué)布置完成。安裝部署結(jié)構(gòu)核心概念KafKa分布式發(fā)布訂閱消息系統(tǒng)簡介選修，建議學(xué)員能夠通過自學(xué)布置完成。核心概念按照部署zookeeper分布式資源協(xié)調(diào)系統(tǒng)簡介必修，能夠單獨(dú)完成配置并在資源出現(xiàn)狀況時，能夠自動切換。安裝部署工作原理客戶端使用離線計算工作引擎azkaban使用能夠?qū)嶋H部署并做配置安裝部署ETL工具sqoop應(yīng)用理解ETL的實(shí)質(zhì)，并了解ETL在大數(shù)據(jù)清洗中的作用安裝部署數(shù)據(jù)倉庫查詢HIVE基本概念掌握Hive的安裝部署及其他的安裝部署數(shù)據(jù)定義數(shù)據(jù)查詢內(nèi)置函數(shù)和UDF自定義函數(shù)和UDAF UDTF實(shí)時計算storm實(shí)時流計算框架簡介能夠?qū)嶋H部署并做配置架構(gòu)按照部署核心概念和數(shù)據(jù)流模型編程實(shí)例Spark Streaming簡介能夠?qū)嶋H部署并做配置架構(gòu)按照部署核