大數(shù)據(jù)分析方向教學(xué)計(jì)劃

1、大數(shù)據(jù)分析課程標(biāo)準(zhǔn)一、課程定位現(xiàn)在企業(yè)為了提升客人使用體驗(yàn)，提高業(yè)務(wù)效率，在大數(shù)據(jù)蓬勃發(fā)展的階段里，需要對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行轉(zhuǎn)型升級(jí)；作為大數(shù)據(jù)核心部分，大數(shù)據(jù)研發(fā)工程師應(yīng)用成為有大量數(shù)據(jù)的企業(yè)必備人才，在數(shù)據(jù)處理，數(shù)據(jù)分析方面，大數(shù)據(jù)研發(fā)是不可或缺的技能。隨著大數(shù)據(jù)應(yīng)用的大量普及，開(kāi)源框架，比如hadoop,spark等，也得到長(zhǎng)足發(fā)展。本課程除了著力于統(tǒng)數(shù)據(jù)的收集和搭建，使得作為大數(shù)據(jù)的研發(fā)/分析帶來(lái)基礎(chǔ)設(shè)施,讓學(xué)員掌握，同時(shí)，對(duì)大數(shù)據(jù)的離線/實(shí)時(shí)處理和部分?jǐn)?shù)據(jù)分析進(jìn)行深度理解和把握。通過(guò)本課程，掌握大數(shù)據(jù)平臺(tái)并且對(duì)大數(shù)據(jù)分析的基本技能和方法，為將來(lái)在企業(yè)分析大數(shù)據(jù)做決策打下基礎(chǔ)。二、課程性

2、質(zhì)與作用課程性質(zhì)大數(shù)據(jù)分析課程。課程作用大數(shù)據(jù)分析是數(shù)據(jù)清洗過(guò)后使得數(shù)據(jù)產(chǎn)生價(jià)值的過(guò)程。在企業(yè)豐富應(yīng)用場(chǎng)景中，通過(guò)標(biāo)準(zhǔn)的大數(shù)據(jù)分析方法不能勝任的情況下，就需要通過(guò)先驗(yàn)知識(shí)來(lái)驗(yàn)證大數(shù)據(jù)并找出規(guī)律來(lái)達(dá)到業(yè)務(wù)目標(biāo)。在實(shí)際工作中，掌握大數(shù)據(jù)研分析需要展示的數(shù)理統(tǒng)計(jì)分析的知識(shí)，敏銳的數(shù)據(jù)觀察力，和部分軟件開(kāi)發(fā)的知識(shí)，也需要比較扎實(shí)的計(jì)算機(jī)基礎(chǔ)。本課程大綱是完整的課程，實(shí)際培訓(xùn)課程中，會(huì)根據(jù)學(xué)員實(shí)際情況進(jìn)行分組。通過(guò)本課程的學(xué)習(xí)。三、課程目標(biāo)課程教學(xué)以靈活運(yùn)用分析方法為目標(biāo)，以實(shí)際項(xiàng)目為中心，以合理知識(shí)結(jié)構(gòu)分解為手段，結(jié)合實(shí)際的應(yīng)用場(chǎng)景，對(duì)大數(shù)據(jù)進(jìn)行文本，圖標(biāo)等大數(shù)據(jù)進(jìn)行分析和學(xué)習(xí)，主要以實(shí)際操作讓學(xué)員對(duì)

3、相關(guān)知識(shí)點(diǎn)掌握，達(dá)到理論與實(shí)際結(jié)合，教學(xué)與企業(yè)融合的內(nèi)容。學(xué)員學(xué)成后，能夠利用清洗后的數(shù)據(jù)，根據(jù)提供的先驗(yàn)知識(shí)，可以做出模型并能夠預(yù)測(cè)業(yè)務(wù)數(shù)據(jù)。課程內(nèi)容始終圍繞全面提升學(xué)生的理論和操作的熟練程度、規(guī)范化程度以及職業(yè)素質(zhì)三個(gè)方面展開(kāi)。（一）知識(shí)目標(biāo)1 .理解大數(shù)據(jù)概念及應(yīng)用場(chǎng)景，先導(dǎo)課程Linux的操作2 .掌握開(kāi)發(fā)語(yǔ)言R或python3,掌握大數(shù)據(jù)HDFSHBaseHadoop集群搭建及數(shù)據(jù)批處理。4 .離線工具ETL和hive的安裝及應(yīng)用。5 .數(shù)據(jù)可視化的應(yīng)用6 .真實(shí)（二）能力目標(biāo)1.全局的眼光理解大數(shù)據(jù)，理解大數(shù)據(jù)的應(yīng)用，并有總體的概念。2,理解企業(yè)中實(shí)際生產(chǎn)環(huán)境的大數(shù)據(jù)搭建，收集，分

4、析，應(yīng)用的過(guò)程。3,具備在實(shí)際應(yīng)用場(chǎng)景中，能對(duì)數(shù)據(jù)處理流程，數(shù)據(jù)挖掘進(jìn)行個(gè)性化處理。四、課程設(shè)計(jì)主要指課程設(shè)計(jì)的總體思路：課程設(shè)計(jì)圍繞大數(shù)據(jù)分析的基礎(chǔ)和方法，考慮到實(shí)際企業(yè)生產(chǎn)環(huán)境中的應(yīng)用場(chǎng)景，課程中采用實(shí)際案例，從案例分析、啟動(dòng)、實(shí)施、驗(yàn)證各環(huán)節(jié)剖析講解，與真實(shí)環(huán)境同先導(dǎo)知識(shí)Hadoop生態(tài)大量案例II算法及模型課程案例選?。阂源罱ㄖС?0GB的數(shù)據(jù)為目標(biāo)，在目標(biāo)3機(jī)器上部署大數(shù)據(jù)倉(cāng)庫(kù)，并能實(shí)際運(yùn)行模擬手機(jī)1GB的數(shù)據(jù)，能夠通過(guò)Hive進(jìn)行查詢(xún)，為將來(lái)數(shù)據(jù)清洗和數(shù)據(jù)分析提供基礎(chǔ)。五、課程內(nèi)容與要求知識(shí)塊知識(shí)點(diǎn)課程目標(biāo)課時(shí)案例先導(dǎo)知識(shí)Linux系統(tǒng)Linux基礎(chǔ)先導(dǎo)課程，以掌握Linux基本操

5、作未基礎(chǔ)，加上對(duì)Linux操作系統(tǒng)的進(jìn)程管理的知識(shí)，為后續(xù)的部署書(shū)卜基礎(chǔ)。主要能夠熟練編輯和配置Linux下的系統(tǒng)義件并能夠查找文件和文字Linux-常用命令介紹Linux-shell的特殊符號(hào)以及VI編譯工具Linux-高級(jí)指令（系統(tǒng)管理、查詢(xún)、作業(yè)控制、進(jìn)程管理和Linux三劍客）Linux-環(huán)境艾量、初始化文件和定時(shí)服務(wù)Linux-shell腳本及編程Linux-備份工具Linux-安全性Linux-網(wǎng)絡(luò)互聯(lián)Linux-軟件的安裝和日志大數(shù)據(jù)基礎(chǔ)大數(shù)據(jù)概論大數(shù)據(jù)背景能夠高度概括大數(shù)據(jù)系統(tǒng)的前世今生，實(shí)際了解企業(yè)里面使用的大數(shù)據(jù)的場(chǎng)景人數(shù)據(jù)基本概念大數(shù)據(jù)案例大數(shù)據(jù)技術(shù)HDFSJ布式義件系統(tǒng)

6、HDF的介掌握DFS架構(gòu)，配置及日常管理HDFSS本架構(gòu)使用場(chǎng)景核心設(shè)計(jì)體系架構(gòu)命令行使用JAVA口運(yùn)行機(jī)制IO操作Hodoop集群安裝部署Linux環(huán)境準(zhǔn)備理解Hadoop生態(tài)，能夠安裝并驗(yàn)證Hadoop集群。并實(shí)際操作在現(xiàn)有生態(tài)增加組件的安裝及調(diào)整方式按照J(rèn)DK按照并配置Hadoop啟動(dòng)并驗(yàn)證Hadoop集群MapReduc計(jì)算框架編程模型WordCount局級(jí)編程編程案例應(yīng)用編程開(kāi)發(fā)MPT作機(jī)制和YARNYARNF臺(tái)簡(jiǎn)介YARN吉構(gòu)YARNS源調(diào)度作業(yè)調(diào)度數(shù)據(jù)庫(kù)知識(shí)Hbase分布式數(shù)據(jù)庫(kù)簡(jiǎn)介理解和掌握HBase的原理及操作，并能對(duì)HBase做日常管理安裝部署和Hadoop的關(guān)系核心功能模

7、塊基本概念HbaseShell命令行工具JAV蛤戶(hù)端操作MAPreduce批量操作HBASE塊數(shù)據(jù)導(dǎo)入HBASE核心概念高級(jí)特性安裝部署工作原理客戶(hù)端使用離線計(jì)算工作引擎azkaban使用能夠?qū)嶋H部署并做配置安裝部署ETL工具sqoop應(yīng)用理解ETL的實(shí)質(zhì)，并了解ETL在大數(shù)據(jù)清洗中的作用安裝部署數(shù)據(jù)倉(cāng)庫(kù)查詢(xún)HIVE基本概念掌握Hive的安裝部署及其他的安裝部署數(shù)據(jù)定義數(shù)據(jù)查詢(xún)內(nèi)置函數(shù)和UDF自定義函數(shù)和UDAFUDTF實(shí)時(shí)計(jì)算storm實(shí)時(shí)流計(jì)算框架簡(jiǎn)介能夠?qū)嶋H部署并做配置架構(gòu)按照部署核心概念和數(shù)據(jù)流模型編程實(shí)例SparkStreaming簡(jiǎn)介能夠?qū)嶋H部署并做配置架構(gòu)按照部署核心概念和數(shù)據(jù)流

8、模型編程實(shí)例R語(yǔ)言（一DR簡(jiǎn)介R是開(kāi)源軟件，多操作系統(tǒng)，眾多程序包，應(yīng)用于各行各業(yè)。函數(shù)與對(duì)象編寫(xiě)腳本R繪圖編寫(xiě)函數(shù)數(shù)據(jù)保存Python語(yǔ)3（一選）1.環(huán)境搭建及Python基礎(chǔ)1.環(huán)境搭建2.Python基本數(shù)據(jù)結(jié)構(gòu)3.Python基本語(yǔ)法2.python基礎(chǔ)工具庫(kù)1 .NumPy基礎(chǔ)：數(shù)組和矢量計(jì)算2 .高級(jí)數(shù)據(jù)結(jié)構(gòu)和操作工具：Pandas3 .數(shù)據(jù)加載、存儲(chǔ)與文件格式4 .數(shù)據(jù)規(guī)則化5 .繪圖匕可視化mllib開(kāi)發(fā)和Graphx簡(jiǎn)介MLlib的架構(gòu)MLLib中的算法算法應(yīng)用案例Graphx簡(jiǎn)介與核心功能數(shù)據(jù)分析數(shù)據(jù)分析與挖掘1 .數(shù)據(jù)聚合與分組運(yùn)算2 .利用statsmodels進(jìn)行統(tǒng)計(jì)分析3 .利用statsmodels進(jìn)行回歸分析4 .時(shí)間序列分析5 .常見(jiàn)算法介紹6 .數(shù)據(jù)挖掘項(xiàng)目實(shí)操案例分析營(yíng)銷(xiāo)數(shù)據(jù)案例分析ARPS析互聯(lián)網(wǎng)數(shù)據(jù)案例分析漏斗分析機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)基礎(chǔ)1 .感知機(jī)2 .決策樹(shù)、隨機(jī)森林3 .支持向量機(jī)(SVM)4 .正則化方法5 .主成分分析(PCA)機(jī)器學(xué)習(xí)高級(jí)1.特征工程2.參數(shù)調(diào)優(yōu)3.集成學(xué)習(xí)4.文本挖掘機(jī)器學(xué)習(xí)案例講解數(shù)據(jù)RJ視化1.web數(shù)據(jù)可視化概述2 .爬蟲(chóng)與數(shù)據(jù)處理3 .圖表口視化4 .webGIS數(shù)據(jù)可視化5 .圖可視化webGIS數(shù)據(jù)引視化圖口