大數(shù)據(jù)分析方向教學計劃

PAGEPAGE8/8大數(shù)據(jù)分析課程標準一、課程定位現(xiàn)在企業(yè)為了提升客人使用體驗，提高業(yè)務效率，在大數(shù)據(jù)蓬勃發(fā)展的階段里，需要對現(xiàn)有業(yè)務系統(tǒng)進行轉型升級；作為大數(shù)據(jù)核心部分，大數(shù)據(jù)研發(fā)工程師應用成為有大量數(shù)據(jù)的企業(yè)必備人才，在數(shù)據(jù)處理，數(shù)據(jù)分析方面，大數(shù)據(jù)研發(fā)是不可或缺的技能。/分析帶來基礎設施，讓學員掌握，同時，對大數(shù)據(jù)的離線/實時處理和部分數(shù)據(jù)分析進行深度理解和把握。大數(shù)據(jù)做決策打下基礎。二、課程性質(zhì)與作用課程性質(zhì)大數(shù)據(jù)分析課程。課程作用大數(shù)據(jù)分析是數(shù)據(jù)清洗過后使得數(shù)據(jù)產(chǎn)生價值的過程。在企業(yè)豐富應用場景中，通過標準的大數(shù)據(jù)分析方法不能勝任的情況下，就需要通過先驗知識來驗證大數(shù)據(jù)并找出規(guī)律來達到業(yè)務目標。在實際工作中，掌握大數(shù)據(jù)研分析需要展示的數(shù)理統(tǒng)計分析的知識，敏銳的數(shù)據(jù)觀察力，和部分軟件開發(fā)的知識，也需要比較扎實的計算機基礎。本課程大綱是完整的課程，實際培訓課程中，會根據(jù)學員實際情況進行分組。通過本課程的學習。三、課程目標課程教學以靈活運用分析方法為目標，以實際項目為中心，以合理知識結構分解為手段，結合實際的應用場景，對大數(shù)據(jù)進行文本，圖標等大數(shù)據(jù)進行分析和學習，主要以實際操作讓學員對相關知識點掌握，達到理論與實際結合，教學與企業(yè)融合的內(nèi)容。學員學成后，能夠利用清洗后的數(shù)據(jù)，根據(jù)提供的先驗知識，可以做出模型并能夠預測業(yè)務數(shù)據(jù)。課程內(nèi)容始終圍繞全面提升學生的理論和操作的熟練程度、規(guī)范化程度以及職業(yè)素質(zhì)三個方面展開。（一）知識目標LinuxRpython先導知識R語言Hadoop先導知識R語言Hadoop生態(tài)大量案例算法及模型ETLhive數(shù)據(jù)可視化的應用真實（二）能力目標全局的眼光理解大數(shù)據(jù)，理解大數(shù)據(jù)的應用，并有總體的概念。理解企業(yè)中實際生產(chǎn)環(huán)境的大數(shù)據(jù)搭建，收集，分析，應用的過程。具備在實際應用場景中，能對數(shù)據(jù)處理流程，數(shù)據(jù)挖掘進行個性化處理。四、課程設計主要指課程設計的總體思路：課程設計圍繞大數(shù)據(jù)分析的基礎和方法，考慮到實際企業(yè)生產(chǎn)環(huán)境中的應用場景，課程中采用實際案例，從案例分析、啟動、實施、驗證各環(huán)節(jié)剖析講解，與真實環(huán)境同步。課程案例選取：10GB31GBHive知識塊知識點知識塊知識點課程目標課時案例先導知識Linux系統(tǒng) Linux基礎Linux-常用命令介紹Linux-shellVILinux-高級指令（系統(tǒng)管理、查詢、作業(yè)控制、進程管理和Linux三劍客）Linux-環(huán)境變量、初始化文件和定時服務Linux-shell腳本及編程Linux-備份工具Linux-安全性Linux-網(wǎng)絡互聯(lián)Linux-軟件的安裝和日志

LinuxLinux練編輯和配置Linux和文字大數(shù)據(jù)基礎大數(shù)據(jù)概論 大數(shù)據(jù)背景大數(shù)據(jù)案例大數(shù)據(jù)技術

據(jù)系統(tǒng)的前世今的場景HDFS件系統(tǒng)

HDFSHDFS核心設計體系架構

DFS置及日常管理Hodoop裝部署

JAVA運行機制IOLinuxJDK

Hadoop能夠安裝并驗證按照并配置HadoopHadoop啟動并驗證Hadoop際操作在現(xiàn)有生態(tài)MapReduce框架數(shù)據(jù)庫知識

集群編程模型編程案例應用編程開發(fā)MPYARNYARNYARNYARN

增加組件的安裝及調(diào)整方式

WordCount高級編程Hbase據(jù)庫

簡介 理解和掌握HBase的原理及操作，安裝部署Hadoop核心功能模塊基本概念HbaseShell行工具JAVA作HBASE核心概念

HBase管理離線計算工作引擎azkabanETLsqoop數(shù)據(jù)倉庫查詢HIVE實時計算

高級特性安裝部署工作原理使用應用安裝部署內(nèi)置函數(shù)和UDF自定義函數(shù)和UDAFUDTF

能夠?qū)嶋H部署并做配置ETLETL據(jù)清洗中的作用Hivestorm架

簡介架構按照部署據(jù)流模型編程實例

能夠?qū)嶋H部署并做配置SparkStreaming 按照部署據(jù)流模型編程實例

能夠?qū)嶋H部署并做配置R語言（二選一）R簡介編寫腳本R繪圖Python語言（二選一）Pythonpython工具庫mllibGraphx簡介MLlib算法應用案例Graphx

R應用于各行各業(yè)。1.環(huán)境搭建2.Python構3.Python基本語法NumPy和矢量計算操作工具：Pandas文件格式數(shù)據(jù)規(guī)則化繪圖與可視化數(shù)據(jù)分析

數(shù)據(jù)分析與挖掘

算statsmodels進行統(tǒng)計分析statsmodels進行回歸分析時間序列分析常見算法介紹數(shù)據(jù)挖掘項目實操案例分析 營銷數(shù)據(jù)案分析互聯(lián)網(wǎng)數(shù)據(jù)案例分析機器學習機器學習基礎機器學習高級機器學習案例講解

ARPU分析漏斗分析1.感知機決策樹、隨機森林支持向量機(SVM)正則化方法主成分分析(PCA)特征工程參數(shù)調(diào)優(yōu)集成學習文本挖掘數(shù)據(jù)可視化

web述爬蟲與數(shù)據(jù)處理圖表可視化webGIS圖可視化數(shù)據(jù)風控

webGIS數(shù)據(jù)可視化圖可視化1.反欺詐信用評估貸后管理五、考核標