大數(shù)據(jù)分析方向教學(xué)計劃

1、大數(shù)據(jù)分析課程標(biāo)準(zhǔn)一、課程定位現(xiàn)在企業(yè)為了提升客人使用體驗,提高業(yè)務(wù)效率,在大數(shù)據(jù)蓬勃發(fā)展的階段里,需要對現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行轉(zhuǎn)型升級;作為大數(shù)據(jù)核心部分,大數(shù)據(jù)研發(fā)工程師應(yīng)用成為有大量數(shù)據(jù)的企業(yè)必備人才,在數(shù)據(jù)處理,數(shù)據(jù)分析方面,大數(shù)據(jù)研發(fā)是不可或缺的技能。隨著大數(shù)據(jù)應(yīng)用的大量普及,開源框架,比如hadoop,spark等,也得到長足發(fā)展。本課程除了著力于統(tǒng)數(shù)據(jù)的收集和搭建,使得作為大數(shù)據(jù)的研發(fā)/分析帶來基礎(chǔ)設(shè)施,讓學(xué)員掌握,同時,對大數(shù)據(jù)的離線/實時處理和部分?jǐn)?shù)據(jù)分析進(jìn)行深度理解和把握。通過本課程,掌握大數(shù)據(jù)平臺并且對大數(shù)據(jù)分析的基本技能和方法,為將來在企業(yè)分析大數(shù)據(jù)做決策打下基礎(chǔ)。二、課程性

2、質(zhì)與作用課程性質(zhì)大數(shù)據(jù)分析課程。課程作用大數(shù)據(jù)分析是數(shù)據(jù)清洗過后使得數(shù)據(jù)產(chǎn)生價值的過程。在企業(yè)豐富應(yīng)用場景中,通過標(biāo)準(zhǔn)的大數(shù)據(jù)分析方法不能勝任的情況下,就需要通過先驗知識來驗證大數(shù)據(jù)并找出規(guī)律來達(dá)到業(yè)務(wù)目標(biāo)。在實際工作中,掌握大數(shù)據(jù)研分析需要展示的數(shù)理統(tǒng)計分析的知識,敏銳的數(shù)據(jù)觀察力,和部分軟件開發(fā)的知識,也需要比較扎實的計算機(jī)基礎(chǔ)。本課程大綱是完整的課程,實際培訓(xùn)課程中,會根據(jù)學(xué)員實際情況進(jìn)行分組。通過本課程的學(xué)習(xí)。三、課程目標(biāo)課程教學(xué)以靈活運用分析方法為目標(biāo),以實際項目為中心,以合理知識結(jié)構(gòu)分解為手段,結(jié)合實際的應(yīng)用場景,對大數(shù)據(jù)進(jìn)行文本,圖標(biāo)等大數(shù)據(jù)進(jìn)行分析和學(xué)習(xí),主要以實際操作讓學(xué)員對

3、相關(guān)知識點掌握,達(dá)到理論與實際結(jié)合,教學(xué)與企業(yè)融合的內(nèi)容。學(xué)員學(xué)成后,能夠利用清洗后的數(shù)據(jù),根據(jù)提供的先驗知識,可以做出模型并能夠預(yù)測業(yè)務(wù)數(shù)據(jù)。課程內(nèi)容始終圍繞全面提升學(xué)生的理論和操作的熟練程度、規(guī)范化程度以及職業(yè)素質(zhì)三個方面展開。(一知識目標(biāo)1.理解大數(shù)據(jù)概念及應(yīng)用場景,先導(dǎo)課程Linux的操作2.掌握開發(fā)語言R或python3. 掌握大數(shù)據(jù)HDFS 、HBase 、Hadoop 集群搭建及數(shù)據(jù)批處理。4. 離線工具ETL 和hive 的安裝及應(yīng)用。5. 數(shù)據(jù)可視化的應(yīng)用6. 真實(二能力目標(biāo)1.全局的眼光理解大數(shù)據(jù),理解大數(shù)據(jù)的應(yīng)用,并有總體的概念。2.理解企業(yè)中實際生產(chǎn)環(huán)境的大數(shù)據(jù)搭建,

4、收集,分析,應(yīng)用的過程。3.具備在實際應(yīng)用場景中,能對數(shù)據(jù)處理流程,數(shù)據(jù)挖掘進(jìn)行個性化處理。 四、課程設(shè)計主要指課程設(shè)計的總體思路:課程設(shè)計圍繞大數(shù)據(jù)分析的基礎(chǔ)和方法,考慮到實際企業(yè)生產(chǎn)環(huán)境中的應(yīng)用場景,課程中采用實際案例,從案例分析、啟動、實施、驗證各環(huán)節(jié)剖析講解,與真實環(huán)境同步。課程案例選取:以搭建支持10GB 的數(shù)據(jù)為目標(biāo),在目標(biāo)3機(jī)器上部署大數(shù)據(jù)倉庫,并能實際運行。模擬手機(jī)1GB 的數(shù)據(jù),能夠通過Hive 進(jìn)行查詢,為將來數(shù)據(jù)清洗和數(shù)據(jù)分析提供基礎(chǔ)。五、課程內(nèi)容與要求先導(dǎo)知識R 語言Hadoop 生態(tài)算法及模型大量案例 R 簡介 函數(shù)與對象 編寫腳本 R 繪圖 編寫函數(shù) 數(shù)據(jù)保存 Py

5、thon 語言（二選一） 1.環(huán)境搭建及 Python 基礎(chǔ) R 是開源軟件，多操 作系統(tǒng)， 眾多程序包， 應(yīng)用于各行各業(yè)。 1.環(huán)境搭建 2.Python 基本數(shù)據(jù)結(jié) 構(gòu) 3.Python 基本語法 2.python 基礎(chǔ) 工具庫 1. NumPy 基礎(chǔ)：數(shù)組 和矢量計算 2. 高級數(shù)據(jù)結(jié)構(gòu)和 操作工具：Pandas 3. 數(shù)據(jù)加載、 存儲與 文件格式 4. 數(shù)據(jù)規(guī)則化 5. 繪圖與可視化 mllib 開發(fā)和 Graphx 簡介 MLlib 的架構(gòu) MLLib 中的算法 算法應(yīng)用案例 Graphx 簡介與 核心功能 數(shù)據(jù)分析 數(shù)據(jù)分析與挖 掘 1.數(shù)據(jù)聚合與分組運 算 2.利用 statsm

6、odels 進(jìn)行統(tǒng)計分析 3.利用 statsmodels 進(jìn)行回歸分析 6/8 4.時間序列分析 5.常見算法介紹 6.數(shù)據(jù)挖掘項目實操 案例分析 營銷數(shù)據(jù)案例 分析 互聯(lián)網(wǎng)數(shù)據(jù)案 例分析 ARPU 分析 漏斗分析 1.感知機(jī) 2.決策樹、隨機(jī)森林 3.支持向量機(jī)(SVM 4.正則化方法 5.主成分分析(PCA 1. 特征工程 2. 參數(shù)調(diào)優(yōu) 3. 集成學(xué)習(xí) 4. 文本挖掘 機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)基礎(chǔ) 機(jī)器學(xué)習(xí)高級 機(jī)器學(xué)習(xí)案例 講解 1.web 數(shù)據(jù)可視化概 述 2.爬蟲與數(shù)據(jù)處理 3.圖表可視化 4.webGIS 數(shù)據(jù)可視化 5.圖可視化 數(shù)據(jù)可視化 webGIS 數(shù)據(jù)可 視化 圖可視化 數(shù)據(jù)風(fēng)控 1.風(fēng)控架構(gòu) 2.反欺詐 3.信用評估 4.貸后管理 五、考核標(biāo)準(zhǔn) 7/8 本課程屬于實踐性、應(yīng)用性比較強(qiáng)的