8、大數(shù)據(jù)技術(shù)之spark入門(mén)2課程大綱

1、課程大綱課 程 名 稱 大數(shù)據(jù)技術(shù)之Spark 入門(mén)填 制 日 期 2016 年 8 月一、課程描述培訓(xùn)對(duì)象業(yè)務(wù)支撐課程名稱大數(shù)據(jù)技術(shù)之 Spark 入門(mén)培訓(xùn)方式講授互動(dòng)考核方式筆試（選擇、判斷）培訓(xùn)4最佳人數(shù)一、課程簡(jiǎn)介于 2015 年 8 月份下發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要，標(biāo)志著大數(shù)據(jù)進(jìn)入了前所未有的高度。大數(shù)據(jù)具有 4V 特征，如何從 的、無(wú)序的數(shù)據(jù)中挖掘數(shù)據(jù)價(jià)值， 數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新能力是關(guān)鍵。Spark 作為熱門(mén)的大數(shù)據(jù)技術(shù)之一，以其數(shù)據(jù)不落地的優(yōu)勢(shì)，成為了實(shí)時(shí)類業(yè)務(wù)的技術(shù)寵兒。 在本次課程中，通過(guò)講授的形式，帶領(lǐng)大家開(kāi)啟 spark 技術(shù)的大門(mén)，掌握 spark 技術(shù)的特點(diǎn)、生態(tài)及適用場(chǎng)景

2、。二、培訓(xùn)目標(biāo)任務(wù)目標(biāo)：參加該培訓(xùn)后，學(xué)員能夠準(zhǔn)確說(shuō)出 Spark 的技術(shù)及四個(gè)生態(tài)組件。培訓(xùn)結(jié)束后，學(xué)員能夠舉例說(shuō)出至少兩個(gè) Spark 的應(yīng)用場(chǎng)景。參加本課程學(xué)習(xí)之后，學(xué)員可準(zhǔn)確描述實(shí)時(shí)業(yè)務(wù)場(chǎng)景的實(shí)現(xiàn)原理及技術(shù)架構(gòu)。知識(shí)目標(biāo)：通過(guò)對(duì) MapReduce 技術(shù)的剖析，引入 Spark 技術(shù)的產(chǎn)生背景，讓學(xué)員了解 Spark技術(shù)的特點(diǎn)及優(yōu)勢(shì)，能夠清晰的闡述 Spark 和 MapReduce 的四點(diǎn)區(qū)別。通過(guò)對(duì) Spark 生態(tài)組件的介紹和講解，使學(xué)員能夠深入理解 Spark 各組件的工作原理及應(yīng)用場(chǎng)景，并可依據(jù)特定場(chǎng)景選擇技術(shù)組件。通過(guò)對(duì)案例的分析，使學(xué)員能夠掌握基本的流處理業(yè)務(wù)流程，可獨(dú)立

3、設(shè)計(jì)技術(shù)框架。三、參考資料1、Spark 官網(wǎng)2、大數(shù)據(jù) Spark 企業(yè)級(jí)實(shí)戰(zhàn)，王家林，電子工業(yè)3、公司內(nèi)部相關(guān)材料四、設(shè)施要求投影儀大白板、白板筆（藍(lán)各色）激光筆、點(diǎn)貼、小獎(jiǎng)品二、課程章節(jié)索引（三級(jí)目錄）章錄培訓(xùn)方法1、 課程導(dǎo)入 （20 分鐘）講授+互動(dòng)大數(shù)據(jù)發(fā)展形勢(shì)大好大數(shù)據(jù)處理場(chǎng)景對(duì)應(yīng)多種技術(shù)2、Spark 簡(jiǎn)介（30 分鐘）講授+互動(dòng)SparkSpark 技術(shù)的產(chǎn)生背景MapReduce 的局限性Spark 技術(shù)應(yīng)運(yùn)而生Spark 的技術(shù)優(yōu)勢(shì)Spark 的幾個(gè)重要概念3、Spark 工作原理介紹（100 分鐘）講授+互動(dòng)Spark 生態(tài)組件總覽Spark 生態(tài)組件原理介紹Spark Core 原理介紹SparkSQL 原理介紹Spark Streaming 原理介紹GraphX 原理介紹MLlib 原理介紹Spark 工作模式Spark 任務(wù)調(diào)度Standalone 工作模式Y(jié)ARN 工作模式Mesos 工作模式4、Spark 技術(shù)的應(yīng)用（40