Spark大數(shù)據(jù)技術(shù)與應(yīng)用教學(xué)大綱

1、、課程的性質(zhì)、地位與任務(wù)該課程是專(zhuān)業(yè)基礎(chǔ)課，其目標(biāo)是培養(yǎng)學(xué)生掌握 Spark大數(shù)據(jù)計(jì)算框架的基本原理和使用， 培養(yǎng)學(xué)生大數(shù)據(jù)思維與動(dòng)手能力。二、課程的教學(xué)目標(biāo)與基本要求Spark大數(shù)據(jù)技術(shù)與應(yīng)用介紹了大數(shù)據(jù)處理框架Spark的使用，為大數(shù)據(jù)分析與應(yīng)用提供了強(qiáng)有力的工具。通過(guò)該課程可以了解大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)中大數(shù)據(jù)計(jì)算框架發(fā)揮的重要 作用。本課程以理論指導(dǎo)實(shí)踐，以實(shí)踐加深理論的理解，循序漸進(jìn)通過(guò)對(duì)Spark的講解與實(shí) 操，對(duì)大數(shù)據(jù)分析與應(yīng)用產(chǎn)生更直觀的認(rèn)識(shí)。三、課程內(nèi)容（各章節(jié)主要知識(shí)點(diǎn)見(jiàn)課程實(shí)施計(jì)劃）第1章Spark簡(jiǎn)介與運(yùn)行原理Spark是什么Spark的版本發(fā)展歷程Spark與Hadoop的區(qū)

2、別與聯(lián)系Spark的應(yīng)用場(chǎng)景Spark的生態(tài)系統(tǒng)Spark CoreSpark StreamingSpark SQL 與 DataFrameGraphXSpark的構(gòu)架與原理Spark架構(gòu)設(shè)計(jì)Spark作業(yè)運(yùn)行流程Spark核心原理Spark 2.X 新特性精簡(jiǎn)的APISpark作為編譯器智能化程度小結(jié)第2章 Spark的環(huán)境搭建環(huán)境搭建前的準(zhǔn)備Spark相關(guān)配置安裝 SSHSSH免密碼登錄修改訪問(wèn)權(quán)限修改profile文件修改Spark配置文件Spark集群?jiǎn)?dòng)與關(guān)閉Spark應(yīng)用提交到集群Spark web監(jiān)控頁(yè)面小結(jié)第3章 使用Python開(kāi)發(fā)Spark應(yīng)用Python編程語(yǔ)言Pytho

3、n語(yǔ)言的特點(diǎn)Python與人工智能PySpark 是什么PySpark啟動(dòng)與日志設(shè)置PySpark的啟動(dòng)方式日志輸出內(nèi)容控制PySpark開(kāi)發(fā)包的安裝使用pip命令安裝使用離線包安裝PyCharm 編寫(xiě) Spark 應(yīng)用PyCharm安裝與基本配置Spark應(yīng)用編寫(xiě)小結(jié)第 4 章 Spark RDD彈性分布式數(shù)據(jù)集RDDRDD的定義RDD的特點(diǎn)RDD的創(chuàng)建RDD的操作transform 算子map 轉(zhuǎn)換flatMap 轉(zhuǎn)換filter 轉(zhuǎn)換union 轉(zhuǎn)換intersection 轉(zhuǎn)換distinct 轉(zhuǎn)換sortBy 轉(zhuǎn)換mapPartitions 轉(zhuǎn)換mapPartitionsWithIn

4、dex 轉(zhuǎn)換partitionBy 轉(zhuǎn)換action 算子reduce(f)動(dòng)作collect()動(dòng)作count()動(dòng)作take( num)動(dòng)作first()動(dòng)作top(num)動(dòng)作saveAsTextFile 動(dòng)作foreach( f)動(dòng)作foreachPartition(f)動(dòng)作RDD Key-value 轉(zhuǎn)換算子mapValues(f)操作flatMapValues(f)操作reduceByKey 操作groupByKey 操作sortByKey 操作keys()操作values()操作join 操作leftOuterJoin 操作rightOuterJoin 操作RDD key-val

5、ue 動(dòng)作運(yùn)算collectAsMap()操作countByKey()操作共享變量累力口器 accumulator廣播變量 Broadcast依賴(lài)關(guān)系血統(tǒng) Lineage寬依賴(lài)與窄依賴(lài)shuffleDAG的生成Spark RDD的持久化持久化使用方法持久化存儲(chǔ)等級(jí)檢查點(diǎn) checkpoint小節(jié)第 5 章 DataFrame & Spark SQLDataFrameDataFrame 介紹DataFrame 創(chuàng)建Spark SQLSpark SQL 介紹Spark SQL的執(zhí)行原理Spark SQL 的創(chuàng)建Spark SQL、DataFrame 的常用操作字段計(jì)算條件查詢(xún)數(shù)據(jù)排序數(shù)據(jù)去重?cái)?shù)據(jù)分

6、組統(tǒng)計(jì)數(shù)據(jù)連接數(shù)據(jù)繪圖小結(jié)第 6 章 Spark StreamingSpark Streaming 介紹SparkStreaming 是什么SparkStreaming 工作原理流數(shù)據(jù)加載初始化 StreamingContextDiscretized Streams 離散化流SparkStreaming 數(shù)據(jù)源DStreams輸出操作DStream轉(zhuǎn)換操作map 轉(zhuǎn)換flatMap 轉(zhuǎn)換filter 轉(zhuǎn)換reduceByKey 轉(zhuǎn)換count 轉(zhuǎn)換updateStateByKey 轉(zhuǎn)換其他轉(zhuǎn)換DataFrame 與 SQL 操作實(shí)時(shí)WordCount實(shí)驗(yàn)小結(jié)第7章Spark機(jī)器學(xué)習(xí)庫(kù)Spark

7、機(jī)器學(xué)習(xí)庫(kù)機(jī)器學(xué)習(xí)簡(jiǎn)介Spark機(jī)器學(xué)習(xí)庫(kù)的構(gòu)成準(zhǔn)備數(shù)據(jù)獲取數(shù)據(jù)數(shù)據(jù)預(yù)處理數(shù)據(jù)探索使用MLib機(jī)器學(xué)習(xí)庫(kù)搭建環(huán)境加載數(shù)據(jù)探索數(shù)據(jù)預(yù)測(cè)嬰兒生存機(jī)會(huì)使用ML機(jī)器學(xué)習(xí)庫(kù)轉(zhuǎn)換器、評(píng)估器和管道預(yù)測(cè)嬰兒生存機(jī)會(huì)小結(jié)第8章 GraphFrames圖計(jì)算圖度（degree）路徑（path）和環(huán)（cycle）二分圖(bipartite graph )多重圖(multigraph)和偽圖(pseudograph)GraphFrames 介紹應(yīng)用背景GraphFrames 庫(kù)使用 GraphFrames 庫(kù)GraphFrame 編程模型GraphFrame 實(shí)例視圖和圖操作模式發(fā)現(xiàn)(Modif 巾nding )圖加

8、載和保存GraphFrames實(shí)現(xiàn)的算法廣度優(yōu)先搜索(BFS,Breadth-first search)最短路徑(Shortest Path)三角形計(jì)數(shù)(Triangle Counting )連通分量(Connected Components )標(biāo)簽傳播算法(LPA,Label propagation algorithm)PageRank 算法基于GraphFrames的網(wǎng)頁(yè)排名準(zhǔn)備數(shù)據(jù)集創(chuàng)建 GraphFrame使用PageRank進(jìn)行網(wǎng)頁(yè)排名小結(jié)第9章 出租車(chē)數(shù)據(jù)分析數(shù)據(jù)處理數(shù)據(jù)分析創(chuàng)建 DataFrameKMeans聚類(lèi)分析百度地圖可視化申請(qǐng)地圖key聚類(lèi)結(jié)果可視化小結(jié)第10章圖書(shū)推薦系

9、統(tǒng)Django 簡(jiǎn)介Django 是什么Django 的安裝ORM 模型Template 模板View 視圖Django項(xiàng)目搭建創(chuàng)建項(xiàng)目創(chuàng)建應(yīng)用創(chuàng)建模型推薦引擎設(shè)計(jì)導(dǎo)入數(shù)據(jù)訓(xùn)練模型圖書(shū)推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)BootStrap介紹與使用Redis數(shù)據(jù)庫(kù)安裝與使用視圖與路由設(shè)計(jì)小結(jié)四、時(shí)間分配課 程 分 段 標(biāo) 識(shí)序 號(hào)教學(xué)內(nèi)容教學(xué)環(huán)節(jié)(學(xué)時(shí))講課習(xí) 題實(shí) 驗(yàn)上機(jī)課 外小 計(jì)1第1章Spark簡(jiǎn)介與運(yùn)行原理( 1.1 1.4)22第2章Spark的環(huán)境搭建( 2.1 2.5)23第3章使用Python開(kāi)發(fā)Spark應(yīng)用( 3.1 3.4)24第 4 章 Spark RDD ( 4.1 4.7)45第

10、5 章 Spark SQL & DataFrame ( 5.1 5.4)46第 6 章 Spark Streaming ( 6.1 6.6)47第7章Spark機(jī)器學(xué)習(xí)庫(kù)( 7.1 7.6)48第 8 章 GraphFrames 圖計(jì)算( 8.1 8.5)49第9章 出租車(chē)數(shù)據(jù)分析( 9.1 9.3)210第10章 圖書(shū)推薦系統(tǒng)( 10.1 10.5)4總 計(jì)32五、課程說(shuō)明課程英文名稱(chēng)Big data technology and Application with Spark主要先修課程Spark大數(shù)據(jù)技術(shù)與應(yīng)用適用專(zhuān)業(yè)類(lèi)別計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)，信息管理與信息工程、軟件工程主要教材 Spar

11、k大數(shù)據(jù)技術(shù)與應(yīng)用白皮書(shū)考核方式考試課程簡(jiǎn)介該課程是專(zhuān)業(yè)基礎(chǔ)課，其目標(biāo)是培養(yǎng)學(xué)生掌握Spark大數(shù)據(jù)計(jì)算框架的基本原理和使用，培養(yǎng)學(xué)生具備大數(shù)據(jù)思維與動(dòng)手能力。必 開(kāi) 實(shí) 驗(yàn) 項(xiàng) 目序號(hào)項(xiàng)目名稱(chēng)實(shí)驗(yàn)內(nèi)容提要學(xué)時(shí)1Spark偽分體式集群拾建基于實(shí)驗(yàn)講授Spark集群的搭建2基于RDD勺Word Count實(shí)驗(yàn)基于實(shí)驗(yàn)講授RDD勺使用3Spark DataFrame 實(shí)驗(yàn)基于實(shí)驗(yàn)講授Spark DataFrame的使 用4Spark SQL 實(shí)驗(yàn)基于實(shí)驗(yàn)講授Spark SQL的使用5SparkStreaming WordCount 實(shí)驗(yàn)基于實(shí)驗(yàn)講授Spark Streaming 的使 用6基于ML

12、lib電影推薦系統(tǒng)實(shí)驗(yàn)基于實(shí)驗(yàn)講授Spark MLlib的使用7出租車(chē)數(shù)據(jù)聚類(lèi)分析實(shí)驗(yàn)基于實(shí)驗(yàn)講授Spark MLlib的使用8基于GraphFrames的網(wǎng)貝排名 實(shí)驗(yàn)基于實(shí)驗(yàn)講授Spark圖計(jì)算的原理和 使用六、實(shí)踐教學(xué)大綱課程名稱(chēng)Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程編碼一、本課程實(shí)踐教學(xué)目的與要求：通過(guò)實(shí)驗(yàn)加深對(duì)Spark各個(gè)組件的認(rèn)識(shí)，提高解決實(shí)際工程問(wèn)題的能力。二、本次實(shí)踐教學(xué)項(xiàng)目和主要內(nèi)容序號(hào)項(xiàng)目名稱(chēng)學(xué)時(shí)主要內(nèi)容1Spark偽分體式集群拾建4設(shè)計(jì)性2基于RDD勺Word Count實(shí)驗(yàn)2設(shè)計(jì)性3Spark DataFrame 實(shí)驗(yàn)2設(shè)計(jì)性4Spark SQL 實(shí)驗(yàn)4設(shè)計(jì)性5SparkSt

13、reaming WordCount 實(shí)驗(yàn)2設(shè)計(jì)性6基于MLlib電影推薦系統(tǒng)實(shí)驗(yàn)4設(shè)計(jì)性7出租車(chē)數(shù)據(jù)聚類(lèi)分析實(shí)驗(yàn)4設(shè)計(jì)性8基于GraphFrames的網(wǎng)貝排名實(shí)驗(yàn)4設(shè)計(jì)性三、實(shí)驗(yàn)說(shuō)明課程總學(xué)分實(shí)驗(yàn)學(xué)時(shí)數(shù)32實(shí)驗(yàn)項(xiàng)目數(shù)課程性質(zhì)通識(shí)基礎(chǔ)口學(xué)科基礎(chǔ)口專(zhuān)業(yè)選修集中實(shí)踐環(huán)節(jié)口實(shí)驗(yàn)類(lèi)別課程內(nèi)實(shí)驗(yàn)口獨(dú)立設(shè)課實(shí)驗(yàn)集中綜合實(shí)驗(yàn)口考核方式日常考核操作技能考核卷面考核口提交實(shí)驗(yàn)結(jié)果面試口適用專(zhuān)業(yè)與年級(jí)：大數(shù)據(jù)科學(xué)與技術(shù)，計(jì)算機(jī)科學(xué)與技術(shù)，軟件工程實(shí)驗(yàn)教材及參考書(shū)：注：實(shí)踐教學(xué)類(lèi)型一般分為演示性、驗(yàn)證性、綜合性、設(shè)計(jì)性、研究創(chuàng)新性6種。七、課程實(shí)施計(jì)劃序 號(hào)教學(xué) 方式教學(xué)內(nèi)容（標(biāo)注重點(diǎn)A ,難點(diǎn)）作業(yè) 要求教學(xué)目標(biāo)1

14、課堂 講課第1章Spark簡(jiǎn)介與運(yùn)行原理Spark是什么Spark的版本發(fā)展歷程A 1.1.2 Spark與Hadoop的區(qū)別與聯(lián)系A(chǔ)1.1.3 Spark的應(yīng)用場(chǎng)景Spark的生態(tài)系統(tǒng)Spark CoreSpark StreamingSpark SQL 與 DataFrameGraphXSpark的構(gòu)架與原理A 1.3.1 Spark架構(gòu)設(shè)計(jì)A 1.3.2 Spark作業(yè)運(yùn)行流程A 1.3.3 Spark核心原理Spark 2.X 新特性精簡(jiǎn)的APISpark作為編譯器智能化程度小結(jié)課后了解Spark 在 行業(yè)中的 應(yīng)用有哪 些了解 Spark 的發(fā)展歷 程，了解 Spark生態(tài) 系統(tǒng)以及

15、架構(gòu)原理，了解Spark2.x版本與之 前版本的 區(qū)別。2課堂 講課第2章 Spark的環(huán)境搭建環(huán)境搭建前的準(zhǔn)備Spark相關(guān)配置安裝 SSHSSH免密碼登錄修改訪問(wèn)權(quán)限A 2.2.4 修改 profile 文件A 2.2.5 修改Spark配置文件Spark集群?jiǎn)?dòng)與關(guān)閉2.4 Spark應(yīng)用提交到集群A 2.5 Spark web監(jiān)控頁(yè)面2.6 小結(jié)在電腦中 安裝部署 偽分布式 Spark 集群了解Spark集群 環(huán)境搭建 的整個(gè)過(guò) 程。3課堂 講課第3章 使用Python開(kāi)發(fā)Spark應(yīng)用Python編程語(yǔ)百Python語(yǔ)言的特點(diǎn)Python與人工智能A 3.1.3 PySpark 是什

16、么PySpark啟動(dòng)與日志設(shè)置PySpark的啟動(dòng)方式日志輸出內(nèi)容控制PySpark開(kāi)發(fā)包的安裝A 3.3.1使用pip命令安裝A 3.3.2使用離線包安裝PyCharm 編寫(xiě) Spark 應(yīng)用A 3.4.1 PyCharm女裝與基本配置3.4.2 Spark應(yīng)用編寫(xiě)小結(jié)了解Python 編 程語(yǔ)言的 特點(diǎn)和基 本語(yǔ)法，配 置 Spark 的 Python 編程環(huán)境熟悉使用 Python 開(kāi) 發(fā) Spark 的環(huán)境搭 建。4課堂 講課第 4 章 Spark RDD彈性分布式數(shù)據(jù)集RDDA4.1.1 RDD的定義A 4.1.2 RDD的特點(diǎn)A4.1.3 RDD的創(chuàng)建4.1.4 RDD的操作4.2

17、 transform 算子map 轉(zhuǎn)換flatMap 轉(zhuǎn)換filter 轉(zhuǎn)換union 轉(zhuǎn)換intersection 轉(zhuǎn)換distinct 轉(zhuǎn)換sortBy 轉(zhuǎn)換mapPartitions 轉(zhuǎn)換mapPartitionsWithIndex 轉(zhuǎn)換partitionBy 轉(zhuǎn)換4.3 action 算子4.3.1 reduce動(dòng)作課后在官 網(wǎng)中了解 RDD的其 他算子， 并對(duì)常見(jiàn) 的算子進(jìn) 行練習(xí)。了解Spark 中 RDD的定 義、特點(diǎn)。熟悉RDD 常見(jiàn)算子 的使用以 及依賴(lài)關(guān) 系和持久 化。10collect()動(dòng)作count()動(dòng)作take( num)動(dòng)作first()動(dòng)作top(num)動(dòng)作

18、saveAsTextFile 動(dòng)作foreach( f)動(dòng)作foreachPartition(f)動(dòng)作4.4 RDD Key-value 轉(zhuǎn)換算子mapValues(f)操作flatMapValues(f)操作reduceByKey 操作groupByKey 操作sortByKey 操作keys()操作values()操作join 操作leftOuterJoin 操作rightOuterJoin 操作4.5 RDD key-value 動(dòng)作運(yùn)算collectAsMap()操作countByKey()操作4.6 共學(xué)艾量累力口器 accumulator廣播變量 Broadcast4.7依賴(lài)關(guān)系血

19、統(tǒng) Lineage寬依賴(lài)與窄依賴(lài)shuffleDAG的生成4.8 Spark RDD的持久化4.8.1持久化使用方法4.8.2持久化存儲(chǔ)等級(jí)4.8.3 檢查點(diǎn) checkpoint114.9 小節(jié)5課堂 講課第 5 章 DataFrame & Spark SQLDataFrameDataFrame 介紹A 5.1.2 DataFrame 創(chuàng)建Spark SQLSpark SQL 介紹A 5.2.2 Spark SQL的執(zhí)行原理A 5.2.3 Spark SQL 的創(chuàng)建A 5.3 Spark SQL、DataFrame 的常用操作字段計(jì)算條件查詢(xún)數(shù)據(jù)排序數(shù)據(jù)人重?cái)?shù)據(jù)分組統(tǒng)計(jì)數(shù)據(jù)連接數(shù)據(jù)繪圖5.4

20、 小結(jié)了解如何 連接Mysql 數(shù)據(jù)庫(kù)進(jìn)行 查詢(xún)統(tǒng) 計(jì)。熟悉SparkSQL、SparkData frame 使 用，了解SparkSQL 與SparkDataFrame 的 區(qū)別與聯(lián) 系。6課堂 講課第 6 章 Spark StreamingSpark Streaming 介紹SparkStreaming 是什么A 6.1.2 SparkStreaming 工作原理A 6.2流數(shù)據(jù)加載初始化 StreamingContextDiscretized Streams 離散化流SparkStreaming 數(shù)據(jù)源A 6.3 DStreams輸出操作A 6.4 DStream轉(zhuǎn)換操作map 轉(zhuǎn)換fl

21、atMap 轉(zhuǎn)換filter 轉(zhuǎn)換reduceByKey 轉(zhuǎn)換count 轉(zhuǎn)換updateStateByKey 轉(zhuǎn)換了解socket 、TCP/IP、 UD項(xiàng)、議, 查詢(xún)流計(jì) 算使用的熟悉SparkStre aming的定 義，數(shù)據(jù)的 加載、轉(zhuǎn)換 輸出等操 作的使用。126.4.7其他轉(zhuǎn)換6.5 DataFrame 與 SQL 操作A 6.6 實(shí)時(shí) WordCount 實(shí)驗(yàn)6.7 小結(jié)7課堂 講課第7章 Spark機(jī)器學(xué)習(xí)庫(kù)Spark機(jī)器學(xué)習(xí)庫(kù)A 7.1.1機(jī)器學(xué)習(xí)簡(jiǎn)介A 7.1.2 Spark機(jī)器學(xué)習(xí)庫(kù)的構(gòu)成準(zhǔn)備數(shù)據(jù)狄取數(shù)據(jù)數(shù)據(jù)預(yù)處理數(shù)據(jù)探索使用MLib機(jī)器學(xué)習(xí)庫(kù)搭建環(huán)境加載數(shù)據(jù)探索數(shù)據(jù)預(yù)測(cè)

22、嬰兒生存機(jī)會(huì)使用ML機(jī)器學(xué)習(xí)庫(kù)轉(zhuǎn)換器、評(píng)估器和管道預(yù)測(cè)嬰兒生存機(jī)會(huì)小結(jié)了解機(jī)器 學(xué)習(xí)的應(yīng) 用領(lǐng)域有 哪些，嘗 試使用MLlib 實(shí) 現(xiàn)對(duì)出租 車(chē)數(shù)據(jù)進(jìn)行k-means 聚類(lèi)。了解機(jī)器 學(xué)習(xí)的定 義以及機(jī) 器學(xué)習(xí)的 一般流程， 熟悉SparkMLli b的使用。了解SparkMLLi b和ML包 之間的區(qū) 別與聯(lián)系。8課堂 講課第8章 GraphFrames圖計(jì)算A 8.1 圖度(degree)路徑(path)和環(huán)(cycle)二分圖(bipartite graph )多重圖(multigraph) 和偽圖(pseudograph) 8.2 GraphFrames 介紹應(yīng)用背景GraphFrames 庫(kù)使用 GraphFrames 庫(kù)8.3 GraphFrame 編程模型GraphFrame 實(shí)例了解圖的 定義、類(lèi) 型，了解 圖在各個(gè)