課程標準 - spark大數(shù)據(jù)技術

大數(shù)據(jù)應用專業(yè)Spark大數(shù)據(jù)技術與應用課程標準課程名稱：Spark課程編碼：適應對象：三年制大數(shù)據(jù)應用專業(yè)學分：5教學條件：一體化教室、武漢偉創(chuàng)聚贏科技有限公司建設團隊：共有教師xx審定機構(gòu)：教務處二、課程理念課程定位Spark繼承了MapReduce分布式計算的優(yōu)點并改進了MapReduceSparkHadoopMapReduce但不同于MapReduce，Spark的中間輸出結(jié)果可以保存在內(nèi)存中，從而大大減少了讀寫HDFSSpark在企業(yè)中的運用越來越廣泛，學習Spark分布式計算框架已然是進入大數(shù)據(jù)行業(yè)所必不可少的一步。課程改革理念大數(shù)據(jù)技術蓬勃發(fā)展，基于開源技術的Hadoop在行業(yè)中應用廣泛。但是Hadoop本身還存在諸多缺陷，最主要的缺陷是其MapReduce計算模型延遲過高，無法勝任實時、快速計算的需求。Spark的誕生彌補了MapReduce的缺陷。課程設計思路本課程采用理論與實踐相結(jié)合的教學方法。在理論上，通過典型案例引入概念、原理和方法。在實踐上，由教師講解案例背景，提供簡單思路。引導學生對案例進行針對性的分析，審理和討論，擴展學生的思維，增加學生的興趣。通過學生的討論、自主實踐和練習，提高學生的判斷能力，專業(yè)能力和綜合素質(zhì)。要求學生自主搭建Spark章的任務教學中，可適當布置聯(lián)系、組織討論、引導提出擴展的解決方案，充分調(diào)動學生的主觀能動性，錘煉學生的專業(yè)精神并提升動手能力，以達到本課程的培養(yǎng)目的。三、課程目標總目標通過本課程的學習，使學生對Spark要包括了SparkScalaSparkSpark具體目標知識目標1.了解Spark掌握如何搭建Spark掌握SparkRDD了解Spark掌握RDD掌握鍵值對RDD掌握文本文件的讀取和存儲能力目標1掌握如何在IDEA中配置Spark編程環(huán)境2掌握Spark程序的編寫掌握SparkSQL掌握SparkStreaming5掌握SparkGraphX6掌握SparkMLlib使用方法7學習ALS算法8掌握MLlib算法包的使用素質(zhì)目標①學生自主探究學習狀態(tài)②學生合作學習狀態(tài)③學生的自我感受(共鳴度、愉悅度、價值度)④與人合作的積極性四、課程教學內(nèi)容本課程由8個教學項目組成，課程具體教學內(nèi)容見表1。表1 課程教學內(nèi)容一覽表序 項目/模教學內(nèi)容/任教學/學習目標 教學活動設計 教學資源 學習地點 學時號 塊/任務 務Spark基本概念Spark發(fā)展和應用Spark概述 Spark環(huán)境配置法

SparkSpark分布式環(huán)課件、境 案、素材、掌握SparkRDD教學環(huán)境、

實訓機房 4SparkSpark基礎知識

Spark架構(gòu)及原理從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDDRDDRDD轉(zhuǎn)化操作和行動操作方法RDD鍵值對操作文件讀取與存儲下載與安裝IntelliJIDEAScala插件安裝與使用

的概念了解Spark的運行流程和原理掌握RDD的轉(zhuǎn)化操作和行動操作方法掌握鍵值對RDD的操作掌握文本文件的讀取和存儲掌握如何在IDEA中配置Spark編

實踐項目案、素材、教學環(huán)境、實踐項目

實訓機房 8Spark編程進配置Spark運行環(huán)3階 境的方法運行Spark程序的方法持久化方法SparkSQL簡介SparkSQL：SparkSQLCLI配

程環(huán)境掌握Spark的編寫

案、素材、教學環(huán)境、實踐項目

實訓機房 104 結(jié)構(gòu)化數(shù)據(jù)文置件處理 SparkSQL與交互

掌握SparkSQL使用方法 教學環(huán)境實踐項目

實訓機房 8DataFrame基礎操DataFrame基礎操作方法SparkStreaming運行原理課件、教Spark 掌握 SparkSpark Streaming 案、素材、5Streaming：Streaming使用實訓機房8使用方法 教學環(huán)境、實時計算框架 方法DStream編程模型 實踐項目基本方法圖的基本概念圖計算的應用GraphX課件、教Spark圖的創(chuàng)建與存儲掌握Spark案、素材、6GraphX：圖計實訓機房8Python 數(shù)據(jù)查詢與數(shù)據(jù)轉(zhuǎn)GraphX算框架爬蟲高 換 實踐項目階框架結(jié)構(gòu)轉(zhuǎn)換與關聯(lián)聚知識合課件、教Spark7機器學習掌握Spark案、素材、MLlib：功能 實訓機房 8MLlib介紹和應用MLlib使用方法教學環(huán)境、強大的算法庫實踐項目課件、教項目案例：餐常用推薦算法 學習ALS算法案、素材、飲平臺菜品智異常數(shù)據(jù)處理方法掌握MLlib算法 實訓機房 12教學環(huán)境、能推薦 數(shù)據(jù)變換方法 包的使用實踐項目學時合計64突出學生解決實際問題的能力，加強過程性考核。突出學生解決實際問題的能力，加強過程性考核。課程考核的成績構(gòu)成=出勤（10%）+平時作業(yè)與課堂練習+課程設計60%，題型可采用判斷題、選擇、簡答、應用題等方式。序項目/模單元教學內(nèi)容理論考試技能考核序項目/模單元教學內(nèi)容理論考試技能考核備注號 塊/任務

考試權(quán)重 內(nèi)容形式線上搭建Spark學習

考核權(quán)重 內(nèi)容方式掌握Spark作業(yè)RDD的概念、提交1 Spark概述 5% 分布式環(huán)境掌握RDD的

5% Spark平臺 或考運行流程和原考核 試理Spark基2礎知識

線上轉(zhuǎn)化操作和學習Spark編程 5% 行動操作方 平臺法考核

掌握鍵值對作業(yè)RDD的操作提交掌握文本文件或考的讀取和存儲試Spark編程3進階

掌握如何在線上IDEA中配置學習8% Spark編程環(huán) 平臺境考核

Spark序的編寫或考試SparkSQL：4 結(jié)構(gòu)化數(shù)據(jù)文件處理SparkStreaming

線上掌握Spark學習8%SQL使用方法平臺考核線上掌握Spark學習

掌握Spark提交SQL試掌握Spark提交5Spark計算框架

8%實時計算框架Spark

Streaming使用方法Spark

8% Streaming使平臺 或考用方法考核 試線上 作業(yè)6 GraphX：圖計算框架SparkMLlib：功能7 5%強大的算法庫

學習GraphX使用 平臺方法考核線上SparkMLlib學習5%使用方法 平臺考核

SparkGraphX使用方法 或試作SparkMLlib提使用方法 或試筆試筆試項目案例：學習ALS算或線MLlib8餐飲平臺菜6%法6%上考法包的使用品智能推薦試試本課程為專業(yè)必修課，根據(jù)《武漢警官職業(yè)學院學分制管理辦法5必須參加32學時的理論學習和32學時的實驗（實訓、實習、設計等）教學活動，并經(jīng)考核合格才能取得相應學時學分，學分績點根據(jù)課程綜合評定成績計算。課程期末總評成績45～59.9分（按百分制折算）的學生，允許參加正常補考一次，補考內(nèi)容包括理論考試和技能考核，各占50%，總評合格者給予相應學時學分七、教學建議（一）教學方法本課程采用理論與實踐相結(jié)合的教學方法。在理論上，通過典型案例引入概念、原理和方法。在實踐上，由教師講解案例背景，提供簡單思路。引導學生對案例進行針對性的分析，審理和討論，擴展學生的思維，增加學生的興趣。通過學生的討論、自主實踐和練習，提高學生的判斷能力，專業(yè)能力和綜合素質(zhì)。要求學生自主搭建Spark章的任務教學中，可適當布置聯(lián)系、組織討論、引導提出擴展的解決方案，充分調(diào)動學生的主觀能動性，錘煉學生的專業(yè)精神并提升動手能力，以達到本課程的培養(yǎng)目的。（二）教學條件1.教室機房安裝所有大數(shù)據(jù)VM,Spark,hadoop,scala專業(yè)應用的相關軟件，比如常用軟件虛擬機,等軟件。2.校內(nèi)實訓基地表3XX課程實驗室主要儀器設備實訓室名稱設備名稱規(guī)格數(shù)量教師機I5處理器，8G內(nèi)存，4G獨立顯卡1學生機I5處理器，8G內(nèi)存，4G獨立顯卡50大數(shù)據(jù)實投影儀EPSONCB-X041訓室投影幕布120寸紅葉電動幕布1投影機吊箱定制1音響系統(tǒng)萬利達Y51實訓室名稱設備名稱規(guī)格數(shù)量路由器H3CER31001機柜標準600*600*12001交換機H3CS1024R24口百兆3理線器16空位3服務器晨光溢海1八、資源開發(fā)與利用（一）教材編寫與使用情況教材肖芳，張良均．Spark大數(shù)據(jù)技術