《Spark大數據開發(fā)技術》課程教學大綱

《Spark大數據開發(fā)技術》教學大綱適用范圍：2020版本科人才培養(yǎng)方案課程代碼：08150491課程性質：專業(yè)選修課學分：4學分學時：64學時（其中：理論48學時，實驗16學時）先修課程：Linux、Python、大數據平臺與架構等后續(xù)課程：適用專業(yè)：軟件工程、數據科學與大數據技術教材：Spark編程基礎（Scala版）.林子雨主編，人民郵電出版社，2018.08開課單位：計算機科學與技術學院一、課程的性質與任務課程性質：本課程是軟件工程、數據科學與大數據技術專業(yè)的專業(yè)選修課。課程任務：通過對本課程的學習，讓學生在對大數據技術有一定了解的基礎上，進一步學習大數據技術、Spark的設計與運行原理、環(huán)境搭建及使用等內容，通過入門級編程實踐操作來提升學生學習和掌握大數據處理的實踐能力。二、課程教學目標1.知識目標掌握和理解Spark基本設計與運行原理、環(huán)境搭建及使用等基本知識；2.能力目標掌握Spark編程實踐；3.素質目標樹立正確的政治理想和政治道德，培養(yǎng)對黨和國家，社會主義事業(yè)忠誠可靠的建設者和接班人；三、課程的基本內容及要求（一）Scala語言基礎1．課程教學內容（1）Scala簡介；（2）Scala的安裝；（3）Scala基礎知識；2．課程重點難點重點:Scala的基礎知識難點:Scala的安裝與基礎知識3．課程教學要求（1）了解Scala；（2）掌握Scala的安裝；（3）掌握和運用Scala的基本知識；（二）Spark的設計與運行1．課程教學內容（1）Spark生態(tài)系統(tǒng)；（2）Spark運行架構；（3）Spark的部署方式；2．課程重點難點重點:Spark運行架構難點:Spark的部署方式3．課程教學要求（1）了解Spark生態(tài)系統(tǒng)；（2）掌握Spark運行架構和部署方式（三）Spark環(huán)境搭建和使用1．課程教學內容（1）Spark的安裝；（2）Spark-shell命令；（3）開發(fā)Spark應用程序；（4）Spark集群搭建2．課程重點難點重點:Spark-shell和應用程序開發(fā)難點:Spark應用程序開發(fā)和集群搭建3．課程教學要求（1）掌握Spark的安裝；（2）掌握Spark-shell命令及應用程序開發(fā)；（四）RDD編程1．課程教學內容（1）RDD編程基礎；（2）鍵值對RDD；（3）數據讀寫；2．課程重點難點重點:RDD編程基礎難點:數據讀寫3．課程教學要求（1）了解RDD；（2）理解并掌握RDD編程；（五）SparkSQL1．課程教學內容（1）SparkSQL架構（2）DataFrame的創(chuàng)建保存及操作（3）使用SparkSQL讀寫數據2．課程重點難點重點:DataFrame的創(chuàng)建保存及操作難點:使用SparkSQL讀寫數據3．課程教學要求（1）了解SparkSQL架構；（2）理解并掌握DataFrame的創(chuàng)建保存及操作（3）理解并掌握使用SparkSQL讀寫數據（六）SparkStreaming1．課程教學內容（1）流計算；（2）SparkStreaming；（3）

SparkStreaming工作機制；（4）基本輸入源及高級輸入源2．課程重點難點重點:SparkStreaming基本知識難點:SparkStreaming程序編寫3．課程教學要求（1）了解流計算；（2）掌握SparkStreaming程序編寫；四、課程學時分配教學章節(jié)理論實踐（驗）討論、習題一、Scala語言基礎104二、Spark的設計與運行6三、Spark環(huán)境搭建和使用104四、RDD編程84五、SparkSQL82六、SparkStreaming62總計4816五、課程考核方式與要求考核方式：本課程主要以課程視頻、課堂表現(xiàn)、作業(yè)評價、測試、期末機試等考核方式對學生進行考核評價?？己嘶疽螅嚎己丝偝煽冇蛇^程性評價成績和期末機試成績組成。其中：期末機試考核成績?yōu)?00分（權重為60%），主要針對程序關鍵點進行開發(fā)測試；過程性評價成績?yōu)?00分（權重40%），主要包含課程視頻、課堂表現(xiàn)、作業(yè)評價、測試等；過程性評價分值與期末機試評價分值分配與教學大綱各章節(jié)的學時基本成比例。六、課程資源庫林子雨.大數據技術原理與應用（第二版）.人民郵電出版社.2017陸嘉恒.Hadoop實戰(zhàn)（第二版）.機械工業(yè)出版社.2012TomWhite.Hadoop權威指南（中文版）.清華大學出版社鳥哥.鳥哥的Linux私房菜基礎學習篇（第三版）.人民郵電出版社.2016王道遠.Spark快速大數據分析.人民郵電出版社.2015M.Zaharia.Anarchitectureforfastandgeneraldataprocessingonlargeclusters.Morgan&