《Spark大數(shù)據(jù)開發(fā)技術(shù)》教學(xué)大綱

《Spark大數(shù)據(jù)開發(fā)技術(shù)》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：08150491課程性質(zhì)：專業(yè)選修課學(xué)分：4學(xué)分學(xué)時：64學(xué)時（理論48學(xué)時，實驗16學(xué)時）先修課程：Linux操作系統(tǒng)、Java程序設(shè)計、Python程序設(shè)計后續(xù)課程：無適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開課單位：計算機科學(xué)與技術(shù)學(xué)院一、課程說明《Spark大數(shù)據(jù)開發(fā)技術(shù)》課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)專業(yè)的一門專業(yè)選修課。通過對本課程的學(xué)習，讓學(xué)生在對大數(shù)據(jù)技術(shù)有一定了解的基礎(chǔ)上，進一步學(xué)習大數(shù)據(jù)技術(shù)、Spark的設(shè)計與運行原理、環(huán)境搭建及使用等內(nèi)容，通過入門級編程實踐操作來提升學(xué)生學(xué)習和掌握大數(shù)據(jù)處理的實踐能力。二、課程目標課程目標1：掌握和理解Spark基本設(shè)計與運行原理、環(huán)境搭建及使用等基本知識，理解Spark編程思想，能夠使用Spark解決相關(guān)工程問題。課程目標2：掌握Spark編程實踐進行項目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實際問題進行方案設(shè)計和程序?qū)崿F(xiàn)。課程目標3：能進行融會貫通，能正確評價大數(shù)據(jù)處理架構(gòu)對環(huán)境、社會可持續(xù)發(fā)展的影響，樹立正確的審美觀念和勞動觀念。三、課程目標與畢業(yè)要求《Spark大數(shù)據(jù)開發(fā)技術(shù)》課程教學(xué)目標對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)畢業(yè)要求的支撐見表1。表1課程教學(xué)目標與畢業(yè)要求關(guān)系畢業(yè)要求指標點課程目標支撐強度3．設(shè)計/開發(fā)解決方案3.3在解決方案設(shè)計中，具有綜合考慮社會、健康、安全、法律、文化及環(huán)境等因素的意識和創(chuàng)新意識。課程目標2：掌握Spark編程實踐進行項目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實際問題進行方案設(shè)計和程序?qū)崿F(xiàn)。課程目標3：能進行融會貫通，能正確評價大數(shù)據(jù)處理架構(gòu)對環(huán)境、社會可持續(xù)發(fā)展的影響，樹立正確的審美觀念和勞動觀念。H4．研究4.3能夠根據(jù)實驗方案選用或搭建實驗環(huán)境開展實驗，能夠?qū)σ勋@得的實驗數(shù)據(jù)進行整理、分析，并能通過信息綜合得出有效結(jié)論。課程目標1：掌握和理解Spark基本設(shè)計與運行原理、環(huán)境搭建及使用等基本知識，理解Spark編程思想，能夠使用Spark解決相關(guān)工程問題。課程目標2：掌握Spark編程實踐進行項目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實際問題進行方案設(shè)計和程序?qū)崿F(xiàn)。H5．使用現(xiàn)代工具5.3能夠針對大數(shù)據(jù)應(yīng)用開發(fā)需要選擇和使用合適的平臺和開發(fā)工具，并能夠理解其局限性課程目標1：掌握和理解Spark基本設(shè)計與運行原理、環(huán)境搭建及使用等基本知識，理解Spark編程思想，能夠使用Spark解決相關(guān)工程問題。課程目標2：掌握Spark編程實踐進行項目開發(fā)的方法和技術(shù)，能夠根據(jù)大數(shù)據(jù)技術(shù)領(lǐng)域的實際問題進行方案設(shè)計和程序?qū)崿F(xiàn)。課程目標3：能進行融會貫通，能正確評價大數(shù)據(jù)處理架構(gòu)對環(huán)境、社會可持續(xù)發(fā)展的影響，樹立正確的審美觀念和勞動觀念。H注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點難點理論學(xué)時實驗學(xué)時對應(yīng)的課程目標1.大數(shù)據(jù)技術(shù)概論1.1大數(shù)據(jù)概念與關(guān)鍵技術(shù)1.2代表性大數(shù)據(jù)技術(shù)1.3編程語言的選擇1.4在線資源教學(xué)要求：了解基礎(chǔ)的大數(shù)據(jù)關(guān)鍵技術(shù)以及具有代表性的大數(shù)據(jù)計算框架。重點：有代表性的大數(shù)據(jù)技術(shù)，包括Hadoop、Spark、Flink、Beam等。難點：掌握在線資源的學(xué)習方式。221、2、32.Spark的設(shè)計與運行原理2.1概述2.2Spark生態(tài)系統(tǒng)2.3Spark運行架構(gòu)2.4Spark部署方式教學(xué)要求：了解Spark生態(tài)系統(tǒng)；掌握Spark運行架構(gòu)和部署方式。重點:Spark運行架構(gòu)。難點:Spark部署方式。61、2、33.Spark環(huán)境搭建和使用3.1安裝Spark3.2在pyspark中運行代碼3.3開發(fā)Spark獨立應(yīng)用程序3.4Spark集群環(huán)境搭建3.5在集群上運行Spark應(yīng)用程序教學(xué)要求：掌握Spark的安裝；掌握如何在pyspark中運行代碼及應(yīng)用程序開發(fā)。重點:在pyspark中運行代碼。難點:Spark應(yīng)用程序開發(fā)和集群搭建。841、2、34.RDD編程4.1RDD編程基礎(chǔ)4.2鍵值對RDD4.3數(shù)據(jù)讀寫教學(xué)要求：了解RDD；理解并掌握RDD編程。重點:RDD編程基礎(chǔ)。難點:數(shù)據(jù)讀寫841、2、35.SparkSQL5.1SparkSQL簡介5.2DataFrame的概述、創(chuàng)建保存及操作5.3從RDD轉(zhuǎn)換到DataFrame5.4使用SparkSQL讀寫數(shù)據(jù)庫教學(xué)要求：了解SparkSQL架構(gòu)；理解并掌握DataFrame的創(chuàng)建保存及操作；理解并掌握使用SparkSQL讀寫數(shù)據(jù)。重點:DataFrame的創(chuàng)建保存及操作。難點:使用SparkSQL讀寫數(shù)據(jù)。821、2、36.SparkStreaming6.1流計算概述6.2SparkStreaming6.3SparkStreaming工作機制6.4基本輸入源及高級輸入源6.5轉(zhuǎn)換操作和輸出操作教學(xué)要求：了解流計算；掌握SparkStreaming程序編寫。重點:SparkStreaming基本知識。難點:SparkStreaming程序編寫。821、2、37.StructuredStreaming7.1概述7.2編寫StructuredStreaming程序的基本步驟7.3輸入源7.4輸出操作7.5容錯處理7.6遲到數(shù)據(jù)處理7.7查詢的管理和監(jiān)控教學(xué)要求：理解概述并掌握StructuredStreaming程序編寫。重點:編寫StructuredStreaming程序的基本步驟。難點:編寫StructuredStreaming程序的基本步驟。421、2、38.SparkMLIib8.1基于大數(shù)據(jù)的機器學(xué)習8.2機器學(xué)習庫MLIib概述8.3基本數(shù)據(jù)類型8.4機器學(xué)習流水線8.5特征提取、轉(zhuǎn)換和選擇8.6分類算法8.7聚類算法8.8協(xié)同過濾算法8.9模型選擇和超參數(shù)調(diào)整教學(xué)要求：了解機器學(xué)習的概念；理解并掌握MLIib的基本原理和算法。重點:理解并掌握MLIib的基本原理和算法。難點:理解并掌握MLIib的基本原理和算法。41、2、3合計48162.實驗部分實驗部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表3。表3實驗項目、實驗內(nèi)容與學(xué)時實驗項目實驗內(nèi)容和要求實驗學(xué)時對應(yīng)的課程目標1.Linux實驗實驗內(nèi)容：掌握Linux虛擬機的安裝方法并熟悉其使用方法。實驗要求：安裝Linux虛擬機并使用Linux常用命令。21、2、32.Spark環(huán)境搭建與使用實驗內(nèi)容：掌握Spark環(huán)境搭建和使用方法。實驗要求：正確安裝Hadoop和Spark；使用Hadoop進行常用操作；Spark讀取文件系統(tǒng)操作。41、2、33.RDD編程實驗內(nèi)容：熟悉RDD基本操作及鍵值對操作并解決實際問題。實驗要求：pyspark交互式編程；獨立編寫應(yīng)用程序?qū)崿F(xiàn)數(shù)據(jù)去重和求平均值。41、2、34.SparkSQL和Streaming與StructuredStreaming實驗實驗內(nèi)容：掌握Ubuntu16.04中SparkSQL、Streaming與StructuredStreamingHive的安裝及使用。實驗要求：能在Ubuntu16.04中正確安裝SparkSQL、Streaming與StructuredStreaming并能掌握其基本編程方法。61、2、3合計16五、教學(xué)方法及手段本課程以課堂講授并結(jié)合實驗進行學(xué)習，結(jié)合課程討論、案例、視頻資源共享、實驗等教學(xué)手段完成課程教學(xué)任務(wù)和相關(guān)能力的培養(yǎng)。讓學(xué)生在對大數(shù)據(jù)技術(shù)有一定了解的基礎(chǔ)上，進一步學(xué)習大數(shù)據(jù)技術(shù)、Spark的設(shè)計與運行原理、環(huán)境搭建及使用等內(nèi)容，通過入門級編程實踐操作來提升學(xué)生學(xué)習和掌握大數(shù)據(jù)處理的實踐能力。在實驗教學(xué)環(huán)節(jié)中，通過啟發(fā)式教學(xué)培養(yǎng)學(xué)生在了解和掌握大數(shù)據(jù)相關(guān)基本知識和基本技能基礎(chǔ)上進行編程實踐。培養(yǎng)學(xué)生自主學(xué)習能力、實際動手能力，激發(fā)學(xué)生的創(chuàng)新思維。六、課程資源1.推薦教材（1）林子雨.Spark編程基礎(chǔ)（Python版）[M].北京:人民郵電出版社,2020.2.參考書（1）鳥哥.鳥哥的Linux私房菜基礎(chǔ)學(xué)習篇（第三版）[M].北京:人民郵電出版社,2016.（2）張偉洋.Hadoop3.x大數(shù)據(jù)開發(fā)實戰(zhàn)(視頻教學(xué)版)[M].北京:清華大學(xué)出版社,2022.（3）遲殿委,陳鵬程.Hadoop大數(shù)據(jù)分析技術(shù)[M].北京:清華大學(xué)出版社,2022.（4）唐世偉,田嵐.大數(shù)據(jù)采集與預(yù)處理技術(shù)[M].北京:清華大學(xué)出版社,2022.3.期刊（1）QuinlanJR.Inductionofdecisiontrees[J].Machinelearning,2021,(10):81-106.（2）魏亮,林子雨,賴永炫.DFTS:面向大數(shù)據(jù)集的Top-kSkyline查詢算法[J].計算機科學(xué),2019,46(05):150-156.（3）WangN,YangY,FengL,etal.SVM-BasedIncrementalLearningAlgorithmforLarge-ScaleDataStreaminCloudComputing[J].KSIITransactionsonInternetandInformationSystems,2014,8(10):3378-3393.（4）鄭冬花,葉麗珠,隋棟等.云計算環(huán)境中面向大數(shù)據(jù)的改進密度峰值聚類算法[J].濟南大學(xué)學(xué)報(自然科學(xué)版),2022,36(05):592-596+602.（5）夏立斌等.Spark任務(wù)間消息傳遞方法研究[I].計算機工程與應(yīng)用,2022,58(21):91-97.4.網(wǎng)絡(luò)資源（1）林子雨.廈門大學(xué)大數(shù)據(jù)實驗室.(2020.01.08)./post/spark/.（2）林子雨.Spark編程基礎(chǔ).中國大學(xué)MOOC.2022./course/XMU-1205811805.七、課程考核對課程目標的支撐課程成績由過程性考核成績和期末大作業(yè)成績兩部分構(gòu)成，具體考核/評價細則及對課程目標的支撐關(guān)系見表4。表4課程考核對課程目標的支撐考核環(huán)節(jié)占比考核/評價細則課程目標123過程性考核課堂表現(xiàn)10（1）根據(jù)課堂出勤情況和課堂回答問題情況進行考核，滿分100分。（2）以平時考核成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?42作業(yè)10（1）主要考核學(xué)生對各章節(jié)知識點的復(fù)習、理解和掌握程度，滿分100分。（2）每次作業(yè)單獨評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?42階段測試10（1）主要考核學(xué)生對階段知識點的復(fù)習、理解和掌握程度，滿分100分。（2）每次測試單獨評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以測試成績乘以其在總評成績中所占的比例計入課程總評成績。√√√442實驗10（1）根據(jù)每個實驗的實驗操作完成情況和實驗報告質(zhì)量單獨評分，滿分100分。（2）每次實驗單獨評分，取各次實驗成績的平均值作為此環(huán)節(jié)的最終成績。（3）以實驗成績乘以其在總評成績中所占的比例計入課程總評成績?！獭獭?42期末大作業(yè)60（1）期末大作業(yè)滿分100分，以期末成績乘以其在總評成績中所占的比例計入課程總評成績。（2）主要考核：期末大作業(yè)?！獭獭?52510合計：100分414118八、考核與成績評定1.考核方式及成績評定考核方式：本課程主要以課堂表現(xiàn)、作業(yè)、階段測試、實驗、期末大作業(yè)等方式對學(xué)生進行考核評價?？己嘶疽螅嚎己丝偝煽冇善谀┐笞鳂I(yè)成績和過程性考核成績組成。其中：期末大作業(yè)成績?yōu)?00分（權(quán)重60%），主要針對程序關(guān)鍵點進行個性化開發(fā)測試；課堂表現(xiàn)、作業(yè)、階段測試、實驗等過程性考核成績?yōu)?00分（權(quán)重40%）；過程性考核和期末大作業(yè)分值分配分別與教學(xué)大綱各章節(jié)的學(xué)時基本成比例。2.過程性考核成績的標準過程性考核方式重點考核內(nèi)容、評價標準、所占比重見表5。表5過程性考核方式評價標準考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60課堂表現(xiàn)25筆記完整，積極參與教學(xué)活動，踴躍回答問題，準確率大于90%。筆記完整，認真參與教學(xué)活動，回答問題準確率大于80%。筆記不完整，偶爾參與教學(xué)活動，回答問題準確率大于70%。上課不認真，上課不記筆記，偶爾參與教學(xué)活動。上課不認真，上課不記筆記，不參與教學(xué)活動。作業(yè)25作業(yè)完整，思路清晰，準確率大于90%。作業(yè)完整，準確率大于80%。不交作業(yè)2次以內(nèi)，準確率大于70%。不交作業(yè)3次以內(nèi)，準確率大于60%。不交作業(yè)4次以上，準確率小于60%。階段測試25教學(xué)內(nèi)容掌握較好，測試成績準確率大于90%。教學(xué)內(nèi)容掌握較好，測試成績準確率大于80%。教學(xué)內(nèi)容掌握一般，測試成績準確率大于70