大數(shù)據(jù)分析及應(yīng)用項目教程(Spark SQL)（微課版） 課程教學(xué)大綱

課程名稱大數(shù)據(jù)挖掘與分析課程代號課程類型eq\o\ac(□,√)授課教師許慧修讀方式必修eq\o\ac(□,√)必選選修學(xué)分2開課學(xué)期第4學(xué)期總學(xué)時(授課)64實踐學(xué)時32辦公地點720課外答疑時間周三中午聯(lián)系方課程描述本課程旨在引領(lǐng)學(xué)生掌握SparkSQL的基礎(chǔ)語法與基本思想，通過課堂演示、實操訓(xùn)練、分組實訓(xùn)、小組匯報等實踐活動，提升學(xué)生數(shù)據(jù)挖掘與分析的能力，養(yǎng)成良好的自我管理素養(yǎng)，提升學(xué)生溝通協(xié)作能力。B課程教學(xué)目標(標注能力指標)知識大數(shù)據(jù)分析相關(guān)概念C1SparkSQL的基礎(chǔ)知識C1能力會Spark集群部署與使用D1掌握Scala編程語言基礎(chǔ)D1掌握SparkSQL各操作和算子在數(shù)據(jù)分析中的使用方法。D1掌握數(shù)據(jù)準備、清洗、轉(zhuǎn)換、分析、輸出、查詢過程中用到的DataFrame操作方法。D2掌握基于Web的notebook開發(fā)工具——ZepplinD2素養(yǎng)3.1養(yǎng)成良好的自我管理素養(yǎng)B13.2提升學(xué)生溝通交流、小組協(xié)作能力E2C核心能力A尚德弘毅B健康關(guān)懷C專業(yè)知識D熟用技能E溝通協(xié)作F問題解決備注D課程權(quán)重A1A2B1B2C1C2D1D2E1E2F1F2合計100%10%20%40%10%10%10%E學(xué)分數(shù)分配權(quán)重數(shù)學(xué)及基礎(chǔ)科學(xué)等相關(guān)課程專業(yè)課程-理論專業(yè)課程-專業(yè)/務(wù)實專業(yè)課程-實踐/實作通識或共同科目（不含數(shù)學(xué)）其他總學(xué)分數(shù)/1.52.54.5F教材內(nèi)容大綱章節(jié)教材內(nèi)容(能力指標代碼)學(xué)時分配理論(實務(wù))實踐合計1.大數(shù)據(jù)分析概述C1、D1、F22242.實踐環(huán)境準備C1、D13363.學(xué)生信息處理分析C1、D188164.房產(chǎn)大數(shù)據(jù)分析與探索C1、D1、D288165.電商大數(shù)據(jù)分析與探索D1、D2、F277146.Zepplin數(shù)據(jù)可視化D1、D2、F2448323264G教學(xué)方式eq\o\ac(□,√)講授討論或座談問題導(dǎo)向?qū)W習(xí)eq\o\ac(□,√)分組合作學(xué)習(xí)專題學(xué)習(xí)eq\o\ac(□,√)實作學(xué)習(xí)發(fā)表學(xué)習(xí)實習(xí)參觀訪問其它()H學(xué)習(xí)評價成績項目配分評價方式(呼應(yīng)能力指標)細項配分說明平時成績30表現(xiàn)性評價（觀察）（C1、D1）10出席率10分：基本分6分，缺課、遲到、上課玩游戲等，每次酌情扣0.5-1分實作評價（觀察）（D1、D2、C1）20各單元表現(xiàn)（含學(xué)習(xí)態(tài)度、溝通合作、專業(yè)技能、專業(yè)能力等）期中成績30實作評價（D1、D2、F1、F2）30期中測驗期末成績40實作評價（F2、B2、D1、D2）40期末測驗I進度表次別單元名稱與內(nèi)容能力指標代碼1第1章大數(shù)據(jù)分析概述任務(wù)1.1關(guān)于大數(shù)據(jù)分析情境導(dǎo)入學(xué)習(xí)目標和要求1.1.1什么是大數(shù)據(jù)分析1.1.2大數(shù)據(jù)分析工具1.1.3大數(shù)據(jù)分析可視化任務(wù)1.2認識SparkSQL情境導(dǎo)入學(xué)習(xí)目標和要求1.2.1SparkSQL背景簡介1.2.2SparkSQL運行原理C1、D1、F22第2章實踐環(huán)境準備任務(wù)2.1Hadoop集群環(huán)境搭建情境導(dǎo)入學(xué)習(xí)目標和要求2.1.1環(huán)境準備2.1.2安裝Hadoop2.1.3啟動Hadoop集群2.1.4運行經(jīng)典案例wordcount任務(wù)2.2Spark集群部署與使用情境導(dǎo)入學(xué)習(xí)目標和要求2.2.1Spark安裝2.2.2啟動Spark2.2.3Spark集群測試任務(wù)2.3Scala安裝情境導(dǎo)入學(xué)習(xí)目標和要求3.1.1下載安裝包3.1.2安裝配置腦圖小結(jié)章節(jié)練習(xí)C1、D13第3章學(xué)生信息處理分析任務(wù)3.1班級基本情況分析情境導(dǎo)入學(xué)習(xí)目標和要求3.1.1學(xué)生所屬班級和男女生數(shù)量3.1.2以班級為單位整理學(xué)生信息任務(wù)3.2學(xué)生基本情況獲取情境導(dǎo)入學(xué)習(xí)目標和要求3.2.1學(xué)生特長情況3.2.2學(xué)生成績情況分析腦圖小結(jié)章節(jié)練習(xí)C1、D14第4章房產(chǎn)大數(shù)據(jù)分析與探索任務(wù)4.1某房產(chǎn)公司銷售人員業(yè)績分析情境導(dǎo)入學(xué)習(xí)目標和要求4.1.1數(shù)據(jù)集處理4.1.2數(shù)據(jù)操作分析任務(wù)4.2某城市近年房產(chǎn)銷售狀況分析情境導(dǎo)入學(xué)習(xí)目標和要求4.2.1數(shù)據(jù)準備4.2.2數(shù)據(jù)探索與分析4.2.3總結(jié)分析腦圖小結(jié)章節(jié)練習(xí)C1、D1、D25第5章電商大數(shù)據(jù)分析與探索任務(wù)5.1女裝電子商務(wù)評論情況分析情境導(dǎo)入學(xué)習(xí)目標和要求5.1.1數(shù)據(jù)準備5.1.2數(shù)據(jù)清洗5.1.3數(shù)據(jù)轉(zhuǎn)換5.1.4數(shù)據(jù)分析5.1.5數(shù)據(jù)輸出任務(wù)5.2在線銷售訂單數(shù)據(jù)分析情境導(dǎo)入學(xué)習(xí)目標和要求5.2.1數(shù)據(jù)查詢操作5.2.2數(shù)據(jù)分析探索腦圖小結(jié)章節(jié)練習(xí)D1、D2、F26第6章Zepplin數(shù)據(jù)可視化任務(wù)6.1Zepplin安裝部署情境導(dǎo)入學(xué)習(xí)目標和要求6.1.1安裝包下載6.1.2安裝配置6.1.3測試運行Zeppelin任務(wù)6.2女裝電子商務(wù)評論情況數(shù)據(jù)可視化情境導(dǎo)入學(xué)習(xí)目標和要求6.2.1加載數(shù)據(jù)注冊視圖6.2.2執(zhí)行SQL數(shù)據(jù)可視化任務(wù)6.3在線銷售訂單數(shù)據(jù)分析可視化情境導(dǎo)入學(xué)習(xí)目標和要求執(zhí)行SparkSQL數(shù)據(jù)可視化腦圖小結(jié)章節(jié)練習(xí)D1、D2、F2J建議教材自編教材K參考書籍《基于Hadoop與Spark的大數(shù)據(jù)開發(fā)實戰(zhàn)》，人民郵電出版社，肖睿等主編?！禨parkSQL入門與數(shù)據(jù)分析實踐》，人民郵電出版社，楊虹等主編?！禨park大數(shù)據(jù)處理技術(shù)》，機械工業(yè)出版社，辛立偉等主編。L先修課程大數(shù)據(jù)基礎(chǔ)運維M教學(xué)資源多媒體課件、網(wǎng)上教學(xué)資源、精品課網(wǎng)站N注意事項1、本課程大綱進度表部分可根據(jù)教學(xué)需要進行調(diào)整2、請尊重知識產(chǎn)權(quán)，不得非法影印O課程分析與評估平均成績及格率修課人數(shù)1.學(xué)習(xí)成效分析1-1總體目標：通過本課程的學(xué)習(xí)，多數(shù)學(xué)生能掌握SparkSQL的基礎(chǔ)語法與數(shù)據(jù)挖掘分析能力。1-2知識目標：多數(shù)學(xué)生能夠掌握SparkSQL的基礎(chǔ)語法，多數(shù)學(xué)生能夠掌握數(shù)據(jù)挖掘分析的基本概念和基本方法。1-3能力目標:多數(shù)學(xué)生會Spark集群部署與使用、Scala編程語言基礎(chǔ)、SparkSQL各操作和算子在數(shù)據(jù)分析中的使用方法、數(shù)據(jù)準備、清洗、轉(zhuǎn)換、分析、輸出、查詢過程中用到的DataFrame操作方法、掌握基于Web的notebook開發(fā)工具——Zepplin。符合本門課程以實作為主的性質(zhì)。1-4素質(zhì)目標：大多數(shù)學(xué)生能養(yǎng)成良好的自我管理素養(yǎng)，提升溝通交流、小組協(xié)作能力。1-5整體分析：本課程的教學(xué)策略，通過課堂講授及編程操作演示講授SparkSQL的基礎(chǔ)語法知識，并通過課堂實訓(xùn)以及實踐操作，增強學(xué)生能熟練應(yīng)用SparkSQL進行數(shù)據(jù)挖掘分析的能力。2.核心能力檢討2-1各項核心能力指標分析：本課程與核心能力指標C1（掌握SparkSQL的基礎(chǔ)語法）、D1（具備較強的SparkSQL程序設(shè)計技能）、D2（具備一定的構(gòu)思、設(shè)計、開發(fā)技能）、E2（具備團隊協(xié)作能力）、B1（具備良好的自我管理素養(yǎng)）之培養(yǎng)有關(guān)。C1（掌握SparkSQL的基礎(chǔ)語法）、E2（具備團隊協(xié)作能力）、B1（具備良好的自我管理素養(yǎng)）達成度較高，D1（具備較強的SparkSQL程序設(shè)計技能）、D2（具備一定的構(gòu)思、設(shè)計、開發(fā)技能）尚需加強。2-2核心能力整體分析：通過本課程的學(xué)習(xí)，學(xué)生具有熟練應(yīng)用SparkSQL的能力，具有較強的程序設(shè)計技能，能養(yǎng)成良好的自我管理素養(yǎng)，提升溝通交流、小組協(xié)作能力。3.其他3-1學(xué)習(xí)成效之評析與改善：通過實踐項目任務(wù)引領(lǐng)、小組討論提升學(xué)生學(xué)習(xí)動機，因此學(xué)生學(xué)習(xí)的興趣和主動性普遍高，課堂上的互動較為活躍；此外，平時作業(yè)和實體作品制作的表現(xiàn)大致不錯，但是有個別學(xué)生由于學(xué)習(xí)態(tài)度不夠端正，不認真完成作業(yè)，導(dǎo)致不能通過本門課程的最終考核。對這些同學(xué)，將給予學(xué)習(xí)上的預(yù)警，并安排集中輔導(dǎo)，同時要注意與全班同學(xué)的溝通與交流，增加平時在線的輔導(dǎo)工作。3-2核心能力(指標)之評析與改善：綜合學(xué)生本學(xué)期之各項表現(xiàn)，可以得知核心能力指標D1、D2需再加強，或許可以通過學(xué)習(xí)社團或競賽活動的形式增強項目的開發(fā)能力。備注：1.課程大綱A—F項由所在部門和相關(guān)課程委員會編寫并審核通過，教師不能自行更改；2.本課程大綱G—O項同一課程不同授課教師應(yīng)協(xié)同討論研究達成共同核心內(nèi)涵，教師不宜自行更改；3.TAC工程認證專業(yè)課程之學(xué)分數(shù)分配權(quán)重分三大類數(shù)學(xué)及基礎(chǔ)科學(xué)等相關(guān)課程、專業(yè)課程-專業(yè)/實務(wù)(含理論)、專業(yè)課程-實踐/實作；4.評價方式，可參酌下例方式：(1)紙筆測驗：小考、期中紙筆測驗、期末紙筆測驗。(2)實作評價：作業(yè)、實作成品、日常表現(xiàn)、表演、觀察、軼事記錄。(3)檔案袋評價：書面報告、專題檔案。(4)口語評價：口頭報告、口試。附件1:階段實作表現(xiàn)評量表學(xué)生姓名:____________學(xué)號:____________班級:____________組別:第__組評量日期:年月日各位同學(xué)：請針對下列評價項目并參酌「評價規(guī)準」，于自評、評議員字段打「A、B、C、D、E」其中一項后，再請老師復(fù)評。評量項目自評、評議員與老師復(fù)評（A至E）自評（20%）評議員（30%）老師（50%）1.學(xué)習(xí)態(tài)度（10%）2.語言表達能力（20%）3.任務(wù)分析和程序邏輯設(shè)計能力（20%）4.編程實操（40%）5.項目完成與時間控制（10%）合計階段實作表現(xiàn)評量標準符號ABCDE1.學(xué)習(xí)態(tài)度（10%）虛心求教、積極參與小組討論、緊跟授課教師的進度和思路、具有很強的團隊合作能力和溝通能力虛心求教、參與小組討論、認真聽講、思考，具有團隊合作能力和溝通能力較主動、態(tài)度上表現(xiàn)尚可，參與小組討論；團隊合作能力和溝通能力較好學(xué)習(xí)態(tài)度尚可，參與小組討論；團隊合作能力和溝通能力尚可出言頂撞，服裝儀容待加強2.語言表達能力（20%）語言流暢，速度得宜，用字精準，注重聽眾反應(yīng)、很有應(yīng)變能力。講述通暢，用字尚可，有注意聽眾反應(yīng)、有應(yīng)變能力。講述尚可，用字需要斟酌，未注意聽眾反應(yīng)、應(yīng)變能力較好講述欠通順，用字不佳，未注意聽眾反應(yīng)、應(yīng)變能力一般講述混亂，沒有任何重點3.任務(wù)分析和程序邏輯設(shè)計能力（20%）明確任務(wù)需求，程序流程邏輯清晰，算法新穎明確任務(wù)需求，程序流程基本清楚，算法正確。明確任務(wù)需求，程序設(shè)計邏輯需加強。不能明確任務(wù)需求，邏輯欠佳。無法說明任何問題4.編程實操（40%）能夠率先在組內(nèi)完成前面單元的上機實訓(xùn)，并編譯成功。能夠在規(guī)定時間內(nèi)完成前面單元的上機實訓(xùn)，并編譯成功。能在組員的幫助下完成前面單元的上機實訓(xùn)，并編譯成功。在組員的幫助下只能完成部分的上機實訓(xùn)。不動手上機實踐。5.項目完成與時間控制（10%）時間控制疏緊適宜、能認真按時完成項目的各項需求、完成質(zhì)量杰出時間控制緊湊、能認真按時完成項目的大部分需求、完成質(zhì)量優(yōu)良時間分配不合理、按時完成項目的大部分需求、完成質(zhì)量尚可時間分配混論、按時完成項目的一部分需求、完成質(zhì)量欠佳基本無時間分配階段實作表現(xiàn)綜合成績項目實作表現(xiàn)（50%）階段測試（50%）總分分數(shù)評語和建議

附件2：表1《Illustrator圖形制作》期中上機操作測驗各單元配分教材內(nèi)容(章)(期中考范圍)單元一（第1-5章）單元二