大數據分析及應用項目教程(Spark SQL)（微課版） 課程教學大綱、授課計劃

課程名稱大數據挖掘與分析課程代號課程類型eq\o\ac(□,√)授課教師許慧修讀方式必修eq\o\ac(□,√)必選選修學分2開課學期第4學期總學時(授課)64實踐學時32辦公地點720課外答疑時間周三中午聯系方課程描述本課程旨在引領學生掌握SparkSQL的基礎語法與基本思想，通過課堂演示、實操訓練、分組實訓、小組匯報等實踐活動，提升學生數據挖掘與分析的能力，養(yǎng)成良好的自我管理素養(yǎng)，提升學生溝通協作能力。B課程教學目標(標注能力指標)知識大數據分析相關概念C1SparkSQL的基礎知識C1能力會Spark集群部署與使用D1掌握Scala編程語言基礎D1掌握SparkSQL各操作和算子在數據分析中的使用方法。D1掌握數據準備、清洗、轉換、分析、輸出、查詢過程中用到的DataFrame操作方法。D2掌握基于Web的notebook開發(fā)工具——ZepplinD2素養(yǎng)3.1養(yǎng)成良好的自我管理素養(yǎng)B13.2提升學生溝通交流、小組協作能力E2C核心能力A尚德弘毅B健康關懷C專業(yè)知識D熟用技能E溝通協作F問題解決備注D課程權重A1A2B1B2C1C2D1D2E1E2F1F2合計100%10%20%40%10%10%10%E學分數分配權重數學及基礎科學等相關課程專業(yè)課程-理論專業(yè)課程-專業(yè)/務實專業(yè)課程-實踐/實作通識或共同科目（不含數學）其他總學分數/1.52.54.5F教材內容大綱章節(jié)教材內容(能力指標代碼)學時分配理論(實務)實踐合計1.大數據分析概述C1、D1、F22242.實踐環(huán)境準備C1、D13363.學生信息處理分析C1、D188164.房產大數據分析與探索C1、D1、D288165.電商大數據分析與探索D1、D2、F277146.Zepplin數據可視化D1、D2、F2448323264G教學方式eq\o\ac(□,√)講授討論或座談問題導向學習eq\o\ac(□,√)分組合作學習專題學習eq\o\ac(□,√)實作學習發(fā)表學習實習參觀訪問其它()H學習評價成績項目配分評價方式(呼應能力指標)細項配分說明平時成績30表現性評價（觀察）（C1、D1）10出席率10分：基本分6分，缺課、遲到、上課玩游戲等，每次酌情扣0.5-1分實作評價（觀察）（D1、D2、C1）20各單元表現（含學習態(tài)度、溝通合作、專業(yè)技能、專業(yè)能力等）期中成績30實作評價（D1、D2、F1、F2）30期中測驗期末成績40實作評價（F2、B2、D1、D2）40期末測驗I進度表次別單元名稱與內容能力指標代碼1第1章大數據分析概述任務1.1關于大數據分析情境導入學習目標和要求1.1.1什么是大數據分析1.1.2大數據分析工具1.1.3大數據分析可視化任務1.2認識SparkSQL情境導入學習目標和要求1.2.1SparkSQL背景簡介1.2.2SparkSQL運行原理C1、D1、F22第2章實踐環(huán)境準備任務2.1Hadoop集群環(huán)境搭建情境導入學習目標和要求2.1.1環(huán)境準備2.1.2安裝Hadoop2.1.3啟動Hadoop集群2.1.4運行經典案例wordcount任務2.2Spark集群部署與使用情境導入學習目標和要求2.2.1Spark安裝2.2.2啟動Spark2.2.3Spark集群測試任務2.3Scala安裝情境導入學習目標和要求3.1.1下載安裝包3.1.2安裝配置腦圖小結章節(jié)練習C1、D13第3章學生信息處理分析任務3.1班級基本情況分析情境導入學習目標和要求3.1.1學生所屬班級和男女生數量3.1.2以班級為單位整理學生信息任務3.2學生基本情況獲取情境導入學習目標和要求3.2.1學生特長情況3.2.2學生成績情況分析腦圖小結章節(jié)練習C1、D14第4章房產大數據分析與探索任務4.1某房產公司銷售人員業(yè)績分析情境導入學習目標和要求4.1.1數據集處理4.1.2數據操作分析任務4.2某城市近年房產銷售狀況分析情境導入學習目標和要求4.2.1數據準備4.2.2數據探索與分析4.2.3總結分析腦圖小結章節(jié)練習C1、D1、D25第5章電商大數據分析與探索任務5.1女裝電子商務評論情況分析情境導入學習目標和要求5.1.1數據準備5.1.2數據清洗5.1.3數據轉換5.1.4數據分析5.1.5數據輸出任務5.2在線銷售訂單數據分析情境導入學習目標和要求5.2.1數據查詢操作5.2.2數據分析探索腦圖小結章節(jié)練習D1、D2、F26第6章Zepplin數據可視化任務6.1Zepplin安裝部署情境導入學習目標和要求6.1.1安裝包下載6.1.2安裝配置6.1.3測試運行Zeppelin任務6.2女裝電子商務評論情況數據可視化情境導入學習目標和要求6.2.1加載數據注冊視圖6.2.2執(zhí)行SQL數據可視化任務6.3在線銷售訂單數據分析可視化情境導入學習目標和要求執(zhí)行SparkSQL數據可視化腦圖小結章節(jié)練習D1、D2、F2J建議教材自編教材K參考書籍《基于Hadoop與Spark的大數據開發(fā)實戰(zhàn)》，人民郵電出版社，肖睿等主編。《SparkSQL入門與數據分析實踐》，人民郵電出版社，楊虹等主編?！禨park大數據處理技術》，機械工業(yè)出版社，辛立偉等主編。L先修課程大數據基礎運維M教學資源多媒體課件、網上教學資源、精品課網站N注意事項1、本課程大綱進度表部分可根據教學需要進行調整2、請尊重知識產權，不得非法影印O課程分析與評估平均成績及格率修課人數1.學習成效分析1-1總體目標：通過本課程的學習，多數學生能掌握SparkSQL的基礎語法與數據挖掘分析能力。1-2知識目標：多數學生能夠掌握SparkSQL的基礎語法，多數學生能夠掌握數據挖掘分析的基本概念和基本方法。1-3能力目標:多數學生會Spark集群部署與使用、Scala編程語言基礎、SparkSQL各操作和算子在數據分析中的使用方法、數據準備、清洗、轉換、分析、輸出、查詢過程中用到的DataFrame操作方法、掌握基于Web的notebook開發(fā)工具——Zepplin。符合本門課程以實作為主的性質。1-4素質目標：大多數學生能養(yǎng)成良好的自我管理素養(yǎng)，提升溝通交流、小組協作能力。1-5整體分析：本課程的教學策略，通過課堂講授及編程操作演示講授SparkSQL的基礎語法知識，并通過課堂實訓以及實踐操作，增強學生能熟練應用SparkSQL進行數據挖掘分析的能力。2.核心能力檢討2-1各項核心能力指標分析：本課程與核心能力指標C1（掌握SparkSQL的基礎語法）、D1（具備較強的SparkSQL程序設計技能）、D2（具備一定的構思、設計、開發(fā)技能）、E2（具備團隊協作能力）、B1（具備良好的自我管理素養(yǎng)）之培養(yǎng)有關。C1（掌握SparkSQL的基礎語法）、E2（具備團隊協作能力）、B1（具備良好的自我管理素養(yǎng)）達成度較高，D1（具備較強的SparkSQL程序設計技能）、D2（具備一定的構思、設計、開發(fā)技能）尚需加強。2-2核心能力整體分析：通過本課程的學習，學生具有熟練應用SparkSQL的能力，具有較強的程序設計技能，能養(yǎng)成良好的自我管理素養(yǎng)，提升溝通交流、小組協作能力。3.其他3-1學習成效之評析與改善：通過實踐項目任務引領、小組討論提升學生學習動機，因此學生學習的興趣和主動性普遍高，課堂上的互動較為活躍；此外，平時作業(yè)和實體作品制作的表現大致不錯，但是有個別學生由于學習態(tài)度不夠端正，不認真完成作業(yè)，導致不能通過本門課程的最終考核。對這些同學，將給予學習上的預警，并安排集中輔導，同時要注意與全班同學的溝通與交流，增加平時在線的輔導工作。3-2核心能力(指標)之評析與改善：綜合學生本學期之各項表現，可以得知核心能力指標D1、D2需再加強，或許可以通過學習社團或競賽活動的形式增強項目的開發(fā)能力。備注：1.課程大綱A—F項由所在部門和相關課程委員會編寫并審核通過，教師不能自行更改；2.本課程大綱G—O項同一課程不同授課教師應協同討論研究達成共同核心內涵，教師不宜自行更改；3.TAC工程認證專業(yè)課程之學分數分配權重分三大類數學及基礎科學等相關課程、專業(yè)課程-專業(yè)/實務(含理論)、專業(yè)課程-實踐/實作；4.評價方式，可參酌下例方式：(1)紙筆測驗：小考、期中紙筆測驗、期末紙筆測驗。(2)實作評價：作業(yè)、實作成品、日常表現、表演、觀察、軼事記錄。(3)檔案袋評價：書面報告、專題檔案。(4)口語評價：口頭報告、口試。附件1:階段實作表現評量表學生姓名:____________學號:____________班級:____________組別:第__組評量日期:年月日各位同學：請針對下列評價項目并參酌「評價規(guī)準」，于自評、評議員字段打「A、B、C、D、E」其中一項后，再請老師復評。評量項目自評、評議員與老師復評（A至E）自評（20%）評議員（30%）老師（50%）1.學習態(tài)度（10%）2.語言表達能力（20%）3.任務分析和程序邏輯設計能力（20%）4.編程實操（40%）5.項目完成與時間控制（10%）合計階段實作表現評量標準符號ABCDE1.學習態(tài)度（10%）虛心求教、積極參與小組討論、緊跟授課教師的進度和思路、具有很強的團隊合作能力和溝通能力虛心求教、參與小組討論、認真聽講、思考，具有團隊合作能力和溝通能力較主動、態(tài)度上表現尚可，參與小組討論；團隊合作能力和溝通能力較好學習態(tài)度尚可，參與小組討論；團隊合作能力和溝通能力尚可出言頂撞，服裝儀容待加強2.語言表達能力（20%）語言流暢，速度得宜，用字精準，注重聽眾反應、很有應變能力。講述通暢，用字尚可，有注意聽眾反應、有應變能力。講述尚可，用字需要斟酌，未注意聽眾反應、應變能力較好講述欠通順，用字不佳，未注意聽眾反應、應變能力一般講述混亂，沒有任何重點3.任務分析和程序邏輯設計能力（20%）明確任務需求，程序流程邏輯清晰，算法新穎明確任務需求，程序流程基本清楚，算法正確。明確任務需求，程序設計邏輯需加強。不能明確任務需求，邏輯欠佳。無法說明任何問題4.編程實操（40%）能夠率先在組內完成前面單元的上機實訓，并編譯成功。能夠在規(guī)定時間內完成前面單元的上機實訓，并編譯成功。能在組員的幫助下完成前面單元的上機實訓，并編譯成功。在組員的幫助下只能完成部分的上機實訓。不動手上機實踐。5.項目完成與時間控制（10%）時間控制疏緊適宜、能認真按時完成項目的各項需求、完成質量杰出時間控制緊湊、能認真按時完成項目的大部分需求、完成質量優(yōu)良時間分配不合理、按時完成項目的大部分需求、完成質量尚可時間分配混論、按時完成項目的一部分需求、完成質量欠佳基本無時間分配階段實作表現綜合成績項目實作表現（50%）階段測試（50%）總分分數評語和建議

附件2：表1《Illustrator圖形制作》期中上機操作測驗各單元配分教材內容(章)(期中考范圍)單元一（第1-5章）單元二（第6-8章）單元三（第9章）單元四（第10-14章）教學時間（學時）2028420占分比例預設30351025實際表2《Illustrator圖形制作》期中上機操作測驗之雙向細目表教學目標記憶了解應用分析評鑒創(chuàng)作合計教材內容試題形式第一單元（共20節(jié)課）圖形制作30()第二單元（共28節(jié)課）圖形制作35()第三單元（共4節(jié)課）圖形制作10()第四單元（共20節(jié)課）圖形制作25()注:1.試題形式中，()內的數字為題數，()前的數字為配分2.本表得視教學目標、實際教學及命題需要調整之學期授課計劃課程名稱：大數據挖掘與分析二級學院：信息工程學院專業(yè)：大數據技術年級：班次：；年2月13日~年6月19日課內總學時：64講課：32實驗：0上機：32實踐環(huán)節(jié)名稱：共周教材名稱：編者：出版社：出版年份：優(yōu)秀（重點）教材：授課教師：主講：許慧輔導：許慧教研室主任：年3月13日填寫

周次星期授課內容提要時數教輔活動備注11.1關于大數據分析1.1.1什么是大數據分析1.1.2大數據分析工具1.1.3大數據分析可視化2預警輔導答疑解惑720辦公室或者理北機房1.2認識SparkSQL1.2.1SparkSQL背景簡介1.2.2SparkSQL運行原理2預警輔導答疑解惑720辦公室或者理北機房22.1Hadoop集群環(huán)境搭建2.1.1環(huán)境準備2.1.2安裝Hadoop 2.1.3啟動Hadoop集群2.1.4運行經典案例wordcount2預警輔導答疑解惑720辦公室或者理北機房2.2Spark集群部署與使用2.2.1Spark安裝2.2.2啟動Spark2.2.3Spark集群測試2預警輔導答疑解惑720辦公室或者理北機房32.3Scala安裝3.1.1下載安裝包3.1.2安裝配置2預警輔導答疑解惑720辦公室或者理北機房3.1班級基本情況分析3.1.1學生所屬班級和男女生數量Scala數據類型、常量與變量、運算符、數組2預警輔導答疑解惑720辦公室或者理北機房4Scala判斷與循環(huán)2預警輔導答疑解惑720辦公室或者理北機房Scala函數式編程案例分析——學生所屬班級和男女生數量2預警輔導答疑解惑720辦公室或者理北機房53.1.2以班級為單位整理學生信息Scala列表與Set集合2預警輔導答疑解惑720辦公室或者理北機房Scala元組與Map映射2預警輔導答疑解惑720辦公室或者理北機房6Scala函數組合器2預警輔導答疑解惑720辦公室或者理北機房3.2學生基本情況獲取3.2.1學生特長情況Scala類和對象Scala模式匹配2預警輔導答疑解惑720辦公室或者理北機房73.2.2學生成績情況分析2預警輔導答疑解惑720辦公室或者理北機房4.1某房產公司銷售人員業(yè)績分析4.1.1數據集處理RDD的創(chuàng)建方法2預警輔導答疑解惑720辦公室或者理北機房84.1.2數據操作分析RDD的操作（一）count、map、flatmap、sortby、take，first、collect2預警輔導答疑解惑720辦公室或者理北機房RDD的操作（二）filter、distinct、union2預警輔導答疑解惑720辦公室或者理北機房9RDD的操作（三）min()、max()、mean()、sum()、variance()、stdev()函數2預警輔導答疑解惑720辦公室或者理北機房PairRDD的操作（一）創(chuàng)建PairRDD、keys()、values()轉換操作reducebykey()2預警輔導答疑解惑720辦公室或者理北機房10PairRDD的操作（二）groupbykey()、sortByKey()轉換操作數據結果存儲方法2預警輔導答疑解惑720辦公室或