大數(shù)據(jù)分析及應(yīng)用項(xiàng)目教程(Spark SQL)（微課版） 授課計(jì)劃

學(xué)期授課計(jì)劃課程名稱：大數(shù)據(jù)挖掘與分析二級(jí)學(xué)院：信息工程學(xué)院專業(yè)：大數(shù)據(jù)技術(shù)年級(jí)：班次：；年2月13日~年6月19日課內(nèi)總學(xué)時(shí)：64講課：32實(shí)驗(yàn)：0上機(jī)：32實(shí)踐環(huán)節(jié)名稱：共周教材名稱：編者：出版社：出版年份：優(yōu)秀（重點(diǎn)）教材：授課教師：主講：許慧輔導(dǎo)：許慧教研室主任：年3月13日填寫

周次星期授課內(nèi)容提要時(shí)數(shù)教輔活動(dòng)備注11.1關(guān)于大數(shù)據(jù)分析1.1.1什么是大數(shù)據(jù)分析1.1.2大數(shù)據(jù)分析工具1.1.3大數(shù)據(jù)分析可視化2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房1.2認(rèn)識(shí)SparkSQL1.2.1SparkSQL背景簡(jiǎn)介1.2.2SparkSQL運(yùn)行原理2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房22.1Hadoop集群環(huán)境搭建2.1.1環(huán)境準(zhǔn)備2.1.2安裝Hadoop 2.1.3啟動(dòng)Hadoop集群2.1.4運(yùn)行經(jīng)典案例wordcount2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房2.2Spark集群部署與使用2.2.1Spark安裝2.2.2啟動(dòng)Spark2.2.3Spark集群測(cè)試2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房32.3Scala安裝3.1.1下載安裝包3.1.2安裝配置2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房3.1班級(jí)基本情況分析3.1.1學(xué)生所屬班級(jí)和男女生數(shù)量Scala數(shù)據(jù)類型、常量與變量、運(yùn)算符、數(shù)組2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房4Scala判斷與循環(huán)2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房Scala函數(shù)式編程案例分析——學(xué)生所屬班級(jí)和男女生數(shù)量2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房53.1.2以班級(jí)為單位整理學(xué)生信息Scala列表與Set集合2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房Scala元組與Map映射2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房6Scala函數(shù)組合器2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房3.2學(xué)生基本情況獲取3.2.1學(xué)生特長(zhǎng)情況Scala類和對(duì)象Scala模式匹配2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房73.2.2學(xué)生成績(jī)情況分析2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房4.1某房產(chǎn)公司銷售人員業(yè)績(jī)分析4.1.1數(shù)據(jù)集處理RDD的創(chuàng)建方法2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房84.1.2數(shù)據(jù)操作分析RDD的操作（一）count、map、flatmap、sortby、take，first、collect2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房RDD的操作（二）filter、distinct、union2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房9RDD的操作（三）min()、max()、mean()、sum()、variance()、stdev()函數(shù)2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房PairRDD的操作（一）創(chuàng)建PairRDD、keys()、values()轉(zhuǎn)換操作reducebykey()2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房10PairRDD的操作（二）groupbykey()、sortByKey()轉(zhuǎn)換操作數(shù)據(jù)結(jié)果存儲(chǔ)方法2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房4.2某城市近年房產(chǎn)銷售狀況分析4.2.1數(shù)據(jù)準(zhǔn)備4.2.2數(shù)據(jù)探索與分析（一）2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房11數(shù)據(jù)探索與分析（二）4.2.3總結(jié)分析2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房5.1女裝電子商務(wù)評(píng)論情況分析5.1.1數(shù)據(jù)準(zhǔn)備5.1.2數(shù)據(jù)清洗drop(cols)、dropDuplicates(subset=None)、na.drop、na.fill()2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房125.1.3數(shù)據(jù)轉(zhuǎn)換withColumn()、withColumnRename()、定義UDF、na.replace2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房5.1.4數(shù)據(jù)分析注冊(cè)臨時(shí)表的方法、數(shù)據(jù)分析（一）2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房13數(shù)據(jù)分析（二）5.1.5數(shù)據(jù)輸出2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房5.2在線銷售訂單數(shù)據(jù)分析5.2.1數(shù)據(jù)查詢操作（一）查看、過(guò)濾、指定列查詢、排序操作、2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房14數(shù)據(jù)查詢操作（二）分組聚合、聚合函數(shù)、連接操作2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房5.2.2數(shù)據(jù)分析探索2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房156.1Zepplin安裝部署6.1.1安裝包下載6.1.2安裝配置6.1.3測(cè)試運(yùn)行Zeppelin2預(yù)警輔導(dǎo)答疑解惑720辦公室或者理北機(jī)房6.2女裝電子商務(wù)評(píng)論情況數(shù)據(jù)可視化6.2.1加載數(shù)據(jù)注冊(cè)視圖6.2.2執(zhí)行