PySpark大數(shù)據(jù)分析與應(yīng)用-教學(xué)大綱

《PySpark大數(shù)據(jù)分析與應(yīng)用》教學(xué)大綱課程名稱：PySpark大數(shù)據(jù)分析與應(yīng)用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論32學(xué)時(shí)，實(shí)驗(yàn)32學(xué)時(shí)）總學(xué)分：4.0學(xué)分課程的性質(zhì)隨著移動互聯(lián)網(wǎng)、電子商務(wù)、物聯(lián)網(wǎng)以及社交媒體的快速發(fā)展，大數(shù)據(jù)時(shí)代悄然來臨，讓信息技術(shù)的發(fā)展發(fā)生了巨大的變化，對經(jīng)濟(jì)發(fā)展、社會生活和國家治理產(chǎn)生著根本性、全局性、革命性的影響。世界各國都高度重視大數(shù)據(jù)技術(shù)的研究和產(chǎn)業(yè)發(fā)展，紛紛把大數(shù)據(jù)上升為國家戰(zhàn)略加以重點(diǎn)推進(jìn)。企業(yè)也紛紛加大技術(shù)，資金和人員投入力度，運(yùn)用大數(shù)據(jù)技術(shù)促進(jìn)企業(yè)發(fā)展，指導(dǎo)企業(yè)經(jīng)營，推動企業(yè)智能化發(fā)展。為了滿足企業(yè)和政府對大數(shù)據(jù)人才的需求不斷增加，培養(yǎng)具有良好科學(xué)素養(yǎng)，具備大數(shù)據(jù)計(jì)算、分析及應(yīng)用開發(fā)能力的創(chuàng)新人才，特開設(shè)PySpark大數(shù)據(jù)分析與應(yīng)用課程。課程的任務(wù)通過本課程的學(xué)習(xí)，使學(xué)生學(xué)會搭建Spark分布式的計(jì)算框架，掌握PySpark的DataFrame結(jié)構(gòu)，流式數(shù)據(jù)處理方法和機(jī)器學(xué)習(xí)庫，通過兩個(gè)企業(yè)級大數(shù)據(jù)分析案例，詳細(xì)介紹大數(shù)據(jù)分析過程中的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析、數(shù)據(jù)可視化等技術(shù)在實(shí)際項(xiàng)目中的應(yīng)用，將理論與實(shí)踐相結(jié)合，為將來從事大數(shù)據(jù)分析和挖掘，大數(shù)據(jù)應(yīng)用系統(tǒng)軟件開發(fā)奠定基礎(chǔ)。課程學(xué)時(shí)分配序號教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它1第1章PySpark大數(shù)據(jù)分析概述602第2章PySpark安裝配置443第3章基于PySpark的DataFrame操作644第4章基于PySpark的流式數(shù)據(jù)處理665第5章基于PySpark的機(jī)器學(xué)習(xí)庫666第6章案例分析：基于PySpark的招聘網(wǎng)站信息的職業(yè)類型劃分267第7章案例分析：基于PySpark的信用貸款風(fēng)險(xiǎn)分析26總計(jì)3232教學(xué)內(nèi)容及學(xué)時(shí)安排理論教學(xué)序號章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1PySpark大數(shù)據(jù)分析概述了解大數(shù)據(jù)概念了解大數(shù)據(jù)分析流程了解大數(shù)據(jù)分析常用框架了解Spark大數(shù)據(jù)技術(shù)框架了解PySpark大數(shù)據(jù)分析的優(yōu)勢掌握大數(shù)據(jù)分析的概念、流程與應(yīng)用場景了解Spark計(jì)算框架了解PySpark應(yīng)用場景熟悉SparkRDD的概念與常見算子。了解PySpark的由來、優(yōu)勢及主要模塊。62PySpark安裝配置在Windows系統(tǒng)中安裝Anaconda在Anaconda中安裝Jupyter在Windows系統(tǒng)中安裝Hadoop在Windows系統(tǒng)中安裝MySQL在Windows系統(tǒng)中Hive為Jupyter配置PySpark模塊安裝Linux虛擬機(jī)在Linux系統(tǒng)中安裝Hadoop在Linux系統(tǒng)中安裝MySQL在Linux系統(tǒng)中安裝Hive在Linux系統(tǒng)中安裝Spark配置PySpark模塊掌握Python中的重要數(shù)據(jù)結(jié)構(gòu)掌握Python中的函數(shù)式編程掌握搭建單機(jī)模式PySpark開發(fā)環(huán)境的方法掌握搭建分布式模式PySpark開發(fā)環(huán)境的方法掌握Python函數(shù)式編程43基于PySpark的DataFrame操作SparkSQL起源與發(fā)展歷程SparkSQL主要功能SparkSQL數(shù)據(jù)核心抽象DataFramepyspark.sql模塊簡介pyspark.sql模塊核心類創(chuàng)建DataFrame對象DataFrame操作DataFrame輸出操作了解SparkSQL的發(fā)展歷程和主要功能。了解DataFrame概念。了解pyspark.sql模塊及其核心類。掌握基于PySparkSQL的DataFrame的創(chuàng)建方法。掌握基于PySparkSQL的DataFrame的基礎(chǔ)操作。64基于PySpark的流式數(shù)據(jù)處理流計(jì)算簡介SparkStreaming基本概念SparkStreaming工作原理SparkStreaming運(yùn)行機(jī)制pyspark.streaming模塊簡介pyspark.streaming模塊核心類DStream基礎(chǔ)操作StructuredStreaming概述StructuredStreaming編程模型StructuredStreaming基礎(chǔ)操作StructuredStreaming編程步驟了解SparkStreaming的基本概念、工作原理和運(yùn)行機(jī)制。了解pyspark.streaming模塊主要類及核心類。掌握基于PySpark的DStream創(chuàng)建、轉(zhuǎn)換、窗口和輸出操作。了解StructuredStreaming基本概念及編程模型。掌握StructuredStreaming基礎(chǔ)操作。熟悉StructuredStreaming編程步驟。65基于PySpark的機(jī)器學(xué)習(xí)庫了解PySpark機(jī)器學(xué)習(xí)庫了解機(jī)器學(xué)習(xí)庫中的轉(zhuǎn)換器使用PySpark構(gòu)建分類模型使用PySpark構(gòu)建回歸模型使用PySpark構(gòu)建聚類模型使用PySpark構(gòu)建智能推薦模型了解PySpark機(jī)器學(xué)習(xí)庫及主要功能模塊掌握分類模型的構(gòu)建與評估掌握回歸模型的構(gòu)建與評估掌握聚類模型的構(gòu)建與評估掌握智能推薦模型的構(gòu)建與評估66案例分析：基于PySpark的招聘網(wǎng)站信息的職業(yè)類型劃分需求與架構(gòu)分析招聘信息數(shù)據(jù)說明招聘信息數(shù)據(jù)讀取重復(fù)數(shù)據(jù)與空值探索異常數(shù)據(jù)探索招聘信息數(shù)據(jù)清洗中文分詞與去停用詞詞特征向量化LDA算法簡介LDA模型構(gòu)建與評估構(gòu)建LDA模型制作詞云圖了解網(wǎng)絡(luò)招聘信息文本挖掘的步驟與流程。掌握數(shù)據(jù)探索、預(yù)處理的基本方法。熟悉TF-IDF的基本原理及其在SparkMLlib庫中的實(shí)現(xiàn)過程。了解LDA聚類算法，并掌握SparkMLlib庫的LDA聚類算法的使用方法。掌握LDA聚類模型的構(gòu)建與部署方法。27案例分析：基于PySpark的信用貸款風(fēng)險(xiǎn)分析需求與架構(gòu)分析信用貸款數(shù)據(jù)說明建立數(shù)據(jù)倉庫并導(dǎo)入信用貸款數(shù)據(jù)用戶信息完善情況與逾期率的關(guān)系探索用戶信息修改情況與逾期率的關(guān)系探索用戶借款月份與逾期率的關(guān)系探索計(jì)算用戶信息缺失個(gè)數(shù)及借款月份構(gòu)建新特征用戶更新消息重建用戶登錄消息重建分類數(shù)據(jù)預(yù)處理字符串字段編碼處理分類數(shù)據(jù)重編碼缺失值處理了解GBTs算法構(gòu)建GBTs模型評估GBTs模型部署和提交PySpark應(yīng)用程序理解信用貸款風(fēng)險(xiǎn)分析的步驟和流程了解GBTs分類算法掌握數(shù)據(jù)探索方法掌握數(shù)據(jù)可視化方法掌握數(shù)據(jù)預(yù)處理方法掌握PySpark編程實(shí)現(xiàn)分類模型掌握分類模型的評估2學(xué)時(shí)合計(jì)3232實(shí)驗(yàn)教學(xué)序號實(shí)驗(yàn)項(xiàng)目名稱實(shí)驗(yàn)要求學(xué)時(shí)1搭建單機(jī)模式的PySpark開發(fā)環(huán)境在Windows系統(tǒng)中安裝Anaconda在Windows系統(tǒng)中安裝Hadoop在Windows系統(tǒng)中安裝MySQL在Windows系統(tǒng)中安裝Hive在Jupyter中配置PySpark模塊Python函數(shù)式編程操作22搭建分布式模式的PySpark開發(fā)環(huán)境安裝Linux虛擬機(jī)在Linux系統(tǒng)中安裝Hadoop在Linux系統(tǒng)中安裝MySQL在Linux系統(tǒng)中安裝Hive在Linux系統(tǒng)中安裝Spark在Jupyter中配置PySpark模塊23PySpark的DataFrame操作pyspark.sql模塊核心類使用PySpark創(chuàng)建DataFrame對象DataFrame操作DataFrame輸出操作44PySpark流式數(shù)據(jù)處理DStream基礎(chǔ)操作StructuredStreaming編程模型StructuredStreaming基礎(chǔ)操作StructuredStreaming編程步驟65基于PySpark的機(jī)器學(xué)習(xí)庫使用PySpark構(gòu)建并評估分類模型使用PySpark構(gòu)建并評估回歸模型使用PySpark構(gòu)建并評估聚類模型使用PySpark構(gòu)建并評估智能推薦模型66基于PySpark的招聘網(wǎng)站信息的職業(yè)類型劃分?jǐn)?shù)據(jù)探索數(shù)據(jù)預(yù)處理構(gòu)建LDA模型評價(jià)LDA模型制作詞云圖67基于PySpark的信用貸款風(fēng)險(xiǎn)分析數(shù)據(jù)探索數(shù)據(jù)預(yù)處理構(gòu)建GBTs分類模型評價(jià)GBTs分類模型部署和提交PySpark應(yīng)用程序6學(xué)時(shí)合計(jì)32考核方式突出學(xué)生解決實(shí)際問題的能力，加強(qiáng)過程性考核。課程考核的成績構(gòu)成=平時(shí)作業(yè)（20%）+課堂參與（20%）+期末考核（60%），期末考試建議采用開卷形式，試題應(yīng)包括基本概念、數(shù)據(jù)清洗、數(shù)據(jù)變換、模型構(gòu)建等部分，題型可采用判斷題、選擇、簡答、應(yīng)用題，設(shè)計(jì)題等方式。教材與參考資料教材戴剛，張良均．《PySpark大數(shù)據(jù)分析與應(yīng)用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第