《Python大數據分析與挖掘實戰(zhàn)》教學大綱 （64課時）

《python大數據分析與挖掘實戰(zhàn)》課程教學大綱課程代碼：學分：4學時：64（其中：講課學時：50實踐或實驗學時：14）先修課程：數學分析、高等代數、概率統(tǒng)計、Python程序設計基礎適用專業(yè)：信息與計算科學建議教材：黃恒秋主編.Python大數據分析與挖掘實戰(zhàn)（微課版）[M].北京：人民郵電出版社.2020.開課系部：數學與計算機科學學院一、課程的性質與任務課程性質：選修（必修）。課程任務：大數據時代，數據成為決策最為重要的參考之一，數據分析行業(yè)邁入了一個全新的階段。通過學習本課程，使得學生能夠掌握Python科學計算、數據處理、數據可視化、挖掘建模等基本技能，能夠針對基本的數據挖掘問題與樣例數據，調用Python中的第三方擴展包Numpy、Pandas、Matplotlib、Scikit-learn及關聯(lián)規(guī)則算法代碼，進行處理、計算與分析，初步掌握深度學習框架TensorFlow2.0安裝及多層神經網絡、卷積神經網絡、循環(huán)神經網絡基本原理及應用舉例程序實現(xiàn)，學會基本的行業(yè)應用實例。二、課程的基本內容及要求第一章Python基礎（復習）1.課程教學內容：（1）Python及其發(fā)行版Anaconda的安裝與啟動、Spyder開發(fā)工具的使用和Python新庫的安裝方法；（2）Python基本語法和數據結構。2.課程的重點、難點：（1）重點：Python基本語法和數據結構的靈活運用；（2）難點：Python數據結構的靈活運用。3.課程教學要求：（1）了解Python的安裝及界面基本使用技能；（2）理解Python基本數據結構及方法的使用；

（3）掌握Python基本數據結構的使用技能及循環(huán)、條件語句的應用。第二章科學計算包Numpy1.課程教學內容：（1）導入并使用Numpy創(chuàng)建數組；（2）數組的運算、切片、連接及存取、排序與搜索；數組相關屬性與方法；2.課程的重點、難點：（1）重點：數組的切片、連接、改變形態(tài)。數組的相關方法；（2）難點：數組的切片及改變形態(tài)。3.課程教學要求：（1）了解Numpy及導入使用；（2）理解數組的創(chuàng)建、切片、連接、存取、排序及搜索相關技能；

（3）掌握數組靈活切片的方法及數組連接、排序、搜索相關知識。第三章數據處理包Pandas1.課程教學內容：（1）導入并使用Pandas創(chuàng)建數據框和序列；（2）數據框和序列相關屬性、方法的介紹及使用；（3）數據框和序列的訪問、切片及運算；（4）外部數據文件的讀取及滾動計算函數的使用。2.課程的重點、難點：（1）重點：數據框、序列相關屬性、方法的應用，數據框和序列數據的訪問、切片及相互之間的轉換。常用外部數據文件的讀取；（2）難點：數據框、序列的訪問及切片。數據框、序列、數組、列表相關數據結構之間的相互轉換。3.課程教學要求：（1）了解Pandas導入及創(chuàng)建數據框和序列；（2）理解數據框和序列的訪問、切片及方法；

（3）掌握數據框和序列相關方法的靈活應用，數據框、序列、數組、列表之間的相關轉換及運用。第四章數據可視化包Matplotlib1.課程教學內容：（1）導入并使用Matplotlib中的pyplot模塊進行簡單繪圖；（2）Matplotlib中的pyplot模塊繪圖基本流程及原理；（3）利用Matplotlib中的yplot模塊繪制常見的圖形，包括散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖。2.課程的重點、難點：（1）重點：利用Matplotlib中的pyplot模塊進行散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的繪制。懂得圖形中文字符的顯示及橫軸字符刻度，子圖的布局排列；（2）難點：Matplotlib繪圖的基本流程及原理。3.課程教學要求：（1）了解Matplotlib中的pyplot模塊導入及簡單使用方法；（2）理解利用Matplotlib中的pyplot模塊繪圖的基本流程及原理；

（3）掌握利用Matplotlib中的pyplot模塊繪制散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的方法，以及中文字符的顯示、橫軸字符刻度和子圖的布局排列。第五章機器學習與實現(xiàn)1.課程教學內容：（1）導入Scikit-learn包及相關模塊；（2）缺失值填充、數據規(guī)范化或標準化、主成分分析降維及綜合評價、線性回歸、邏輯回歸、神經網絡、K-均值聚類、關聯(lián)規(guī)則相關的模型、算法與原理；（3）利用Scikit-learn包相關模塊，完成案例教學，包括均值、中位數、最頻繁值的缺失值填充策略，均值-方差、極差數據規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經網絡非線性回歸預測，邏輯回歸、神經網絡，K-mean聚類；（4）布爾數據集的轉換、布爾關聯(lián)規(guī)則挖掘原理、一對一關聯(lián)規(guī)則與多對一關聯(lián)規(guī)則基本概念與程序實現(xiàn)。2.課程的重點、難點：（1）重點：均值、中位數、最頻繁值的缺失值填充策略，均值-方差、極差數據規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經網絡非線性回歸預測，邏輯回歸、神經網絡，K-mean聚類，布爾數據集轉換、一對一和多對一關聯(lián)規(guī)則挖掘相關原理的理解及程序實現(xiàn)；（2）難點：主成分分析降維及綜合評價，線性回歸、神經網絡非線性回歸預測，邏輯回歸、神經網絡，K-mean聚類、布爾數據集轉換、關聯(lián)規(guī)則挖掘相關原理的理解。3.課程教學要求：（1）了解Scikit-learn包及相關模塊導入及簡單使用方法；（2）理解均值、中位數、最頻繁值的缺失值填充策略，均值-方差、極差數據規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經網絡非線性回歸預測，邏輯回歸、神經網絡，K-mean聚類相關的基本原理與方法；

（3）掌握均值、中位數、最頻繁值的缺失值填充策略，均值-方差、極差數據規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經網絡非線性回歸預測，邏輯回歸、神經網絡，K-mean聚類的程序實現(xiàn)及案例應用。（4）了解關聯(lián)規(guī)則的基本概念；理解布爾數據集轉換及布爾關聯(lián)規(guī)則挖掘的基本概念與程序實現(xiàn)方法；掌握一對一、多對一關聯(lián)規(guī)則挖掘的基本原理及程序實現(xiàn)方法，并進行案例應用。第六章深度學習與實現(xiàn)1.課程教學內容：（1）TensorFlow2.0的安裝及基本知識；（2）多層神經網絡、卷積神經網絡、循環(huán)神經網絡基本原理及程序實現(xiàn)；2.課程的重點、難點：（1）重點：TensorFlow2.0安裝及多層神經網絡、卷積神經網絡、循環(huán)神經網絡應用舉例程序實現(xiàn)；（2）難點：多層神經網絡、卷積神經網絡、循環(huán)神經網絡原理；3.課程教學要求：（1）深度學習基本概念；（2）了解多層神經網絡、卷積神經網絡、循環(huán)神經網絡基本原理；（3）掌握TensorFlow2.0安裝及多層神經網絡、卷積神經網絡、循環(huán)神經網絡應用舉例程序實現(xiàn)。第7章基于財務與交易數據的量化投資分析1.課程教學內容：（1）上市公司綜合評價、優(yōu)質股票選擇、量化投資等基本概念；（2）基于總體規(guī)模與效率指標的主成分分析綜合評價方法；（3）股票技術指標分析及程序計算（4）數據預處理及訓練、測試樣本劃分、邏輯回歸模型應用（5）量化投資策略設計實現(xiàn)及結果分析。2.課程的重點、難點：（1）重點：業(yè)務數據理解、指標數據的選擇、預處理、程序實現(xiàn)；（2）難點：業(yè)務數據理解、模型的理解、場景應用。3.課程教學要求：（1）了解上市公司綜合評價的基本概念及模型、股票技術分析指標概念及計算方法；（2）理解業(yè)務數據、指標數據選取、預處理、量化投資設計的基本原理、原則及流程；

（3）掌握指標數據選取、預處理、程序實現(xiàn)、量化投資策略設計實現(xiàn)的全部流程。第8章眾包任務定價優(yōu)化方案1.課程教學內容：（1）經緯度坐標數據可視化等基本概念及計算實現(xiàn)方法；（2）指標的設計原理和計算公式；（3）數據獲取及指標計算；（4）主成分分析、神經網絡、支持向量機模型的具體應用場景及程序實現(xiàn)；（5）方案評價指標設計及實現(xiàn)。2.課程的重點、難點：（1）重點：地理信息數據可視化，指標設計原理、公式和程序實現(xiàn)，主成分分析、神經網絡和支持向量機模型的具體應用場景；（2）難點：指標設計原理、公式和程序實現(xiàn)。3.課程教學要求：（1）了解地理信息數據處理的基本概念、方法和可視化；（2）根據具體業(yè)務場景，設計指標及程序實現(xiàn)；（3）掌握眾包任務定價特征指標的設計、計算、程序實現(xiàn)及模型應用。第9章地鐵站點日客流量預測1.課程教學內容：（1）地鐵刷卡數據的理解；（2）刷卡數據日期排序及二分法數據處理思想；（3）基于二分法思想快速查找出每日的刷卡數據，并匯總統(tǒng)計進站和出站客流。（4）設計影響地鐵客流量的天氣、星期、節(jié)假日等因素指標，并進行計算及特征分析；（5）構建基于神經網絡的地鐵日客流量預測模型。2.課程的重點、難點：（1）重點：二分法思想及數據快速查找，日進站和出站客流統(tǒng)計，天氣、星期、節(jié)假日影響因素指標設計和計算，神經網絡預測模型構建及程序實現(xiàn)。（2）難點：二分法思想及數據快速查找程序代碼，日進、出站客流計算。3.課程教學要求：（1）了解地鐵刷卡數據及數據處理、二分法快速查找數據的方法；（2）理解二分法快速查找數據并進行數據處理的程序實現(xiàn)思路；

（3）掌握基于二分法思想的數據處理方法、程序實現(xiàn)及匯總統(tǒng)計進站和出站客流，天氣、星期、節(jié)假日影響因素指標設計和程序計算方法，神經網絡預測模型構建及程序實現(xiàn)。第10章微博文本情感分析1.課程教學內容：（1）文本數據的預處理，包括分詞、去掉停用詞、特征詞向量化、訓練和測試集劃分；（2）支持向量機分類模型及實現(xiàn)；（3）LSTM深度學習模型及實現(xiàn)；2.課程的重點、難點：（1）重點：數據預處理、LSTM深度實習模型及程序實現(xiàn)；（2）難點：LSTM深度學習模型原理及程序實現(xiàn)。3.課程教學要求：（1）了解文本數據預處理的基本技能，包括分詞、去停用詞、特征詞向量化；（2）理解文本數據預處理的程序實現(xiàn)思路和訓練、測試集劃分；

（3）掌握文本數據預處理基本技能及支持向量機、LSTM深度學習模型程序實現(xiàn)。第11章基于水色圖像的水質評價1.課程教學內容：（1）圖像的讀取、圖像數據處理，圖像顏色特征提取與計算方法；（2）基于支持向量機的圖像識別方法及程序實現(xiàn)；（3）基于卷積神經網絡的圖像識別方法和程序實現(xiàn)；2.課程的重點、難點：（1）重點：圖像數據處理和顏色特征提取、計算和程序實現(xiàn)，針對灰圖和彩圖的卷積神經網絡圖像識別模型與程序實現(xiàn)；（2）難點：卷積神經網絡模型原理及程序實現(xiàn)。3.課程教學要求：（1）了解圖像讀取、數據處理、顏色特征提取與計算的基本方法；（2）理解利用支持向量機模型與卷積神經網絡模型進行圖像識別的基本思路、流程和方法；

（3）掌握圖像讀取、數據處理和顏色特征提取、支持向量機模型和卷積神經網絡模型的程序實現(xiàn)方法。第12章GUI可視化應用開發(fā)1.課程教學內容：（1）pycharm安裝及在pycharm中部署anaconda下的界面設計師（Designer）工具；（2）PyQt5基本使用方法及UI界面和PyQt5程序的轉換；（3）掌握界面設計師（Designer）工具的基本使用方法（4）水色圖像水質評價系統(tǒng)的設計及程序實現(xiàn)（5）上市公司綜合評價系統(tǒng)的設計及程序實現(xiàn)2.課程的重點、難點：（1）重點：GUI開發(fā)環(huán)境部署、系統(tǒng)設計與程序交互的思想、界面設計及程序開發(fā)；（2）難點：系統(tǒng)設計與程序交互思想的理解、界面設計及程序開發(fā)具體實現(xiàn)。3.課程教學要求：（1）了解界面設計師工具的基本使用方法；（2）理解系統(tǒng)設計與程序交互實現(xiàn)思想，界面設計與程序開發(fā)的基本流程和方法。（3）掌握GUI開發(fā)環(huán)境部署，界面設計及程序開發(fā)具體實現(xiàn)方法，水色圖像水質評價系統(tǒng)和上市公司綜合評價系統(tǒng)的設計與實現(xiàn)方法。三、實踐教學要求Python大數據分析與挖掘基礎是一門應用性極強的課程，涉及數據處理、數據分析與探索、數據挖掘模型與算法、Python編程技能等。本課程要求學生會利用Python第三方擴展包，進行外部數據讀取、數據處理、探索與分析、數據挖掘模型與算法應用等，并初步掌握深度學習框架及主要模型應用舉例程序實現(xiàn)，同時拓展應用到主流行業(yè)領域中。本課程建議使用Python的集成開發(fā)平臺進行程序編寫及教學，比如Anaconda、pycharm等。四、課程學時分配序號教學內容理論教學學時實驗學時實驗（實踐）內容課外實驗1第1章Python基礎10頭歌平臺配套實驗2第2章科學計算包Numpy30頭歌平臺配套實驗3第3章數據處理包Pandas52數據框切片、轉換、運算及連接頭歌平臺配套實驗4第4章數據可視化包Matplotlib32子圖繪制及排列頭歌平臺配套實驗5第5章機器學習與實現(xiàn)83分類、聚類應用頭歌平臺配套實驗6第6章深度學習與實現(xiàn)60頭歌平臺配套實驗7第7章基于財務與交易數據的量化投資分析42上市公司綜合評價頭歌平臺配套實驗8第8章眾包任務定價優(yōu)化方案40頭歌平臺配套實驗9第9章地鐵站點日客流量預測40頭歌平臺配套實驗10第10章微博文本情感分析42本章練習頭歌平臺配套實驗11第11章基于水色圖像的水質評價40頭歌平臺配套實驗12第12章GUI可視化應用開發(fā)43本章練習合計5014五、大綱說明1.教學手段：（1）理論與實