《Python大數(shù)據(jù)分析與挖掘實戰(zhàn)》教學大綱 （48課時）

《python大數(shù)據(jù)分析與挖掘實戰(zhàn)》課程教學大綱課程代碼：學分：3學時：48（其中：講課學時：36實踐或實驗學時：12）先修課程：數(shù)學分析、高等代數(shù)、概率統(tǒng)計、Python程序設計基礎適用專業(yè)：信息與計算科學建議教材：黃恒秋主編.Python大數(shù)據(jù)分析與挖掘實戰(zhàn)（微課版）[M].北京：人民郵電出版社.2020.開課系部：數(shù)學與計算機科學學院一、課程的性質與任務課程性質：選修（必修）。課程任務：大數(shù)據(jù)時代，數(shù)據(jù)成為決策最為重要的參考之一，數(shù)據(jù)分析行業(yè)邁入了一個全新的階段。通過學習本課程，使得學生能夠掌握Python科學計算、數(shù)據(jù)處理、數(shù)據(jù)可視化、挖掘建模等基本技能，能夠針對基本的數(shù)據(jù)挖掘問題與樣例數(shù)據(jù)，調(diào)用Python中的第三方擴展包Numpy、Pandas、Matplotlib、Scikit-learn及關聯(lián)規(guī)則算法代碼，進行處理、計算與分析，初步掌握深度學習框架TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡基本原理及應用舉例程序實現(xiàn)，學會基本的行業(yè)應用實例。二、課程的基本內(nèi)容及要求第一章Python基礎（復習）1.課程教學內(nèi)容：（1）Python及其發(fā)行版Anaconda的安裝與啟動、Spyder開發(fā)工具的使用和Python新庫的安裝方法；（2）Python基本語法和數(shù)據(jù)結構。2.課程的重點、難點：（1）重點：Python基本語法和數(shù)據(jù)結構的靈活運用；（2）難點：Python數(shù)據(jù)結構的靈活運用。3.課程教學要求：（1）了解Python的安裝及界面基本使用技能；（2）理解Python基本數(shù)據(jù)結構及方法的使用；

（3）掌握Python基本數(shù)據(jù)結構的使用技能及循環(huán)、條件語句的應用。第二章科學計算包Numpy1.課程教學內(nèi)容：（1）導入并使用Numpy創(chuàng)建數(shù)組；（2）數(shù)組的運算、切片、連接及存取、排序與搜索；數(shù)組相關屬性與方法；2.課程的重點、難點：（1）重點：數(shù)組的切片、連接、改變形態(tài)。數(shù)組的相關方法；（2）難點：數(shù)組的切片及改變形態(tài)。3.課程教學要求：（1）了解Numpy及導入使用；（2）理解數(shù)組的創(chuàng)建、切片、連接、存取、排序及搜索相關技能；

（3）掌握數(shù)組靈活切片的方法及數(shù)組連接、排序、搜索相關知識。第三章數(shù)據(jù)處理包Pandas1.課程教學內(nèi)容：（1）導入并使用Pandas創(chuàng)建數(shù)據(jù)框和序列；（2）數(shù)據(jù)框和序列相關屬性、方法的介紹及使用；（3）數(shù)據(jù)框和序列的訪問、切片及運算；（4）外部數(shù)據(jù)文件的讀取及滾動計算函數(shù)的使用。2.課程的重點、難點：（1）重點：數(shù)據(jù)框、序列相關屬性、方法的應用，數(shù)據(jù)框和序列數(shù)據(jù)的訪問、切片及相互之間的轉換。常用外部數(shù)據(jù)文件的讀??；（2）難點：數(shù)據(jù)框、序列的訪問及切片。數(shù)據(jù)框、序列、數(shù)組、列表相關數(shù)據(jù)結構之間的相互轉換。3.課程教學要求：（1）了解Pandas導入及創(chuàng)建數(shù)據(jù)框和序列；（2）理解數(shù)據(jù)框和序列的訪問、切片及方法；

（3）掌握數(shù)據(jù)框和序列相關方法的靈活應用，數(shù)據(jù)框、序列、數(shù)組、列表之間的相關轉換及運用。第四章數(shù)據(jù)可視化包Matplotlib1.課程教學內(nèi)容：（1）導入并使用Matplotlib中的pyplot模塊進行簡單繪圖；（2）Matplotlib中的pyplot模塊繪圖基本流程及原理；（3）利用Matplotlib中的yplot模塊繪制常見的圖形，包括散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖。2.課程的重點、難點：（1）重點：利用Matplotlib中的pyplot模塊進行散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的繪制。懂得圖形中文字符的顯示及橫軸字符刻度，子圖的布局排列；（2）難點：Matplotlib繪圖的基本流程及原理。3.課程教學要求：（1）了解Matplotlib中的pyplot模塊導入及簡單使用方法；（2）理解利用Matplotlib中的pyplot模塊繪圖的基本流程及原理；

（3）掌握利用Matplotlib中的pyplot模塊繪制散點圖、線性圖、柱狀圖、直方圖、餅圖、箱線圖和子圖的方法，以及中文字符的顯示、橫軸字符刻度和子圖的布局排列。第五章機器學習與實現(xiàn)1.課程教學內(nèi)容：（1）導入Scikit-learn包及相關模塊；（2）缺失值填充、數(shù)據(jù)規(guī)范化或標準化、主成分分析降維及綜合評價、線性回歸、邏輯回歸、神經(jīng)網(wǎng)絡、K-均值聚類、關聯(lián)規(guī)則相關的模型、算法與原理；（3）利用Scikit-learn包相關模塊，完成案例教學，包括均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡，K-mean聚類；（4）布爾數(shù)據(jù)集的轉換、布爾關聯(lián)規(guī)則挖掘原理、一對一關聯(lián)規(guī)則與多對一關聯(lián)規(guī)則基本概念與程序實現(xiàn)。2.課程的重點、難點：（1）重點：均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡，K-mean聚類，布爾數(shù)據(jù)集轉換、一對一和多對一關聯(lián)規(guī)則挖掘相關原理的理解及程序實現(xiàn)；（2）難點：主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡，K-mean聚類、布爾數(shù)據(jù)集轉換、關聯(lián)規(guī)則挖掘相關原理的理解。3.課程教學要求：（1）了解Scikit-learn包及相關模塊導入及簡單使用方法；（2）理解均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡，K-mean聚類相關的基本原理與方法；

（3）掌握均值、中位數(shù)、最頻繁值的缺失值填充策略，均值-方差、極差數(shù)據(jù)規(guī)范化或標準化，主成分分析降維及綜合評價，線性回歸、神經(jīng)網(wǎng)絡非線性回歸預測，邏輯回歸、神經(jīng)網(wǎng)絡，K-mean聚類的程序實現(xiàn)及案例應用。（4）了解關聯(lián)規(guī)則的基本概念；理解布爾數(shù)據(jù)集轉換及布爾關聯(lián)規(guī)則挖掘的基本概念與程序實現(xiàn)方法；掌握一對一、多對一關聯(lián)規(guī)則挖掘的基本原理及程序實現(xiàn)方法，并進行案例應用。第六章深度學習與實現(xiàn)1.課程教學內(nèi)容：（1）TensorFlow2.0的安裝及基本知識；（2）多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡基本原理及程序實現(xiàn)；2.課程的重點、難點：（1）重點：TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡應用舉例程序實現(xiàn)；（2）難點：多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡原理；3.課程教學要求：（1）深度學習基本概念；（2）了解多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡基本原理；（3）掌握TensorFlow2.0安裝及多層神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡應用舉例程序實現(xiàn)。第7章基于財務與交易數(shù)據(jù)的量化投資分析1.課程教學內(nèi)容：（1）上市公司綜合評價、優(yōu)質股票選擇、量化投資等基本概念；（2）基于總體規(guī)模與效率指標的主成分分析綜合評價方法；（3）股票技術指標分析及程序計算（4）數(shù)據(jù)預處理及訓練、測試樣本劃分、邏輯回歸模型應用（5）量化投資策略設計實現(xiàn)及結果分析。2.課程的重點、難點：（1）重點：業(yè)務數(shù)據(jù)理解、指標數(shù)據(jù)的選擇、預處理、程序實現(xiàn)；（2）難點：業(yè)務數(shù)據(jù)理解、模型的理解、場景應用。3.課程教學要求：（1）了解上市公司綜合評價的基本概念及模型、股票技術分析指標概念及計算方法；（2）理解業(yè)務數(shù)據(jù)、指標數(shù)據(jù)選取、預處理、量化投資設計的基本原理、原則及流程；

（3）掌握指標數(shù)據(jù)選取、預處理、程序實現(xiàn)、量化投資策略設計實現(xiàn)的全部流程。第8章眾包任務定價優(yōu)化方案1.課程教學內(nèi)容：（1）經(jīng)緯度坐標數(shù)據(jù)可視化等基本概念及計算實現(xiàn)方法；（2）指標的設計原理和計算公式；（3）數(shù)據(jù)獲取及指標計算；（4）主成分分析、神經(jīng)網(wǎng)絡、支持向量機模型的具體應用場景及程序實現(xiàn)；（5）方案評價指標設計及實現(xiàn)。2.課程的重點、難點：（1）重點：地理信息數(shù)據(jù)可視化，指標設計原理、公式和程序實現(xiàn)，主成分分析、神經(jīng)網(wǎng)絡和支持向量機模型的具體應用場景；（2）難點：指標設計原理、公式和程序實現(xiàn)。3.課程教學要求：（1）了解地理信息數(shù)據(jù)處理的基本概念、方法和可視化；（2）根據(jù)具體業(yè)務場景，設計指標及程序實現(xiàn)；（3）掌握眾包任務定價特征指標的設計、計算、程序實現(xiàn)及模型應用。第11章基于水色圖像的水質評價1.課程教學內(nèi)容：（1）圖像的讀取、圖像數(shù)據(jù)處理，圖像顏色特征提取與計算方法；（2）基于支持向量機的圖像識別方法及程序實現(xiàn)；（3）基于卷積神經(jīng)網(wǎng)絡的圖像識別方法和程序實現(xiàn)；2.課程的重點、難點：（1）重點：圖像數(shù)據(jù)處理和顏色特征提取、計算和程序實現(xiàn)，針對灰圖和彩圖的卷積神經(jīng)網(wǎng)絡圖像識別模型與程序實現(xiàn)；（2）難點：卷積神經(jīng)網(wǎng)絡模型原理及程序實現(xiàn)。3.課程教學要求：（1）了解圖像讀取、數(shù)據(jù)處理、顏色特征提取與計算的基本方法；（2）理解利用支持向量機模型與卷積神經(jīng)網(wǎng)絡模型進行圖像識別的基本思路、流程和方法；

（3）掌握圖像讀取、數(shù)據(jù)處理和顏色特征提取、支持向量機模型和卷積神經(jīng)網(wǎng)絡模型的程序實現(xiàn)方法。三、實踐教學要求Python大數(shù)據(jù)分析與挖掘基礎是一門應用性極強的課程，涉及數(shù)據(jù)處理、數(shù)據(jù)分析與探索、數(shù)據(jù)挖掘模型與算法、Python編程技能等。本課程要求學生會利用Python第三方擴展包，進行外部數(shù)據(jù)讀取、數(shù)據(jù)處理、探索與分析、數(shù)據(jù)挖掘模型與算法應用等，并初步掌握深度學習框架及主要模型應用舉例程序實現(xiàn)，同時拓展到一些主流行業(yè)應用中。本課程建議使用Python的集成開發(fā)平臺進行程序編寫及教學，比如Anaconda、pycharm等。四、課程學時分配序號教學內(nèi)容理論教學學時實驗學時實驗（實踐）內(nèi)容課外實驗1第1章Python基礎102第2章科學計算包Numpy30數(shù)組切片、運算、存取及連接頭歌平臺配套實驗3第3章數(shù)據(jù)處理包Pandas52數(shù)據(jù)框切片、轉換、運算及連接頭歌平臺配套實驗4第4章數(shù)據(jù)可視化包Matplotlib32子圖繪制及排列頭歌平臺配套實驗5第5章機器學習與實現(xiàn)83分類、聚類應用頭歌平臺配套實驗6第6章深度學習與實現(xiàn)40頭歌平臺配套實驗7第7章基于財務與交易數(shù)據(jù)的量化投資分析40頭歌平臺配套實驗8第8章眾包任務定價優(yōu)化方案42本章練習頭歌平臺配套實驗9第11章基于水色圖像的水質評價43本章練習頭歌平臺配套實驗合計3612五、大綱說明1.教學手段：（1）理論與實踐相結合，多媒體機房上課，帶黑板（方便板書及推導）；（2）講授課程結束后即開展實驗，在機房進行。2.考核方式建議：（1