大數(shù)據(jù)分析教學大綱教案

《大數(shù)據(jù)分析》課程教學大綱【課程名稱】大數(shù)據(jù)分析【課程類型】專業(yè)必修課【授課對象】大數(shù)據(jù)技術(shù)與應(yīng)用、云計算技術(shù)與應(yīng)用專業(yè)【學時學分】周學時6，共72學時，3學分【課程概況】《大數(shù)據(jù)分析》課程是大數(shù)據(jù)技術(shù)與應(yīng)用、云計算技術(shù)與應(yīng)用專業(yè)必修課，是計算機基礎(chǔ)理論與應(yīng)用實踐相結(jié)合的課程，也是大數(shù)據(jù)專業(yè)的高核心課程，它肩負著系統(tǒng)、全方面地理解大數(shù)據(jù)，提高大數(shù)據(jù)應(yīng)用技能的重任。

本課程的先修課為《Python程序設(shè)計》、《大數(shù)據(jù)導(dǎo)論》、《數(shù)據(jù)庫設(shè)計》和《計算機網(wǎng)絡(luò)基礎(chǔ)》課程，規(guī)定學生掌握計算機軟件范疇的算法構(gòu)造設(shè)計和程序設(shè)計的辦法，大數(shù)據(jù)體系構(gòu)造和網(wǎng)絡(luò)技術(shù)的基本使用辦法?！菊n程目的】通過本課程的學習，讓學生接觸并理解大數(shù)據(jù)分析的工作原理和使用辦法，使學生含有Python大數(shù)據(jù)分析、設(shè)計和可視化開發(fā)的能力，含有Kettle大數(shù)據(jù)清洗和存儲的基本技能，并含有較強的分析問題和解決問題的能力，為將來從事大數(shù)據(jù)有關(guān)領(lǐng)域的工作打下堅實的基礎(chǔ)?！菊n程內(nèi)容及學時分布】

教學周教學內(nèi)容學時第一周重要介紹大數(shù)據(jù)的基本原理、發(fā)展歷程和大數(shù)據(jù)的特性。2第一周重要介紹大數(shù)據(jù)的意義、我國的大數(shù)據(jù)市場預(yù)測和大數(shù)據(jù)的產(chǎn)業(yè)鏈分析。2第一周上機實驗一：大數(shù)據(jù)的環(huán)境安裝與大數(shù)據(jù)的數(shù)據(jù)認識。2第二周重要介紹爬蟲基本概念、爬蟲的地位與作用。2第二周重要介紹使用Python開發(fā)的技巧1。2第二周重要介紹使用Python開發(fā)的技巧2。2第三周重要介紹網(wǎng)頁構(gòu)造與爬蟲基本庫。2第三周重要介紹爬蟲爬取網(wǎng)頁的過程與實現(xiàn)辦法。2第三周上機實驗二：爬蟲庫的使用辦法并爬取圖片。2第四周重要介紹Scrapy爬蟲的原理與工作過程。2第四周重要介紹Scrapy爬蟲的架構(gòu)與辦法。2第四周上機實驗三：Scrapy爬蟲爬取網(wǎng)頁內(nèi)容。2第五周重要介紹數(shù)據(jù)庫設(shè)計原理與基本辦法、MySql的基本使用方式。2第五周重要介紹Python連接MySql并操作數(shù)據(jù)庫。2第五周上機實驗四：Python操作MySql數(shù)據(jù)庫。2第六周重要介紹數(shù)據(jù)可視化的概念與工具2第六周重要介紹數(shù)據(jù)可視化中matplotlib的基礎(chǔ)知識2第六周上機實驗五：matplotlib數(shù)據(jù)可視化基礎(chǔ)與實現(xiàn)2第七周重要介紹存matplotlib繪制多種圖形。2第七周上機實驗六：matplotlib可視化應(yīng)用。2第七周

重要介紹pyecharts可視化。2第八周上機實驗七：pyecharts可視化應(yīng)用2第八周重要介紹數(shù)據(jù)存儲的基礎(chǔ)概念。2第八周重要介紹數(shù)據(jù)清洗的基本概念與重要工具，數(shù)據(jù)原則化技術(shù)與實現(xiàn)。2第九周上機實驗八：數(shù)據(jù)清洗應(yīng)用。2第九周重要介紹數(shù)據(jù)格式與編碼技術(shù)。2第九周重要介紹Kettle數(shù)據(jù)清洗與轉(zhuǎn)換工具的使用。2第十、十一周重要介紹Kettle數(shù)據(jù)清洗與轉(zhuǎn)換的使用6第十一、十二周重要介紹Kettle數(shù)據(jù)抽取與數(shù)據(jù)采集的使用4第十二周重要介紹pandas數(shù)據(jù)分析與清洗6第十二周綜合訓練：規(guī)定學生根據(jù)本課程所學的內(nèi)容進行綜合設(shè)計：（1）數(shù)據(jù)清洗與采集（2）數(shù)據(jù)可視化2【課程規(guī)定與成績評定】

評定項目規(guī)定比例平時成績課堂體現(xiàn)、出勤、作業(yè)60%期末考試上機考試40%

【使用教材及教學參考書】 《大數(shù)據(jù)分析Python爬蟲、數(shù)據(jù)清洗和數(shù)據(jù)可視化》清華大學出版社黃源等《大數(shù)據(jù)分析》課程教案（首頁）課程/項目名稱大數(shù)據(jù)分析課程總學時：72學時理論：36學時實驗：36學時學分4課程課程類別：專業(yè)必修

■專業(yè)必修

□

公共必修

□公共選修

授課教師授課專業(yè)授課班級教學目的和規(guī)定通過本課程的學習，讓學生接觸并理解大數(shù)據(jù)分析的工作原理和使用辦法，使學生含有Python大數(shù)據(jù)分析、設(shè)計和可視化開發(fā)的能力，含有Kettle大數(shù)據(jù)清洗和存儲的基本技能，并含有較強的分析問題和解決問題的能力，為將來從事大數(shù)據(jù)有關(guān)領(lǐng)域的工作打下堅實的基礎(chǔ)。教學重點、難點教學重點：理解大數(shù)據(jù)的基本原理；熟悉Python語言，能夠自行安裝和使用Python擴展庫；掌握Python連接MySQL、能純熟運用游標操縱數(shù)據(jù)庫；掌握可視化的基本圖表，能夠設(shè)計可視化圖表；掌握數(shù)據(jù)存儲的基本概念；掌握數(shù)據(jù)清洗的基本概念；掌握數(shù)據(jù)原則化的基本概念；掌握數(shù)據(jù)編碼的基本概念；掌握數(shù)據(jù)清洗的基本概念能夠使用Pandas進行數(shù)據(jù)分析與清洗。

教學難點：如何對Python爬蟲技術(shù)進行較好的應(yīng)用；能純熟運用Kettle進行數(shù)據(jù)采集、抽取與轉(zhuǎn)換；掌握可視化的解決環(huán)節(jié)；純熟掌握Pandas數(shù)據(jù)分析的辦法；認識并掌握其它大數(shù)據(jù)開源工具。教學資源多媒體課件習題答案其它教學資源：《大數(shù)據(jù)分析》黃源等主編，清華大學出版社教學環(huán)境多媒體教學，課堂教學與學生上機實踐相結(jié)合第1次課

2學時授課內(nèi)容認識大數(shù)據(jù)教學目的與規(guī)定介紹大數(shù)據(jù)的定義與特性。通過本課的學習，學生應(yīng)當掌握以下知識：1）

大數(shù)據(jù)的定義2）

大數(shù)據(jù)的基本原理3）

大數(shù)據(jù)的特性4）

大數(shù)據(jù)的歷程重點難點1）大數(shù)據(jù)的特性教學進程安排

教學導(dǎo)入：介紹介紹大數(shù)據(jù)發(fā)展與特性，舉例闡明大數(shù)據(jù)的重要作用，逐步引入到課程的介紹內(nèi)容中來。授課內(nèi)容：一、《大數(shù)據(jù)分析》課程介紹介紹本門課程的學科地位、考核方式、學習內(nèi)容安排、能夠參考的學習資料。二、講授大數(shù)據(jù)的定義、原理與發(fā)展1）講授大數(shù)據(jù)的定義2）講授大數(shù)據(jù)的原理3）講授大數(shù)據(jù)的發(fā)展歷程4講授大數(shù)據(jù)的特性

課后學習任務(wù)布置嘗試在自己的電腦中，自己動手查找大數(shù)據(jù)的資料重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社第2次課

2學時授課內(nèi)容大數(shù)據(jù)的意義教學目的與規(guī)定介紹大數(shù)據(jù)的定義與特性。通過本課的學習，學生應(yīng)當掌握以下知識：1）大數(shù)據(jù)的戰(zhàn)略2）大數(shù)據(jù)戰(zhàn)略的國家層面3）大數(shù)據(jù)戰(zhàn)略的公司層面

重點難點1）大數(shù)據(jù)的戰(zhàn)略意義

教學進程安排

授課內(nèi)容：一、講授大數(shù)據(jù)的戰(zhàn)略意義1）講授國家層面的意義2）講授公司層面的意義3）講授個人層面的意義二、講授大數(shù)據(jù)的產(chǎn)業(yè)鏈

課后學習任務(wù)布置嘗試理解大數(shù)據(jù)的產(chǎn)業(yè)鏈。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第3次課

2學時授課內(nèi)容上機實驗（一）教學目的與規(guī)定旨在介紹大數(shù)據(jù)的安裝環(huán)境，學生能夠事實上機動手安裝。通過本課的學習，學生應(yīng)當掌握以下知識：1）理解大數(shù)據(jù)的安裝2）掌握數(shù)據(jù)的分類

重點難點1）掌握在Windows中通過安裝虛擬機安裝Linux系統(tǒng)的辦法。2）能夠識別不同的數(shù)據(jù)類型。

教學進程安排

實驗內(nèi)容1）擬定數(shù)據(jù)的不同類型。小明所在公司要對存儲的多種類型的數(shù)據(jù)進行分類，請你協(xié)助小明對下列數(shù)據(jù)集分類，指出其中的構(gòu)造化數(shù)據(jù)，非機構(gòu)化數(shù)據(jù)和半構(gòu)造化數(shù)據(jù)。2）編寫XML與JSON程序并理解程序的不同。3）為了更加好的應(yīng)用大數(shù)據(jù)技術(shù)，小明公司要安裝Linux操作系統(tǒng)，請你協(xié)助小明按照下列環(huán)節(jié)幫他安裝Linux系統(tǒng)。

課后學習任務(wù)布置課后自行在機器中安裝虛擬機及裝Linux系統(tǒng)。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第4次課2學時授課內(nèi)容爬蟲基礎(chǔ)（一）教學目的與規(guī)定介紹爬蟲基本概念、爬蟲的地位與作用：1）掌握爬蟲的基本概念。2）掌握爬蟲的作用。3）理解爬蟲的運行機制。4）掌握Python的安裝與開發(fā)環(huán)境重點難點1）爬蟲的原理2）Python的安裝與開發(fā)環(huán)境教學進程安排

授課內(nèi)容：一、認識爬蟲二、爬蟲的地位與作用三、Python3介紹四、Python3的安裝與使用五、Python3的開發(fā)環(huán)境

課后學習任務(wù)布置在機器上安裝Python3，熟悉開發(fā)環(huán)境重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第5次課

2學時授課內(nèi)容爬蟲基礎(chǔ)（二）教學目的與規(guī)定旨在介紹Python3的書寫與運行。通過本課的學習，學生應(yīng)當掌握以下知識：1）

書寫Python3程序2）

掌握Python3的書寫風格

重點難點1）純熟書寫并運行Python3程序

教學進程安排

知識回憶：如何安裝Python3？以Python3為例，采用邊講授邊練習的辦法，開展下列內(nèi)容的授課。授課內(nèi)容：一、如何書寫并運行Python3程序二、Python3程序的風格Python的語句很特別，它沒有像其它諸多語言那樣把要執(zhí)行的語句用成對的{}花括號包起來，而是把語句向右邊縮進了，這就是

Python的風格，它是靠縮進語句來表達要執(zhí)行的語句的。三、Python3程序的注釋四、Python3程序的調(diào)試

課后學習任務(wù)布置書寫并運行Python3重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第6次課2學時授課內(nèi)容爬蟲基礎(chǔ)（三）教學目的與規(guī)定旨在介紹Python3的多種數(shù)據(jù)類型及轉(zhuǎn)換方式。規(guī)定學生應(yīng)當純熟掌握以下知識的運用：1）掌握Python3中的多種數(shù)據(jù)類型2）掌握Python3中的多種數(shù)據(jù)類型的轉(zhuǎn)換

重點難點1）多種數(shù)據(jù)類型的掌握2）多種數(shù)據(jù)類型的互相轉(zhuǎn)換教學進程安排

知識回憶：回憶上節(jié)課講授的Python3中的程序書寫。授課內(nèi)容：一、介紹某些

Python慣用的數(shù)據(jù)類型，包含整型、浮點型、布爾類型、字符串類型、列表類型、元組類型等多種不同的數(shù)據(jù)類型，同時介紹與數(shù)據(jù)類型有關(guān)的知識。

二、介紹幾個跟數(shù)據(jù)類型緊密有關(guān)的函數(shù)：int()、float()和str()。int()的作用是將一種字符串或浮點數(shù)轉(zhuǎn)換為一種整數(shù)。float()的作用是將一種字符串或整數(shù)轉(zhuǎn)換成一種浮點數(shù)，也即是轉(zhuǎn)換為小數(shù)。str()的作用是將一種數(shù)或任何其它類型轉(zhuǎn)換成一種字符串。

課后學習任務(wù)布置書寫實例將Python3中的多種數(shù)據(jù)類型進行轉(zhuǎn)換，使用int()、float()和str()重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第7次課

2學時授課內(nèi)容爬蟲基礎(chǔ)（四）教學目的與規(guī)定爬蟲重要是與網(wǎng)頁打交道的，因此理解某些Python、Web前端與爬蟲的有關(guān)知識是非常有必要的。通過本課的學習，學生應(yīng)當掌握以下知識：1）

掌握網(wǎng)頁構(gòu)造

2）

掌握爬蟲的實現(xiàn)辦法3）

掌握Python3中爬蟲模塊

重點難點1）urllib模塊的應(yīng)用2）Requests的應(yīng)用

教學進程安排

知識回憶：如何Python3程序？以Python3為例，采用邊講授邊練習的辦法，開展下列內(nèi)容的授課。授課內(nèi)容：一、理解網(wǎng)頁構(gòu)造無論我們通過瀏覽器打開網(wǎng)站、訪問網(wǎng)頁，還是通過腳本對URL網(wǎng)址進行訪問，本質(zhì)上都是對HTTP服務(wù)器的請求，瀏覽器上所呈現(xiàn)的、控制臺所顯示的都是HTTP服務(wù)器對我們請求的響應(yīng)。

二、掌握爬蟲實現(xiàn)

三、掌握Python3中爬蟲模塊urllib是URL和lib兩個單詞共同構(gòu)成的，URL就是網(wǎng)頁的地址，lib是library(庫)的縮寫。Requests

是用Python語言編寫，基于urllib，采用

Apache2Licensed

開源合同的

HTTP

庫。它比

urllib

更加方便，能夠節(jié)省開發(fā)者大量的工作，完全滿足

HTTP

測試需求。課后學習任務(wù)布置安裝Requests庫，并使用Requests庫爬取網(wǎng)頁內(nèi)容重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第8次課2學時授課內(nèi)容爬蟲基礎(chǔ)（五）教學目的與規(guī)定旨在介紹Python3的爬蟲爬取網(wǎng)頁內(nèi)容。規(guī)定學生應(yīng)當純熟掌握以下知識的運用：1）掌握爬蟲的運行原理2）掌握網(wǎng)頁構(gòu)造3）掌握代碼的書寫與調(diào)試

重點難點1）網(wǎng)頁構(gòu)造2）代碼的實現(xiàn)

教學進程安排

知識回憶：回憶上節(jié)課講授的爬蟲庫的內(nèi)容。授課內(nèi)容：一、根據(jù)學生-課程數(shù)據(jù)庫中的數(shù)據(jù)，完畢下列查詢：實現(xiàn)對酷狗音樂網(wǎng)頁內(nèi)容的爬取

1）分析網(wǎng)頁構(gòu)造2）分析要抓取的內(nèi)容3）抓取過程分析4）獲取頁面內(nèi)容

代碼見書

課后學習任務(wù)布置復(fù)習和鞏固爬蟲爬取網(wǎng)頁內(nèi)容的多種辦法重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第9次課

2學時授課內(nèi)容上機實驗（二）教學目的與規(guī)定旨在通過本實驗考察學生對網(wǎng)絡(luò)爬蟲的掌握狀況。規(guī)定學生應(yīng)當純熟掌握以下知識的運用：1）使用Requests庫來編寫爬蟲。2）使用爬蟲程序爬取網(wǎng)頁壁紙

重點難點1）

PL/SQL的有效字符集的類型2）

PL/SQL程序塊的構(gòu)成教學進程安排

實驗：（1）使用Requests庫來編寫爬蟲爬取百度網(wǎng)頁的數(shù)據(jù)，代碼以下：>>>importrequests>>>

r=requests.get("http://www.百度.com")>>>r.status_code200>>>r.encoding='utf-8'>>>r.text二、分析爬蟲目的，本實訓目的網(wǎng)址是/weimei/index.htm，目的是通過用Python語言編寫爬蟲下載該網(wǎng)站全部的壁紙圖片爬取出的圖片將保存在該Python程序所存儲保存的文獻包中。課后學習任務(wù)布置爬取網(wǎng)站上的頁面內(nèi)容并保存。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第10次課

2學時授課內(nèi)容Scrapy爬蟲（一）教學目的與規(guī)定旨在簡要重要介紹Scrapy爬蟲的原理與工作過程，規(guī)定學生應(yīng)當掌握以下知識：1）理解Scrapy爬蟲2）掌握Scrapy爬蟲的安裝3）掌握Scrapy爬蟲的架構(gòu)4）掌握Scrapy爬蟲的工作過程

重點難點1）

Scrapy爬蟲的安裝2）

Scrapy爬蟲的架構(gòu)教學進程安排

知識回憶：回憶上節(jié)課講授的Python3中的爬蟲應(yīng)用。本節(jié)課進行下列內(nèi)容的授課。授課內(nèi)容：一、講授Scrapy爬蟲Scrapy是一種使用Python語言編寫的開源網(wǎng)絡(luò)爬蟲框架，是一種高級的Python爬蟲框架。二、講授在Windows7中安裝Scrapy框架在安裝Scrapy框架之前，必須依次安裝twiste包、whl包、lxml包、erface包、pywin32包和pyOpenSSL包。并在上述包全部安裝完畢后，運行命令：pipinstallscrapy來安裝Scrapy框架。三、講授Scrapy框架原理Scrapy框架由ScrapyEngine、Scheduler、Downloader、Spiders、ItemPipeline、Downloadermiddlewares以及Spidermiddlewares等幾部分構(gòu)成四、講授Scrapy框架的工作流程

課后學習任務(wù)布置在本機上安裝Scrapy框架。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第11次課

2學時授課內(nèi)容Scrapy爬蟲（二）教學目的與規(guī)定旨在簡要介紹Scrapy爬蟲的對象與Spider開發(fā)流程，規(guī)定學生應(yīng)當掌握以下知識：1）掌握Request對象2）掌握Response對象3）掌握Select對象3）掌握Spider開發(fā)流程重點難點1）

Scrapy爬蟲的對象的應(yīng)用2）

Spider的開發(fā)流程教學進程安排

知識回憶：回憶上節(jié)課講授的Scrapy爬蟲的基礎(chǔ)本節(jié)課進行下列內(nèi)容的授課。授課內(nèi)容：一、講授Request對象和Response對象

Scrapy中的Request對象和Response對象普通用于爬取網(wǎng)站，普通，Request對象在爬蟲程序中生成并傳遞到系統(tǒng)，直到它們達到下載程序，后者執(zhí)行請求并返回一種Response對象，該對象返回到發(fā)出請求的爬蟲程序。二、講授Select對象

Scrapy的數(shù)組組織構(gòu)造是Selector，它使用xpath選擇器在Response中提取數(shù)據(jù)。在使用Selector對象的時候要先使用xpath或者css選擇器選中頁面中要提取的數(shù)據(jù)，然后進行提取。3）

三、講授Spider開發(fā)流程對于大多數(shù)顧客來講，Spider是Scrapy框架中最核心的組件，Scrapy爬蟲開發(fā)時普通是緊緊圍繞Spider而展開的。

課后學習任務(wù)布置打開并查看Scrapy爬蟲源代碼，理解Spider的開發(fā)流程。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第12次課2學時授課內(nèi)容上機實驗（三）教學目的與規(guī)定旨在通過本實驗考察學生對Scrapy爬蟲框架的掌握狀況。規(guī)定學生應(yīng)當純熟掌握以下知識的運用：1）掌握Scrapy爬蟲的基本框架與工作過程。2）掌握Scrapy爬蟲的運用與代碼的書寫。重點難點1）Scrapy爬蟲的運用與代碼的書寫教學進程安排

知識回憶：回憶上節(jié)課講授的Scrapy爬蟲的基本基本知識。本節(jié)課引導(dǎo)學生進行下列內(nèi)容的實驗練習。實驗內(nèi)容：一、創(chuàng)立Scrapy項目并查看構(gòu)造

二、創(chuàng)立一種最簡樸的Spider爬蟲三、編寫代碼并運行爬蟲四、使用Scrapy框架編寫爬蟲訪問網(wǎng)頁代碼見書

課后學習任務(wù)布置應(yīng)用Scrapy爬蟲爬取網(wǎng)頁，通過修改代碼來運行重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第13次課2學時授課內(nèi)容數(shù)據(jù)庫分析（一）教學目的與規(guī)定重要介紹數(shù)據(jù)庫設(shè)計原理與基本辦法、MySql的基本使用方式。規(guī)定學生應(yīng)當掌握以下知識：1

掌握數(shù)據(jù)庫模型2）掌握MySql的安裝3）掌握MySql的基本操作重點難點1）MySql的基本操作

教學進程安排

本節(jié)課進行下列內(nèi)容的授課。授課內(nèi)容：一、講授數(shù)據(jù)庫基本概念二、講授數(shù)據(jù)庫構(gòu)造模型數(shù)據(jù)庫系統(tǒng)在總體構(gòu)造上普通都體現(xiàn)為三級模式，分別是：模式、外模式和內(nèi)模式。三、講授MySql的安裝與使用MySql數(shù)據(jù)庫的基本操作重要分為操作MySql數(shù)據(jù)庫和操作MySql數(shù)據(jù)表（1）創(chuàng)立數(shù)據(jù)庫：createdatabase

數(shù)據(jù)庫名

（2）查看數(shù)據(jù)庫：

showdatabases

（3）選擇指定數(shù)據(jù)庫：use數(shù)據(jù)庫名

（4）刪除數(shù)據(jù)庫：dropdatabase

數(shù)據(jù)庫名MySql數(shù)據(jù)表的基本操作重要有下列幾個：（1）創(chuàng)立數(shù)據(jù)表：createtable

數(shù)據(jù)表名

（2）查看數(shù)據(jù)表：showtables

（3）查看數(shù)據(jù)表構(gòu)造：describe數(shù)據(jù)表名

（4）往數(shù)據(jù)表中添加統(tǒng)計：insertinto

數(shù)據(jù)表名

values

（5）修改數(shù)據(jù)表中統(tǒng)計：update數(shù)據(jù)表名

課后學習任務(wù)布置創(chuàng)立數(shù)據(jù)庫、創(chuàng)立數(shù)據(jù)表并往表中插入統(tǒng)計。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社第14次課2學時授課內(nèi)容數(shù)據(jù)庫分析（二）教學目的與規(guī)定旨在簡要介紹Python中想要連接與操作MySql數(shù)據(jù)庫，規(guī)定學生應(yīng)當掌握以下知識：1）Python中連接MySql數(shù)據(jù)庫的基本原理。2）Python中連接與操作MySql數(shù)據(jù)庫的基本辦法。重點難點1）Python中操作MySql數(shù)據(jù)庫的基本辦法教學進程安排

知識回憶：回憶之前講授的MySql數(shù)據(jù)庫的基本操作方式。本節(jié)課引導(dǎo)學生進行下列內(nèi)容的實驗練習。授課內(nèi)容：：一.如何使用Python連接MySql數(shù)據(jù)庫在Python中想要連接MySql數(shù)據(jù)庫需要一種驅(qū)動，用于和數(shù)據(jù)庫的交互。在Python3中能夠使用pymysql庫來實現(xiàn)這一功效。pymysql庫是一種純Python庫，能夠直接安裝使用二.Python操作MySql數(shù)據(jù)庫：1）

創(chuàng)立MySql數(shù)據(jù)庫和創(chuàng)立數(shù)據(jù)表并使用Python查詢表中統(tǒng)計想要使用Python連接MySql，可在命令

importpymysql后輸入下列命令：

db=pymysql.connect(host="",user="

",passwd="",db="",charset="")

在該命令中db代表數(shù)據(jù)庫，pymysql.connect

表達使用pymysql庫來連接MySql數(shù)據(jù)庫（1）建立連接（2）獲取游標（3）查詢統(tǒng)計（4）返回成果（5）打印數(shù)據(jù)課后學習任務(wù)布置使用Python往user數(shù)據(jù)表中插入新的統(tǒng)計重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社第15次課

2學時授課內(nèi)容上機實驗（四）教學目的與規(guī)定旨在通過本實驗考察學生對Python中連接操作MySql數(shù)據(jù)庫的掌握狀況。規(guī)定學生應(yīng)當純熟掌握以下知識的運用：1）Python連接MySql數(shù)據(jù)庫。

2）Python操作MySql數(shù)據(jù)庫。

3）查詢語句的書寫與應(yīng)用。重點難點1）Python連接MySql數(shù)據(jù)庫，建立數(shù)據(jù)表并查詢成果教學進程安排

知識回憶：回憶上節(jié)課講授Python中想要連接與操作MySql數(shù)據(jù)庫的基本知識。本節(jié)課引導(dǎo)學生進行下列內(nèi)容的實驗練習。實驗內(nèi)容：一、新建school數(shù)據(jù)庫

二、新建student數(shù)據(jù)表三、查看student數(shù)據(jù)表信息四、使用Scrapy框架編寫爬蟲訪問網(wǎng)頁五、查看student數(shù)據(jù)表構(gòu)造六、往student數(shù)據(jù)表中添加多條數(shù)據(jù)七、將表中score的每個數(shù)據(jù)值加10八、輸出并顯示修改后的數(shù)據(jù)表數(shù)據(jù)值

代碼見書

課后學習任務(wù)布置新建數(shù)據(jù)庫，并建立數(shù)據(jù)表，使用Python進行數(shù)據(jù)庫管理。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第16次課

2學時授課內(nèi)容數(shù)據(jù)可視化（一）教學目的與規(guī)定旨在簡要介紹數(shù)據(jù)可視化的基本概念與辦法的使用辦法，規(guī)定學生應(yīng)當掌握以下知識：1）掌握數(shù)據(jù)可視化的概念2）理解數(shù)據(jù)可視化的發(fā)展3）理解數(shù)據(jù)可視的辦法與應(yīng)用4）理解數(shù)據(jù)可視化的圖表重點難點1）數(shù)據(jù)可視化的辦法2）數(shù)據(jù)可視化的應(yīng)用教學進程安排

授課內(nèi)容：一、講授數(shù)據(jù)可視化的概念1）

數(shù)據(jù)可視化系統(tǒng)并不是為了展示顧客的已知的數(shù)據(jù)之間的規(guī)律，而是為了協(xié)助顧客通過認知數(shù)據(jù)，有新的發(fā)現(xiàn)，發(fā)現(xiàn)這些數(shù)據(jù)所反映的實質(zhì)。課堂練習題：二、講授數(shù)據(jù)可視化的發(fā)展三、講授數(shù)據(jù)可視化的辦法與應(yīng)用1）

數(shù)據(jù)可視化技術(shù)包含的概念2）

數(shù)據(jù)可視化的構(gòu)成3）

數(shù)據(jù)可視化的原則4）

數(shù)據(jù)可視化的應(yīng)用四、數(shù)據(jù)可視化的多種圖表介紹課后學習任務(wù)布置理解數(shù)據(jù)可視化的作品，理解數(shù)據(jù)可視化的發(fā)展歷程重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第17次課2學時授課內(nèi)容數(shù)據(jù)可視化（二）教學目的與規(guī)定旨在簡要介紹數(shù)據(jù)可視化的實現(xiàn)，規(guī)定學生應(yīng)當掌握以下知識：1）認識numpy基礎(chǔ)2）認識matplotlib庫3）掌握matplotlib庫的實現(xiàn)重點難點1）numpy中的數(shù)學基礎(chǔ)2）matplotlib庫的實現(xiàn)教學進程安排

知識回憶：回憶之前講授的數(shù)據(jù)可視化的基本概念。本節(jié)課引導(dǎo)學生進行下列內(nèi)容的實驗練習。授課內(nèi)容：一、講授數(shù)據(jù)可視化的numpy庫

1、numpy是Python做數(shù)據(jù)解決的底層庫，是高性能科學計算和數(shù)據(jù)分析的基礎(chǔ)，例如知名的Python機器學習庫SKlearn就需要numPy的支持。掌握numPy的基礎(chǔ)數(shù)據(jù)解決能力是運用Python做數(shù)據(jù)運算及機器學習的基礎(chǔ)。

2、在Windows中進入cmd命令后，直接運行pipinstallnumpy即可完畢，安裝完畢后輸入importnumpy，如果沒報錯則表達成功。二、講授數(shù)據(jù)可視化的matplotlib庫

1、

matplotlib

是一種

Python

的

2D繪圖庫，它以多種硬拷貝格式和跨平臺的交互式環(huán)境生成出版質(zhì)量級別的圖形

2、matplotlib庫裝與運行。在Windows中進入cmd后，直接輸入命令python-mpipinstall--usermatplotlib-2.1.0-cp36-cp36m-win32.whl

來執(zhí)行matplotlib程序的安裝。課后學習任務(wù)布置安裝numPy庫和matplotlib庫重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第18次課

2學時授課內(nèi)容上機實驗（五）教學目的與規(guī)定旨在通過上機實驗練習

matplotlib中的可視化應(yīng)用，通過本課的學習，學生應(yīng)當掌握以下知識：1）掌握matplotlib庫的導(dǎo)入2）掌握matplotlib庫的可視化辦法3）掌握matplotlib庫的可視化實現(xiàn)重點難點1）matplotlib庫的可視化辦法

教學進程安排

知識回憶：回憶上一節(jié)課的重要內(nèi)容，涉及matplotlib基礎(chǔ)實驗內(nèi)容：一、使用matpotlib.pyplot繪圖

二掌握matpotlib.pyplot繪圖函數(shù)三、用numpy庫和matplotlib庫繪制圖形

代碼見書課后學習任務(wù)布置1、用numpy庫和matplotlib庫繪制圖形重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第19次課

2學時授課內(nèi)容數(shù)據(jù)可視化（三）教學目的與規(guī)定旨在簡要介紹數(shù)據(jù)可視化的實現(xiàn)，規(guī)定學生應(yīng)當掌握以下知識：1）認識numpy基礎(chǔ)2）認識matplotlib庫3）掌握matplotlib庫的實現(xiàn)重點難點1）使用matplotlib庫能夠繪制多種圖形教學進程安排

授課內(nèi)容：一、講授數(shù)據(jù)可視化使用matplotlib庫能夠繪制多種圖形

1、使用matplotlib庫能夠繪制多種圖形，其中最基本的是線性圖形，重要由線條構(gòu)成。

2、柱狀圖也叫作條形圖，是一種以長方形的長度為變量的體現(xiàn)圖形的統(tǒng)計報告圖，由一系列高度不等的縱向條紋表達數(shù)據(jù)分布的狀況，用來比較兩個或以上的數(shù)值。3、直方圖又稱質(zhì)量分布圖，是一種統(tǒng)計報告圖，由一系列高度不等的縱向條紋或線段表達數(shù)據(jù)分布的狀況。普通用橫軸表達數(shù)據(jù)類型，縱軸表達分布狀況。

4、散點圖在回歸分析中使用較多，它將序列顯示為一組點。值由點在圖表中的位置表達，類別由圖表中的不同標記表達，因此散點圖普通用于比較跨類別的聚合數(shù)據(jù)。

5、極坐標圖是指在平面內(nèi)由極坐標系描述的曲線方程圖。極坐標是指在平面內(nèi)由極點、極軸和極徑構(gòu)成的坐標系。極坐標圖用于對多維數(shù)組進行直接的對比，多用在公司的可視化數(shù)據(jù)模型的對比與分析中。

6、餅圖用于表達不同分類的占比狀況，通過弧度大小來對比多種分類，餅圖通過將一種圓餅按照分類的占比劃分成多個區(qū)塊，整個圓餅代表數(shù)據(jù)的總量，每個區(qū)塊（圓?。┍磉_該分類占總體的比例大小。

二、講授代碼實現(xiàn)代碼見書課后學習任務(wù)布置進一步練習使用matplotlib庫能夠繪制多種圖形重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社第20次課

2學時授課內(nèi)容上機實驗（六）教學目的與規(guī)定旨在通過上機實驗練習

matplotlib中的可視化應(yīng)用，通過本課的學習，學生應(yīng)當掌握以下知識：1）掌握matplotlib庫的導(dǎo)入2）掌握matplotlib庫的可視化辦法3）掌握matplotlib庫的多種圖形的可視化實現(xiàn)重點難點1）使用Python繪制多種圖形

教學進程安排

知識回憶：回憶上一節(jié)課的重要內(nèi)容，涉及matplotlib基礎(chǔ)實驗內(nèi)容：一、使用matpotlib繪制線性圖形

二、使用matpotlib繪制柱狀圖形三、使用matpotlib繪制條形圖形四、使用matpotlib繪制散點圖形五、使用matpotlib繪制極坐標圖形代碼見書課后學習任務(wù)布置1、練習繪制多種繪制圖形。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第21次課

2學時授課內(nèi)容數(shù)據(jù)可視化（四）教學目的與規(guī)定旨在簡要介紹數(shù)據(jù)可視化的實現(xiàn)，規(guī)定學生應(yīng)當掌握以下知識：1）認識pyecharts基礎(chǔ)2）使用

pyecharts繪制圖形重點難點1）pyecharts的安裝2）pyecharts的實現(xiàn)

教學進程安排

知識回憶：回憶數(shù)據(jù)可視化的定義和使用。授課內(nèi)容：一、講授數(shù)據(jù)可視化pyecharts介紹

1、pyecharts

是一種用于生成

Echarts

圖表的類庫，而Echarts是一種開源的數(shù)據(jù)可視化JS庫，同時也是商業(yè)級數(shù)據(jù)圖表，一種純Javascript的圖表庫，能夠流暢的運行在PC和移動設(shè)備上。使用pyecharts能夠讓開發(fā)者輕松的實現(xiàn)大數(shù)據(jù)的可視化。2、pyecharts的安裝在使用pyecharts之前，首先要安裝它。使用下列命令來執(zhí)行安裝過程：pipinstallpyecharts二、講授代碼實現(xiàn)代碼見書課后學習任務(wù)布置使用

pyecharts繪制圖形重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社第22次課

2學時授課內(nèi)容上機實驗（七）教學目的與規(guī)定旨在通過上機實驗練習

matplotlib中的可視化應(yīng)用，通過本課的學習，學生應(yīng)當掌握以下知識：1）掌握pyecharts的安裝2）掌握pyecharts的可視化辦法

重點難點1）pyecharts的安裝2）pyecharts的可視化實現(xiàn)

教學進程安排

知識回憶：回憶上一節(jié)課的重要內(nèi)容，涉及pyecharts基礎(chǔ)實驗內(nèi)容：一、使用pyecharts繪制條形圖

二、使用pyecharts繪制儀表圖三、使使用pyecharts繪制3D圖四、使用pyecharts繪制地圖代碼見書課后學習任務(wù)布置綜合練習，使用pyecharts繪制圖形。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第23次課

2學時授課內(nèi)容數(shù)據(jù)存儲教學目的與規(guī)定旨在介紹數(shù)據(jù)存儲的基本概念，通過本課的學習，學生應(yīng)當掌握以下知識：數(shù)據(jù)存儲的基礎(chǔ)概念重點難點1）數(shù)據(jù)存儲的類型2）數(shù)據(jù)存儲的方式3）數(shù)據(jù)存儲的核心技術(shù)教學進程安排

知識回憶：回憶大數(shù)據(jù)的定義和應(yīng)用。授課內(nèi)容：一、講授數(shù)據(jù)存儲的概念

1、大數(shù)據(jù)存儲普通是指將那些數(shù)量巨大、難于收集、解決、分析的數(shù)據(jù)集持久化到計算機中。在進行大數(shù)據(jù)分析之前，首先的環(huán)節(jié)就是要將海量的數(shù)據(jù)存儲起來，方便此后的使用。因此，大數(shù)據(jù)的存儲是數(shù)據(jù)分析與應(yīng)用的前提。二、講授數(shù)據(jù)存儲的類型大數(shù)據(jù)存儲的類型重要有下列三種：塊存儲、文獻存儲和對象存儲。三、講述數(shù)據(jù)存儲的方式大數(shù)據(jù)的存儲方式重要有分布式存儲、NoSQL數(shù)據(jù)庫、NewSQL數(shù)據(jù)庫以及云數(shù)據(jù)庫四種。四、講述數(shù)據(jù)存儲中的核心技術(shù)大數(shù)據(jù)存儲中的核心技術(shù)重要有基于MPP架構(gòu)的新型數(shù)據(jù)庫集群、基于Hadoop的技術(shù)擴展以及大數(shù)據(jù)一體機等課后學習任務(wù)布置理解數(shù)據(jù)存儲重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第24次課

2學時授課內(nèi)容數(shù)據(jù)清洗（一）教學目的與規(guī)定旨在介紹數(shù)據(jù)清洗，學生應(yīng)當掌握以下知識：1）理解數(shù)據(jù)清洗的基本概念2）理解數(shù)據(jù)清洗重要工具。3）理解數(shù)據(jù)原則化技術(shù)與實現(xiàn)

重點難點1）數(shù)據(jù)清洗的工具

教學進程安排

知識回憶：回憶上一章數(shù)據(jù)存儲，本節(jié)課將開展下列內(nèi)容的講授。授課內(nèi)容：一、數(shù)據(jù)清洗概念數(shù)據(jù)清洗就是指把“臟數(shù)據(jù)”徹底洗掉，涉及檢查數(shù)據(jù)一致性，解決無效值和缺失值等，從而提高數(shù)據(jù)質(zhì)量。在實際的工作中，數(shù)據(jù)清洗普通占開發(fā)過程的50%-70%左右的時間。二、數(shù)據(jù)清洗原理

數(shù)據(jù)清洗的原理是運用有關(guān)技術(shù)如數(shù)據(jù)倉庫、數(shù)理統(tǒng)計、數(shù)據(jù)挖掘或預(yù)定義的清理規(guī)則將臟數(shù)據(jù)轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量規(guī)定的數(shù)據(jù)。三、數(shù)據(jù)清洗工具1）OpenRefine2）Kettle四、數(shù)據(jù)原則化

課后學習任務(wù)布置1、下載并安裝OpenRefine與Kettle。

重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第25次課

2學時授課內(nèi)容上機實驗（八）教學目的與規(guī)定旨在介紹數(shù)據(jù)清洗的使用方法，學生應(yīng)當掌握以下知識：1）掌握openRefine的使用2）掌握Kettle的使用3）掌握Excel的使用重點難點1）掌握OpenRefine的流程2)

掌握Excel的使用

教學進程安排

知識回憶：回憶上一節(jié)數(shù)據(jù)清洗的原理，本節(jié)課將開展下列內(nèi)容的講授。實驗內(nèi)容：一、運行OpenRefine數(shù)據(jù)清洗軟件，對數(shù)據(jù)進行查看、清洗并導(dǎo)出數(shù)據(jù)二、使用Excel進行數(shù)據(jù)有效性分析三、使用Excel進行數(shù)據(jù)有效性分析，并去除重復(fù)的數(shù)據(jù)

代碼見書

課后學習任務(wù)布置1、用Excel進行數(shù)據(jù)有效性分析，并去除重復(fù)的數(shù)據(jù)。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第26次課

2學時授課內(nèi)容數(shù)據(jù)格式與編碼技術(shù)教學目的與規(guī)定旨在介紹安文獻格式的基本概念和使用方法，學生應(yīng)當掌握以下知識：1）

掌握文獻格式2）

掌握數(shù)據(jù)類型3）

掌握字符編碼重點難點1）字符編碼

教學進程安排

知識回憶：回憶上一節(jié)數(shù)據(jù)清洗的使用方法；授課內(nèi)容：一、文獻格式文獻格式是指在計算機中為了存儲信息而使用的對信息的特殊編碼方式，是用于識別內(nèi)部儲存的資料。如文本文獻、視頻文獻、圖像文獻等。在這些文獻中它們功效不同，有的文獻用于存儲文字信息，有的文獻用于存儲視頻信息，有的文獻用于存儲圖像信息等。二、數(shù)據(jù)類型

數(shù)據(jù)類型是指是一種值的集合和定義在這個值集上的一組操作的總稱。它的出現(xiàn)是為了把數(shù)據(jù)分成所需內(nèi)存大小不同的數(shù)據(jù)，方便于程序的運行。普通能夠根據(jù)數(shù)據(jù)類型的特點將數(shù)據(jù)劃分為不同的類型，如原始類型、多元組、統(tǒng)計單元、代數(shù)數(shù)據(jù)類型、抽象數(shù)據(jù)類型、參考類型以及函數(shù)類型等。在每種編程語言和數(shù)據(jù)庫中都有不同的數(shù)據(jù)類型。三、字符編碼

字符編碼也叫作字集碼，把字符集中的字符編碼為指定集合中某一對象（例如：比特模式、自然數(shù)序列、8位組或者電脈沖），方便文本在計算機中存儲和通過通信網(wǎng)絡(luò)的傳遞。常見的例子涉及將拉丁字母表編碼成摩斯電碼和ASCII。

課后學習任務(wù)布置理字符編碼的多種使用方法。重要參考資料《大數(shù)據(jù)分析》黃源等主編，清華大學出版社

第27次課

2學時授課內(nèi)容Kettle數(shù)據(jù)清洗與轉(zhuǎn)換（一）教學目的與規(guī)定旨在介紹Kettle數(shù)據(jù)清洗與轉(zhuǎn)換工具的使用，學生應(yīng)當掌握以下知識：1）

掌握Kettle的工作流程2）

掌握Kettle的應(yīng)用重點難點1）Kettle的多種使用方法

教學進程安排

授課內(nèi)容：

知識回