數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室建設(shè)需求

數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室建設(shè)需求1、建設(shè)需求序號(hào)貨物名稱數(shù)量單位1容器云資源管理平臺(tái)1套2大數(shù)據(jù)教學(xué)管理平臺(tái)1套3Python編程實(shí)訓(xùn)平臺(tái)1套4Hadoop/Spark大數(shù)據(jù)開發(fā)實(shí)訓(xùn)平臺(tái)1套5電子教室軟件1套6Python編程基礎(chǔ)1套7Python大數(shù)據(jù)數(shù)學(xué)基礎(chǔ)1套8Python數(shù)據(jù)分析與應(yīng)用1套9Python網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)1套10Python機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)1套11Python文本挖掘?qū)崙?zhàn)1套12Python數(shù)據(jù)可視化1套13家用熱水器用戶行為分析【BP神經(jīng)網(wǎng)絡(luò)】1套14市財(cái)政收入分析及預(yù)測【SVR】1套15城市公交用戶出行分析【OD矩陣模型】1套16電力竊漏電用戶識(shí)別【隨機(jī)森林】1套17航空公司客戶價(jià)值分析【K-Means聚類】1套18廣電大數(shù)據(jù)營銷推薦【協(xié)同過濾】1套19《流浪地球》豆瓣影評(píng)采集【Selenium】1套20電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析【LDA模型】1套21垃圾短信智能識(shí)別【樸素貝葉斯】1套22水產(chǎn)養(yǎng)殖水質(zhì)智能識(shí)別【顏色矩】1套23招聘網(wǎng)站數(shù)據(jù)采集與人才需求分析【Request】1套24基于醫(yī)學(xué)影像的血管三維重構(gòu)【最近鄰約束】1套25Linux操作系統(tǒng)基礎(chǔ)1套26Java編程基礎(chǔ)1套27MySQL數(shù)據(jù)庫基礎(chǔ)1套28Scala編程基礎(chǔ)1套29Hadoop大數(shù)據(jù)技術(shù)基礎(chǔ)1套30Spark大數(shù)據(jù)技術(shù)與應(yīng)用1套31Zookeeper分布式服務(wù)框架1套32Flume大數(shù)據(jù)采集與傳輸1套33Sqoop大數(shù)據(jù)轉(zhuǎn)換與處理1套34Kafka大數(shù)據(jù)數(shù)據(jù)流處理1套35HBase分布式數(shù)據(jù)庫1套36Hive數(shù)據(jù)倉庫1套37航空客戶乘機(jī)數(shù)據(jù)預(yù)處理【Hive】1套38冠字號(hào)查詢系統(tǒng)【HBase】1套39用戶社交網(wǎng)絡(luò)分析【SparkGraphX】1套40競賽網(wǎng)站目標(biāo)用戶智能識(shí)別【SparkMllib】1套41法律服務(wù)網(wǎng)站數(shù)據(jù)探索分析【SparkSQL】1套42熱門博文實(shí)時(shí)推薦【SparkStreaming】1套43餐飲大數(shù)據(jù)智能推薦【Spark/協(xié)同過濾】1套44容器平臺(tái)計(jì)算節(jié)點(diǎn)3臺(tái)45應(yīng)用平臺(tái)計(jì)算節(jié)點(diǎn)1臺(tái)46服務(wù)器機(jī)柜1臺(tái)47機(jī)架式KVM切換器1臺(tái)48管理交換機(jī)1臺(tái)49應(yīng)用交換機(jī)2臺(tái)50大數(shù)據(jù)教學(xué)一體機(jī)80臺(tái)51投影設(shè)備（智慧黑板）1臺(tái)52音響功放（組合）1套53網(wǎng)絡(luò)機(jī)柜1臺(tái)2、技術(shù)需求序號(hào)貨物名稱數(shù)量單位技術(shù)參數(shù)、配置/主要配置1容器云資源管理平臺(tái)1套一、功能要求：

集群管理：

1、高可用集群：提供3副本高可用集群，避免單點(diǎn)故障。

2、命名空間：用戶可使用命名空間功能根據(jù)業(yè)務(wù)需求創(chuàng)建多個(gè)虛擬的空間，以實(shí)現(xiàn)工作區(qū)間的邏輯隔離。

3、節(jié)點(diǎn)標(biāo)簽：支持對節(jié)點(diǎn)進(jìn)行標(biāo)簽（Label）標(biāo)注，通過配置節(jié)點(diǎn)標(biāo)簽，將容器組（Pod）捆綁調(diào)度到指定的Worker節(jié)點(diǎn)上。

部署管理、支持通過標(biāo)準(zhǔn)鏡像部署，也支持通過自定義YAML或JSON文件進(jìn)行部署；秒級(jí)發(fā)布、回滾，利用滾動(dòng)升級(jí)不中斷業(yè)務(wù)更新服務(wù)。支持deployment、daemonset、statefulset、cronjob、job多種部署。

4、應(yīng)用管理：結(jié)合Helm，簡化K8s部署應(yīng)用的版本控制、打包、發(fā)布、版本對比、回滾、刪除、更新等操作。

5、服務(wù)管理：支持通過服務(wù)ip或服務(wù)名稱加端口訪問服務(wù)，可避免服務(wù)后端容器重啟時(shí)IP變更的影響。

6、容器組管理：支持多副本實(shí)現(xiàn)容器高可用，異常自動(dòng)恢復(fù)；容器可跨集群部署，可快速遷移。

7、持久化存儲(chǔ)卷：支持使用持久化存儲(chǔ)卷，對有狀態(tài)服務(wù)數(shù)據(jù)進(jìn)行持久化存儲(chǔ)。

8、配置項(xiàng)：支持配置項(xiàng)，幫助用戶管理不同環(huán)境和不同業(yè)務(wù)，方便快速將配置以文件或環(huán)境變量的形式導(dǎo)入到容器中。

9、保密字典：支持控制臺(tái)通過yaml創(chuàng)建secret資源，幫助用戶管理集群敏感信息。

10、健康檢查：提供集群中應(yīng)用健康檢查探針，支持livenessProbe、readinessProbe探測類型。

11、資源配額：通過yaml配置資源配額（ResourceQuota）可指定命名空間能夠使用的cpu、內(nèi)存、存儲(chǔ)量、服務(wù)數(shù)量、配置項(xiàng)、密鑰等資源的數(shù)量。

12、權(quán)限管理：支持基于RBAC權(quán)限策略控制用戶對K8s集群中資源的權(quán)限。

倉庫管理：

1、鏡像管理：提供存放、管理用戶上傳docker鏡像的功能。

2、Chart管理：提供存放、管理用戶HelmChart包的功能，可通過控制臺(tái)一鍵上傳Chart包。

3、多用戶管理：支持多用戶管理，針對不同用戶分配不同權(quán)限。

4、操作記錄：提供日志查看相關(guān)操作記錄的功能。

5、同步管理：支持同步管理功能，可將鏡像、Chart在不同倉庫間同步。

監(jiān)控管理

1、集群監(jiān)控：支持查看集群整體資源使用情況，例如CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)流量。

2、存儲(chǔ)監(jiān)控：支持查看集群存儲(chǔ)資源使用情況，例如存儲(chǔ)使用率、IOPS等指標(biāo)。

3、集群資源監(jiān)控：支持查看集群中多種資源的監(jiān)控?cái)?shù)據(jù)，例如deployment、statefulset、pod等資源的cpu使用率、內(nèi)存使用率等指標(biāo)。

4、集群節(jié)點(diǎn)監(jiān)控：支持查看集群各節(jié)點(diǎn)監(jiān)控?cái)?shù)據(jù)，例如cpu使用率、內(nèi)存使用率、磁盤使用率。

5、集群組件監(jiān)控：支持查看集群中組件的監(jiān)控?cái)?shù)據(jù)，例如ControllerManager、Kubelet、Scheduler、etcd。2大數(shù)據(jù)教學(xué)管理平臺(tái)1套一、功能要求：

基礎(chǔ)模塊：

1、采用B/S架構(gòu)，即瀏覽器/服務(wù)器架構(gòu)。

2、支持用戶角色和權(quán)限區(qū)分。分為管理員、教師、助教和學(xué)生共四種角色。不同角色提供不同的權(quán)限。

3、支持管理員管理平臺(tái)所有課程、用戶。

4、支持教師創(chuàng)建學(xué)生賬戶。

5、支持教師自主創(chuàng)建課程，添加課程資源，添加學(xué)生，布置作業(yè)，成績管理。

6、支持學(xué)生參加課程學(xué)習(xí)，參與實(shí)訓(xùn)，提交報(bào)告，查看成績。

7、支持播放輪播圖。

8、支持對課程分類展現(xiàn)，每類默認(rèn)展現(xiàn)固定數(shù)量。

9、支持展現(xiàn)全部課程。

課程管理模塊：

1、支持創(chuàng)建課程，課程設(shè)置和信息包括：課程名稱、課程類別、顯示設(shè)置、開始時(shí)間、結(jié)束時(shí)間、課程編號(hào)、課程封面等。

2、支持自定義課程資源，可靈活配置教學(xué)課件、視頻、實(shí)訓(xùn)指導(dǎo)書、作業(yè)、考試等教學(xué)實(shí)訓(xùn)內(nèi)容。

3、所有教學(xué)資源均可設(shè)置訪問權(quán)限，指定資源對學(xué)生進(jìn)行隱藏。

4、支持上傳課件并在線查看，支持上傳視頻文件并在線播放。支持上傳實(shí)訓(xùn)指導(dǎo)書并在線查看。

5、提供題庫管理功能，支持批量上傳題目到題庫并應(yīng)用于作業(yè)或考試。

6、支持學(xué)生在線考試，系統(tǒng)對客觀題實(shí)現(xiàn)自動(dòng)評(píng)分。

7、支持課程分類管理。

7.1支持新建類別，設(shè)置包括類別名稱、分類ID、類別描述。

7.2支持對類別進(jìn)行全選，批量刪除類別。對類別進(jìn)行排序、隱藏設(shè)置、刪除，編輯等操作，支持顯示各類別下的課程總數(shù)。查看某類別的課程列表。

7.3支持對課程進(jìn)行批量排序，排序規(guī)則包含：按課程名稱、課程ID、創(chuàng)建時(shí)間等。支持對課程進(jìn)行全選，批量刪除或更改類別。

8、支持對課程資源進(jìn)行備份與還原。

8.1課程備份，以列表方式展現(xiàn)平臺(tái)所有課程，顯示信息包括課程名稱、創(chuàng)建時(shí)間、授課教師。對課程進(jìn)行全選，批量備份課程。

8.2課程還原，以列表方式展現(xiàn)所有課程備份文件，顯示信息包括文件名、時(shí)間、大小。對備份文件進(jìn)行全選，批量刪除備份文件。

用戶管理：

1、支持創(chuàng)建用戶。

1.1單個(gè)創(chuàng)建，設(shè)置和信息包括：用戶名、密碼、角色、姓名、學(xué)號(hào)、手機(jī)、頭像。

1.2批量創(chuàng)建，所有用戶使用統(tǒng)一的用戶名前綴和密碼，自定義創(chuàng)建數(shù)量。

1.3批量導(dǎo)入，通過csv文件方式上傳用戶信息至平臺(tái)，csv文件只需按要求定義用戶名、密碼、姓名即可。

2、支持學(xué)生管理，支持創(chuàng)建班級(jí)，添加學(xué)生至班級(jí)，對班級(jí)學(xué)生進(jìn)行批量選課等。

3、支持查看平臺(tái)所有用戶，篩選用戶，管理員可編輯其他用戶的個(gè)人信息，包括姓名，角色，學(xué)號(hào)等。

實(shí)訓(xùn)管理:

1、支持直接進(jìn)入所集成的實(shí)訓(xùn)環(huán)境，展現(xiàn)已創(chuàng)建的實(shí)訓(xùn)環(huán)境，每個(gè)實(shí)訓(xùn)環(huán)境展現(xiàn)信息包含環(huán)境名稱，適用課程等。

2、支持按需創(chuàng)建實(shí)訓(xùn)環(huán)境入口，自定義環(huán)境名稱、實(shí)訓(xùn)環(huán)境、開始時(shí)間、結(jié)束時(shí)間、排序編號(hào)、課程標(biāo)簽、用戶等。

3、支持按需創(chuàng)建工程實(shí)訓(xùn)環(huán)境入口，自定義環(huán)境名稱、實(shí)訓(xùn)環(huán)境、實(shí)訓(xùn)時(shí)間、課程標(biāo)簽、具備權(quán)限用戶等，支持直接進(jìn)入工程實(shí)訓(xùn)環(huán)境，無需二次登陸。

4、支持標(biāo)簽管理，對標(biāo)簽進(jìn)行添加，刪除、編輯操作。

平臺(tái)管理：

1、支持定義平臺(tái)角色，自定義各角色的權(quán)限。

2、提供課程缺省設(shè)置功能，備份、恢復(fù)默認(rèn)設(shè)置。

3、成績設(shè)置，提供常規(guī)設(shè)置、成績項(xiàng)設(shè)置等功能，包含總體報(bào)表和用戶報(bào)表等設(shè)置功能。3Python編程實(shí)訓(xùn)平臺(tái)1套一、功能要求：

1、支持從大數(shù)據(jù)教學(xué)管理平臺(tái)提供入口一鍵進(jìn)入Python編程實(shí)訓(xùn)平臺(tái)。

2、基于B/S架構(gòu)，通過瀏覽器訪問平臺(tái)。

3、底層基于Docker技術(shù)，秒級(jí)打開實(shí)訓(xùn)平臺(tái)。

4、平臺(tái)內(nèi)置Python、Jupyter等相關(guān)IDE、數(shù)據(jù)庫軟件等實(shí)訓(xùn)工具。

5、支持實(shí)訓(xùn)報(bào)告在線提交，并支持提交本地文件報(bào)告和實(shí)訓(xùn)環(huán)境中的文件報(bào)告這2種方式。

6、實(shí)訓(xùn)環(huán)境標(biāo)配為2核CPU和4G內(nèi)存配置。

7、支持根據(jù)實(shí)際需求擴(kuò)展實(shí)訓(xùn)環(huán)境資源（CPU、內(nèi)存等）。

8、支持實(shí)訓(xùn)指導(dǎo)書與實(shí)訓(xùn)環(huán)境同屏顯示。

9、實(shí)訓(xùn)指導(dǎo)書提供目標(biāo)、環(huán)境、內(nèi)容、步驟等內(nèi)容。

10、支持隱藏實(shí)訓(xùn)環(huán)境界面，實(shí)訓(xùn)指導(dǎo)書全屏查看。

11、支持隱藏實(shí)訓(xùn)指導(dǎo)書界面，實(shí)訓(xùn)環(huán)境全屏操作。

12、支持將實(shí)訓(xùn)環(huán)境的文件導(dǎo)出至本地，支持將本地文件導(dǎo)入至實(shí)訓(xùn)環(huán)境進(jìn)行使用。

支持實(shí)訓(xùn)環(huán)境界面分辨率隨瀏覽器窗口變化自適應(yīng)調(diào)整。4Hadoop/Spark大數(shù)據(jù)開發(fā)實(shí)訓(xùn)平臺(tái)1套一、功能要求：

基礎(chǔ)模塊:

1、底層基于Docker技術(shù)，秒級(jí)打開實(shí)訓(xùn)平臺(tái)。

2、支持學(xué)生在做實(shí)訓(xùn)過程中進(jìn)行實(shí)訓(xùn)指導(dǎo)書的查看，實(shí)訓(xùn)指導(dǎo)書與實(shí)訓(xùn)環(huán)境同屏顯示。

3、支持隱藏實(shí)訓(xùn)環(huán)境界面，實(shí)訓(xùn)指導(dǎo)書全屏查看。

4、支持隱藏實(shí)訓(xùn)指導(dǎo)書界面，實(shí)訓(xùn)環(huán)境全屏操作。

5、支持實(shí)訓(xùn)報(bào)告在線提交，并支持提交本地文件報(bào)告和實(shí)訓(xùn)環(huán)境中的文件報(bào)告這2種方式。

6、支持實(shí)訓(xùn)環(huán)境與本地環(huán)境進(jìn)行文件傳輸，支持下載上傳數(shù)據(jù)。

7、實(shí)訓(xùn)指導(dǎo)書提供目標(biāo)、環(huán)境、內(nèi)容、步驟等內(nèi)容。

8、包含3臺(tái)Linux云主機(jī)全分布式集群。

9、配置vim文本編輯、SSH遠(yuǎn)程登錄、NTP時(shí)間同步等軟件。

增強(qiáng)模塊：

10、支持分布式文件系統(tǒng)HDFS，用于大容量數(shù)據(jù)存儲(chǔ)，提供網(wǎng)頁查看HDFS文件列表。

11、支持分布式計(jì)算框架MapReduce，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。支持任務(wù)運(yùn)行過程中實(shí)時(shí)查看日志，可通過日志定位問題。

12、支持集群資源管理YARN，為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度?？赏ㄟ^網(wǎng)頁查看任務(wù)狀態(tài)及運(yùn)行總耗時(shí)等信息。

13、支持?jǐn)?shù)據(jù)倉庫Hive，可將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表。

14、支持Hive表的導(dǎo)入導(dǎo)出功能。

15、支持?jǐn)?shù)據(jù)倉庫HBase，基于列的模式，支持非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)。

16、支持計(jì)算引擎Spark，支持直接啟動(dòng)Spark-shell進(jìn)行操作。

17、支持大數(shù)據(jù)任務(wù)調(diào)度框架oozie，提供基于網(wǎng)頁的可視化界面。5電子教室軟件1套1、提供屏幕廣播功能，老師可以將自己或者指定某個(gè)同學(xué)的屏幕同步給其他學(xué)生

2、提供分組教學(xué)功能，可快速將學(xué)生分成若干小組，并針對不同主題推送實(shí)驗(yàn)實(shí)訓(xùn)資料

3、提供隨堂小考功能，不用在黑板書寫，老師實(shí)時(shí)了解所有學(xué)生的解答結(jié)果，并立即生成統(tǒng)計(jì)結(jié)果。

4、提供班級(jí)管理功能，通過創(chuàng)建班級(jí)模型，準(zhǔn)確記錄學(xué)生座位排布。使用多頻道教學(xué)功能，教師可給不同機(jī)房的學(xué)生上課。

5、Windows/Mac/Linux平臺(tái)全面兼容，全面兼容虛擬機(jī)。6Python編程基礎(chǔ)1套《Python編程基礎(chǔ)》

一、課程簡介

Python可以用于數(shù)據(jù)統(tǒng)計(jì)、分析、可視化等任務(wù)，以及機(jī)器學(xué)習(xí)、人工智能等領(lǐng)域。大量的第三方模塊所支持的內(nèi)容涵蓋了從統(tǒng)計(jì)計(jì)算到機(jī)器學(xué)習(xí)，從金融分析到生物信息，從社會(huì)網(wǎng)絡(luò)分析到自然語言處理，從各種數(shù)據(jù)庫各種語言接口到高性能計(jì)算模型等領(lǐng)域?！禤ython編程基礎(chǔ)》是大數(shù)據(jù)與人工智能Python系列課程的入門課程。課程以任務(wù)為導(dǎo)向，能滿足完全面向?qū)ο蟮腜ython的高校教學(xué)工作，可以作為高校中數(shù)學(xué)和統(tǒng)計(jì)學(xué)等專業(yè)的基礎(chǔ)課程。

二、課時(shí)數(shù)

理論教學(xué)36學(xué)時(shí)，實(shí)踐教學(xué)36學(xué)時(shí)，總計(jì)72學(xué)時(shí)

3、課程資源包含實(shí)訓(xùn)指導(dǎo)書：38份，課程視頻：32個(gè)，課程PPT：7份，數(shù)據(jù)：7份，代碼：25份。

四、課程內(nèi)容

第1章準(zhǔn)備工作：

1.1Python認(rèn)識(shí)

1.2搭建Python環(huán)境

1.3了解常用PythonIDE并創(chuàng)建一個(gè)應(yīng)聲蟲程序

第2章Python基礎(chǔ)知識(shí)：

2.1Python的固定語法

2.2了解Python變量與相互轉(zhuǎn)化數(shù)值型變量

2.3Python基礎(chǔ)類型之字符型

2.4掌握常用操作運(yùn)算符及優(yōu)先級(jí)

第3章Python數(shù)據(jù)結(jié)構(gòu)：

3.1認(rèn)識(shí)數(shù)據(jù)結(jié)構(gòu)與列表

3.2列表的增刪改查

3.3列表推導(dǎo)式

3.4元組

3.5字典

3.6集合

第4章程序流程控制語句：

4.1條件分支語句

4.2循環(huán)

4.3嵌套循環(huán)與多變量迭代、列表解析

第5章函數(shù)：

5.1自定義函數(shù)

5.2調(diào)用自定義函數(shù)

5.3嵌套函數(shù)、全局變量與局部變量

5.4匿名函數(shù)與高階函數(shù)

5.5存儲(chǔ)并導(dǎo)入函數(shù)模塊

第6章面向?qū)ο缶幊蹋?/p>

6.1認(rèn)識(shí)面向?qū)ο缶幊?/p>

6.2類與綁定self

6.3類的專有方法

6.4創(chuàng)建對象

6.5迭代器

6.6繼承與其他方法

第7章文件基礎(chǔ)：

7.1認(rèn)識(shí)文件、讀取整個(gè)文件

7.2with語句讀取文件與設(shè)置工作路徑

7.3讀取txt、csv文件

7.4os模塊與shutil模塊

五、實(shí)訓(xùn)目錄

第1章準(zhǔn)備工作:

實(shí)訓(xùn)1Python環(huán)境搭建

實(shí)訓(xùn)2使用PyCharm創(chuàng)建一個(gè)應(yīng)聲蟲程序

實(shí)訓(xùn)3輸入輸出

第2章Python基礎(chǔ)知識(shí):

實(shí)訓(xùn)1創(chuàng)建字符串變量并提取里面的數(shù)值

實(shí)訓(xùn)2計(jì)算圓形的各參數(shù)

實(shí)訓(xùn)3對用戶星座進(jìn)行分析

實(shí)訓(xùn)4通過表達(dá)式計(jì)算給定的三個(gè)數(shù)值均值、方差、標(biāo)準(zhǔn)差

第3章Python數(shù)據(jù)結(jié)構(gòu):

實(shí)訓(xùn)1創(chuàng)建一個(gè)列表（list）并進(jìn)行增刪改查操作

實(shí)訓(xùn)2轉(zhuǎn)換一個(gè)列表為元組（tuple）并進(jìn)行取值操作

實(shí)訓(xùn)3創(chuàng)建一個(gè)字典（dict）并進(jìn)行增刪改查操作

實(shí)訓(xùn)4將兩個(gè)列表轉(zhuǎn)換為集合（set）并進(jìn)行集合運(yùn)算

實(shí)訓(xùn)5計(jì)算出斐波那契數(shù)列前兩項(xiàng)給定長度的數(shù)列，并刪除重復(fù)項(xiàng)和追加數(shù)列各項(xiàng)之和為新項(xiàng)

實(shí)訓(xùn)6用戶自定義查詢菜單，輸出查詢結(jié)果

實(shí)訓(xùn)7簡單的好友通訊錄管理程序

實(shí)訓(xùn)8對兩個(gè)給定的數(shù)進(jìn)行最大公約數(shù)、最小公倍數(shù)的分析

第4章程序流程控制語句:

實(shí)訓(xùn)1實(shí)現(xiàn)考試成績劃分

實(shí)訓(xùn)2實(shí)現(xiàn)一組數(shù)的連加與連乘

實(shí)訓(xùn)3使用冒泡排序法排序

實(shí)訓(xùn)4輸出數(shù)字金字塔

實(shí)訓(xùn)5猜數(shù)字游戲

實(shí)訓(xùn)6統(tǒng)計(jì)字符串內(nèi)元素類型的個(gè)數(shù)

第5章函數(shù):

實(shí)訓(xùn)1自定義函數(shù)實(shí)現(xiàn)方差輸出

實(shí)訓(xùn)2使用匿名函數(shù)添加列表元素

實(shí)訓(xùn)3存儲(chǔ)并導(dǎo)入函數(shù)模塊

實(shí)訓(xùn)4構(gòu)建一個(gè)計(jì)算列表中位數(shù)的函數(shù)

實(shí)訓(xùn)5使用lambda表達(dá)式實(shí)現(xiàn)對列表中的數(shù)求平方

第6章面向?qū)ο缶幊?

實(shí)訓(xùn)1創(chuàng)建Car類

實(shí)訓(xùn)2創(chuàng)建Car對象

實(shí)訓(xùn)3迭代Car對象

實(shí)訓(xùn)4產(chǎn)生Land_Rover對象（子類）

實(shí)訓(xùn)5在精靈寶可夢游戲創(chuàng)建小火龍角色，對給出的各屬性進(jìn)行迭代和私有化

實(shí)訓(xùn)6對小火龍游戲角色采用繼承的方式

第7章文件基礎(chǔ):

實(shí)訓(xùn)1對txt文件進(jìn)行讀寫

實(shí)訓(xùn)2對csv文件進(jìn)行讀寫

實(shí)訓(xùn)3os模塊

實(shí)訓(xùn)4shutil模塊

實(shí)訓(xùn)5計(jì)算iris數(shù)據(jù)集的均值

實(shí)訓(xùn)6編程實(shí)現(xiàn)文件在當(dāng)前工作路徑的查找7Python大數(shù)據(jù)數(shù)學(xué)基礎(chǔ)1套一、課程簡介

在大數(shù)據(jù)的研究和應(yīng)用中，數(shù)學(xué)是其堅(jiān)實(shí)的理論基礎(chǔ)，在數(shù)據(jù)處理、數(shù)據(jù)挖掘、評(píng)判分析等過程中，數(shù)學(xué)方法扮演著至關(guān)重要的角色。《Python大數(shù)據(jù)數(shù)學(xué)基礎(chǔ)》是大數(shù)據(jù)與人工智能Python系列課程的基礎(chǔ)課程。課程致力于大數(shù)據(jù)分析技術(shù)的基礎(chǔ)數(shù)學(xué)知識(shí)傳播，以期通過理論結(jié)合實(shí)踐的方式，運(yùn)用相關(guān)數(shù)學(xué)知識(shí)解決一些實(shí)際問題。

二、課時(shí)數(shù)

理論教學(xué)58學(xué)時(shí)，實(shí)踐教學(xué)22學(xué)時(shí)，總計(jì)80學(xué)時(shí)

三、課程資源至少包含18份實(shí)訓(xùn)指導(dǎo)書、34個(gè)課程視頻、8份課程PPT、8份數(shù)據(jù)、21份代碼。

四、課程內(nèi)容

第1章緒論：

1緒論

第2章微積分基礎(chǔ)：

2.1引言

2.2函數(shù)與極限

2.3導(dǎo)數(shù)與微分

2.4微分中值定理與導(dǎo)數(shù)的應(yīng)用

2.5不定積分與定積分

第3章概率論與數(shù)理統(tǒng)計(jì)基礎(chǔ)：

集中趨勢度量

集中趨勢度量代碼講解

離散趨勢度量及偏度與峰度度量

離散趨勢度量及偏度與峰度度量代碼講解

3.2.1隨機(jī)事件及其概率

3.2.2隨機(jī)變量與概率分布

3.2.3隨機(jī)變量的數(shù)字特征

3.2.4隨機(jī)變量與概率分布及隨機(jī)變量的數(shù)字特征代碼講解

3.3參數(shù)估計(jì)與假設(shè)檢驗(yàn)以及章節(jié)小結(jié)

第4章線性代數(shù)基礎(chǔ)：

4.1.1行列式

4.1.2行列式代碼講解

4.2.1矩陣及其運(yùn)算

4.2.2矩陣及其運(yùn)算代碼講解

4.3.1矩陣的特征分解與奇異值分解

4.3.2矩陣的特征分解與奇異值分解代碼講解

第5章數(shù)值計(jì)算基礎(chǔ)：

5.1數(shù)值計(jì)算的基本概念

5.2插值方法

5.3函數(shù)逼近與擬合

5.4非線性方程（組）求根及小結(jié)

第6章多元統(tǒng)計(jì)分析：

6.1.1一元線性回歸

6.1.2多元線性回歸

6.1.3Logistic回歸

6.1.4回歸分析代碼講解

6.2.1判別分析

6.2.2判別分析代碼講解

6.3.1聚類分析

6.3.2聚類分析代碼講解

6.4小結(jié)

五、實(shí)訓(xùn)目錄

第2章微積分基礎(chǔ)：

實(shí)訓(xùn)1函數(shù)與極限

實(shí)訓(xùn)2導(dǎo)數(shù)

實(shí)訓(xùn)3微分

實(shí)訓(xùn)4微分中值定理與導(dǎo)數(shù)的應(yīng)用

實(shí)訓(xùn)5不定積分與定積分

第3章概率論與數(shù)理統(tǒng)計(jì)基礎(chǔ)：

實(shí)訓(xùn)1數(shù)據(jù)分布特征的描述統(tǒng)計(jì)

實(shí)訓(xùn)2概率與概率分布

實(shí)訓(xùn)3參數(shù)估計(jì)與假設(shè)檢驗(yàn)

第4章線性代數(shù)基礎(chǔ)：

實(shí)訓(xùn)1行列式

實(shí)訓(xùn)2矩陣及其運(yùn)算

實(shí)訓(xùn)3矩陣的特征分解與奇異值分解

第5章數(shù)值計(jì)算基礎(chǔ)：

實(shí)訓(xùn)1誤差

實(shí)訓(xùn)2插值方法

實(shí)訓(xùn)3函數(shù)逼近與擬合

實(shí)訓(xùn)4非線性方程（組）求根

第6章多元統(tǒng)計(jì)分析：

實(shí)訓(xùn)1回歸分析

實(shí)訓(xùn)2判別分析

實(shí)訓(xùn)3聚類分析8Python數(shù)據(jù)分析與應(yīng)用1套《數(shù)據(jù)分析與應(yīng)用》

一、課程簡介

數(shù)據(jù)分析技術(shù)將幫助企業(yè)用戶在合理時(shí)間內(nèi)獲取、管理、處理以及整理海量數(shù)據(jù)，為企業(yè)經(jīng)營決策提供積極的幫助。數(shù)據(jù)分析作為一門前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等戰(zhàn).略.新.興.產(chǎn).業(yè)?！稊?shù)據(jù)分析與應(yīng)用》課程是大數(shù)據(jù)與人工智能系列課程的核心課程。課程以任務(wù)為導(dǎo)向，將數(shù)據(jù)分析知識(shí)點(diǎn)融入其中，能夠讓學(xué)生在練中學(xué)，學(xué)會(huì)即應(yīng)用。

二、課時(shí)數(shù)

理論教學(xué)54學(xué)時(shí)，實(shí)踐教學(xué)54學(xué)時(shí)，總計(jì)108學(xué)時(shí)

3、課程資源包含實(shí)訓(xùn)指導(dǎo)書：34份，課程視頻：23個(gè)，課程PPT：7份，數(shù)據(jù)：25份，代碼：7份。

四、課程內(nèi)容

第1章Python數(shù)據(jù)分析概述：

1.1數(shù)據(jù)分析概述

1.2熟悉Python數(shù)據(jù)分析的工具

1.3安裝Python的Anaconda發(fā)行版

1.4掌握J(rèn)upyterNoteBook常用功能

第2章NumPy數(shù)值計(jì)算基礎(chǔ)：

2.1掌握numpy數(shù)組對象ndarray_x264

2.2掌握Numpy矩陣與通用函數(shù)

2.3利用Numpy進(jìn)行統(tǒng)計(jì)分析

第3章Matplotlib數(shù)據(jù)可視化基礎(chǔ)：

3.1掌握繪圖基礎(chǔ)語法與常用參數(shù)

3.2分析特征間關(guān)系

3.3分析特征內(nèi)部數(shù)據(jù)分布與分散情況

第4章pandas統(tǒng)計(jì)分析基礎(chǔ)：

4.1讀寫不同數(shù)據(jù)源的數(shù)據(jù)

4.2掌握DataFrame的常用操作

4.3轉(zhuǎn)換與處理時(shí)間序列數(shù)據(jù)2

4.4使用分組聚合進(jìn)行組內(nèi)計(jì)算

4.5創(chuàng)建透視表與交叉表

第5章使用pandas進(jìn)行數(shù)據(jù)預(yù)處理：

5.1合并數(shù)據(jù)

5.2清洗數(shù)據(jù)

5.3標(biāo)準(zhǔn)化數(shù)據(jù)

5.4轉(zhuǎn)換數(shù)據(jù)

第6章使用scikit-learn構(gòu)建模型：

6.1使用sklearn轉(zhuǎn)換器處理數(shù)據(jù)

6.2構(gòu)建并評(píng)估聚類模型

6.3構(gòu)建并評(píng)估分類模型

6.4構(gòu)建并評(píng)估回歸模型

五、實(shí)訓(xùn)目錄

第2章NumPy數(shù)值計(jì)算基礎(chǔ):

實(shí)訓(xùn)1掌握NumPy數(shù)組對象ndarray

實(shí)訓(xùn)2掌握NumPy矩陣與通用函數(shù)

實(shí)訓(xùn)3利用NumPy進(jìn)行統(tǒng)計(jì)分析

實(shí)訓(xùn)4創(chuàng)建數(shù)組并進(jìn)行運(yùn)算

實(shí)訓(xùn)5創(chuàng)建一個(gè)國際象棋的棋盤

第3章Matplotlib數(shù)據(jù)可視化基礎(chǔ):

實(shí)訓(xùn)1掌握繪圖基礎(chǔ)語法與常用參數(shù)

實(shí)訓(xùn)2分析特征間的關(guān)系

實(shí)訓(xùn)3分析特征內(nèi)部數(shù)據(jù)分布與分散狀況

實(shí)訓(xùn)4分析1996~2015年人口數(shù)據(jù)各個(gè)特征的分布與分散狀況

實(shí)訓(xùn)5分析1996~2015年人口數(shù)據(jù)特征間的關(guān)系

第4章pandas統(tǒng)計(jì)分析基礎(chǔ):

實(shí)訓(xùn)1讀寫不同數(shù)據(jù)源的數(shù)據(jù)

實(shí)訓(xùn)2掌握DataFrame的常用操作

實(shí)訓(xùn)3轉(zhuǎn)換與處理時(shí)間序列數(shù)據(jù)

實(shí)訓(xùn)4使用分組聚合進(jìn)行組內(nèi)計(jì)算

實(shí)訓(xùn)5創(chuàng)建透視表與交叉表

實(shí)訓(xùn)6讀取并查看P2P網(wǎng)絡(luò)貸款數(shù)據(jù)主表的基本信息

實(shí)訓(xùn)7提取用戶信息更新表和登錄信息表的時(shí)間信息

實(shí)訓(xùn)8使用分組聚合方法進(jìn)一步分析用戶信息更新表和登錄信息表

實(shí)訓(xùn)9對用戶信息更新表和登錄信息表進(jìn)行長寬表轉(zhuǎn)換

第5章使用pandas進(jìn)行數(shù)據(jù):

實(shí)訓(xùn)1合并數(shù)據(jù)

實(shí)訓(xùn)2清洗數(shù)據(jù)

實(shí)訓(xùn)3標(biāo)準(zhǔn)化數(shù)據(jù)

實(shí)訓(xùn)4轉(zhuǎn)換數(shù)據(jù)

實(shí)訓(xùn)5插補(bǔ)用戶用電量數(shù)據(jù)缺失值

實(shí)訓(xùn)6合并線損，用電量趨勢與線路告警數(shù)據(jù)

實(shí)訓(xùn)7標(biāo)準(zhǔn)化建模專家樣本數(shù)據(jù)

第6章使用scikit-learn構(gòu)建模型:

實(shí)訓(xùn)1使用sklearn轉(zhuǎn)換器處理數(shù)據(jù)

實(shí)訓(xùn)2構(gòu)建并評(píng)價(jià)聚類模型

實(shí)訓(xùn)3構(gòu)建并評(píng)價(jià)分類模型

實(shí)訓(xùn)4構(gòu)建并評(píng)價(jià)回歸模型

實(shí)訓(xùn)5使用sklearn處理wine和wine_quality數(shù)據(jù)集

實(shí)訓(xùn)6構(gòu)建基于wine數(shù)據(jù)集的K-Means聚類模型

實(shí)訓(xùn)7構(gòu)建基于wine數(shù)據(jù)集的分類模型

實(shí)訓(xùn)8構(gòu)建基于wine_quality數(shù)據(jù)集的回歸模型9Python網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)1套《數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲》

一、課程簡介

數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本?！稊?shù)據(jù)采集與網(wǎng)絡(luò)爬蟲》是大數(shù)據(jù)與人工智能Python系列課程的進(jìn)階課程。課程以任務(wù)為導(dǎo)向，詳細(xì)陳述了不同網(wǎng)頁的爬取，以及最流行爬蟲框架的使用。

二、課時(shí)數(shù)

理論教學(xué)36學(xué)時(shí)，實(shí)踐教學(xué)36學(xué)時(shí)，總計(jì)72學(xué)時(shí)

3、課程資源包含實(shí)訓(xùn)指導(dǎo)書：27份，課程視頻：37個(gè)，課程PPT：6份，數(shù)據(jù)：2份，代碼：4份。

四、課程內(nèi)容

第1章Python爬蟲環(huán)境與爬蟲簡介：

1.1Python網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)介紹

1.2認(rèn)識(shí)爬蟲

1.3認(rèn)識(shí)反爬蟲

1.4Python爬蟲環(huán)境

第2章網(wǎng)頁前端基礎(chǔ)：

2.1概述

2.2HTTP請求方法與過程

2.3常見HTTP狀態(tài)碼

2.4HTTP頭部信息

2.5認(rèn)識(shí)c.o.o.k.i.e.s

2.6小結(jié)

第3章簡單靜態(tài)網(wǎng)頁爬取：

3.1靜態(tài)網(wǎng)頁爬取概述

3.2使用urllib3實(shí)現(xiàn)HTTP請求

3.3使用requests庫實(shí)現(xiàn)HTTP請求

3.4谷歌開發(fā)者工具介紹

3.5正則表達(dá)式介紹

3.6使用正則表達(dá)式獲取網(wǎng)頁標(biāo)題信息

3.7使用XPath進(jìn)行網(wǎng)頁解析

3.8使用BeautifulSoup進(jìn)行網(wǎng)頁解析

3.9數(shù)據(jù)存儲(chǔ)

3.10小結(jié)

第4章常規(guī)動(dòng)態(tài)網(wǎng)頁爬?。?/p>

4.1常規(guī)動(dòng)態(tài)網(wǎng)頁爬取概述

4.2逆向分析爬取動(dòng)態(tài)網(wǎng)頁

4.3使用Selenium打開瀏覽對象

4.4Selenium頁面等待

4.5使用Selenium獲取圖書信息

4.6小結(jié)

第5章模擬登錄：

5.1模擬登錄概述

5.2查找表單數(shù)據(jù)入口及提交數(shù)據(jù)

5.3驗(yàn)證碼人工處理與代理IP

5.4使用POST請求方法登錄

5.5使用瀏覽器c.o.o.k.i.e.s登錄

5.6基于表單登錄的c.o.o.k.i.e.s登錄

5.7小結(jié)

第6章終端協(xié)議分析：

6.1終端協(xié)議分析概述

6.2了解HTTPAnalyzer工具

6.3爬取千千音樂PC客戶端數(shù)據(jù)

6.4小結(jié)

五、實(shí)訓(xùn)目錄

第2章網(wǎng)頁前端基礎(chǔ)：

實(shí)訓(xùn)1使用Socket庫進(jìn)行TCP編程

實(shí)訓(xùn)2使用Socket庫進(jìn)行UDP編程

實(shí)訓(xùn)3使用Socket庫連接百度首頁

第3章簡單靜態(tài)網(wǎng)頁爬?。?/p>

實(shí)訓(xùn)1urllib3庫實(shí)現(xiàn)HTTP請求

實(shí)訓(xùn)2Requests庫實(shí)現(xiàn)HTTP請求

實(shí)訓(xùn)3正則表達(dá)式模塊解析網(wǎng)頁

實(shí)訓(xùn)4Xpath解析網(wǎng)頁

實(shí)訓(xùn)5Soup庫解析網(wǎng)頁

實(shí)訓(xùn)6MySQL數(shù)據(jù)存儲(chǔ)

實(shí)訓(xùn)7生成GET請求并獲取指定網(wǎng)頁內(nèi)容

實(shí)訓(xùn)8搜索目標(biāo)節(jié)點(diǎn)并提取文本內(nèi)容

實(shí)訓(xùn)9在數(shù)據(jù)庫中建立新表并導(dǎo)入數(shù)據(jù)

第4章常規(guī)動(dòng)態(tài)網(wǎng)頁爬取：

實(shí)訓(xùn)1逆向分析爬取動(dòng)態(tài)網(wǎng)頁

實(shí)訓(xùn)2使用Selenium庫爬取動(dòng)態(tài)網(wǎng)頁

實(shí)訓(xùn)3存儲(chǔ)數(shù)據(jù)至MongoDB數(shù)據(jù)庫

實(shí)訓(xùn)4爬取網(wǎng)頁“”推薦圖書的信息

實(shí)訓(xùn)5爬取某網(wǎng)頁的Java圖書信息

實(shí)訓(xùn)6將數(shù)據(jù)儲(chǔ)存到MongoDB數(shù)據(jù)庫中

第5章模擬登錄：

實(shí)訓(xùn)1使用表單登錄方法實(shí)現(xiàn)模擬登錄

實(shí)訓(xùn)2使用C.oo.kie登錄方法實(shí)現(xiàn)模擬登錄

實(shí)訓(xùn)3使用表單登錄方法模擬登錄數(shù)睿思論壇

實(shí)訓(xùn)4使用瀏覽器Coo.kie模擬登錄數(shù)睿思論壇

實(shí)訓(xùn)5基于表單登錄后的Coo.kie模擬登錄數(shù)睿思論壇

第6章終端協(xié)議分析：

實(shí)訓(xùn)1爬取千千音樂PC客戶端數(shù)據(jù)

實(shí)訓(xùn)2分析人民日報(bào)APP

實(shí)訓(xùn)3抓取千千音樂PC客戶端的推薦歌曲信息

實(shí)訓(xùn)4爬取人民日報(bào)APP的旅游模塊信息

第7章Scrapy爬蟲：

實(shí)訓(xùn)1使用Scrapy爬取泰迪動(dòng)態(tài)

實(shí)訓(xùn)2定制BdRaceNews爬蟲項(xiàng)目的中間件10Python機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)1套一、課程簡介:算法的相關(guān)任務(wù)往往會(huì)受到數(shù)據(jù)變化、計(jì)算能力和經(jīng)驗(yàn)性判斷等的限制。《Python機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)》是大數(shù)據(jù)與人工智能Python系列課程的核心課程。課程深入講解了機(jī)器學(xué)習(xí)中的常用算法，詳細(xì)陳述了每種算法解決問題時(shí)的思路。讓學(xué)員掌握各個(gè)算法的應(yīng)用場景，算法理論基礎(chǔ)，編程實(shí)現(xiàn)、模型評(píng)價(jià)體系等，為后續(xù)課程的學(xué)習(xí)及從事數(shù)據(jù)挖掘的開發(fā)和項(xiàng)目業(yè)務(wù)奠定基礎(chǔ)。

二、課時(shí)數(shù)：理論教學(xué)36學(xué)時(shí)，實(shí)踐教學(xué)28學(xué)時(shí)，總計(jì)64學(xué)時(shí)

三、課程資源：

至少包含15份實(shí)驗(yàn)指導(dǎo)書、49個(gè)課程視頻、9份課程PPT、13份數(shù)據(jù)、8份代碼。

四、課程內(nèi)容：

第1章機(jī)器學(xué)習(xí)緒論：

1.1引言

1.2基本術(shù)語

1.3假設(shè)空間&歸納偏好

第2章模型評(píng)估與選擇

2.1經(jīng)驗(yàn)誤差與過擬合

2.2評(píng)估方法

2.3性能度量

2.4性能度量Python實(shí)現(xiàn)

第3章回歸分析

3.1線性回歸基本形式

3.2線性回歸模型的Python實(shí)現(xiàn)

3.3波士頓房價(jià)預(yù)測的Python實(shí)現(xiàn)

3.4邏輯回歸介紹

3.5研究生入學(xué)錄取預(yù)測的Python實(shí)現(xiàn)

第4章決策樹

4.1從女生相親到?jīng)Q策樹

4.2明天適合打球嗎

4.3決策樹拆分屬性選擇

4.4決策樹算法家族

4.5泰坦尼克號(hào)生還者預(yù)測—數(shù)據(jù)預(yù)處理

4.6泰坦尼克號(hào)生還者預(yù)測—模型構(gòu)建與預(yù)測

4.7決策樹可視化

第5章神經(jīng)網(wǎng)絡(luò)

5.1單個(gè)神經(jīng)元介紹

5.2經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)介紹

5.3神經(jīng)網(wǎng)絡(luò)工作流程演示

5.4如何修正網(wǎng)絡(luò)參數(shù)-梯度下降法

5.5網(wǎng)絡(luò)工作原理推導(dǎo)

5.6網(wǎng)絡(luò)搭建準(zhǔn)備

5.7樣本從輸入層到隱層傳輸?shù)腜ython實(shí)現(xiàn)

5.8網(wǎng)絡(luò)輸出的Python實(shí)現(xiàn)

5.9單樣本網(wǎng)絡(luò)訓(xùn)練的Python實(shí)現(xiàn)

5.10全樣本網(wǎng)絡(luò)訓(xùn)練的Python實(shí)現(xiàn)

5.11網(wǎng)絡(luò)性能評(píng)價(jià)

5.12調(diào)用sklearn實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法

第6章KNN

6.1KNN算法介紹

6.2KNN算法解決鳶尾花分類問題

第7章樸素貝葉斯

7.1非洲人還是北美人

7.2為什么有“樸素”二字

7.3拉普拉斯修正

7.4用高斯樸素貝葉斯算法解決鳶尾花分類問題

第8章聚類分析

8.1聚類分析概述

8.2相似性度量

8.3K-Means聚類分析算法介紹

8.4利用K-Means算法對鳶尾花進(jìn)行聚類

8.5聚類結(jié)果的性能度量

8.6調(diào)用sklearn實(shí)現(xiàn)聚類分析

第9章支持向量機(jī)

9.1間隔與支持向量

9.2對偶問題

9.3核函數(shù)

9.4軟間隔與正則化

9.5支持向量機(jī)算法的Python實(shí)現(xiàn)

第10章小結(jié)

10.1小結(jié)

五、實(shí)訓(xùn)目錄：

第1模塊回歸分析

實(shí)訓(xùn)1：完成波士頓房價(jià)預(yù)測模型

實(shí)訓(xùn)2：對研究生是否被錄取進(jìn)行預(yù)測

第2模塊決策樹

實(shí)訓(xùn)1：決策樹算法自編

實(shí)訓(xùn)2：用決策樹算法構(gòu)建鳶尾花分類模型

第3模塊神經(jīng)網(wǎng)絡(luò)

實(shí)訓(xùn)1：自定義sigmoid激活函數(shù)

實(shí)訓(xùn)2：網(wǎng)絡(luò)輸入到輸出

實(shí)訓(xùn)3：網(wǎng)絡(luò)權(quán)值和閾值更新

實(shí)訓(xùn)4：網(wǎng)絡(luò)模型訓(xùn)練

實(shí)訓(xùn)5：網(wǎng)絡(luò)模型預(yù)測

第4模塊KNN與樸素貝葉斯

實(shí)訓(xùn)1：求距離矩陣

實(shí)訓(xùn)2：找鄰居

實(shí)訓(xùn)3：歸類

實(shí)訓(xùn)4：自編KNN算法實(shí)現(xiàn)鳶尾花分類

第5模塊聚類分析

實(shí)訓(xùn)1：對鳶尾花數(shù)據(jù)進(jìn)行K-Means聚類

第6模塊支持向量機(jī)

實(shí)訓(xùn)1：用支持向量機(jī)解決鳶尾花分類11Python文本挖掘?qū)崙?zhàn)1套《文本挖掘技術(shù)與應(yīng)用》

一、課程簡介

早在上個(gè)世紀(jì)，已存在人工文本分析挖掘，并廣泛應(yīng)用在密碼學(xué)等領(lǐng)域，由于技術(shù)的受限，這項(xiàng)技術(shù)得不到很好的傳承與推廣，直到近十幾年科技的進(jìn)步使這一領(lǐng)域迅速發(fā)展。文本挖掘已廣泛應(yīng)用于信息檢索、自動(dòng)問答、數(shù)據(jù)挖掘、語言翻譯等領(lǐng)域。《文本挖掘技術(shù)與應(yīng)用》是大數(shù)據(jù)與人工智能Python系列課程的實(shí)戰(zhàn)課程。課程著重講解了文本信息轉(zhuǎn)化為數(shù)據(jù)，進(jìn)行建模分析，提煉出核心內(nèi)容、分析文本數(shù)據(jù)之間的關(guān)系等內(nèi)容，是學(xué)習(xí)文本挖掘的首選課程。

二、課時(shí)數(shù)

理論教學(xué)36學(xué)時(shí)，實(shí)踐教學(xué)36學(xué)時(shí)，總計(jì)72學(xué)時(shí)

3、課程資源包含實(shí)訓(xùn)指導(dǎo)書：9份，課程視頻：18個(gè)，課程PPT：2份，數(shù)據(jù)：9份，代碼：14份。

四、課程內(nèi)容

第1章文本預(yù)處理技術(shù)：

1.1文本挖掘概述

第2章文本向量化表示：

2.1文本預(yù)處理_正則表達(dá)式

2.2中文分詞概述

2.2.1機(jī)械分詞法

2.2.2馬爾科夫鏈分詞法

2.2.3隱馬爾可夫模型（HMM）

2.2.4viterbi算法

2.2.5隱馬爾可夫與viterbi算法應(yīng)用

2.2.6jieba庫_jieba分詞

2.3繪制詞云

第3章常見文本分類器及評(píng)估：

3.1文本向量化表示

第4章垃圾短信分類模型構(gòu)建：

4.1案例：垃圾短信識(shí)別_數(shù)據(jù)抽取

4.2案例：垃圾短信識(shí)別_文本清洗

4.3案例：垃圾短信識(shí)別_分詞與去除停用詞

4.4案例：垃圾短息識(shí)別_繪制詞云

4.5案例：垃圾短信識(shí)別_文本向量化表示

4.6案例：垃圾短信識(shí)別_文本分類器

4.7案例：垃圾短信識(shí)別_分類模型評(píng)估

五、實(shí)訓(xùn)目錄

第1章文本預(yù)處理技術(shù)：

實(shí)訓(xùn)1正則表達(dá)式

實(shí)訓(xùn)2中文分詞：匹配法

實(shí)訓(xùn)3中文分詞：HMM

實(shí)訓(xùn)4中文分詞：HMM的維特比算法實(shí)現(xiàn)分詞

實(shí)訓(xùn)5繪制詞云

第4章垃圾短信分類模型構(gòu)建：

實(shí)訓(xùn)1文本分類：數(shù)據(jù)探索

實(shí)訓(xùn)2文本分類：數(shù)據(jù)預(yù)處理

實(shí)訓(xùn)3文本分類：繪制詞云圖

實(shí)訓(xùn)4文本分類：識(shí)別垃圾短信12Python數(shù)據(jù)可視化1套《數(shù)據(jù)可視化技術(shù)》

一、課程簡介:一幅精心繪制的圖形能夠幫助我們在數(shù)以千計(jì)的零散信息中進(jìn)行比較，提煉出使用其他方法是不那么容易發(fā)現(xiàn)的模式。而Python有著非常豐富且強(qiáng)大的繪圖功能。本課程將通過講述創(chuàng)建圖形到輸出保存圖形的整體流程到具體的各種圖形及修改圖形中的特征來介紹Matplotlib模塊、Seaborn模塊、Bokeh交互式繪圖，向讀者逐步呈現(xiàn)Python由基礎(chǔ)到高級(jí)繪圖。

二、理論教學(xué)36學(xué)時(shí)，實(shí)踐教學(xué)36學(xué)時(shí)，總計(jì)72學(xué)時(shí)

3、課程資源包含實(shí)訓(xùn)指導(dǎo)書：35份，課程視頻：51個(gè)，課程PPT：8份，數(shù)據(jù)：10份，代碼：4份。

四、課程內(nèi)容：

第1章Matplotlib繪圖基礎(chǔ)：

1.1Matplotlib繪制流程說明

1.2文本標(biāo)準(zhǔn)與繪圖風(fēng)格

1.3rc參數(shù)說明

第2章Matplotlib基礎(chǔ)繪圖：

2.1Matplotlib繪制散點(diǎn)圖

2.2Matplotlib繪制折線圖

2.3Matplotlib任務(wù)實(shí)現(xiàn)

2.4Matplotlib繪制柱狀圖

2.5Matplotlib繪制餅圖

2.6Matplotlib繪制箱線圖

2.7分析人口數(shù)據(jù)特征間的關(guān)系

2.8分析人口數(shù)據(jù)各個(gè)特征的分布與分散情況

第3章Seaborn進(jìn)階繪圖：

3.1Seaborn基礎(chǔ)介紹

3.2Seaborn簡單繪圖

3.3Seaborn繪圖風(fēng)格

3.4Seaborn調(diào)色板

3.5Seaborn繪制關(guān)系圖

3.6Seaborn繪制分類圖

3.7Seaborn繪制分布圖

3.8Seaborn繪制回歸圖

3.9Seaborn繪制矩陣圖

3.10Seaborn繪制網(wǎng)格圖

第4章Bokeh交互式繪圖：

4.1Bokeh庫介紹

4.2Bokeh基本繪圖

4.3Bokeh風(fēng)格與主題

4.4Bokeh數(shù)據(jù)源與轉(zhuǎn)換

4.5Bokeh布局

4.6Bokeh繪制條形圖

4.7Bokeh繪制網(wǎng)絡(luò)圖

4.8Bokeh導(dǎo)出與嵌入

4.9運(yùn)行Bokeh應(yīng)用程序

第5章Pyecharts簡介：

5.1Pyecharts介紹

5.2Pyecharts安裝

5.3Pyecharts繪圖邏輯

第6章Pyecharts繪制基本圖表：

6.1Pyecharts繪制日歷圖

6.2使用Pyecharts繪制主題河流圖

6.3使用Pyecharts繪制詞云圖

6.4Pyecharts繪制漏斗圖

6.5Pyecharts繪制儀表盤

6.6Pyecharts繪制水球圖

6.7Pyecharts繪制關(guān)系圖

6.8Pyecharts繪制平行坐標(biāo)系

6.9使用Pyecharts繪制餅圖

6.10使用Pyecharts繪制雷達(dá)圖

6.11使用Pyecharts繪制詞云圖

第7章Pyecharts繪制直角坐標(biāo)系圖表：

7.1Pyecharts繪制直角坐標(biāo)系圖表

第8章Pyecharts繪制樹形圖表：

8.1使用Pyecharts繪制樹圖

8.2使用Pyecharts繪制矩陣樹圖

第9章Pyecharts繪制地理圖表：

9.1Pyecharts繪制地理圖表

第10章Pyecharts繪制3D圖表：

10.1Pyecharts繪制3D圖表

五、實(shí)訓(xùn)目錄：

第2章Matplotlib基礎(chǔ)繪圖：

實(shí)訓(xùn)1-繪圖基礎(chǔ)語法和常用參數(shù)

實(shí)訓(xùn)2-分析特征間關(guān)系

實(shí)訓(xùn)3-分析特征內(nèi)部數(shù)據(jù)分布于分散狀況

實(shí)訓(xùn)4-分析1996-2015年人口數(shù)據(jù)特征間的關(guān)系-副本

實(shí)訓(xùn)5-分析1996-2015年人口數(shù)據(jù)各個(gè)特征的分布與分散狀況

第3章Seaborn進(jìn)階繪圖：

實(shí)訓(xùn)1-實(shí)現(xiàn)scatterplot關(guān)系圖

實(shí)訓(xùn)2-實(shí)現(xiàn)lineplot關(guān)系圖

實(shí)訓(xùn)3-實(shí)現(xiàn)relplot關(guān)系圖

實(shí)訓(xùn)4-實(shí)現(xiàn)分類散點(diǎn)圖

實(shí)訓(xùn)5-實(shí)現(xiàn)分類分布圖

實(shí)訓(xùn)6-實(shí)現(xiàn)分類估計(jì)圖

實(shí)訓(xùn)7-實(shí)現(xiàn)kdeplot分布圖

實(shí)訓(xùn)8-實(shí)現(xiàn)rugplot分布圖

實(shí)訓(xùn)9-實(shí)現(xiàn)distplot分布圖

實(shí)訓(xùn)10-實(shí)現(xiàn)regplot回歸圖

實(shí)訓(xùn)11-實(shí)現(xiàn)lmplot回歸圖

實(shí)訓(xùn)12-實(shí)現(xiàn)heatmap矩陣圖

實(shí)訓(xùn)13-實(shí)現(xiàn)clustermap矩陣圖

實(shí)訓(xùn)14-實(shí)現(xiàn)FacetGrid網(wǎng)格圖

實(shí)訓(xùn)15-實(shí)現(xiàn)PairGrid網(wǎng)格圖

實(shí)訓(xùn)16-實(shí)現(xiàn)JoinGrid網(wǎng)格圖

第4章Bokeh交互式繪圖：

實(shí)訓(xùn)1-實(shí)現(xiàn)Bokeh基本繪圖

實(shí)訓(xùn)2-實(shí)現(xiàn)Bokeh風(fēng)格與主題轉(zhuǎn)換

實(shí)訓(xùn)3-實(shí)現(xiàn)數(shù)據(jù)源轉(zhuǎn)化

實(shí)訓(xùn)4-實(shí)現(xiàn)Bokeh布局

實(shí)訓(xùn)5-實(shí)現(xiàn)條形圖與分類數(shù)據(jù)圖

實(shí)訓(xùn)6-實(shí)現(xiàn)網(wǎng)絡(luò)圖

實(shí)訓(xùn)7-實(shí)現(xiàn)地理圖

實(shí)訓(xùn)8-實(shí)現(xiàn)圖形導(dǎo)出與嵌入

實(shí)訓(xùn)9-運(yùn)行Bokeh應(yīng)用程序

第6章Pyecharts繪制基本圖表

實(shí)訓(xùn)1-Pyecharts繪制基本圖表

實(shí)訓(xùn)2-Pyecharts繪制直角坐標(biāo)系圖表

實(shí)訓(xùn)3-Pyecharts繪制樹形圖表

實(shí)訓(xùn)4-Pyecharts繪制地理圖表

實(shí)訓(xùn)5-Pyecharts繪制3D圖表13家用熱水器用戶行為分析【BP神經(jīng)網(wǎng)絡(luò)】1套一、資源

至少包含3份實(shí)訓(xùn)指導(dǎo)書、9個(gè)課程視頻、1份課程PPT、5份數(shù)據(jù)、3份代碼。

二、概要

居民在使用家用電器過程中，會(huì)因地區(qū)氣候、區(qū)域不同、用戶年齡性別差異，形成不同的使用習(xí)慣。家電企業(yè)若能深入了解其產(chǎn)品在不同用戶群的使用習(xí)慣，開發(fā)新功能，就能開拓新市場。

三、目標(biāo)

根據(jù)熱水器采集到的數(shù)據(jù)，識(shí)別出洗浴事件。

四、流程

1)數(shù)據(jù)抽取：從國內(nèi)某熱水器生產(chǎn)廠商處抽取用戶的用水?dāng)?shù)據(jù)。

2)數(shù)據(jù)預(yù)處理：刪除冗余特征；劃分用水事件；確定單次用水事件時(shí)長閾值；構(gòu)建用水時(shí)長與頻率特征、用水量與波動(dòng)特征；篩選候選洗浴事件。

3)模型構(gòu)建：將數(shù)據(jù)劃分為訓(xùn)練集和測試集，構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)模型。

4)模型解讀：在洗浴事件的識(shí)別上精確率（precision）非常高，達(dá)到了96%，同時(shí)召回率（recall）也達(dá)到了70%以上，可以確定此模型是有效并且效果良好的能夠用于實(shí)際的洗浴事件的識(shí)別別中。

五、技術(shù)點(diǎn)

冗余特征處理；劃分事件；確定閾值；特征構(gòu)建；神經(jīng)網(wǎng)絡(luò)模型。

六、案例內(nèi)容

1)案例背景

2)刪除冗余特征

3)劃分用水事件

4)確定單次用水事件時(shí)長閾值

5)構(gòu)建用水時(shí)長與頻率特征

6)構(gòu)建停頓特征

7)構(gòu)建用水量與波動(dòng)特征

8)篩選候選洗浴事件

9)模型構(gòu)建

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1預(yù)處理熱水器用戶用水?dāng)?shù)據(jù)

實(shí)訓(xùn)2構(gòu)建用水行為特征并篩選用水事件

實(shí)訓(xùn)3構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型14市財(cái)政收入分析及預(yù)測【SVR】1套一、資源

至少包含4份實(shí)訓(xùn)指導(dǎo)書、19個(gè)課程視頻、1份課程PPT、1份數(shù)據(jù)、5份代碼。

二、概要

在我國現(xiàn)行的分稅制財(cái)政管理體制下，地方財(cái)政收入不但是國家財(cái)政收入的重要組成部分，而且具有其相對獨(dú)立的構(gòu)成內(nèi)容。如何制定地方財(cái)政支出計(jì)劃，合理分配地方財(cái)政收入，促進(jìn)地方的發(fā)展，提高市民的收入和生活質(zhì)量是每個(gè)地方需要考慮的首要問題。因此，地方財(cái)政收入預(yù)測是非常必要的。

三、目標(biāo)

根據(jù)歷史數(shù)據(jù)預(yù)測財(cái)政收入。

四、流程

1)數(shù)據(jù)抽取：從《統(tǒng)計(jì)年鑒》中抽取相關(guān)財(cái)政的數(shù)據(jù)。

2)數(shù)據(jù)探索：分析數(shù)據(jù)特征的相關(guān)性。

3)數(shù)據(jù)預(yù)處理：使用Lasso回歸選取財(cái)政收入預(yù)測的關(guān)鍵特征。

4)模型構(gòu)建：結(jié)合使用灰色預(yù)測和SVR算法構(gòu)建財(cái)政收入預(yù)測模型；評(píng)價(jià)模型。

5)模型解讀：根據(jù)模型評(píng)價(jià)指標(biāo)可以看出，建立的支持向量回歸模型擬合效果優(yōu)良，可以用于預(yù)測財(cái)政收入。

五、技術(shù)點(diǎn)

特征的相關(guān)性；Lasso回歸；灰色預(yù)測算法；SVR算法，預(yù)測模型評(píng)價(jià)。

六、案例內(nèi)容

1)財(cái)政收入預(yù)測背景介紹

2)數(shù)據(jù)基本情況介紹

3)分析目標(biāo)解讀

4)項(xiàng)目流程介紹

5)求解person相關(guān)系數(shù)

6)person相關(guān)系數(shù)解讀

7)了解Lasso回歸方法

8)Lasso回歸選取關(guān)鍵特征的實(shí)現(xiàn)

9)Lasso回歸數(shù)據(jù)寫出及相應(yīng)解讀

10)關(guān)鍵特征數(shù)據(jù)讀取及準(zhǔn)備

11)GM11特征值預(yù)測

12)GM11特征數(shù)據(jù)整理及寫出

13)數(shù)據(jù)標(biāo)準(zhǔn)化

14)模型訓(xùn)練及預(yù)測

15)結(jié)果可視化

16)教學(xué)目標(biāo)確認(rèn)

17)案例任務(wù)點(diǎn)拆解

18)技能梳理與串聯(lián)

19)重難點(diǎn)解析及分享

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1分析財(cái)政收入數(shù)據(jù)特征的相關(guān)性

實(shí)訓(xùn)2Lasso模型選取財(cái)政收入預(yù)測的關(guān)鍵特征

實(shí)訓(xùn)3灰色預(yù)測法GM(1,1)預(yù)測各自變量值

實(shí)訓(xùn)4支持向量回歸SVR預(yù)測財(cái)政收入15城市公交用戶出行分析【OD矩陣模型】1套《城市公交站點(diǎn)設(shè)置的優(yōu)化分析》

一、資源包含實(shí)訓(xùn)指導(dǎo)書：2份，視頻：13個(gè)，PPT：1份，數(shù)據(jù)：76份、代碼：6份

二、概要

城市交通情況對于城市規(guī)劃，居民城市歸屬感，城市品牌有著至關(guān)重要的影響。大城市的可持續(xù)發(fā)展，應(yīng)該立足當(dāng)前、著眼長遠(yuǎn)，倡導(dǎo)綠色環(huán)保出行，大力優(yōu)先發(fā)展城市公共交通，構(gòu)建性能優(yōu)良的交通系統(tǒng)工程，是解決城市交通擁堵的有效手段。

三、目標(biāo)

利用公交車載GPS數(shù)據(jù)與公交刷卡數(shù)據(jù)，構(gòu)建模型，分析居民出行規(guī)律，并提出城市公交站點(diǎn)設(shè)置的優(yōu)化建議。

四、流程

1)數(shù)據(jù)抽取：選取某城市的地面公交車GPS監(jiān)控?cái)?shù)據(jù)和地面公交車刷卡數(shù)據(jù)。

2)數(shù)據(jù)探索：繪制折線圖分析5天每個(gè)時(shí)間段刷卡的人數(shù)。

3)數(shù)據(jù)預(yù)處理：數(shù)據(jù)歸約；缺失值處理；數(shù)據(jù)合并。

4)模型構(gòu)建：構(gòu)建DBSCAN聚類模型，得到每個(gè)站點(diǎn)，并計(jì)算每個(gè)站點(diǎn)的上下車人數(shù)，得到OD矩陣。

5)模型應(yīng)用：根據(jù)每個(gè)站的上下車人數(shù)，提供站點(diǎn)的優(yōu)化方案。

五、技術(shù)點(diǎn)

數(shù)據(jù)歸約；缺失值處理；數(shù)據(jù)合并；DBSCAN聚類模型；OD矩陣。

六、案例內(nèi)容

1)案例背景

2)數(shù)據(jù)情況與挖掘目標(biāo)

3)分析方法與過程、數(shù)據(jù)抽取

4)數(shù)據(jù)探索

5)數(shù)據(jù)預(yù)處理

6)數(shù)據(jù)讀取（Python實(shí)現(xiàn)）

7)數(shù)據(jù)預(yù)處理（Python實(shí)現(xiàn)）

8)數(shù)據(jù)探索（Python實(shí)現(xiàn)）

9)案例思路與密度聚類分析

10)構(gòu)建OD矩陣模型

11)密度聚類（Python實(shí)現(xiàn)）

12)分時(shí)段（Python實(shí)現(xiàn)）

13)構(gòu)建OD矩陣模型（Python實(shí)現(xiàn)）

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)探索分析與預(yù)處理

實(shí)訓(xùn)2模型構(gòu)建16電力竊漏電用戶識(shí)別【隨機(jī)森林】1套一、資源至少包含3份實(shí)訓(xùn)指導(dǎo)書、11個(gè)課程視頻、1份課程PPT、17份數(shù)據(jù)、6份代碼

二、概要

電力是以電能作為動(dòng)力的能源。發(fā)明于19世紀(jì)70年代，電力的發(fā)明和應(yīng)用掀起了第二次工業(yè)化高潮。成為人類歷史18世紀(jì)以來，世界發(fā)生的三次科技革命之一，從此科技改變了人們的生活。20世紀(jì)出現(xiàn)的大規(guī)模電力系統(tǒng)是人類工程科學(xué)史上最重要的成就之一，是由發(fā)電、輸電、變電、配電和用電等環(huán)節(jié)組成的電力生產(chǎn)與消費(fèi)系統(tǒng)。它將自然界的一次能源通過機(jī)械能裝置轉(zhuǎn)化成電力，再經(jīng)輸電、變電和配電將電力供應(yīng)到各用戶。據(jù)統(tǒng)計(jì)，全國每年因竊電造成的損失都在200億元左右；被查獲的竊電案件不足總竊電案件的30%。

三、目標(biāo)

根據(jù)電力營銷系統(tǒng)與計(jì)量自動(dòng)化系統(tǒng)數(shù)據(jù)，構(gòu)建竊漏電用戶識(shí)別模型，自動(dòng)檢測判斷是否存在竊漏電行為。

四、流程

1)數(shù)據(jù)抽?。簭臓I銷、計(jì)量自動(dòng)化系統(tǒng)收集目標(biāo)數(shù)據(jù)。

2)數(shù)據(jù)探索：統(tǒng)計(jì)出各個(gè)用電類別的竊漏電用戶分布情況；隨機(jī)抽取一個(gè)正常用電用戶和一個(gè)竊漏電用戶，采用周期性分析對用電量進(jìn)行探索；異常用電電量探索；

3)數(shù)據(jù)預(yù)處理：將非居民用電類別的用電數(shù)據(jù)過濾掉；過濾節(jié)假日的用電數(shù)據(jù)；插補(bǔ)缺失值。

4)指標(biāo)構(gòu)造：構(gòu)造電量趨勢下降指標(biāo)；構(gòu)造線損指標(biāo)；構(gòu)造告警指標(biāo)。

5)模型構(gòu)建：將數(shù)據(jù)劃分為訓(xùn)練集和測試集，占比分別為80%、20%；構(gòu)建CART決策樹模型；評(píng)價(jià)模型。

6)結(jié)果診斷：用構(gòu)建好的竊漏電用戶識(shí)別模型計(jì)算用戶的竊漏電診斷結(jié)果，實(shí)現(xiàn)竊漏電用戶實(shí)時(shí)診斷，并與實(shí)際稽查結(jié)果作對比。

五、技術(shù)點(diǎn)

pyplot圖形繪制；缺失值處理；CART決策樹模型。

六、案例內(nèi)容

1)案例背景

2)項(xiàng)目案例整體流程

3)數(shù)據(jù)抽取

4)數(shù)據(jù)探索分析

5)數(shù)據(jù)預(yù)處理

6)特征構(gòu)建

7)模型構(gòu)建與評(píng)價(jià)

8)代碼實(shí)現(xiàn)流程梳理

9)數(shù)據(jù)探索代碼實(shí)現(xiàn)

10)告警指標(biāo)構(gòu)建代碼實(shí)現(xiàn)

11)隨機(jī)森林模型構(gòu)建與評(píng)估

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)抽取與探索分析

實(shí)訓(xùn)2數(shù)據(jù)預(yù)處理

實(shí)訓(xùn)3模型構(gòu)建17航空公司客戶價(jià)值分析【K-Means聚類】1套一、資源

至少包含2份實(shí)訓(xùn)指導(dǎo)書、13個(gè)課程視頻、1份課程PPT、1份數(shù)據(jù)、2份代碼

二、概要

民航的競爭除了三大航空公司之間的競爭之外，還將加入新崛起的各類小型航空公司、民營航空公司，甚至國外航空巨頭。航空產(chǎn)品生產(chǎn)過剩，產(chǎn)品同質(zhì)化特征愈加明顯，于是航空公司從價(jià)格、服務(wù)間的競爭逐漸轉(zhuǎn)向?qū)蛻舻母偁?。隨著高鐵、動(dòng)車等鐵路運(yùn)輸?shù)呐d建，航空公司受到巨大沖擊。目前航空公司已積累了大量的會(huì)員檔案信息和其乘坐航班記錄，利用這些記錄今夕特征分析可以對不同價(jià)值的客戶制定相應(yīng)的營.銷策.略。

三、目標(biāo)

對不同價(jià)值的客戶類別提供個(gè)性化服務(wù)，制定相應(yīng)的營.銷策.略。

四、流程

1)數(shù)據(jù)抽?。簭暮娇展咎幊槿?huì)員檔案信息和其乘坐航班記錄。

2)數(shù)據(jù)預(yù)處理：處理數(shù)據(jù)缺失值與異常值；構(gòu)建航空客戶價(jià)值分析關(guān)鍵特征L、R、F、M、C；標(biāo)準(zhǔn)化L、R、F、M、C特征。

3)模型構(gòu)建：構(gòu)建K-Means聚類模型，對客戶進(jìn)行分群。

4)模型應(yīng)用：根據(jù)每個(gè)群的特點(diǎn)，可定義五個(gè)等級(jí)的客戶類別：重要保持客戶、重要發(fā)展客戶、重要挽留客戶、一般客戶、低價(jià)值客戶，并根據(jù)這五個(gè)等級(jí)的客戶制定3種營.銷策.略：會(huì)員的升級(jí)與保級(jí)、首次兌換積分、交叉銷售。

五、技術(shù)點(diǎn)

缺失值處理；異常值處理；構(gòu)建特征；K-Means聚類模型。

六、案例內(nèi)容

1)案例背景

2)案例目標(biāo)

3)數(shù)據(jù)讀取

4)剔除票價(jià)為空的記錄

5)剔除異常記錄

6)RFM模型介紹

7)LRFMC模型

8)構(gòu)造入會(huì)時(shí)長特征

9)剩余特征構(gòu)造

10)使用K-means算法進(jìn)行客戶分群

11)獲取K-Means聚類結(jié)果

12)聚類結(jié)果可視化

13)小結(jié)

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1預(yù)處理航空客戶數(shù)據(jù)

實(shí)訓(xùn)2使用K-Means算法進(jìn)行客戶分群18廣電大數(shù)據(jù)營銷推薦【協(xié)同過濾】1套《廣電大數(shù)據(jù)營銷推薦項(xiàng)目實(shí)戰(zhàn)》

一、資源包含實(shí)訓(xùn)指導(dǎo)書：8份，視頻：26個(gè)，數(shù)據(jù)：8份、代碼：14份

二、概要

隨著經(jīng)濟(jì)的不斷發(fā)展，人民的生活水平顯著提高，對生活質(zhì)量的要求也在提高?；ヂ?lián)網(wǎng)技術(shù)的快速發(fā)展適應(yīng)了時(shí)代的需求。為人們提供了許多娛樂的渠道。其中“三網(wǎng)融合”為人們在信息化時(shí)代利用網(wǎng)絡(luò)等高科技手段獲取所需的信息提供了極大的便利性。在三網(wǎng)融合的大背景下，廣播電視運(yùn)營商與眾多的家庭用戶實(shí)現(xiàn)信息實(shí)時(shí)交互。廣電為了提升自身的競爭力，需要不斷提高用戶體驗(yàn)，基于已有數(shù)據(jù)挖掘其價(jià)值。

三、目標(biāo)

利用產(chǎn)品信息數(shù)據(jù)，對用戶提供個(gè)性化精準(zhǔn)推薦服務(wù)，有效提升用戶的轉(zhuǎn)化和生命周期價(jià)值。

四、流程

1)數(shù)據(jù)抽取：從某集團(tuán)的大數(shù)據(jù)平臺(tái)抽取收視行為信息數(shù)據(jù)、賬單數(shù)據(jù)、訂單數(shù)據(jù)、收費(fèi)數(shù)據(jù)及用戶狀態(tài)數(shù)據(jù)。

2)數(shù)據(jù)預(yù)處理：在收視行為信息數(shù)據(jù)中，去重，處理異常值數(shù)據(jù)；在賬單數(shù)據(jù)與收費(fèi)數(shù)據(jù)中，刪除特殊線路的用戶和政企用戶；在訂單數(shù)據(jù)中，去重，刪除與分析無關(guān)的數(shù)據(jù)，選擇符合時(shí)間規(guī)則的數(shù)據(jù)；在用戶狀態(tài)數(shù)據(jù)中，刪除與分析無關(guān)的數(shù)據(jù)。

3)數(shù)據(jù)探索：繪制條形圖查看用戶觀看總時(shí)長，繪制折線圖查看付費(fèi)頻道與點(diǎn)播回看的周觀看時(shí)長；對比分析工作日與周末觀看時(shí)長；對所有收視頻道名稱的觀看時(shí)長與觀看次數(shù)進(jìn)行貢獻(xiàn)度分析；建立標(biāo)簽庫；構(gòu)建用戶畫像（客戶特征、業(yè)務(wù)特征、興趣愛好）；基于每個(gè)數(shù)據(jù)，構(gòu)建相關(guān)特征；通過爬蟲來獲取一些新的產(chǎn)品標(biāo)簽數(shù)據(jù)。

4)模型構(gòu)建：構(gòu)建基于物品的協(xié)同過濾算法的推薦模型；構(gòu)建基于SimpleTagBasedTF-IDF算法的標(biāo)簽推薦模型；構(gòu)建Popular流行度推薦模型。

5)模型解讀：計(jì)算分類準(zhǔn)確度、召回率指標(biāo)，對比基于物品的協(xié)同過濾算法的推薦模型與Popular流行度推薦模型的性能，可以發(fā)現(xiàn)協(xié)同過濾算法推薦效果優(yōu)于流行度算法。

五、技術(shù)點(diǎn)

重復(fù)值處理；異常值處理；pyplot圖形繪制；用戶畫像；構(gòu)建特征；爬蟲；基于物品的協(xié)同過濾算法的推薦模型；基于SimpleTagBasedTF-IDF算法的標(biāo)簽推薦模型；Popular流行度推薦模型。

六、案例內(nèi)容

1)背景與目標(biāo)

2)目標(biāo)分析與解讀

3)數(shù)據(jù)介紹

4)收視數(shù)據(jù)探索

5)異常數(shù)據(jù)探索

6)收視數(shù)據(jù)處理介紹

7)去除特殊線路和政企用戶記錄

8)去除直播記錄中不關(guān)機(jī)頂盒的數(shù)據(jù)記錄

9)去除累計(jì)超過3小時(shí)或小于4秒的直播記錄

10)訂單數(shù)據(jù)預(yù)處理介紹

11)訂單數(shù)據(jù)處理-業(yè)務(wù)品牌和用戶狀態(tài)篩選

12)訂單數(shù)據(jù)預(yù)處理-產(chǎn)品失效時(shí)間和去重處理

13)保存預(yù)處理后的數(shù)據(jù)

14)用戶觀看電視時(shí)長可視化

15)熱門頻道的可視化

16)構(gòu)建標(biāo)簽庫介紹

17)客戶標(biāo)簽的計(jì)算方式

18)產(chǎn)品標(biāo)簽體系

19)客戶標(biāo)簽體系介紹

20)客戶標(biāo)簽計(jì)算方法

21)電視依賴度標(biāo)簽計(jì)算-低

22)電視依賴度標(biāo)簽計(jì)算-中高

23)用戶畫像構(gòu)建

24)協(xié)同過濾推薦

25)基于流行度的推薦

26)案例小結(jié)及平臺(tái)呈現(xiàn)

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)準(zhǔn)備

實(shí)訓(xùn)2構(gòu)建用戶畫像

實(shí)訓(xùn)3客戶價(jià)值分析

實(shí)訓(xùn)4節(jié)目信息的獲取

實(shí)訓(xùn)5構(gòu)建基于物品的協(xié)同過濾推薦模型

實(shí)訓(xùn)6構(gòu)建基于SimpleTagBasedTF-IDF的標(biāo)簽推薦模型

實(shí)訓(xùn)7構(gòu)建Popular流行度推薦模型

實(shí)訓(xùn)8模型評(píng)價(jià)與結(jié)果分析19《流浪地球》豆瓣影評(píng)采集【Selenium】1套《爬蟲實(shí)踐:《流浪地球》豆瓣影評(píng)分析》

一、資源包含實(shí)訓(xùn)指導(dǎo)書：4份，視頻：28個(gè)，PPT：1份，數(shù)據(jù)：2份、代碼：4份

二、概要

2019年2月5日電影《流浪地球》正式在內(nèi)地上映，業(yè)界明星都對該電影給予極高的評(píng)價(jià)，可是公映后，豆瓣評(píng)分卻一度下降，觀眾對該電影的評(píng)價(jià)呈現(xiàn)2個(gè)極端。

三、目標(biāo)

根據(jù)豆瓣對《流浪地球》的短評(píng)數(shù)據(jù)進(jìn)行文本挖掘及可視化的操作。

四、流程

1)數(shù)據(jù)抽?。和ㄟ^爬蟲獲取評(píng)論數(shù)據(jù)。

2)數(shù)據(jù)處理：刪除不符合分析的字符串符號(hào)。

3)統(tǒng)計(jì)分析：繪制詞云圖展示總體評(píng)論；繪制詞云圖展示好評(píng)與差評(píng)；統(tǒng)計(jì)評(píng)分；繪制時(shí)序圖查看評(píng)論數(shù)量隨日期、時(shí)刻的變化；分析豆瓣評(píng)分的時(shí)間趨勢。

五、技術(shù)點(diǎn)

Selenium爬蟲；XPath網(wǎng)頁解析；數(shù)據(jù)保存；pyplot圖形繪制。

六、案例內(nèi)容

1)案例背景與挖掘目標(biāo)

2)短評(píng)數(shù)據(jù)爬取介紹

3)安裝selenium及配置chromedriver

4)獲取用戶名

5)獲取短評(píng)正文

6)設(shè)置coo.kies

7)獲取用戶居住地和入會(huì)時(shí)間信息

8)單頁數(shù)據(jù)整理

9)自定義獲取單頁數(shù)據(jù)的函數(shù)

10)判定網(wǎng)頁是否已被加載

11)翻頁爬取

12)代碼整理及小結(jié)

13)短評(píng)正文數(shù)據(jù)預(yù)處理

14)詞頻統(tǒng)計(jì)

15)繪制整體評(píng)論數(shù)據(jù)的詞云圖

16)好評(píng)差評(píng)詞云圖繪制及小結(jié)

17)評(píng)分分?jǐn)?shù)分布統(tǒng)計(jì)

18)短評(píng)數(shù)量與日期的關(guān)系

19)短評(píng)數(shù)量與時(shí)刻的關(guān)系

20)不同評(píng)分?jǐn)?shù)量與時(shí)間的關(guān)系

21)評(píng)論最多的前十個(gè)城市

22)評(píng)分?jǐn)?shù)量與城市的關(guān)系

23)總結(jié)

24)教學(xué)目標(biāo)確認(rèn)

25)案例任務(wù)點(diǎn)拆解

26)技能梳理與串聯(lián)

27)重難點(diǎn)解析

28)教學(xué)技巧分享

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1獲取豆瓣短評(píng)數(shù)據(jù)

實(shí)訓(xùn)2分析好評(píng)與差評(píng)的關(guān)鍵信息

實(shí)訓(xùn)3分析評(píng)論數(shù)量及評(píng)分與時(shí)間的關(guān)系

實(shí)訓(xùn)4分析評(píng)論者的城市分布情況20電商產(chǎn)品評(píng)論數(shù)據(jù)情感分析【LDA模型】1套資源

至少包含4份實(shí)訓(xùn)指導(dǎo)書、22個(gè)課程視頻、1份課程PPT、3份數(shù)據(jù)、4份代碼

二、概要

網(wǎng)購盛行，許多人都能夠上網(wǎng)網(wǎng)購，電商平臺(tái)之間的競爭十分激烈。如今消費(fèi)者的反饋通暢，并且在消費(fèi)評(píng)論蘊(yùn)含豐富信息。分析信息能夠知道消費(fèi)者的意見和評(píng)價(jià)。

三、目標(biāo)

對京東平臺(tái)上的熱水器評(píng)論做文本挖掘分析，分析某一熱水器的用戶情感傾向，從評(píng)論文本中挖掘出該熱水器的優(yōu)點(diǎn)與不足。

四、流程

1)數(shù)據(jù)抽?。号廊　赖摹脑u(píng)論數(shù)據(jù)。

2)數(shù)據(jù)預(yù)處理：對評(píng)論數(shù)據(jù)進(jìn)行文本去重、停用詞去除、分詞操作。

3)模型構(gòu)建：通過LDA模型對評(píng)論數(shù)據(jù)進(jìn)行主題分析，形成3個(gè)主題。

4)模型解讀：主題1反映了美的熱水器安裝收費(fèi)和售后服務(wù)問題；主題2反映的是美的熱水器不滿足用戶需求等；主題3反映了美的熱水器自己安裝的問題。從熱水器的質(zhì)量和服務(wù)人員的素質(zhì)上提升競爭力。

五、技術(shù)點(diǎn)

文本去重、文本分詞、LDA

六、案例內(nèi)容

1)背景與目標(biāo)

2)數(shù)據(jù)介紹

3)數(shù)據(jù)讀取及簡單查看

4)剔除換行符

5)去除評(píng)論數(shù)據(jù)中的產(chǎn)品型號(hào)信息

6)去除html語言中的表情符號(hào)

7)文本去重

8)分詞及去停用詞

9)詞云繪制

10)文本情感分析介紹

11)讀取所需詞表

12)計(jì)算情感詞分?jǐn)?shù)

13)程度副詞計(jì)算

14)否定詞計(jì)算

15)程度副詞和否定詞融合

16)自定義分值計(jì)算函數(shù)

17)所有評(píng)論數(shù)據(jù)的情感得分

18)保存處理后的評(píng)論數(shù)據(jù)

19)LDA主題模型介紹

20)讀取好評(píng)數(shù)據(jù)

21)LDA主題模型構(gòu)建

22)小結(jié)

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)預(yù)處理

實(shí)訓(xùn)2分詞并去除停用詞

實(shí)訓(xùn)3根據(jù)情感評(píng)分劃分正面評(píng)論與負(fù)面評(píng)論

實(shí)訓(xùn)4構(gòu)建主題模型21垃圾短信智能識(shí)別【樸素貝葉斯】1套一、資源

至少包含5份實(shí)訓(xùn)指導(dǎo)書、14個(gè)課程視頻、1份課程PPT、5份數(shù)據(jù)、5份代碼

二、概要

據(jù)統(tǒng)計(jì)，各類垃圾內(nèi)容中，冒充類短信占所有垃圾短信的92.9%，多以銀行詐騙、互聯(lián)網(wǎng)虛假網(wǎng)購、電信詐騙等內(nèi)容為主。

三、目標(biāo)

基于短信文本內(nèi)容，建立識(shí)別模型，準(zhǔn)確地識(shí)別出垃圾短信，以解決垃圾短信過濾問題。

四、流程

1)數(shù)據(jù)抽取：抽取某運(yùn)營商短信數(shù)據(jù)。

2)數(shù)據(jù)探索：統(tǒng)計(jì)正反例樣本數(shù)量；設(shè)置圖形參數(shù)；繪制圖形。

3)數(shù)據(jù)預(yù)處理：采用欠抽樣技術(shù)使得兩個(gè)類別的樣本數(shù)相同；去除重復(fù)樣本；去除脫敏字符；利用jieba分詞包對短信作分詞處理；去除停用詞。

4)繪制詞云圖：統(tǒng)計(jì)分好了詞的短信數(shù)據(jù)的詞頻；設(shè)置詞云的輪廓、繪圖窗口大小等參數(shù)；繪制正負(fù)樣本詞云圖。

5)識(shí)別垃圾短信：對數(shù)據(jù)進(jìn)行拆分，分成訓(xùn)練集和測試集；使用文檔向量表達(dá)短信的文本數(shù)據(jù)；構(gòu)建多項(xiàng)式貝葉斯模型；評(píng)價(jià)多項(xiàng)式貝葉斯模型。

五、技術(shù)點(diǎn)

詞云圖、文檔向量、多項(xiàng)式貝葉斯模型、詞頻統(tǒng)計(jì)、分詞、去停用詞。

六、案例內(nèi)容

1)背景與目標(biāo)

2)數(shù)據(jù)讀取

3)數(shù)據(jù)抽取

4)去除短信中的x序列

5)結(jié)巴分詞

6)去除停用詞

7)數(shù)據(jù)預(yù)處理函數(shù)封裝

8)垃圾短信的詞頻統(tǒng)計(jì)

9)詞云圖繪制

10)文本數(shù)據(jù)的向量化表達(dá)

11)獲取訓(xùn)練樣本的tf-idf權(quán)值向量

12)獲取測試樣本的tf-idf權(quán)值向量

13)模型訓(xùn)練及評(píng)價(jià)

14)小結(jié)

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)分布探索

實(shí)訓(xùn)2文本數(shù)據(jù)清洗

實(shí)訓(xùn)3繪制正常短信和垃圾短信的詞云圖

實(shí)訓(xùn)4構(gòu)建詞條文檔矩陣

實(shí)訓(xùn)5貝葉斯分類模型構(gòu)建和評(píng)價(jià)22水產(chǎn)養(yǎng)殖水質(zhì)智能識(shí)別【顏色矩】1套一、資源

至少包含4份實(shí)訓(xùn)指導(dǎo)書、16個(gè)課程視頻、1份課程PPT、197份數(shù)據(jù)、3份代碼

二、概要

水產(chǎn)養(yǎng)殖的關(guān)鍵因素之一是水質(zhì)，養(yǎng)殖水體生態(tài)系統(tǒng)的平衡狀況可通過水質(zhì)顏色體現(xiàn)而傳統(tǒng)水質(zhì)監(jiān)控的關(guān)鍵是行家。在這種過程中，行家判斷存在著局限性：對個(gè)人經(jīng)驗(yàn)要求高，存在主觀性引起的觀察性偏差觀察結(jié)果的可比性、可重復(fù)性不高，不易推廣應(yīng)用。

三、目標(biāo)

根據(jù)水質(zhì)圖片，利用圖像處理技術(shù)和相應(yīng)模型，實(shí)現(xiàn)水質(zhì)的自動(dòng)評(píng)價(jià)。

四、流程

1)數(shù)據(jù)抽取：抽取某地區(qū)多個(gè)羅非魚池水樣圖片數(shù)據(jù)。

2)數(shù)據(jù)預(yù)處理：使用圖像切割提取水樣圖像中央部分具有代表意義的圖像；對切割后的圖像提取其顏色矩，作為圖像的顏色特征。

3)構(gòu)建分類模型：對建模數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化；劃分訓(xùn)練集與測試集；構(gòu)建支持向量機(jī)（SVM）模型。

4)模型評(píng)價(jià)：將測試集帶入構(gòu)建的模型，得到預(yù)測結(jié)果；使用混淆矩陣評(píng)價(jià)水質(zhì)。

五、技術(shù)點(diǎn)

圖像切割、顏色矩提取、決策樹、混淆矩陣。

六、案例內(nèi)容

1)案例背景與目標(biāo)

2)讀取一張圖片數(shù)據(jù)

3)獲取圖片數(shù)據(jù)的像素值矩陣

4)截取圖像的有效區(qū)域

5)水質(zhì)圖像特征-顏色矩

6)三個(gè)顏色矩的Python實(shí)現(xiàn)

7)如何進(jìn)行批量化數(shù)據(jù)轉(zhuǎn)換

8)自定義函數(shù)獲取指定路徑中的所有圖片名稱_x264

9)處理所有圖片數(shù)據(jù)

10)數(shù)據(jù)處理代碼整理

11)模型構(gòu)建與性能評(píng)估

12)教學(xué)目標(biāo)確認(rèn)

13)案例任務(wù)點(diǎn)拆解

14)技能點(diǎn)梳理及串聯(lián)

15)重難點(diǎn)解析

16)教學(xué)技巧分享

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)清洗

實(shí)訓(xùn)2特征提取

實(shí)訓(xùn)3建模前數(shù)據(jù)整理

實(shí)訓(xùn)4模型構(gòu)建與評(píng)估23招聘網(wǎng)站數(shù)據(jù)采集與人才需求分析【Request】1套《大數(shù)據(jù)崗位人才招聘信息的分析與挖掘》

一、資源至少包含11份實(shí)訓(xùn)指導(dǎo)書、26個(gè)課程視頻、1份課程PPT、5份數(shù)據(jù)、3份代碼

二、概要

在這個(gè)信息高速發(fā)展的時(shí)代，人才市場網(wǎng)絡(luò)化的產(chǎn)生，使得網(wǎng)絡(luò)招聘越來越成為如今社會(huì)的主流趨勢，它以招聘范圍廣、方便迅速、不受時(shí)空限制等區(qū)別于傳統(tǒng)招聘的優(yōu)勢成為越來越多求職者和企業(yè)單位青睞的招聘渠道，在人力資源招募與配置方面中起著至關(guān)重要的作用。同時(shí)，隨著互聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)產(chǎn)業(yè)的興起，面對海量的網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)分析、數(shù)據(jù)挖掘等相應(yīng)行業(yè)也正快速發(fā)展。網(wǎng)絡(luò)招聘信息反映著各行各業(yè)的發(fā)展現(xiàn)狀，各地區(qū)發(fā)展水平，不同職業(yè)類型對人才基本條件、能力和素質(zhì)的要求，以及對新興行業(yè)的發(fā)展動(dòng)向都有著最及時(shí)有效的傳達(dá)。因此，對網(wǎng)絡(luò)招聘信息進(jìn)行分析研究，了解不同職業(yè)領(lǐng)域的需求特點(diǎn)，挖掘興起的數(shù)據(jù)類行業(yè)相應(yīng)的人才需求現(xiàn)狀及發(fā)展趨勢，為廣大求職者提供正確的就業(yè)指導(dǎo)有著重要意義。

三、目標(biāo)

1)爬取招聘網(wǎng)站全國范圍內(nèi)大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等相關(guān)崗位的招聘信息。

2)分析比較不同崗位的薪資、學(xué)歷要求等情況，并進(jìn)行可視化呈現(xiàn)。

3)分析比較不同區(qū)域、行業(yè)對相關(guān)人才的需求情況，并進(jìn)行可視化呈現(xiàn)。

4)分析比較不同崗位的知識(shí)、技能要求。

5)對大數(shù)據(jù)人才培養(yǎng)給出相關(guān)建議。

四、流程

1)數(shù)據(jù)采集：從某主流招聘網(wǎng)站中采集大數(shù)據(jù)相關(guān)崗位人才信息

2)數(shù)據(jù)預(yù)處理：對采集的各個(gè)字段進(jìn)行預(yù)處理

3)數(shù)據(jù)分析：分析比較不同崗位的薪資、學(xué)歷要求等情況，并進(jìn)行可視化呈現(xiàn)。

4)數(shù)據(jù)分析：分析比較不同區(qū)域、行業(yè)對相關(guān)人才的需求情況，并進(jìn)行可視化呈現(xiàn)。

5)數(shù)據(jù)分析：分析比較不同崗位的知識(shí)、技能要求。

6)模型解讀：經(jīng)過對不同職業(yè)類型對人才的技術(shù)要求分析，得知在互聯(lián)網(wǎng)的發(fā)展下，對于人才的溝通協(xié)調(diào)能力及自主學(xué)習(xí)能力都較為注重，且傾向具備一定編程基礎(chǔ)、數(shù)據(jù)庫基礎(chǔ)的人才，也需要有創(chuàng)造力和管理能力的人才。

五、技術(shù)點(diǎn)

數(shù)據(jù)采集；XPath查詢語言；字符串處理；數(shù)據(jù)可視化；數(shù)據(jù)合并；詞云。

六、案例內(nèi)容

1)背景與目標(biāo)

2)信息爬取介紹

3)獲取崗位名稱數(shù)據(jù)

4)獲取目錄頁的所有字段信息

5)獲取二級(jí)網(wǎng)址的網(wǎng)頁鏈接

6)獲取二級(jí)網(wǎng)址的所有字段信息

7)對單一目錄頁中的所有二級(jí)網(wǎng)頁信息進(jìn)行抓取

8)將第一個(gè)目錄頁的數(shù)據(jù)進(jìn)行保存

9)批量爬取及數(shù)據(jù)保存

10)已爬取數(shù)據(jù)介紹

11)根據(jù)崗位名篩選招聘信息_batch

12)統(tǒng)一崗位名稱

13)根據(jù)工資列篩選數(shù)據(jù)

14)完成工資數(shù)據(jù)處理

15)工作地點(diǎn)字段處理

16)公司類型字段處理

17)行業(yè)字段數(shù)據(jù)處理

18)工作描述字段處理_batch

19)公司規(guī)模字段處理

20)數(shù)據(jù)預(yù)處理小結(jié)

21)熱門招聘崗位可視化

22)熱門行業(yè)及公司招聘分析

23)熱門崗位的工資水平

24)可視化綜合分析_batch

25)崗位技能分析

26)總結(jié)

七、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1數(shù)據(jù)采集：目錄頁信息采集

實(shí)訓(xùn)2數(shù)據(jù)采集：崗位介紹頁信息采集

實(shí)訓(xùn)3數(shù)據(jù)采集：循環(huán)采集崗位信息

實(shí)訓(xùn)4崗位信息預(yù)處理

實(shí)訓(xùn)5崗位分布分析

實(shí)訓(xùn)6熱門行業(yè)分析

實(shí)訓(xùn)7熱門崗位的薪資待遇分析

實(shí)訓(xùn)8熱門行業(yè)的薪資待遇分析

實(shí)訓(xùn)9熱門城市的薪資待遇分析

實(shí)訓(xùn)10不同體量企業(yè)的薪資待遇分析

實(shí)訓(xùn)11崗位技能分析24基于醫(yī)學(xué)影像的血管三維重構(gòu)【最近鄰約束】1套一、資源

包含視頻、PPT、實(shí)訓(xùn)指導(dǎo)書、數(shù)據(jù)、代碼

二、概要

這個(gè)案例的來源于序列圖像的計(jì)算機(jī)三維重建。序列圖像的計(jì)算機(jī)三維重建是應(yīng)用數(shù)學(xué)和計(jì)算機(jī)技術(shù)在醫(yī)學(xué)與生物學(xué)領(lǐng)域的重要應(yīng)用之一；是醫(yī)學(xué)和生物學(xué)的重要研究方法，它幫助人本由表及里、由淺入深地認(rèn)識(shí)生物體的內(nèi)部性質(zhì)與變化，理解其空間結(jié)構(gòu)和形態(tài)。

血管是血液流通的通路，其在生命活動(dòng)中的重要性是眾所周知，診斷師在臨床中經(jīng)常需要了解血管的分布、走向等重要信息。理想的血管可以看成是粗細(xì)均勻的管道，如何建立其數(shù)學(xué)模型是圖像三維重構(gòu)的重要一環(huán)。

三、課時(shí)數(shù)

理論教學(xué)8學(xué)時(shí)，實(shí)踐教學(xué)8學(xué)時(shí)，總計(jì)16學(xué)時(shí)。

四、案例資源包含10份實(shí)訓(xùn)指導(dǎo)書、2個(gè)課程視頻、1份課程PPT、113份數(shù)據(jù)、2份代碼。

五、目標(biāo)

1)計(jì)算管道的中軸線與半徑，給出具體的算法；

2)繪制中軸線在XY、YZ、ZX平面的投影圖。

六、流程

1)問題描述：了解問題背景，簡化問題及合理假設(shè)。

2)解題思路：必要假設(shè)及假設(shè)驗(yàn)證。

3)數(shù)字圖像的讀取和顯示；

4)血管半徑計(jì)算：直接搜索法、內(nèi)切圓算法、切線法。

5)確定切片的圓心；

6)多圓心處理；

7)擬合平滑處理；

8)模型檢驗(yàn)。

七、技術(shù)點(diǎn)

圖像讀?。话霃接?jì)算；確定圓心；擬合平滑處理。

八、案例內(nèi)容

1)背景與挖掘目標(biāo)

2)解題思路

九、實(shí)訓(xùn)目錄

實(shí)訓(xùn)1問題描述

實(shí)訓(xùn)2解題思路

實(shí)訓(xùn)3數(shù)字圖像的讀取與顯示

實(shí)訓(xùn)4直覺思維法

實(shí)訓(xùn)5內(nèi)切圓算法

實(shí)訓(xùn)6疊加算法

實(shí)訓(xùn)7確定切片的圓心

實(shí)訓(xùn)8多圓心處理

實(shí)訓(xùn)9擬合平滑處理

實(shí)訓(xùn)10模型檢驗(yàn)25Linux操作系統(tǒng)基礎(chǔ)1套《Linux基礎(chǔ)》

一、課程簡介

目前在大數(shù)據(jù)領(lǐng)域，主流的服務(wù)器操作系統(tǒng)、主流的軟件開發(fā)環(huán)境和主流的互聯(lián)網(wǎng)應(yīng)用都是基于Linux系統(tǒng)?！禠inux操作系統(tǒng)》是大數(shù)據(jù)技術(shù)系列課程的基礎(chǔ)課程，采用了理論與實(shí)踐相結(jié)合的教學(xué)模式。課程以培養(yǎng)學(xué)生的動(dòng)手實(shí)踐能力為主，逐步展開介紹相關(guān)的理論知識(shí)點(diǎn)，配合相應(yīng)的實(shí)踐操作，給學(xué)生充分的實(shí)戰(zhàn)指導(dǎo)。通過學(xué)習(xí)本課程，能夠讓學(xué)生掌握大數(shù)據(jù)技術(shù)所需的Linux技術(shù)。

二、課時(shí)數(shù)

理論教學(xué)36學(xué)時(shí)，實(shí)踐教學(xué)36學(xué)時(shí)，總計(jì)72學(xué)時(shí)

3、課程資源包含實(shí)訓(xùn)指導(dǎo)書：111份，課程視頻：22個(gè)，課程PPT：4份，數(shù)據(jù)：1份，代碼：15份。

四、課程內(nèi)容

第1章Linux簡介：

1.1Linux簡介與發(fā)展歷程

1.2Linux常見版本

第2章Linux基本命令：

2.1Linux文件系統(tǒng)樹

2.2創(chuàng)建與刪除目錄或文件

2.3查看文件內(nèi)容

2.4創(chuàng)建硬鏈接和符號(hào)鏈接

2.5幫助命令

2.6重定向相關(guān)命令

2.7用戶及用戶組

2.8權(quán)限相關(guān)命令

2.9用戶、用戶組及權(quán)限實(shí)踐操作

2.10進(jìn)程

第3章LinuxVi編輯器：

3.1模式介紹與常見快捷命令

3.2.1一般模式快捷鍵

3.2.2編輯模式與指令模式快捷鍵

第4章LinuxShell編程：

4.1LinuxShell編程介紹

4.2變量和字符串

4.3數(shù)組與參數(shù)傳遞

4.4.1算術(shù)運(yùn)算符

4.4.2比較型運(yùn)算符

4.4.3運(yùn)算符實(shí)踐操作

4.5for循環(huán)

五、實(shí)驗(yàn)?zāi)夸?/p>

實(shí)驗(yàn)1安裝CentOSLinux服務(wù)器

實(shí)驗(yàn)2Linux圖形界面基本操作

實(shí)驗(yàn)3Linux文本模式基本操作

實(shí)驗(yàn)4Linux命令行與Shell操作

實(shí)驗(yàn)5使用vim編輯器

實(shí)驗(yàn)6用戶與用戶組管理

實(shí)驗(yàn)7文件與目錄管理

實(shí)驗(yàn)8管理文件權(quán)限

實(shí)驗(yàn)9網(wǎng)絡(luò)連接配置

實(shí)驗(yàn)10軟件安裝

實(shí)驗(yàn)11創(chuàng)建和管理Linux磁盤分區(qū)

實(shí)驗(yàn)12創(chuàng)建和使用文件系統(tǒng)

實(shí)驗(yàn)13磁盤陣列配置與管理

實(shí)驗(yàn)14邏輯卷配置與管理

實(shí)驗(yàn)15配置和管理交換空間

實(shí)驗(yàn)16管理磁盤配額

實(shí)驗(yàn)17文件系統(tǒng)的備份

實(shí)驗(yàn)18Linux進(jìn)程管理

實(shí)驗(yàn)19計(jì)劃任務(wù)管理

實(shí)驗(yàn)20內(nèi)核管理

實(shí)驗(yàn)21硬件管理

實(shí)驗(yàn)22創(chuàng)建systemd單元文件(以emacs.service為例)

實(shí)驗(yàn)23systemd基本管理操作

實(shí)驗(yàn)24使用systemd管理Linux服務(wù)

實(shí)驗(yàn)25使用systemd實(shí)現(xiàn)計(jì)劃任務(wù)管理

實(shí)驗(yàn)26Linux系統(tǒng)啟動(dòng)過程分析

實(shí)驗(yàn)27Linux系統(tǒng)啟動(dòng)配置與故障排除

實(shí)驗(yàn)28系統(tǒng)性能監(jiān)測

實(shí)驗(yàn)29配置和使用rsyslog系統(tǒng)日志系統(tǒng)

實(shí)驗(yàn)30配置和使用systemd日志

實(shí)驗(yàn)31NetworkManager與network腳本

實(shí)驗(yàn)32使用sysconfig文件進(jìn)行網(wǎng)絡(luò)配置

實(shí)驗(yàn)33兩塊網(wǎng)卡綁定的操作

實(shí)驗(yàn)34兩塊網(wǎng)卡組合的操作

實(shí)驗(yàn)35兩塊網(wǎng)卡進(jìn)行橋接操作

實(shí)驗(yàn)36網(wǎng)絡(luò)測試與監(jiān)控

實(shí)驗(yàn)37IP路由與路由器使用

實(shí)驗(yàn)38靜態(tài)路由配置示例

實(shí)驗(yàn)39動(dòng)態(tài)路由配置示例

實(shí)驗(yàn)40Libreswan的安裝及部署

實(shí)驗(yàn)41主機(jī)到主機(jī)IPsecVPN連接配置

實(shí)驗(yàn)42網(wǎng)絡(luò)到網(wǎng)絡(luò)IPsecVPN連接配置

實(shí)驗(yàn)43firewalld安裝

實(shí)驗(yàn)44firewalld服務(wù)管理

實(shí)驗(yàn)45區(qū)域的配置和管理

實(shí)驗(yàn)46在區(qū)域中設(shè)置常規(guī)規(guī)則

實(shí)驗(yàn)47設(shè)置富語言規(guī)則和直接規(guī)則

實(shí)驗(yàn)48使用圖形界面配置工具firewall-config

實(shí)驗(yàn)49基本網(wǎng)絡(luò)防火墻配置

實(shí)驗(yàn)50通過端口轉(zhuǎn)發(fā)發(fā)布內(nèi)網(wǎng)服務(wù)器

實(shí)驗(yàn)51配置PAM

實(shí)驗(yàn)52使用TCPWrappers控制網(wǎng)絡(luò)服務(wù)訪問

實(shí)驗(yàn)53進(jìn)程的SELINUX上下文-查看passwd工具示例

實(shí)驗(yàn)54啟用SELinux

實(shí)驗(yàn)55SELinux類型文件標(biāo)記

實(shí)驗(yàn)56系統(tǒng)審核實(shí)現(xiàn)

實(shí)驗(yàn)57安裝DNS服務(wù)器

實(shí)驗(yàn)58主DNS服務(wù)器配置實(shí)例

實(shí)驗(yàn)59管理DNS服務(wù)

實(shí)驗(yàn)60DNS客戶端配置與管理

實(shí)驗(yàn)61使用rndc管理DNS服務(wù)器

實(shí)驗(yàn)62配置DNS轉(zhuǎn)發(fā)服務(wù)器

實(shí)驗(yàn)63配置根區(qū)域自定義DNS遞歸查詢

實(shí)驗(yàn)64部署主DNS服務(wù)器與輔助DNS服務(wù)器

實(shí)驗(yàn)65使用view語句實(shí)現(xiàn)分區(qū)解析

實(shí)驗(yàn)66DHCP服務(wù)器的部署、啟動(dòng)與管理

實(shí)驗(yàn)67DHCP客戶端配置和地址租約管理

實(shí)驗(yàn)68地址池定義和使用分組簡化DHCP配置

實(shí)驗(yàn)69共享網(wǎng)絡(luò)配置

實(shí)驗(yàn)70與DHCP集成實(shí)現(xiàn)DNS動(dòng)態(tài)更新

實(shí)驗(yàn)71安裝和運(yùn)行NFS服務(wù)

實(shí)驗(yàn)72配置和測試NFS服務(wù)器

實(shí)驗(yàn)73配置和使用NFS客戶端

實(shí)驗(yàn)74部署Samba服務(wù)器

實(shí)驗(yàn)75在Samba服務(wù)器中配置匿名共享

實(shí)驗(yàn)76在Samba服務(wù)器中配置安全共享

實(shí)驗(yàn)77Samba主配置文件編輯、Samba用戶配置和管理

實(shí)驗(yàn)78監(jiān)測Samba服務(wù)器

實(shí)驗(yàn)79Linux和Windows客戶端訪問Samba服務(wù)器

實(shí)驗(yàn)800Samba客戶端訪問控制

實(shí)驗(yàn)81配置和管理本地打印機(jī)

實(shí)驗(yàn)82配置CUPS打印服務(wù)器

實(shí)驗(yàn)83部署Samba打印服務(wù)器

實(shí)驗(yàn)84部署Apache服務(wù)器

實(shí)驗(yàn)85部署MariaDB數(shù)據(jù)庫服務(wù)器

實(shí)驗(yàn)86配置PHP應(yīng)用程序

實(shí)驗(yàn)87使用phpMyAdmin管理MariaDB

實(shí)驗(yàn)88虛擬主機(jī)配置實(shí)例

實(shí)驗(yàn)89在單一IP地址上運(yùn)行多個(gè)基于名稱的Web網(wǎng)站

實(shí)驗(yàn)90在多個(gè)IP地址上運(yùn)行基于名稱的Web網(wǎng)站

實(shí)驗(yàn)91基于TCP端口架設(shè)多個(gè)Web網(wǎng)站

實(shí)驗(yàn)92使用基本認(rèn)證方法實(shí)現(xiàn)Web用戶認(rèn)證

實(shí)驗(yàn)93為Apache服務(wù)器配置SSL

實(shí)驗(yàn)94penSSH的安裝與配置

實(shí)驗(yàn)95SSH客戶端的使用

實(shí)驗(yàn)96VNC服務(wù)器的安裝與配置

實(shí)驗(yàn)97VNC客戶端的使用

實(shí)驗(yàn)98Linux虛擬化基礎(chǔ)virt命令的使用

實(shí)驗(yàn)99KVM虛擬系