《大數(shù)據(jù)采集與預(yù)處理》課程標(biāo)準(zhǔn)

《大數(shù)據(jù)采集與預(yù)處理》課程標(biāo)準(zhǔn)一、課程基本信息1、課程名稱：大數(shù)據(jù)采集與預(yù)處理2、課程類型：專業(yè)技能核心課3、學(xué)時(shí)學(xué)分：48學(xué)時(shí)，3學(xué)分（其中：實(shí)踐24學(xué)時(shí)）4、適用專業(yè)：大數(shù)據(jù)二、課程定位本課程是大數(shù)據(jù)技術(shù)專業(yè)的一門重要的大數(shù)據(jù)專業(yè)核心課，主要定位于數(shù)據(jù)采集等相關(guān)崗位。本課程主要從爬蟲數(shù)據(jù)采集、日志數(shù)據(jù)采集等多個(gè)方向講解了不同類型數(shù)據(jù)的采集方法，從軟件數(shù)據(jù)預(yù)處理、Python數(shù)據(jù)預(yù)處理兩個(gè)方面講解了數(shù)據(jù)預(yù)處理的方式方法。通過學(xué)習(xí)，使學(xué)生對(duì)數(shù)據(jù)采集與預(yù)處理有全面了解，系統(tǒng)學(xué)習(xí)和練習(xí)數(shù)據(jù)采集和數(shù)據(jù)預(yù)處理的操作，并具有相應(yīng)能力。三、課程目標(biāo)（一）總體目標(biāo)注重培養(yǎng)學(xué)生動(dòng)手能力，培養(yǎng)學(xué)生解決問題的能力，通過對(duì)本課程的學(xué)習(xí)，學(xué)生能夠掌握數(shù)據(jù)采集和預(yù)處理的基本概念和方法。本課程主要包括數(shù)據(jù)采集與預(yù)處理的基本知識(shí)，態(tài)網(wǎng)頁數(shù)據(jù)采集、動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)解析、基于框架實(shí)現(xiàn)動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)采集與存儲(chǔ)、動(dòng)態(tài)網(wǎng)頁訪問日志數(shù)據(jù)采集和動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)預(yù)處理的相關(guān)知識(shí)，為后續(xù)企業(yè)應(yīng)用做鋪墊。通過本課程的學(xué)習(xí)學(xué)生能夠掌握更多的數(shù)據(jù)采集方式和基本操作方法，可根據(jù)本課程的知識(shí)從事數(shù)據(jù)采集和預(yù)處理的相關(guān)工作。（二）具體目標(biāo)1、知識(shí)目標(biāo)通過本門課程的學(xué)習(xí)學(xué)生能夠了解數(shù)據(jù)采集與預(yù)處理的基本流程，熟悉Flume兩種文件通道的區(qū)別、熟悉Kafka集群環(huán)境搭建方法、掌握Scrapy框架配置及使用方法、熟悉ETL開源工具種類、熟悉Pandas的安裝方法。2、素質(zhì)目標(biāo)（1）具有發(fā)現(xiàn)問題、分析問題、解決問題的能力（2）具有良好的職業(yè)道德（3）具有吃苦耐勞和奉獻(xiàn)精神（4）具有愛崗敬業(yè)、誠信、務(wù)實(shí)、豁達(dá)、勤奮、謙虛好學(xué)的素質(zhì)（5）具有較強(qiáng)現(xiàn)場(chǎng)管理和組織能力，能較好地處理公共關(guān)系（6）具有較強(qiáng)的人際交流能力，能有效地進(jìn)行人際溝通以及團(tuán)隊(duì)協(xié)作（7）具有健康的體魄、健全的人格和健康的個(gè)性（8）具有良好的行為習(xí)慣和良好的心理素質(zhì)（9）具有較強(qiáng)的勞動(dòng)組織能力、集體意識(shí)和社會(huì)責(zé)任心四、教學(xué)內(nèi)容與要求（一）確定教學(xué)內(nèi)容的原則1、以學(xué)生為本由于大數(shù)據(jù)采集與預(yù)處理是一門理論與實(shí)際相結(jié)合的課程，需要學(xué)生動(dòng)手上機(jī)實(shí)操，在設(shè)計(jì)教學(xué)內(nèi)容時(shí)以操作為主，理論講解為輔，讓學(xué)生多動(dòng)手操作實(shí)踐。2、啟發(fā)創(chuàng)造原則最大限度地調(diào)動(dòng)學(xué)生學(xué)習(xí)的積極性和自覺性，激發(fā)他們的創(chuàng)造性思維，從而使學(xué)生在融會(huì)貫通地掌握知識(shí)和技能的同時(shí)，引導(dǎo)學(xué)生發(fā)揮想象，在實(shí)例的基礎(chǔ)上進(jìn)行個(gè)性化地創(chuàng)作，充分發(fā)展自己的創(chuàng)造性能力。3、聯(lián)系實(shí)際原則教學(xué)內(nèi)容必須要與實(shí)際相結(jié)合，讓學(xué)生感受到課程的真實(shí)性，從而提高學(xué)生學(xué)習(xí)的積極性，激發(fā)學(xué)生的學(xué)習(xí)興趣。（二）課程學(xué)時(shí)安排本課程基本教學(xué)學(xué)時(shí)為48學(xué)時(shí)，其中包括實(shí)踐學(xué)時(shí)24學(xué)時(shí)，當(dāng)教學(xué)計(jì)劃安排的學(xué)時(shí)超出本課程的學(xué)時(shí)范圍時(shí)，可根據(jù)就業(yè)面向的需要對(duì)超出部分的學(xué)時(shí)做適當(dāng)調(diào)整。（三）課程學(xué)習(xí)內(nèi)容設(shè)計(jì)與參考學(xué)時(shí)章節(jié)章節(jié)名稱教學(xué)內(nèi)容教學(xué)方法建議學(xué)時(shí)項(xiàng)目一初識(shí)動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)采集與預(yù)處理1、3514認(rèn)識(shí)大數(shù)據(jù)采集與預(yù)處理1.1認(rèn)識(shí)數(shù)據(jù)來源181581.2認(rèn)識(shí)大數(shù)據(jù)采集181581.3認(rèn)識(shí)大數(shù)據(jù)預(yù)處理2、搭建數(shù)據(jù)采集與預(yù)處理開發(fā)環(huán)境2.1認(rèn)識(shí)PyCharm181582.2安裝PyCharm181582.3使用PyCharm教學(xué)方法：互動(dòng)提問，案例分析，視聽教學(xué)等理論4實(shí)踐4項(xiàng)目二動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)采集1、使用Urllib模塊完成“新聞動(dòng)態(tài)”網(wǎng)頁數(shù)據(jù)采集1.1request模塊181581.2error模塊181581.3parse模塊2、使用Requests庫完成“浪潮云說”網(wǎng)頁數(shù)據(jù)采集2.1Requests簡介及安裝181582.2Requests基本使用181582.3Requests高級(jí)使用教學(xué)方法：互動(dòng)提問，實(shí)操體驗(yàn)，案例分析、操作等理論4實(shí)踐4項(xiàng)目三動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)解析1、使用Xpath解析“新聞動(dòng)態(tài)”網(wǎng)頁數(shù)據(jù)1.1Xpath簡介181581.2定位181581.3數(shù)據(jù)提取2、使用BeautifulSoup解析“浪潮云說”網(wǎng)頁數(shù)據(jù)2.1BeautifulSoup安裝181582.2BeautifulSoup使用教學(xué)方法：互動(dòng)提問、視聽教學(xué)、案例講解、操作等理論4實(shí)踐4項(xiàng)目四基于框架實(shí)現(xiàn)動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)采集與存儲(chǔ)1、使用Scrapy框架完成新聞公告頁面數(shù)據(jù)采集與存儲(chǔ)1.1Scrapy簡介及安裝181581.2Scrapy操作指令181581.3字段定義及Scrapy設(shè)置181581.4文本解析1.5內(nèi)容存儲(chǔ)教學(xué)方法：互動(dòng)提問、視聽教學(xué)、案例講解、操作等理論4實(shí)踐4項(xiàng)目五動(dòng)態(tài)網(wǎng)頁訪問日志數(shù)據(jù)采集1、使用Flume采集某官網(wǎng)訪問日志數(shù)據(jù)1.1Flume簡介181581.2Flume數(shù)據(jù)采集配置1.3Flume啟動(dòng)1.4Flume攔截器配置2、使用Kafka消費(fèi)Flume中某官網(wǎng)訪問日志數(shù)據(jù)2.1Kafka簡介181582.2Kafka配置2.3Kafka腳本操作2.4KafkaPythonAPI教學(xué)方法：互動(dòng)提問、視聽教學(xué)、案例講解、操作等理論4實(shí)踐4項(xiàng)目六動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)預(yù)處理1、使用Pandas實(shí)現(xiàn)新聞動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)預(yù)處理1.1Pandas簡介及安裝181581.2Pandas數(shù)據(jù)結(jié)構(gòu)181581.3Pandas基本功能181581.4匯總和描述統(tǒng)計(jì)181581.5處理缺失數(shù)據(jù)2、使用Pig實(shí)現(xiàn)浪潮云說網(wǎng)頁數(shù)據(jù)預(yù)處理2.1Pig簡介181582.2Pig配置運(yùn)行2.3PigLatin執(zhí)行2.4運(yùn)算符2.5內(nèi)置函數(shù)3、使用ELK實(shí)現(xiàn)某官網(wǎng)日志數(shù)據(jù)預(yù)處理3.1Elasticsearch181583.2Logstash181583.3Kibana教學(xué)方法：互動(dòng)提問，案例分析，視聽教學(xué)、操作等。理論4實(shí)踐4五、課程標(biāo)準(zhǔn)適用范圍本課程標(biāo)準(zhǔn)適用于高職計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)、大數(shù)據(jù)專業(yè)六、關(guān)于課程標(biāo)準(zhǔn)的說明1.該課程作為考試課，通過本課程的學(xué)習(xí)要求學(xué)生掌握大數(shù)據(jù)采集與預(yù)處理的基本操作，具備獨(dú)立分析業(yè)務(wù)需求并完成數(shù)據(jù)采集與處理的能力。2.本標(biāo)準(zhǔn)根據(jù)環(huán)境和條件變化可適時(shí)修訂。如有國家或行業(yè)出臺(tái)了新的課程標(biāo)準(zhǔn)，以國家或行業(yè)標(biāo)準(zhǔn)為準(zhǔn)。七、考核及成績?cè)u(píng)定方式（一）考核方式：考試（二）成績?cè)u(píng)定辦法1、成績?cè)u(píng)定構(gòu)成：單元測(cè)驗(yàn)分?jǐn)?shù)/作業(yè)分?jǐn)?shù)*40%+實(shí)踐分?jǐn)?shù)*20%+期末考試分?jǐn)?shù)*40%＝總成績（100分）2、成績?cè)u(píng)定細(xì)則：單元測(cè)驗(yàn)/作業(yè)：4課時(shí)一次測(cè)驗(yàn)/作業(yè)，根據(jù)完成情況給予評(píng)價(jià)。實(shí)踐：完成實(shí)訓(xùn)/實(shí)驗(yàn)指導(dǎo)書中規(guī)定的每個(gè)實(shí)訓(xùn)項(xiàng)目，根據(jù)實(shí)訓(xùn)/實(shí)驗(yàn)報(bào)告給予評(píng)價(jià)。期末考試：理論考試，覆蓋各教學(xué)單元的基本技術(shù)原理及應(yīng)用，著重考察對(duì)重點(diǎn)教學(xué)內(nèi)容的綜合掌握情況。鼓勵(lì)將過程考核、實(shí)際能力考核、全面考核等理念貫徹到課程考核中來，重點(diǎn)著眼于科學(xué)全面地評(píng)價(jià)學(xué)生綜合素質(zhì)，強(qiáng)化知識(shí)應(yīng)用能力和創(chuàng)新