《數(shù)據(jù)采集課程設(shè)計(jì)》教學(xué)大綱

《數(shù)據(jù)采集課程設(shè)計(jì)》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：08160114課程性質(zhì)：集中實(shí)踐課學(xué)分：2學(xué)分周數(shù)：2周先修課程：Python程序設(shè)計(jì)、Web前端開(kāi)發(fā)技術(shù)并修課程：數(shù)據(jù)采集與預(yù)處理適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開(kāi)課單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院一、課程說(shuō)明《數(shù)據(jù)采集課程設(shè)計(jì)》是《數(shù)據(jù)采集技術(shù)》課程教學(xué)中的一個(gè)重要實(shí)踐性環(huán)節(jié)，是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生在數(shù)據(jù)采集技術(shù)等課程學(xué)習(xí)后進(jìn)行的全面、系統(tǒng)、深入的實(shí)踐性教學(xué)，培養(yǎng)學(xué)生掌握數(shù)據(jù)采集及預(yù)處理的相關(guān)方法，并完成數(shù)據(jù)的保存。將為學(xué)生學(xué)習(xí)數(shù)據(jù)挖掘、數(shù)據(jù)分析、數(shù)據(jù)可視化等課程及從事工程技術(shù)工作、科學(xué)研究以及開(kāi)拓新技術(shù)領(lǐng)域打下堅(jiān)實(shí)的基礎(chǔ)。二、課程目標(biāo)通過(guò)課程設(shè)計(jì)，使學(xué)生達(dá)到如下目標(biāo)：課程目標(biāo)1：掌握數(shù)據(jù)采集與預(yù)處理技術(shù)的基本原理與設(shè)計(jì)方法，通過(guò)文獻(xiàn)檢索與歸納總結(jié)，優(yōu)化數(shù)據(jù)采集方案。課程目標(biāo)2：能夠針對(duì)具有特定要求的數(shù)據(jù)按照要求進(jìn)行數(shù)據(jù)采集和處理，進(jìn)行提煉和描述，確定相應(yīng)的工程設(shè)計(jì)目標(biāo)與技術(shù)方案。課程目標(biāo)3：融會(huì)貫通數(shù)據(jù)采集技術(shù)課程的理論和方法，掌握相關(guān)工具庫(kù)，綜合運(yùn)用所學(xué)知識(shí)。讓學(xué)生在學(xué)好專業(yè)知識(shí)的同時(shí)堅(jiān)定理想信念，不斷增強(qiáng)科技強(qiáng)國(guó)的使命感和責(zé)任感。三、課程目標(biāo)與畢業(yè)要求《數(shù)據(jù)采集課程設(shè)計(jì)》課程教學(xué)目標(biāo)對(duì)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)畢業(yè)要求的支撐見(jiàn)表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)支持強(qiáng)度3．設(shè)計(jì)/開(kāi)發(fā)解決方案3.1理解數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域工程項(xiàng)目設(shè)計(jì)方法與開(kāi)發(fā)技術(shù)及其對(duì)社會(huì)、健康、安全、法律、文化以及環(huán)境方面的影響。課程目標(biāo)1：掌握數(shù)據(jù)采集與預(yù)處理技術(shù)的基本原理與設(shè)計(jì)方法，通過(guò)文獻(xiàn)檢索與歸納總結(jié)，優(yōu)化數(shù)據(jù)采集方案。H6工程與社會(huì)6.2在對(duì)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域復(fù)雜工程問(wèn)題解決方案的評(píng)價(jià)中，能夠考慮安全、隱私、法律、知識(shí)產(chǎn)權(quán)保護(hù)等方面的因素，以及這些制約因素對(duì)方案實(shí)施的影響，給出正確的評(píng)價(jià)結(jié)論，能夠理解大數(shù)據(jù)工程師應(yīng)承擔(dān)的社會(huì)責(zé)任。課程目標(biāo)2：能夠針對(duì)具有特定要求的數(shù)據(jù)按照求進(jìn)行數(shù)據(jù)采集和處理，進(jìn)行提煉和描述，確定相應(yīng)的工程設(shè)計(jì)目標(biāo)與技術(shù)方案。M10．溝通10.1具有良好的語(yǔ)言表達(dá)能力和文字組織能力，能夠就數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域復(fù)雜工程問(wèn)題進(jìn)行陳述發(fā)言和討論交流，并能夠就數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)領(lǐng)域復(fù)雜工程問(wèn)題解決方案撰寫技術(shù)報(bào)告和設(shè)計(jì)文稿。課程目標(biāo)3：融會(huì)貫通數(shù)據(jù)采集技術(shù)課程的理論和方法，掌握相關(guān)工具庫(kù)，綜合運(yùn)用所學(xué)知識(shí)。讓學(xué)生在學(xué)好專業(yè)知識(shí)的同時(shí)堅(jiān)定理想信念，不斷增強(qiáng)科技強(qiáng)國(guó)的使命感和責(zé)任感。M注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配見(jiàn)表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時(shí)分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點(diǎn)難點(diǎn)課時(shí)安排對(duì)應(yīng)的課程目標(biāo)1.查閱資料，方案分析、比較教學(xué)要求：采用多媒體授課，以網(wǎng)絡(luò)爬蟲爬取互聯(lián)網(wǎng)數(shù)據(jù)并進(jìn)行預(yù)處理的過(guò)程為設(shè)計(jì)要求，下達(dá)任務(wù)書。學(xué)生根據(jù)任務(wù)書查閱資料、熟悉題目的具體內(nèi)容及其相關(guān)原理。最終學(xué)生可根據(jù)實(shí)際情況采集相關(guān)網(wǎng)絡(luò)數(shù)據(jù)，并進(jìn)行解析處理存儲(chǔ)展示。重點(diǎn)：數(shù)據(jù)采集的基本原理和方法。難點(diǎn)：數(shù)據(jù)采集方案的確定。2天1、32.總體設(shè)計(jì)教學(xué)要求：根據(jù)具體設(shè)定方案，設(shè)計(jì)程序流程圖，分析數(shù)據(jù)的存儲(chǔ)方式及最后的展示方式。重點(diǎn)：程序流程圖難點(diǎn)：程序流程圖。1天1、23.數(shù)據(jù)采集教學(xué)要求：根據(jù)總體設(shè)計(jì)要求，確定靜態(tài)頁(yè)面以及動(dòng)態(tài)頁(yè)面的數(shù)據(jù)獲取方案，將數(shù)據(jù)進(jìn)行解析，并最終進(jìn)行存儲(chǔ)。重點(diǎn)：數(shù)據(jù)獲取、數(shù)據(jù)解析。難點(diǎn)：數(shù)據(jù)獲取、數(shù)據(jù)解析。2天1、2、34.數(shù)據(jù)預(yù)處理教學(xué)要求：根據(jù)數(shù)據(jù)采集得到的數(shù)據(jù)，根據(jù)實(shí)際要求使用相關(guān)的第三方庫(kù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)脫敏等預(yù)處理操作。重點(diǎn)：數(shù)據(jù)清洗。難點(diǎn)：數(shù)據(jù)清洗。2天1、2、35.數(shù)據(jù)展示教學(xué)要求：采用合適數(shù)據(jù)可視化庫(kù)的方式，對(duì)處理的數(shù)據(jù)進(jìn)行展示，需要展示分析的結(jié)果。重點(diǎn)：數(shù)據(jù)可視化庫(kù)的應(yīng)用。難點(diǎn)：數(shù)據(jù)可視化庫(kù)的應(yīng)用。1天1、26.課程設(shè)計(jì)報(bào)告教學(xué)要求：書寫課程數(shù)據(jù)報(bào)告，要求有課題背景及現(xiàn)狀分析，模塊設(shè)計(jì)圖、分模塊詳細(xì)設(shè)計(jì)、總結(jié)等。重點(diǎn)：設(shè)計(jì)報(bào)告的書寫。難點(diǎn)：設(shè)計(jì)報(bào)告的書寫。1天1、2、37.答辯教學(xué)要求：答辯是考核課程設(shè)計(jì)是否達(dá)到基本要求和相應(yīng)水平的關(guān)鍵環(huán)節(jié)，是教師對(duì)學(xué)生論文的一次會(huì)診和指導(dǎo)。考核內(nèi)容包括學(xué)生對(duì)數(shù)據(jù)采集方法的運(yùn)用。教師提問(wèn)的內(nèi)容包括選題、代碼設(shè)計(jì)、運(yùn)行結(jié)果展示、算法的設(shè)計(jì)、課程設(shè)計(jì)報(bào)告的設(shè)計(jì)等。重點(diǎn)考察學(xué)生算法設(shè)計(jì)、軟件結(jié)果展示、課程設(shè)計(jì)報(bào)告的質(zhì)量，設(shè)計(jì)過(guò)程中的態(tài)度。同時(shí)檢查設(shè)計(jì)創(chuàng)新性、工作量、有無(wú)違反學(xué)術(shù)規(guī)范現(xiàn)象等，提出改進(jìn)意見(jiàn)。重點(diǎn)：相關(guān)基本原理與設(shè)計(jì)的整體考核。難點(diǎn)：課程設(shè)計(jì)質(zhì)量的檢驗(yàn)。1天1、2、3合計(jì)10天（2周）五、教學(xué)方法及手段由于課程內(nèi)容與生產(chǎn)實(shí)踐緊密結(jié)合，學(xué)習(xí)者應(yīng)根據(jù)課程設(shè)計(jì)手冊(cè)，以自學(xué)為主、教師講授為輔，學(xué)會(huì)綜合應(yīng)用數(shù)據(jù)采集的方法，并養(yǎng)成自覺(jué)遵守國(guó)家標(biāo)準(zhǔn)的習(xí)慣。六、教材和參考書1.推薦教材：（1）周勇,楊倩.數(shù)據(jù)采集與預(yù)處理[M].西安:西安電子科技大學(xué)出版社,2022.（2）呂云翔.Python網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集[M].北京:人民郵電出版社,2021.（3）米洪,張鸰.數(shù)據(jù)采集與預(yù)處理[M].北京:人民郵電出版社,2021.2.參考書（1）錢洋.網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)[M].北京:人民郵電出版社,2020.（2）周林娥等.互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)與應(yīng)用[M].北京:清華大學(xué)出版社,2021.（3）林子雨.數(shù)據(jù)采集與預(yù)處理[M].北京:人民郵電出版社,2022.七、課程考核對(duì)課程目標(biāo)的支撐課程成績(jī)由學(xué)習(xí)態(tài)度、工作量完成情況、軟件設(shè)計(jì)質(zhì)量、課程設(shè)計(jì)報(bào)告、和答辯成績(jī)五部分構(gòu)成，具體考核/評(píng)價(jià)細(xì)則及對(duì)課程目標(biāo)的支撐關(guān)系見(jiàn)表3。表3課程考核對(duì)課程目標(biāo)的支撐考核環(huán)節(jié)分值考核/評(píng)價(jià)細(xì)則課程目標(biāo)123學(xué)習(xí)態(tài)度10(1)主要考核學(xué)生學(xué)習(xí)紀(jì)律和答疑情況。(2)教師根據(jù)課堂整體表現(xiàn)情況評(píng)分?！獭?5工作量完成情況10(1)主要考核學(xué)生獨(dú)立完成設(shè)計(jì)任務(wù)情況。(2)教師根據(jù)獨(dú)立完成任務(wù)情況評(píng)分?！獭獭?34軟件設(shè)計(jì)質(zhì)量40(1)主要考核算法的設(shè)計(jì)、完成結(jié)果、代碼書寫。(2)教師根據(jù)軟件的完成情況評(píng)分?！獭獭?020課程設(shè)計(jì)報(bào)告30(1)主要考核課程設(shè)計(jì)報(bào)告完成情況。(2)教師根據(jù)課程設(shè)計(jì)報(bào)告完成質(zhì)量評(píng)分?！獭獭?01010答辯成績(jī)10(1)主要考核學(xué)生答辯自述和回答問(wèn)題情況。(2)教師根據(jù)答辯自述情況和回答問(wèn)題正確性與否進(jìn)行評(píng)分?！獭獭?34合計(jì)：100414118八、考核與成績(jī)?cè)u(píng)定1.考核方式及成績(jī)?cè)u(píng)定課程設(shè)計(jì)采用優(yōu)、良、中、及格、不及格五級(jí)評(píng)分制。即90分以上為優(yōu)，80~89分為良，70~79分為中，60~69分為及格，60分以下為不及格。總成績(jī)分五部分：學(xué)習(xí)態(tài)度、工作量完成情況、軟件設(shè)計(jì)質(zhì)量、課程設(shè)計(jì)報(bào)告和答辯成績(jī)。其中：(1)學(xué)習(xí)態(tài)度占10%，無(wú)故曠課達(dá)3次取消總成績(jī)；(2)工作量完成情況占10%；(3)軟件設(shè)計(jì)質(zhì)量占40%；(4)課程設(shè)計(jì)報(bào)告占30%；(5)答辯成績(jī)占10%。最后一周的周五進(jìn)行驗(yàn)收、答辯，由2-3位教師組成答辯考核小組，對(duì)每位學(xué)生進(jìn)行口試答辯，要求學(xué)生根據(jù)設(shè)計(jì)回答教師所提出的問(wèn)題。課程設(shè)計(jì)成績(jī)根據(jù)學(xué)生設(shè)計(jì)的合理性、軟件的設(shè)計(jì)質(zhì)量、展示結(jié)果、設(shè)計(jì)中分析與解決問(wèn)題的能力及設(shè)計(jì)態(tài)度和答辯情況綜合評(píng)定。2.成績(jī)?cè)u(píng)定標(biāo)準(zhǔn)考核內(nèi)容、評(píng)價(jià)標(biāo)準(zhǔn)、所占比重見(jiàn)表4。表4考核方式評(píng)價(jià)標(biāo)準(zhǔn)考核方式所占比重(%)100>x≥90（優(yōu)秀）90>x≥80（良好）80>x≥70（中等）70>x≥60（及格）x<60（不及格）學(xué)習(xí)態(tài)度10學(xué)習(xí)認(rèn)真、態(tài)度端正，遵守紀(jì)律,表現(xiàn)優(yōu)秀學(xué)習(xí)認(rèn)真、態(tài)度端正，遵守紀(jì)律,表現(xiàn)良好遵守紀(jì)律，學(xué)習(xí)態(tài)度良好，表現(xiàn)中等遵守紀(jì)律，學(xué)習(xí)態(tài)度一般，表現(xiàn)一般學(xué)習(xí)紀(jì)律較差，表現(xiàn)較差工作量完成情況10獨(dú)立完成設(shè)計(jì)任務(wù)的90%以上獨(dú)立完成設(shè)計(jì)任務(wù)的80%以上獨(dú)立完成設(shè)計(jì)任務(wù)的70%以上獨(dú)立完成設(shè)計(jì)任務(wù)的60%以上獨(dú)立完成設(shè)計(jì)任務(wù)的60%以下軟件設(shè)計(jì)質(zhì)量40綜合運(yùn)用各個(gè)開(kāi)發(fā)庫(kù)，結(jié)果展示完整、美觀，代碼有完整注釋，較好地處理工程實(shí)際問(wèn)題綜合運(yùn)用各個(gè)開(kāi)發(fā)庫(kù)，結(jié)果展示完整、美觀，代碼整注釋，較好地處理工程實(shí)際問(wèn)題綜合運(yùn)用各個(gè)開(kāi)發(fā)庫(kù)，有結(jié)果展示，代碼有注釋，能夠地處理工程實(shí)際問(wèn)題綜合運(yùn)用各個(gè)開(kāi)發(fā)庫(kù)，有結(jié)果展示，代碼缺乏注釋，基本能夠地處理工程實(shí)際問(wèn)題綜合運(yùn)用各個(gè)開(kāi)發(fā)庫(kù)，結(jié)果展示不完整，不能夠地處理工程實(shí)際問(wèn)題課程設(shè)計(jì)報(bào)告30設(shè)計(jì)方案正確、表達(dá)清楚；設(shè)計(jì)思路、算法科學(xué)合理；達(dá)到課程設(shè)計(jì)規(guī)定的要求；排版質(zhì)量較高設(shè)計(jì)方案正確、表達(dá)較為清楚；設(shè)計(jì)思路、算法科學(xué)合理；達(dá)到課程設(shè)計(jì)規(guī)定的要求；排版質(zhì)量良好設(shè)計(jì)方案基本正確、表達(dá)較為清楚；設(shè)計(jì)思路、算法基本合理；基本達(dá)到課程設(shè)計(jì)規(guī)定的要求；排版質(zhì)量一