《大數(shù)據(jù)ETL》課程標(biāo)準(zhǔn)（含課程思政）

大數(shù)據(jù)技術(shù)專業(yè)適用學(xué)制5年一貫制(5+2貫通培養(yǎng))72學(xué)時(shí)，4學(xué)分。學(xué)習(xí)的知識(shí)和技能可以為第9、10學(xué)期考取大數(shù)據(jù)分析與應(yīng)用X證書(初級(jí))、華為HCIA(一)素養(yǎng)目標(biāo)愛(ài)國(guó)主義情操。(培養(yǎng)規(guī)格1)(二)知識(shí)目標(biāo)2.熟練掌握至少一門腳本語(yǔ)言(SQL/Python/Shell等)。(培養(yǎng)規(guī)格12)4.熟悉Sqoop、Hive、Spark等大數(shù)據(jù)組件的使用方法。(培養(yǎng)規(guī)格5)6.熟悉Kettle等ETL工具的使用方法與常見(jiàn)技術(shù)問(wèn)題的解決方法。(培養(yǎng)規(guī)格18)(三)能力目標(biāo)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)。(培養(yǎng)規(guī)格18,培養(yǎng)規(guī)格23)養(yǎng)規(guī)格18)5.能夠?qū)敵鰯?shù)據(jù)質(zhì)量進(jìn)行核驗(yàn)，對(duì)不符合要求的數(shù)據(jù)進(jìn)行糾偏。(培養(yǎng)規(guī)格18)7.具備大數(shù)據(jù)分析與應(yīng)用X證書(初級(jí))、華為HCIA—BigData大數(shù)據(jù)認(rèn)證證書的緊密聯(lián)系工作實(shí)際，突出應(yīng)用性和實(shí)踐性，注重學(xué)生職業(yè)能力習(xí)模塊內(nèi)容，合理序化教學(xué)內(nèi)容。學(xué)習(xí)單元1、2、3、4、5分別涉及健康醫(yī)療行業(yè)、商務(wù)行業(yè)、汽車制造業(yè)、傳統(tǒng)生產(chǎn)行業(yè)、能源(石化)行業(yè)，在知識(shí)體系上是并列關(guān)系，在難能力點(diǎn)1醫(yī)療數(shù)據(jù)中臺(tái)數(shù)據(jù)匯總療業(yè)務(wù)數(shù)據(jù)系統(tǒng)接口，據(jù)的映射關(guān)系1.醫(yī)療多數(shù)據(jù)平臺(tái)系型數(shù)據(jù)庫(kù)，文本，非關(guān)系型數(shù)據(jù)庫(kù)等)。點(diǎn)，掌握使用Sgoop等工具完成醫(yī)療數(shù)據(jù)源的抽取的方法。5.掌握通過(guò)SQL語(yǔ)句、洗，處理數(shù)據(jù)的方法。6.了解通過(guò)雙人錄入規(guī)則實(shí)現(xiàn)數(shù)據(jù)質(zhì)量稽核的方法。2商務(wù)機(jī)構(gòu)交易數(shù)據(jù)匯總1.能夠?qū)由虅?wù)機(jī)構(gòu)上游數(shù)據(jù)接口，參與制定ETL策略，使用ETL工具將業(yè)務(wù)數(shù)據(jù)導(dǎo)入數(shù)2.能夠編寫SQL/Python/Shell腳本操作數(shù)據(jù)，完成商務(wù)機(jī)構(gòu)交易數(shù)據(jù)的清洗與處理。3.能夠使用Kettle等ETL工具進(jìn)行工作流控制。4.能夠使用Sqoop等組件，完成數(shù)據(jù)轉(zhuǎn)換，將數(shù)據(jù)轉(zhuǎn)換結(jié)果裝載至目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。5.能對(duì)輸出數(shù)據(jù)質(zhì)量進(jìn)行核驗(yàn)，對(duì)不符合要求的數(shù)據(jù)進(jìn)行2.了解商務(wù)機(jī)構(gòu)交易數(shù)應(yīng)商數(shù)據(jù)、訂單數(shù)據(jù)、3.掌握商務(wù)機(jī)構(gòu)數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理體系，了解數(shù)據(jù)指標(biāo)與元數(shù)據(jù)的映射關(guān)系。5.掌握通過(guò)Sqoop、工具進(jìn)行數(shù)據(jù)抽取，轉(zhuǎn)1.商務(wù)機(jī)構(gòu)交易數(shù)報(bào)告1份。2.數(shù)據(jù)源報(bào)告1份。3.商務(wù)機(jī)構(gòu)交易數(shù)據(jù)倉(cāng)庫(kù)基份。6.掌握從商務(wù)機(jī)構(gòu)交易數(shù)據(jù)系統(tǒng)中抽取數(shù)據(jù)的方法。7.掌握通過(guò)SQL語(yǔ)句、洗、處理數(shù)據(jù)的方法。學(xué)習(xí)編寫SQL語(yǔ)句、Python腳本程序，使用ETL工具對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量稽核。9.了解商務(wù)機(jī)構(gòu)交易數(shù)3供應(yīng)鏈數(shù)據(jù)匯總1.能夠?qū)悠囍圃煨袠I(yè)供應(yīng)策略，使用ETL工具將業(yè)務(wù)數(shù)2.能夠編寫SQl./Python/Shell3.能夠使用Kettle等ETL工具等組件，完成數(shù)據(jù)轉(zhuǎn)換，將數(shù)庫(kù)。5.能對(duì)輸出數(shù)據(jù)質(zhì)量進(jìn)行核驗(yàn)，對(duì)不符合要求的數(shù)據(jù)進(jìn)1.了解汽車制造行業(yè)的供應(yīng)鏈的涵義。2.理解并掌握生產(chǎn)物料、產(chǎn)品生產(chǎn)、產(chǎn)品訂單、供應(yīng)商管理、產(chǎn)品物流、財(cái)務(wù)合同、產(chǎn)品等供應(yīng)鏈環(huán)節(jié)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)特占3.針對(duì)多個(gè)供應(yīng)鏈環(huán)節(jié)的業(yè)務(wù)系統(tǒng)類型和數(shù)據(jù)策略。1.汽車制應(yīng)鏈數(shù)據(jù)解析報(bào)告2.汽車制礎(chǔ)數(shù)據(jù)1份。5.能夠參與汽車制造行業(yè)數(shù)據(jù)倉(cāng)庫(kù)ETL流程優(yōu)化，解決ETI相關(guān)技術(shù)問(wèn)題。的目標(biāo)和規(guī)范。5.掌握供應(yīng)鏈數(shù)據(jù)中臺(tái)的數(shù)據(jù)指標(biāo)體系。6.掌握使用Kettle等ETL工具抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)源，導(dǎo)入到數(shù)據(jù)平臺(tái)的方法。7.掌握通過(guò)SQL語(yǔ)句、洗，處理數(shù)據(jù)的方法。8.了解在數(shù)據(jù)加載和轉(zhuǎn)換過(guò)程中，完成簡(jiǎn)單的數(shù)據(jù)清洗任務(wù)(如數(shù)據(jù)填補(bǔ)、重復(fù)數(shù)據(jù)檢測(cè)等)的方法。4產(chǎn)系統(tǒng)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)建設(shè)1.能夠?qū)由a(chǎn)系統(tǒng)的數(shù)據(jù)接口，參與制定ETL策略，使用ETL工具將生產(chǎn)數(shù)據(jù)導(dǎo)入數(shù)據(jù)2.能夠編寫SQL/Python/Shel]腳本操作數(shù)據(jù)，完成生產(chǎn)數(shù)據(jù)的清洗與處理。3.能夠使用Kettle等ETI.工具進(jìn)行工作流控制。等組件，完成數(shù)據(jù)轉(zhuǎn)換，將數(shù)5.能夠基于數(shù)據(jù)倉(cāng)庫(kù)提供面向1.了解傳統(tǒng)生產(chǎn)系統(tǒng)(如MES)的工作流程、2.了解傳統(tǒng)生產(chǎn)系統(tǒng)的數(shù)字化轉(zhuǎn)型需求和目標(biāo)。3.了解基于傳統(tǒng)上產(chǎn)系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方法。庫(kù)的數(shù)據(jù)指標(biāo)體系，數(shù)5.掌握通過(guò)Sqoop、工具進(jìn)行數(shù)據(jù)抽取，轉(zhuǎn)1.數(shù)據(jù)倉(cāng)庫(kù)選型、數(shù)據(jù)模型設(shè)計(jì)報(bào)告2.基于生產(chǎn)系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)貼源層基份。6.能對(duì)輸出數(shù)據(jù)質(zhì)量進(jìn)行核驗(yàn)，對(duì)不符合要求的數(shù)據(jù)進(jìn)行6.掌握通過(guò)SQl.語(yǔ)句、洗，處理數(shù)據(jù)的方法。7.了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型設(shè)計(jì)規(guī)范。8.掌握編寫腳本程序完成數(shù)據(jù)倉(cāng)庫(kù)指標(biāo)計(jì)算的方法。9.了解通過(guò)雙人錄入規(guī)則實(shí)現(xiàn)數(shù)據(jù)質(zhì)量稽核的方法。5能源行化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)建設(shè)1.能夠?qū)幽茉礃I(yè)務(wù)系統(tǒng)的數(shù)據(jù)接口，參與制定ETL策略，使用ETL工具將生產(chǎn)數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)。2.能夠編寫SQL/Python/Shel1數(shù)據(jù)的清洗與處理。3.能夠使用Kettle等ETL工具進(jìn)行工作流控制。等組件，完成數(shù)據(jù)轉(zhuǎn)換，將數(shù)5.能夠基于數(shù)據(jù)倉(cāng)庫(kù)提供面向6.能夠?qū)?shù)據(jù)倉(cāng)庫(kù)有關(guān)數(shù)據(jù)問(wèn)1.了解能源行業(yè)(如石化)的數(shù)字化轉(zhuǎn)型需求業(yè)務(wù)系統(tǒng)存在的問(wèn)題如數(shù)據(jù)孤島等。2.了解能源企業(yè)的生產(chǎn)過(guò)程，包括原料采集、產(chǎn)品化驗(yàn)、工藝運(yùn)行(如脫硫)、生產(chǎn)控制、生產(chǎn)設(shè)備維護(hù)等環(huán)節(jié)。3.了解能源企業(yè)生產(chǎn)過(guò)據(jù)特點(diǎn)。臺(tái)數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與構(gòu)建方法。5.熟悉能源行業(yè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)指標(biāo)體系1.能源行業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)分份。2.數(shù)據(jù)倉(cāng)庫(kù)選型、數(shù)據(jù)模型設(shè)計(jì)策略7.能對(duì)輸出數(shù)據(jù)質(zhì)量進(jìn)行核驗(yàn)，對(duì)不符合要求的數(shù)據(jù)進(jìn)行6.掌握通過(guò)Sqoop、Kettle、Flume等ETI.工具進(jìn)行數(shù)據(jù)抽取，轉(zhuǎn)7.掌握通過(guò)SQL語(yǔ)句、Python腳本等方法清洗，處理數(shù)據(jù)的方法。8.了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模9.掌握編寫腳本程序完成數(shù)據(jù)倉(cāng)庫(kù)指標(biāo)計(jì)算的10.了解使用編程工具完成數(shù)據(jù)稽核任務(wù)的方(一)師資隊(duì)伍職業(yè)能力：企業(yè)優(yōu)秀講師或行業(yè)企業(yè)專家，具備有3到5年的大數(shù)據(jù)相關(guān)行業(yè)從業(yè)經(jīng)(二)實(shí)驗(yàn)實(shí)訓(xùn)條件(1)實(shí)訓(xùn)場(chǎng)地：數(shù)據(jù)清洗與處理實(shí)訓(xùn)室；(2)實(shí)訓(xùn)設(shè)備：臺(tái)式計(jì)算機(jī)40臺(tái)、服務(wù)器1臺(tái)，滿足完成數(shù)據(jù)ETL過(guò)程的要求。目前大數(shù)據(jù)技術(shù)有1個(gè)聯(lián)想校外實(shí)訓(xùn)室，能夠同時(shí)滿足50名學(xué)生進(jìn)行實(shí)習(xí)實(shí)訓(xùn)。能(1)聯(lián)想組織機(jī)構(gòu)健全，領(lǐng)導(dǎo)和工作(或技術(shù))人員素質(zhì)高，管理規(guī)范，在新一代(2)基于聯(lián)想“端一邊—云—網(wǎng)—智”技術(shù)框架下，其研究方向與經(jīng)營(yíng)的業(yè)務(wù)與本(3)符合學(xué)生專業(yè)實(shí)習(xí)實(shí)訓(xùn)條件，并且能夠滿足學(xué)生頂崗實(shí)訓(xùn)一個(gè)月以上。(4)有相應(yīng)的技術(shù)人員擔(dān)任實(shí)訓(xùn)指導(dǎo)教師。(三)教學(xué)資源表2教材配備表出版時(shí)間1社2022年04月否2社2021年07月否出版時(shí)間1ETL數(shù)據(jù)整合與處理(Kettle)王雪松，張良均人民郵電出版社2021年02月2楊力人民郵電出版社2020年06月(四)教學(xué)方法(五)教學(xué)評(píng)價(jià)堂評(píng)價(jià)(占比20%)、項(xiàng)目評(píng)價(jià)(占比50%)、課程評(píng)價(jià)(占比30%)三種形式收錄反映學(xué)1.課堂評(píng)價(jià)(20%):通過(guò)教師評(píng)價(jià)、學(xué)生互評(píng)、學(xué)生自評(píng)三個(gè)主體側(cè)重核心素質(zhì)的評(píng)學(xué)習(xí)筆記的檢查20%(學(xué)生將學(xué)習(xí)筆記在規(guī)定時(shí)間內(nèi)拍照上傳信息化平臺(tái)):評(píng)價(jià)標(biāo)學(xué)習(xí)材料的保存15%(教師線下課堂檢查):評(píng)價(jià)標(biāo)準(zhǔn)為四級(jí)式：A、B、C、D,要求教師評(píng)價(jià)40%(借助信息化平臺(tái)開(kāi)展評(píng)價(jià)):學(xué)生出勤(10%)、學(xué)習(xí)成果展示(10%)、學(xué)習(xí)過(guò)程表現(xiàn)(師生互動(dòng)、課堂練習(xí)、隨堂測(cè)試等)(10%)、實(shí)操(10%)。學(xué)生互評(píng)15%:組內(nèi)其他同學(xué)的評(píng)價(jià)(10%),組外同學(xué)的評(píng)價(jià)(5%)。學(xué)生自評(píng)10%:自己對(duì)自己的評(píng)價(jià)。2、項(xiàng)目評(píng)價(jià)(50%):階段測(cè)評(píng)目素質(zhì)評(píng)價(jià)內(nèi)容相同，各項(xiàng)目評(píng)價(jià)考核表詳見(jiàn)附件1《項(xiàng)目評(píng)價(jià)考核明細(xì)表》,每個(gè)項(xiàng)目表4素質(zhì)評(píng)分表團(tuán)隊(duì)姓名評(píng)價(jià)項(xiàng)目工作習(xí)能力能力能力素質(zhì)第一組3、課程評(píng)價(jià)(30%):期末考試?yán)碚摽荚?30%):試卷，從試題庫(kù)中抽取100分的試題進(jìn)行考核，試題類型有主觀題：80%,填空題、選擇題和判斷題組成；客觀題：20%,簡(jiǎn)答題、論述題。考核時(shí)間為：90分鐘、閉卷?？己藘?nèi)容為：學(xué)習(xí)內(nèi)容中涉及到的所有內(nèi)容，重點(diǎn)為技術(shù)類要求掌握的項(xiàng)目測(cè)試(70%):為學(xué)生提供5個(gè)真實(shí)案例項(xiàng)目，每個(gè)小組隨機(jī)抽取一個(gè)工作項(xiàng)目，并且按照任務(wù)書的要求完成1個(gè)完整的工作項(xiàng)目?？己藭r(shí)間：6節(jié)課。前四節(jié)課為項(xiàng)目制附件1:項(xiàng)目評(píng)價(jià)考核明細(xì)表1、考核項(xiàng)目1——醫(yī)療數(shù)據(jù)中臺(tái)數(shù)據(jù)匯總考核項(xiàng)目1——醫(yī)療數(shù)據(jù)中臺(tái)數(shù)據(jù)匯總采用過(guò)程性評(píng)價(jià)，考核評(píng)價(jià)表如下表所示：考核項(xiàng)目1——醫(yī)療數(shù)據(jù)中臺(tái)數(shù)據(jù)匯總考核評(píng)價(jià)表1能理解各業(yè)務(wù)系統(tǒng)醫(yī)療數(shù)據(jù)的含義2能快速理解醫(yī)療數(shù)據(jù)分析指標(biāo)的含義34能熟練使用ETL工具，完成數(shù)據(jù)5能對(duì)輸出數(shù)據(jù)質(zhì)量進(jìn)行核驗(yàn)，對(duì)不符合要求的數(shù)據(jù)進(jìn)行糾偏6能夠主動(dòng)了解醫(yī)療行業(yè)大數(shù)據(jù)行護(hù)意識(shí)2、考核項(xiàng)目2——商務(wù)機(jī)構(gòu)交易數(shù)據(jù)匯總考核項(xiàng)目2——商務(wù)機(jī)構(gòu)交易數(shù)據(jù)匯總采用過(guò)程性評(píng)價(jià)，考核評(píng)價(jià)表如下表所示：考核項(xiàng)目2——商務(wù)機(jī)構(gòu)交易數(shù)據(jù)匯總考核評(píng)價(jià)表考核項(xiàng)目2商務(wù)機(jī)構(gòu)交易數(shù)據(jù)匯總小組評(píng)價(jià)1能快速理解商務(wù)機(jī)構(gòu)交易數(shù)據(jù)的含義2能快速理解商務(wù)機(jī)構(gòu)數(shù)據(jù)分析指標(biāo)的含義3能熟練編寫程序進(jìn)行商務(wù)機(jī)構(gòu)數(shù)4能熟練使用ETL工具，完成數(shù)據(jù)轉(zhuǎn)換，加載5能獨(dú)立撰寫商務(wù)機(jī)構(gòu)交易數(shù)據(jù)源分析報(bào)告3、考核項(xiàng)目3——汽車制造行業(yè)供應(yīng)鏈數(shù)據(jù)匯總考核項(xiàng)目3——汽車制造行業(yè)供應(yīng)鏈數(shù)據(jù)匯總采用過(guò)程性評(píng)考核項(xiàng)目3——汽車制造行業(yè)供應(yīng)鏈數(shù)據(jù)匯總據(jù)1能快速理解汽車制造行業(yè)供應(yīng)鏈數(shù)據(jù)的含義2能快速理解汽車制造數(shù)據(jù)中臺(tái)數(shù)據(jù)分析指標(biāo)的含義3能熟練編寫程序進(jìn)行汽車供應(yīng)鏈數(shù)據(jù)清洗，轉(zhuǎn)換4能熟練使用ETI.工具，完成數(shù)據(jù)轉(zhuǎn)換，加載5能夠?qū)ζ囍圃煨袠I(yè)數(shù)據(jù)倉(cāng)庫(kù)問(wèn)題6能夠根據(jù)業(yè)務(wù)需要，提供面向業(yè)務(wù)的報(bào)表、數(shù)據(jù)提取等數(shù)據(jù)服務(wù)4、考核項(xiàng)目4——傳統(tǒng)生產(chǎn)系統(tǒng)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)建設(shè)考核項(xiàng)目4——傳統(tǒng)生產(chǎn)系統(tǒng)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)建設(shè)采用過(guò)程性評(píng)價(jià)，考核評(píng)價(jià)表考核項(xiàng)目4——傳統(tǒng)生產(chǎn)系統(tǒng)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)建設(shè)考核評(píng)價(jià)表1能快速理解傳統(tǒng)生產(chǎn)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的含義2能快速理解傳統(tǒng)生產(chǎn)數(shù)據(jù)中臺(tái)數(shù)據(jù)分析指標(biāo)的含義3能熟練編寫程序進(jìn)行生產(chǎn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)清洗，轉(zhuǎn)換4能熟練使用ETI.工具，完成數(shù)據(jù)轉(zhuǎn)換，加載5能夠基于數(shù)據(jù)倉(cāng)庫(kù)提供面向業(yè)務(wù)的報(bào)表、封裝數(shù)據(jù)提取接口6能夠參與生產(chǎn)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和搭建，準(zhǔn)確描述數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)能撰寫數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)報(bào)告5、考核項(xiàng)目5——能源行業(yè)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)建設(shè)考核項(xiàng)目5——能源行業(yè)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)建設(shè)采用過(guò)程考核項(xiàng)目5——能源行業(yè)數(shù)字化轉(zhuǎn)型數(shù)據(jù)倉(cāng)庫(kù)建設(shè)1能快速理解能源行業(yè)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的含義2能快速理