《大數(shù)據(jù)平臺核心技術(shù)》教學(xué)大綱

《大數(shù)據(jù)平臺核心技術(shù)》教學(xué)大綱課程編號：13220704英文名稱：CoreTechnologyOfBigDataPlatform學(xué)分：3學(xué)時：總學(xué)時64學(xué)時，其中理論32學(xué)時，實踐32學(xué)時先修課程：程序設(shè)計、Hadoop核心技術(shù)課程類別：專業(yè)拓展課程授課對象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機械與電氣工程學(xué)院修讀學(xué)期：第6學(xué)期一、課程描述和目標(biāo)大數(shù)據(jù)平臺核心技術(shù)主要針對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、計算機科學(xué)與技術(shù)、電子信息等專業(yè)學(xué)生，是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)拓展性課程，它擔(dān)負著系統(tǒng)、全面地理解大數(shù)據(jù)，提高大數(shù)據(jù)應(yīng)用技能的重任。主要講解大數(shù)據(jù)平臺涉及到的大數(shù)據(jù)構(gòu)架、數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)可視化等內(nèi)容，并通過實踐力圖覆蓋大數(shù)據(jù)處理平臺的主要核心技術(shù)，幫助學(xué)生了解大數(shù)據(jù)平臺設(shè)計中的關(guān)鍵挑戰(zhàn)，提出實際的解決方案，為學(xué)生未來就業(yè)及研究方向提供參考。通過本課程教學(xué)，使學(xué)生對大數(shù)據(jù)平臺涉及的核心技術(shù)有一個全面的了解，掌握基本的大數(shù)據(jù)采集、存儲和分析方法，并且具備一定對具體實際問題的處理能力。本課程擬達到的課程目標(biāo):通過本課程的學(xué)習(xí)，讓學(xué)生接觸并了解大數(shù)據(jù)平臺的基本原理和核心技術(shù)，使學(xué)生具有較強的分析問題和解決問題的能力，為將來從事大數(shù)據(jù)相關(guān)領(lǐng)域的工作打下堅實的基礎(chǔ)。具體的課程目標(biāo)如下：課程目標(biāo)1：能夠理解大數(shù)據(jù)平臺的基本原理和涉及的相關(guān)主要技術(shù)。課程目標(biāo)2：掌握數(shù)據(jù)采集、清洗、存儲技術(shù)，能夠設(shè)計并優(yōu)化模型，熟練調(diào)度和使用主要資源庫。課程目標(biāo)3：理解大數(shù)據(jù)分析處理技術(shù)方法，能針對具體實際問題設(shè)計可行解決方案并實現(xiàn)。二、課程目標(biāo)對畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點課程目標(biāo)權(quán)重3-1：能夠設(shè)計針對大數(shù)據(jù)系統(tǒng)工程問題的解決方案，包括滿足特定需求的系統(tǒng)架構(gòu)、數(shù)據(jù)庫設(shè)計、數(shù)據(jù)挖掘方法、系統(tǒng)實現(xiàn)、測試與驗證等，并在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識。課程目標(biāo)10.44-2：能夠基于數(shù)據(jù)科學(xué)的方法和原理，就大數(shù)據(jù)工程應(yīng)用中涉及的信息處理、數(shù)據(jù)關(guān)聯(lián)、模型預(yù)測等數(shù)據(jù)挖掘問題進行研究，設(shè)計相關(guān)的實驗方案，并對結(jié)果或數(shù)據(jù)進行分析與總結(jié)，得到合理有效的結(jié)論。課程目標(biāo)20.45-2：能夠針對大數(shù)據(jù)工程問題，為預(yù)測與分析工程模型選擇和使用合適的現(xiàn)代工程工具和信息技術(shù)工具，并能理解其局限性。課程目標(biāo)30.2三、教學(xué)內(nèi)容、基本要求與學(xué)時分配序號教學(xué)內(nèi)容基本要求學(xué)時教學(xué)方式對應(yīng)課程目標(biāo)1大數(shù)據(jù)概述1. 了解大數(shù)據(jù)的概述2. 掌握大叔的特征3. 理解大數(shù)據(jù)的意義2講授演示練習(xí)課程目標(biāo)12云計算基礎(chǔ)1. 了解云計算概述2. 掌握云計算類型、層次、服務(wù)模式3. 了解云計算關(guān)鍵技術(shù)4. 理解云計算與大數(shù)據(jù)的關(guān)系5. 了解云計算平臺2講授演示練習(xí)課程目標(biāo)13大數(shù)據(jù)架構(gòu)1. 了解大數(shù)據(jù)架構(gòu)概述2. 掌握Hadoop架構(gòu)3. 掌握HDFS架構(gòu)4. 掌握MapReduce架構(gòu)4講授演示練習(xí)課程目標(biāo)24數(shù)據(jù)采集1. 了解數(shù)據(jù)采集概述2. 了解數(shù)據(jù)采集平臺3. 掌握數(shù)據(jù)采集基礎(chǔ)4. 掌握網(wǎng)絡(luò)爬蟲Scrapy框架5. 掌握Python爬蟲實現(xiàn)4講授演示練習(xí)課程目標(biāo)25數(shù)據(jù)清洗1. 了解數(shù)據(jù)清洗概述2. 掌握數(shù)據(jù)清洗常用方法3. 掌握數(shù)據(jù)質(zhì)量和數(shù)據(jù)倉庫4. 掌握數(shù)據(jù)清洗環(huán)境和常用工具4講授演示練習(xí)課程目標(biāo)26大數(shù)據(jù)存儲1. 了解大數(shù)據(jù)存儲概述2. 掌握大數(shù)據(jù)存儲方式3. 掌握NoSQL數(shù)據(jù)庫4. 掌握NewSQL數(shù)據(jù)庫5. 掌握云數(shù)據(jù)庫4講授演示練習(xí)課程目標(biāo)27大數(shù)據(jù)分析與挖掘1. 了解大數(shù)據(jù)分析概述2. 了解大數(shù)據(jù)挖掘概述3. 掌握各種數(shù)據(jù)挖掘算法原理及優(yōu)化4講授演示練習(xí)課程目標(biāo)28大數(shù)據(jù)可視化1. 了解大數(shù)據(jù)可視化概述2. 掌握大數(shù)據(jù)可視化方法3. 掌握大數(shù)據(jù)可視化常用工具4. 了解大數(shù)據(jù)可視化技術(shù)的應(yīng)用4講授演示練習(xí)課程目標(biāo)39綜合案例——大數(shù)據(jù)行業(yè)應(yīng)用1. 了解工業(yè)大數(shù)據(jù)概述2. 了解工業(yè)大數(shù)據(jù)特點及內(nèi)涵3. 了解工業(yè)大數(shù)據(jù)與行業(yè)關(guān)系4. 掌握工業(yè)大數(shù)據(jù)的應(yīng)用4講授演示練習(xí)課程目標(biāo)3合計32序號實驗項目實驗內(nèi)容與要求學(xué)時類型對應(yīng)課程目標(biāo)1云計算基礎(chǔ)在window系統(tǒng)中安裝虛擬機安裝；熟悉基本操作；用CentOS7部署openstack。必修2驗證課程目標(biāo)12Hadoop平臺安裝和配置安裝并配置Hadoop平臺；熟悉基本操作，并演示。必修2驗證課程目標(biāo)13基于簡易軟件數(shù)據(jù)采集安裝八爪魚軟件；了解網(wǎng)絡(luò)爬蟲的特點；熟悉大數(shù)據(jù)采集有關(guān)的操作。選修2驗證課程目標(biāo)24數(shù)據(jù)清洗常用工具利用Excel的數(shù)據(jù)清洗；利用Kettle的數(shù)據(jù)清洗；利用DataCleaner的數(shù)據(jù)清洗。必修4驗證課程目標(biāo)25Redis數(shù)據(jù)庫和MongoDB數(shù)據(jù)庫安裝并運行Redis數(shù)據(jù)庫，熟悉Redis數(shù)據(jù)庫基本操作并演示；安裝并運行MongoDB數(shù)據(jù)庫，熟悉相關(guān)操作并演示。必修4驗證課程目標(biāo)26常用機器學(xué)習(xí)算法編程實現(xiàn)K-means算法，并實現(xiàn)對數(shù)據(jù)聚類分析；編程實現(xiàn)SVM算法，實現(xiàn)對數(shù)據(jù)分類分析；編程實現(xiàn)回歸算法，分析房價關(guān)系。必修6驗證課程目標(biāo)27大數(shù)據(jù)可視化實現(xiàn)詞云制作；大數(shù)據(jù)可視化應(yīng)用調(diào)研分析；利用Excel進行可視化；利用Echarts進行可視化；利用Tableau進行可視化。必修4驗證課程目標(biāo)38綜合案例交通大數(shù)據(jù)應(yīng)用實現(xiàn)；教育大數(shù)據(jù)應(yīng)用實現(xiàn)。必修8綜合課程目標(biāo)3合計32注：實驗要求包括必修、選修；實驗類型包括演示、驗證、綜合、設(shè)計等。四、課程教學(xué)方法理論教學(xué)：主要采用課堂講授、程序演示、小組討論等方式。實驗教學(xué)：項目講解、學(xué)生自主實驗、個別輔導(dǎo)、程序分析等方式。五、學(xué)業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內(nèi)容、考核標(biāo)準(zhǔn)、成績占比等，考核方法、內(nèi)容應(yīng)突出“學(xué)生中心、產(chǎn)出導(dǎo)向”。（一）考核方式及具體要求1.課程成績構(gòu)成與要求課程考核注重形成性和終結(jié)性評價相結(jié)合，考核內(nèi)容主要由平時作業(yè)、章節(jié)測試、實驗、期末考核組成，均按百分制計分，其中期末考核成績占50%、平時作業(yè)成績占10%、課堂表現(xiàn)成績占10%、實驗成績占30%。2.課程目標(biāo)達成考核與評價序號教學(xué)環(huán)節(jié)課程目標(biāo)1（分值）課程目標(biāo)2（分值）課程目標(biāo)3（分值）合計1平時作業(yè)334102課堂表現(xiàn)334103實驗10155304期末考試20201050課程目標(biāo)對應(yīng)分值364123100（二）考核與評價標(biāo)準(zhǔn)1.平時成績考核與評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分作業(yè)按時完成，90%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握到位。能夠利用理論知識識別、分析領(lǐng)域相關(guān)專業(yè)問題。按時完成，70%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握較到位。能夠較好利用理論知識識別、分析領(lǐng)域相關(guān)專業(yè)問題。延時完成，60%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握基本到位。利用理論知識對領(lǐng)域相關(guān)專業(yè)問題有一定的識別、分析。不交和補交，50%以下的作業(yè)內(nèi)容齊全，基本知識點理解、掌握有偏差。不能利用理論知識對領(lǐng)域相關(guān)專業(yè)問題進行識別、分析。2.課堂表現(xiàn)評價標(biāo)準(zhǔn)出勤，遲到1次扣0.5分，無故曠課1次扣1分；上課玩手機1次扣1分，擾亂課堂秩序1次扣1分；參與課堂討論加1分。3.實驗評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分實驗獨立正確完成實驗內(nèi)容，方法具有一定的創(chuàng)新性，認真撰寫實驗報告和實驗心得和總結(jié)。獨立正確完成實驗，方法沒有太多創(chuàng)新，提交實驗報告和總結(jié)。完成實驗，結(jié)果基本正確，實驗報告和總結(jié)比較隨意。實驗沒有完成，或結(jié)果不正確，沒有提交實驗報告和實驗總結(jié)。4.期末大作業(yè)考核與評價標(biāo)準(zhǔn)期末考試成績采用項目大作業(yè)的考核方式，在規(guī)定時間內(nèi)完成一個小型項目，提交項目代碼，同時附項目的解決思路、實施步驟、結(jié)果、個人體會等內(nèi)容。優(yōu)秀：思路正確，方案很好，步驟清楚，實現(xiàn)了所有功能，。良好：思路正確，方案可行，步驟清楚，實現(xiàn)了大部分功能。中等：思路正確，方案復(fù)雜，實現(xiàn)了大部分功能，但方法不簡潔。及格