《大數(shù)據(jù)高級編程技術(shù)》教學(xué)大綱

《大數(shù)據(jù)高級編程技術(shù)》教學(xué)大綱課程編號：13210719英文名稱：AdvancedProgrammingTechniquesforBigData學(xué)分：3學(xué)時：總學(xué)時64學(xué)時，其中理論32學(xué)時，實踐32學(xué)時先修課程：操作系統(tǒng)、云計算與大數(shù)據(jù)基礎(chǔ)課程類別：專業(yè)方向課程授課對象：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生教學(xué)單位：機械與電氣工程學(xué)院修讀學(xué)期：第6學(xué)期一、課程描述和目標(biāo)大數(shù)據(jù)高級編程技術(shù)是為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)開設(shè)的一門重要的應(yīng)用技術(shù)課程，通過該課程的學(xué)習(xí)，可以使學(xué)生具備大數(shù)據(jù)高級編程的知識，能夠基于Hadoop構(gòu)建企業(yè)級應(yīng)用的架構(gòu)和方案。本課程的主要內(nèi)容包括：Hadoop生態(tài)系統(tǒng)介紹、Hadoop數(shù)據(jù)存儲、MapReduce處理數(shù)據(jù)技術(shù)、Oozie自動化數(shù)據(jù)處理技術(shù)、實時Hadoop編程技術(shù)、Hadoop安全、Hadoop企業(yè)級安全解決方案。本課程擬達(dá)到的課程目標(biāo):通過本課程的學(xué)習(xí)，學(xué)生的計算思維能明顯提升，能夠通過編寫程序研究與計算機相關(guān)的復(fù)雜工程問題。具體的課程目標(biāo)如下：課程目標(biāo)1：熟練掌握Hadoop數(shù)據(jù)存儲、MapReduce處理數(shù)據(jù)技術(shù)、Oozie自動化數(shù)據(jù)處理技術(shù)、實時Hadoop編程技術(shù)。課程目標(biāo)2：能夠利用Hadoop構(gòu)建企業(yè)級安全解決方案，初步具備解決工程實踐中的復(fù)雜問題的能力。課程目標(biāo)3：熟悉Hadoop平臺的工作原理和功能，能夠體會Hadoop平臺的特點，包括優(yōu)勢及不足。二、課程目標(biāo)對畢業(yè)要求的支撐關(guān)系畢業(yè)要求指標(biāo)點課程目標(biāo)權(quán)重3.1能夠設(shè)計針對大數(shù)據(jù)系統(tǒng)工程問題的解決方案，包括滿足特定需求的系統(tǒng)架構(gòu)、數(shù)據(jù)庫設(shè)計、數(shù)據(jù)挖掘方法、系統(tǒng)實現(xiàn)、測試與驗證等，并在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識。課程目標(biāo)1H4.2能夠基于數(shù)據(jù)科學(xué)的方法和原理，就大數(shù)據(jù)工程應(yīng)用中涉及的信息處理、數(shù)據(jù)關(guān)聯(lián)、模型預(yù)測等數(shù)據(jù)挖掘問題進(jìn)行研究，設(shè)計相關(guān)的實驗方案，并對結(jié)果或數(shù)據(jù)進(jìn)行分析與總結(jié)，得到合理有效的結(jié)論。課程目標(biāo)2H5.2能夠針對大數(shù)據(jù)工程問題，為預(yù)測與分析工程模型選擇和使用合適的現(xiàn)代工程工具和信息技術(shù)工具，并能理解其局限性。課程目標(biāo)3M（注：要求課程目標(biāo)與畢業(yè)要求指標(biāo)點應(yīng)是一一對應(yīng)支撐）三、教學(xué)內(nèi)容、基本要求與學(xué)時分配序號教學(xué)內(nèi)容基本要求及重、難點（含德育要求）學(xué)時教學(xué)方式對應(yīng)課程目標(biāo)1大數(shù)據(jù)和Hadoop生態(tài)系統(tǒng)簡介要求了解大數(shù)據(jù)與Hadoop之間的關(guān)系，重點掌握Hadoop生態(tài)系統(tǒng)、

Hadoop核心組件、Hadoop開發(fā)企業(yè)級應(yīng)用。德育要素：科技報國4講授演示練習(xí)課程目標(biāo)32Hadoop數(shù)據(jù)存儲技術(shù)要求熟悉HDFS架構(gòu)和HBase架構(gòu)，能夠使用HDFS文件，重點掌握HBase編程技術(shù)，能夠?qū)DFS和HBase的組合用于高效數(shù)據(jù)存儲。德育要素：工匠精神4講授演示練習(xí)課程目標(biāo)13MapReduce處理數(shù)據(jù)技術(shù)理解MapReduce的工作原理，重點掌握基于MapReduce設(shè)計程序，實現(xiàn)大規(guī)模數(shù)據(jù)的并行處理。德育要素：好習(xí)慣的養(yǎng)成4講授演示練習(xí)課程目標(biāo)14Oozie自動化數(shù)據(jù)處理了解Oozie的工作原理，能夠使用Oozie數(shù)據(jù)的自動化處理。德育要素：做事情要講究方法4講授演示練習(xí)課程目標(biāo)15高級Oozie技術(shù)了解Oozie的系列高級技術(shù)，重點掌握構(gòu)建、部署并實現(xiàn)自定義OozieWorkflow動作。德育要素：精益求精4講授演示練習(xí)課程目標(biāo)26實時Hadoop編程技術(shù)理解實時處理技術(shù)的應(yīng)用場景，能夠使用HBase來實現(xiàn)實時應(yīng)用。德育要素：實踐出真知4講授演示練習(xí)課程目標(biāo)27Hadoop安全理解Hadoop面臨的安全挑戰(zhàn)，重點掌握加固Hadoop安全的方法。德育要素：國家安全4講授演示練習(xí)課程目標(biāo)28Hadoop企業(yè)級安全解決方案了解企業(yè)級應(yīng)用的安全顧慮，重點掌握Hadoop的企業(yè)級應(yīng)用安全的方法。德育要素：技術(shù)安全的重要性4講授演示練習(xí)課程目標(biāo)3合計32序號實驗項目實驗內(nèi)容與要求學(xué)時類型對應(yīng)課程目標(biāo)1Ubuntu與Windows文件共享1）在VMwareworkstation虛擬機軟件上安裝ubuntu虛擬機14.04（64）位。2）安裝VMwareTools。??3）實現(xiàn)虛擬機ubuntu和宿主機windows文件共享。4驗證課程目標(biāo)32Hadoop集群安裝部署掌握Hadoop集群集群安裝部署技術(shù)。安裝Hadoop集群并完成分布式實例。2驗證課程目標(biāo)13建立Eclipse開發(fā)環(huán)境1）基于ubuntukylin14.04(5)版本，安裝eclipse，形成ubuntukylin14.04(5.5)版本。??2）基于ubuntukylin14.04(5.5)版本，完成shellHDFS練習(xí)。??3）基于ubuntukylin14.04(5.5)版本，基于Eclipse完成HDFS程序開發(fā)。6設(shè)計課程目標(biāo)14HBASE單機部署、偽分布部署1）基于ubuntukylin14.04(5)版本，完成HBASE單機式配置，形成ubuntukylin14.04(6)版本。??2）基于ubuntukylin14.04(6)版本，完成HBASE偽分布式配置，形成ubuntukylin14.04(7)版本。??3）基于ubuntukylin14.04(7)版本，完成HBASESHELL命令練習(xí)。6設(shè)計課程目標(biāo)15HBASE編程實踐掌握HBASE編程實踐技術(shù)?；趗buntukylin14.04(7)版本，通過Eclipse完成HBASE編程實踐。6綜合課程目標(biāo)26MapReduce編程實踐?1)基于ubuntukylin14.04(7)版本，安裝hadoop-eclipse-kepler-plugin-2.6.0.jar，形成ubuntukylin14.04(8)版本。??2)基于ubuntukylin14.04(8)版本，通過eclipse完成MapReduce8綜合課程目標(biāo)2合計32注：實驗要求包括必修、選修；實驗類型包括演示、驗證、綜合、設(shè)計等，后兩類占比大于80%。四、課程教學(xué)方法理論教學(xué)：主要采用課堂講授、程序演示、小組討論等方式。實驗教學(xué)：項目講解、學(xué)生自主實驗、個別輔導(dǎo)、程序分析等方式。五、學(xué)業(yè)評價和課程考核推行多元評價，對本課程所采用的評價和考核方式作具體說明，若采用多種考核方法請分別列出考核評價的方法、內(nèi)容、考核標(biāo)準(zhǔn)、成績占比等，考核方法、內(nèi)容應(yīng)突出“學(xué)生中心、產(chǎn)出導(dǎo)向”。（一）考核方式及具體要求1.課程成績構(gòu)成與要求課程考核注重形成性和終結(jié)性評價相結(jié)合，考核內(nèi)容主要由平時作業(yè)、章節(jié)測試、實驗、期末考核組成，均按百分制計分，其中期末考核成績占50%、平時作業(yè)成績占30%、章節(jié)測試成績占10%、實驗成績占10%。2.課程目標(biāo)達(dá)成考核與評價序號考核方式課程目標(biāo)1（分值）課程目標(biāo)2（分值）課程目標(biāo)3（分值）合計1平時作業(yè)101010302章節(jié)測試550103實驗550104期末考試20201050課程目標(biāo)對應(yīng)分值404020100（二）考核與評價標(biāo)準(zhǔn)1.平時成績考核與評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分作業(yè)按時完成，90%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握到位。能夠利用理論知識識別、分析紡紗領(lǐng)域相關(guān)專業(yè)問題。按時完成，70%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握較到位。能夠較好利用理論知識識別、分析紡紗領(lǐng)域相關(guān)專業(yè)問題。延時完成，60%以上的作業(yè)內(nèi)容齊全，基本知識點理解、掌握基本到位。利用理論知識對紡紗領(lǐng)域相關(guān)專業(yè)問題有一定的識別、分析。不交和補交，50%以下的作業(yè)內(nèi)容齊全，基本知識點理解、掌握有偏差。不能利用理論知識對紡紗領(lǐng)域相關(guān)專業(yè)問題進(jìn)行識別、分析。2.章節(jié)測試與評價標(biāo)準(zhǔn)安排5次章節(jié)測試，每次按時并正確完成測試給1分。3.實驗評價標(biāo)準(zhǔn)分值觀測點90-100分70-89分60-69分0-59分實驗獨立正確完成實驗內(nèi)容，方法具有一定的創(chuàng)新性，認(rèn)真撰寫實驗報告和實驗心得和總結(jié)。獨立正確完成實驗，方法沒有太多創(chuàng)新，提交實驗報告和總結(jié)。完成實驗，結(jié)果基本正確，實驗報告和總結(jié)比較隨意。實驗沒有完成，或結(jié)果不正確，沒有提交實驗報告和實驗總結(jié)。4.期末試卷考核與評價標(biāo)準(zhǔn)根據(jù)課程目標(biāo)及教學(xué)內(nèi)容，設(shè)計期末考核試題，綜合檢驗學(xué)生對課程相關(guān)知識的掌握、綜合應(yīng)用及解決復(fù)雜問題的能力，根據(jù)考試題目設(shè)計相應(yīng)評分標(biāo)準(zhǔn)。六、教材與參考書（一）推薦教材1．《Hadoop高級編程——構(gòu)建與實現(xiàn)大數(shù)據(jù)解決方案》，Boris

Lublinsky，Ke