大數(shù)據(jù)處理技術(shù)教學(xué)大綱

1、大數(shù)據(jù)處理技術(shù)一、課程說明課程編號： 390144Z10課程名稱（中/英文）：大數(shù)據(jù)處理技術(shù)/ Big Data Processing Technology課程類別：專業(yè)選修課學(xué)時/學(xué)分：32/2先修課程：Java面向?qū)ο蟪绦蛟O(shè)計、算法分析與設(shè)計、Linux程序設(shè)計環(huán)境、大型數(shù)據(jù)庫技術(shù)、云計算及應(yīng)用、機器學(xué)習(xí)與數(shù)據(jù)挖據(jù)適用專業(yè)：軟件工程 教材、教學(xué)參考書：1 云計算（第三版）. 劉鵬, 北京：電子工業(yè)出版社，20152 Hadoop: The Definitive Guide, Fourth Edition, Tom White, O'Reilly3 Data-Intensive Te

2、xt Processing with MapReduce, Jimmy Lin and Chris Dyer, Morgan & Claypool4 Big Data: Algorithms, Analytics, and Applications. Kuan-Ching Li, Hai Jiang, Laurence T. Yang, Alfredo Cuzzocrea. Chapman and Hall/CRC二、課程設(shè)置的目的意義大數(shù)據(jù)處理技術(shù)是軟件工程專業(yè)選修課程之一，是一門前沿性和實踐性較強的課程。本課程主要講解大數(shù)據(jù)存儲、分析處理與挖掘相關(guān)技術(shù)，使學(xué)生了解大規(guī)模數(shù)據(jù)處理常用

3、的技術(shù)、算法和應(yīng)用系統(tǒng)領(lǐng)域的主要現(xiàn)狀，掌握大規(guī)模數(shù)據(jù)處理相關(guān)的常用算法，熟悉Hadoop和Spark系統(tǒng)的設(shè)計與應(yīng)用，了解大數(shù)據(jù)處理方向的前沿發(fā)展，為今后從事科研或?qū)嵺`工作打下良好的基礎(chǔ)。三、課程的基本要求通過本課程的學(xué)習(xí)，要求學(xué)生能夠了解大數(shù)據(jù)處理的基本理論、方法和技術(shù)，初步掌握基于Hadoop和Spark的數(shù)據(jù)處理技術(shù)。具體要求如下：（一）知識學(xué)習(xí)要求1.掌握基于Hadoop的大數(shù)據(jù)處理架構(gòu);掌握MapReduce計算模式;掌握基于HDFS的大數(shù)據(jù)存儲方法; 對應(yīng)培養(yǎng)方案“培養(yǎng)要求”1-D；1.了解大數(shù)據(jù)處理的概念；了解HBase大數(shù)據(jù)庫；了解大數(shù)據(jù)的分析處理技術(shù)；了解基于MapReduc

4、e的數(shù)據(jù)挖掘；了解Spark的架構(gòu)及編程方法；了解大數(shù)據(jù)處理的前沿發(fā)展；對應(yīng)培養(yǎng)方案“培養(yǎng)要求”1-。（二）能力培養(yǎng)要求1. 能運用大數(shù)據(jù)處理相關(guān)計算和方法分析處理特定領(lǐng)域的問題，可以針對不同問題的特點選擇合適的大數(shù)據(jù)處理算法并進行改進，對應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-A；2. 能就大數(shù)據(jù)處理問題獨立撰寫綜合實驗報告，并通過小組協(xié)作共同撰寫項目解決方案，對應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-C；3. 能針對大數(shù)據(jù)處理行業(yè)發(fā)展的需要，不斷探索和緊跟大數(shù)據(jù)發(fā)展前沿，掌握自主學(xué)習(xí)和終身學(xué)習(xí)的方法，對應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-D；4. 初步獲得對于大數(shù)據(jù)的獲取、存儲和分析能力；能夠設(shè)計和部署大數(shù)據(jù)處理平臺（Hado

5、op或Spark）；能夠設(shè)計和運用數(shù)據(jù)挖掘算法來分析處理大數(shù)據(jù)；對應(yīng)培養(yǎng)方案“培養(yǎng)要求”2-。（三）素質(zhì)培養(yǎng)要求1. 能夠針對軟件項目設(shè)計方案，使用批判性思維方法，不斷完善和豐富工程設(shè)計，對應(yīng)培養(yǎng)方案“培養(yǎng)要求”3-；2. 培養(yǎng)團隊協(xié)作精神和責(zé)任意識，理解團隊合作的作用和意義，善于在團隊中運用軟件工程知識解決工程實踐問題，對應(yīng)培養(yǎng)方案“培養(yǎng)要求”3-。四、教學(xué)內(nèi)容、重點難點及教學(xué)設(shè)計章節(jié)教學(xué)內(nèi)容總學(xué)時學(xué)時分配教學(xué)重點教學(xué)難點教學(xué)方案設(shè)計（含教學(xué)方法、教學(xué)手段）講課(含研討)實踐第1章大數(shù)據(jù)的概念、大數(shù)據(jù)處理平臺的基礎(chǔ)架構(gòu)、大數(shù)據(jù)處理的存儲、大數(shù)據(jù)處理的計算模式、大數(shù)據(jù)處理系統(tǒng)的容錯性、大數(shù)據(jù)與

6、云計算的關(guān)系220大數(shù)據(jù)的存儲與計算大數(shù)據(jù)與云計算關(guān)系教學(xué)思路：通過我校醫(yī)療大數(shù)據(jù)和貴陽大數(shù)據(jù)中心的案例講述大數(shù)據(jù)的概念，然后引出大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)、存儲、計算模式和特性，并課堂討論大數(shù)據(jù)和云計算的關(guān)系。教學(xué)方法：調(diào)查分析、講授、課堂討論教學(xué)手段：PPT、視頻、課程學(xué)習(xí)網(wǎng)站第2章基于Hadoop的大數(shù)據(jù)處理架構(gòu)：Hadoop的由來、Hadoop原理與運行機制、Hadoop相關(guān)技術(shù)及簡介、Hadoop技術(shù)的發(fā)展與演進642Hadoop架構(gòu)Hadoop的部署配置教學(xué)思路：通過開源項目Hadoop創(chuàng)始人的故事講述Hadoop的由來，運用對比的方法講述Hadoop的原理和相關(guān)技術(shù)，并要求學(xué)生組成項目

7、組，研究安裝使用Hadoop平臺，進行展示交流。教學(xué)方法：講授、項目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)網(wǎng)站第3章MapReduce計算模式：MapReduce原理、工作機制、應(yīng)用開發(fā)、設(shè)計模式和算法實踐642MapReduce計算模型MadpReduce的實際應(yīng)用教學(xué)思路：通過文本字符串統(tǒng)計和圖書館圖書數(shù)量統(tǒng)計兩個案例講述MapReduce的原理，分析MapReduce的工作機制，并要求學(xué)生組成項目組，在Hadoop平臺上運用MapReduce設(shè)計和實現(xiàn)大數(shù)據(jù)處理程序，并進行展示交流。教學(xué)方法：講授、項目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)網(wǎng)站第4章使用HDF

8、S存儲大數(shù)據(jù)：大數(shù)據(jù)的云存儲需求、HDFS架構(gòu)與流程、文件訪問與控制、HDFS性能優(yōu)化、HDFS的小文件存儲問題、HDFS的高可用性問題422HDFS存儲架構(gòu)HDFS的文件存儲教學(xué)思路：以分布式數(shù)據(jù)存儲需求為出發(fā)點，討論分布式存儲系統(tǒng)HDFS的技術(shù)原理，探討HDFS的問題和優(yōu)化方向，要求學(xué)生組成項目組，在Hadoop平臺上運用HDFS進行文件存儲，并進行展示交流。教學(xué)方法：講授、項目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)網(wǎng)站第5章大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫、HBase大數(shù)據(jù)庫架構(gòu)與原理、管理HBase中的數(shù)據(jù)、從RDBMS到HBase、在HBase上運行MapReduce、 HBase

9、性能優(yōu)化440Hbase的 架構(gòu)基于HBase的應(yīng)用開發(fā)教學(xué)思路：通過闡述關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)的關(guān)系，討論大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫HBase的技術(shù)原理，要求學(xué)生在HBase上運行MapReduce程序，并進行展示交流。教學(xué)方法：講授、項目研討、案例分析教學(xué)手段：PPT、Linux、課程學(xué)習(xí)平臺第6章數(shù)據(jù)挖掘及其分布式并行化、基于MapReduce的數(shù)據(jù)挖掘與Mahout、經(jīng)典數(shù)據(jù)挖掘算法的MapReduce實例、 基于云計算的數(shù)據(jù)挖掘?qū)嵺`及面臨的挑戰(zhàn)440基于MapReduce的經(jīng)典數(shù)據(jù)挖掘算法基于MapReduce的數(shù)據(jù)挖掘算法的實現(xiàn)專題式教學(xué)第7章Spark生態(tài)和安裝部署、Spark運行架

10、構(gòu)和解析、Spark監(jiān)控和調(diào)優(yōu)、Spark編程模型和解析、Spark機器學(xué)習(xí)入門422Spark架構(gòu)Spark編程專題式教學(xué)第8章下一代計算框架YARN、大數(shù)據(jù)的實時交互式分析、Google Dremel、Cloudera Impala、大數(shù)據(jù)的圖計算、Apache Hama開源項目220大數(shù)據(jù)處理新技術(shù)大數(shù)據(jù)處理前沿發(fā)展專題式教學(xué)注：實踐包括實驗、上機等五、實踐教學(xué)內(nèi)容和基本要求要求通過完成課內(nèi)實驗作業(yè)，搭建Hadoop和Spark大數(shù)據(jù)處理平臺，熟悉基于Hadoop和Spark的大數(shù)據(jù)分析技術(shù)，提交實驗報告。課內(nèi)實驗內(nèi)容如下表所示。實驗名稱實驗內(nèi)容學(xué)時基本要求Hadoop安裝與配置云平臺配置2掌握Hadoop安裝、HDFS文件讀寫方法。利用MapReduce算法處理數(shù)據(jù)MapReduce算法設(shè)計2利用MapReduce算法設(shè)計一個程序統(tǒng)計文檔中字符串的數(shù)量。Spark安裝和使用Spark安裝及性能評估4完成Spark的安裝，并編程測試Spark的性能。六、考核方式及成績評定考核方式考核內(nèi)容成績