《大數(shù)據(jù)處理與分析》課程教學大綱（本科）

1、大數(shù)據(jù)處理與分析Big Data Management and Analysis課程代碼：06410178學分：1.5學時：24 （其中：課堂教學學時：20實驗學時：上機學時：4課程實踐學時：）先修課程：操作系統(tǒng)A、計算機網(wǎng)絡適用專業(yè)：計算機科學與技術教材：大數(shù)據(jù)技術原理與應用（第2版），林子雨，人民郵電出版社，第2版一、課程性質(zhì)與課程目標（-）課程性質(zhì)海量數(shù)據(jù)的處理與分析任務給傳統(tǒng)計算機帶來了極大的挑戰(zhàn)，現(xiàn)有計算機系統(tǒng)結(jié)構和數(shù)據(jù)處理 算法難以滿足海量數(shù)據(jù)處理與分析任務在時效、有效性等方面的要求，引起了計算機領域的一次重 要變革。本課程首先給出大數(shù)據(jù)的概述，接著介紹當前主流的開源大數(shù)據(jù)系統(tǒng)Ha

2、doop的基本概況， 再對大數(shù)據(jù)處理與分析中關鍵的技術分布式文件系統(tǒng)、大數(shù)據(jù)處理架構、NoSQL數(shù)據(jù)庫、大數(shù)據(jù)數(shù) 據(jù)倉庫、分布式內(nèi)存計算、流計算、圖計算等進行介紹，最后分解結(jié)合互聯(lián)網(wǎng)、生物醫(yī)學、物流等 行業(yè)的應用給出大數(shù)據(jù)分析的基本框架。使得學生能夠選擇某一大數(shù)據(jù)應用場景的要求，確定需要 的數(shù)據(jù)并選擇合適的手段進行收集；能對該大數(shù)據(jù)應用場景進行合理分析和評價，設計和完善相應 計算機復雜工程問題的工程實踐和解決方案，分析其對于社會、健康、安全、法律、文化的影響， 理解應承擔的責任；分析和理解大數(shù)據(jù)處理與分析技術對環(huán)境和社會可持續(xù)發(fā)展可能存在的影響。（二）課程目標課程目標1: 了解大數(shù)據(jù)技術發(fā)展的

3、驅(qū)動和局限。課程目標2：掌握構建大數(shù)據(jù)系統(tǒng)的關鍵技術，能夠某一大數(shù)據(jù)應用場景，合理分析和評價構 建大數(shù)據(jù)系統(tǒng)所面臨的復雜工程問題，給出工程實踐和解決方案，分析其對于社會、健康、安全、 法律、文化的影響。課程目標3：針對某一大數(shù)據(jù)應用場景，確定需要的數(shù)據(jù)并選擇合適的手段進行收集，構建大2017年8月16日數(shù)據(jù)原型系統(tǒng)，分析和理解大數(shù)據(jù)處理與分析技術對環(huán)境和社會可持續(xù)發(fā)展可能存在的影響。（三）課程目標與專業(yè)畢業(yè)要求指標點的對應關系本課程支撐專業(yè)培養(yǎng)計劃中畢業(yè)要求指標點5. 4、7. 2和& 1。.畢業(yè)要求5.4：能夠根據(jù)實驗目的確定需要的數(shù)據(jù)，并能夠選擇合適的手段進行收集。.畢業(yè)要求7.2：能夠基

4、于工程相關背景知識進行合理分析和評價計算機復雜工程問題的工程 實踐和解決方案對于社會、健康、安全、法律、文化的影響，理解應承擔的責任。.畢業(yè)要求8.1：能夠理解計算機技術的方法和手段對環(huán)境和社會可持續(xù)發(fā)展的影響。畢業(yè)要求指標點課程目標1課程目標2課程目標3畢業(yè)要求5. 4V畢業(yè)要求7. 2V畢業(yè)要求8.1V注：課程目標與畢業(yè)要求指標點對接的單元格中可輸入也可標注“H、M、L”。二、課程內(nèi)容與教學要求第一章大數(shù)據(jù)的概述（一）課程內(nèi)容L傳統(tǒng)計算機面臨的新問題；.大數(shù)據(jù)系統(tǒng)的特點；.大數(shù)據(jù)系統(tǒng)與物聯(lián)網(wǎng)和云計算的關系。（二）教學要求. 了解傳統(tǒng)計算機的局限；, 了解大數(shù)據(jù)系統(tǒng)的特點；.理解大數(shù)據(jù)系統(tǒng)與

5、相關系統(tǒng)之間的關系。（三）重點與難點L重點大數(shù)據(jù)系統(tǒng)的特點。.難點大數(shù)據(jù)系統(tǒng)與相關系統(tǒng)之間的關系。第二章Hadoop的基本概況（一）課程內(nèi)容Hadoop 簡介；Hadoop的基本結(jié)構；Hadoop的主要特征。（二）教學要求.掌握Hadoop的基本結(jié)構。.理解Hadoop的主要特征。（三）重點與難點.重點Hadoop的基本結(jié)構。Hadoop的主要特征。2,難點Hadoop的主要特征。第三章分布式文件系統(tǒng)（一）課程內(nèi)容.分布式文件系統(tǒng)的概況。. HDFS體系結(jié)構。. HDFS的局限。（-）教學要求.了解分布式文件系統(tǒng)的概況。.掌握HDFS體系結(jié)構。.理解HDFS的局限。（三）重點與難點.重點HDF

6、S體系結(jié)構。HDFS的局限。.難點HDFS的局限。第四章大數(shù)據(jù)處理架構（一）課程內(nèi)容分布式計算架構的簡介。MapReduce 的結(jié)構。MapReduce 的實踐。（二）教學要求L 了解分布式計算架構。.理解MapReduce的結(jié)構。.掌握MapReduce的實踐。（三）重點與難點.重點MapReduce 的結(jié)構。MapReduce 的實踐。.難點MapReduce 的實踐。第五章NoSQL數(shù)據(jù)庫（一）課程內(nèi)容關系數(shù)據(jù)庫存在的問題。NoSQL數(shù)據(jù)庫簡介。NoSQL數(shù)據(jù)庫的發(fā)展。（二）教學要求.理解關系數(shù)據(jù)庫存在的問題。.掌握NoSQL數(shù)據(jù)庫的基本結(jié)構。.了解NoSQL數(shù)據(jù)庫的發(fā)展。（三）重點與難

7、點.重點關系數(shù)據(jù)庫存在的問題。NoSQL數(shù)據(jù)庫的基本結(jié)構。.難點.NoSQL數(shù)據(jù)庫的基本結(jié)構。第六章大數(shù)據(jù)數(shù)據(jù)倉庫（-）課程內(nèi)容.大數(shù)據(jù)數(shù)據(jù)倉庫簡介。. Hive的基本結(jié)構。（二）教學要求.了解大數(shù)據(jù)數(shù)據(jù)倉庫。.掌握Hive的基本結(jié)構。（三）重點與難點.重點Hive的基本結(jié)構。.難點Hive的基本結(jié)構。第七章分布式內(nèi)存計算（-）課程內(nèi)容Spark的基本結(jié)構。Spark 與 Hadoop 的對比。（二）教學要求,掌握Spark的基本結(jié)構。.了解Spark與Hadoop的差異。（三）重點與難點.重點Spark的基本結(jié)構。.難點Spark與Hadoop的差異。第八章流計算（一）課程內(nèi)容流計算概述。S

8、torm的基本結(jié)構。Spark Streaming 的基本結(jié)構。（二）教學要求.了解流計算的基本概念。了解Storm的基本結(jié)構。了解Spark Streaming的基本結(jié)構。（三）重點與難點L重點流計算的基本概念。2.難點流計算的基本概念。第九章圖計算（一）課程內(nèi)容.圖計算簡介。. Pregel圖計算模型。（二）教學要求. 了解圖計算的基本概念。.了解Pregel圖計算模型。（三）重點與難點.重點Pregel圖計算模型。.難點Pregel圖計算模型。第十章面向應用領域的大數(shù)據(jù)分析（一）課程內(nèi)容.大數(shù)據(jù)分析在互聯(lián)網(wǎng)領域的應用。.大數(shù)據(jù)分析在生物醫(yī)學領域的應用。.大數(shù)據(jù)分析在物流領域的應用。（二）

9、教學要求,了解大數(shù)據(jù)分析在互聯(lián)網(wǎng)領域的應用。.了解大數(shù)據(jù)分析在生物醫(yī)學領域的應用。.了解大數(shù)據(jù)分析在物流領域的應用。（三）重點與難點.重點了解大數(shù)據(jù)分析在不同領域的應用。.難點了解大數(shù)據(jù)分析在不同領域的應用。三、本課程開設的實驗項目編號實驗項目名稱學時類型要求支撐的課程目標1針對某一應用領域使用 Hadoop或Spark實現(xiàn)一個大 數(shù)據(jù)分析應用4綜合性必做課程目標2、3注：1. “類型”填驗證性、綜合性、設計性等；. “要求”填必做、選做。實驗1：針對某一應用領域使用Hadoop或Spark實現(xiàn)一個大數(shù)據(jù)分析應用選擇一個存在大數(shù)據(jù)處理與分析問題的領域，分析出具體的大數(shù)據(jù)處理與分析問題，給出合適

10、 的方案設計；確定需要的數(shù)據(jù)并選擇合適的手段進行收集，實現(xiàn)一個大數(shù)據(jù)分析應用；分析其對于社會、健康、安全、法律、文化的影響，理解應承擔的責任；分析和理解大數(shù)據(jù)處理與分析技術對 環(huán)境和社會可持續(xù)發(fā)展可能存在的影響。四、學時分配及教學方法章（按序填寫）教學形式及學時分配主要教學方法支撐的課程目標課堂 教學實 驗上 機課程 實踐小 計第一章2講授法課程目標1第一早2講授法、討論法課程目標1第三章2講授法、討論法課程目標2、3第四章22講授法、討論法、演 示法課程目標2、3第五章22講授法、討論法、演 示法課程目標2、3第六章2講授法、討論法、演 示法課程目標2、3第七章2講授法、討論法、演 示法課程

11、目標2、3第八章2講授法、討論法、演 示法課程目標2、3第九章2講授法、討論法、演 示法課程目標2、3第九章2講授法、討論法、演 示法課程目標2、3合計204注：1.課程實踐學時按相關專業(yè)培養(yǎng)計劃列入表格；.主要教學方法包括講授法、討論法、演示法、研究型教學方法（基于問題、項目、案例等教學方法）等。五、課程考核考核形式考核要求考核權重備注大作業(yè)完成實驗，主分析出具體的大數(shù) 據(jù)處理與分析問題，給出合適的 方案設計；確定需要的數(shù)據(jù)并選60%5.4 (40%)7.2 (10%)8. 1 (10%)擇合適的手段進行收集，實現(xiàn)一個大數(shù)據(jù)分析應用；小論文能夠選擇某一大數(shù)據(jù)應用場景的 要求，確定需要的數(shù)據(jù)并

12、選擇合 適的手段進行收集；能對該大數(shù) 據(jù)應用場景進行合理分析和評 價，設計和完善相應計算機復雜 工程問題的工程實踐和解決方 案，分析其對于社會、健康、安 全、法律、文化的影響，理解應 承擔的責任；分析和理解大數(shù)據(jù) 處理與分析技術對環(huán)境和社會可 持續(xù)發(fā)展可能存在的影響。40%5.4 (10%)7.2 (15%)8. 1 (15%)該指標點的實際得分*指標點占總評分的比重）/m畢業(yè)要求指標點達成度=說明：n為本課程對應指標點的個數(shù)，m為總評成績合格的學生數(shù)。注：1.分學期設置和考核的課程應按學期分別填寫上表。.考核形式主要包括課堂表現(xiàn)、平時作業(yè)、階段測試、期中考試、期末考試、大作業(yè)、小 論文、項目設計和作品等。.考核要求包括作業(yè)次數(shù)、考試方式（開卷、閉卷）、項目設計要求等。.考核權重指該考核方式或