《大數(shù)據(jù)處理與分析》課程教學(xué)大綱（本科）

1、大數(shù)據(jù)處理與分析Big Data Management and Analysis課程代碼：06410178學(xué)分：1.5學(xué)時(shí)：24 （其中：課堂教學(xué)學(xué)時(shí)：20實(shí)驗(yàn)學(xué)時(shí)：上機(jī)學(xué)時(shí)：4課程實(shí)踐學(xué)時(shí)：）先修課程：操作系統(tǒng)A、計(jì)算機(jī)網(wǎng)絡(luò)適用專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)教材：大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版），林子雨，人民郵電出版社，第2版一、課程性質(zhì)與課程目標(biāo)（-）課程性質(zhì)海量數(shù)據(jù)的處理與分析任務(wù)給傳統(tǒng)計(jì)算機(jī)帶來了極大的挑戰(zhàn)，現(xiàn)有計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)處理 算法難以滿足海量數(shù)據(jù)處理與分析任務(wù)在時(shí)效、有效性等方面的要求，引起了計(jì)算機(jī)領(lǐng)域的一次重 要變革。本課程首先給出大數(shù)據(jù)的概述，接著介紹當(dāng)前主流的開源大數(shù)據(jù)系統(tǒng)Ha

2、doop的基本概況， 再對(duì)大數(shù)據(jù)處理與分析中關(guān)鍵的技術(shù)分布式文件系統(tǒng)、大數(shù)據(jù)處理架構(gòu)、NoSQL數(shù)據(jù)庫(kù)、大數(shù)據(jù)數(shù) 據(jù)倉(cāng)庫(kù)、分布式內(nèi)存計(jì)算、流計(jì)算、圖計(jì)算等進(jìn)行介紹，最后分解結(jié)合互聯(lián)網(wǎng)、生物醫(yī)學(xué)、物流等 行業(yè)的應(yīng)用給出大數(shù)據(jù)分析的基本框架。使得學(xué)生能夠選擇某一大數(shù)據(jù)應(yīng)用場(chǎng)景的要求，確定需要 的數(shù)據(jù)并選擇合適的手段進(jìn)行收集；能對(duì)該大數(shù)據(jù)應(yīng)用場(chǎng)景進(jìn)行合理分析和評(píng)價(jià)，設(shè)計(jì)和完善相應(yīng) 計(jì)算機(jī)復(fù)雜工程問題的工程實(shí)踐和解決方案，分析其對(duì)于社會(huì)、健康、安全、法律、文化的影響， 理解應(yīng)承擔(dān)的責(zé)任；分析和理解大數(shù)據(jù)處理與分析技術(shù)對(duì)環(huán)境和社會(huì)可持續(xù)發(fā)展可能存在的影響。（二）課程目標(biāo)課程目標(biāo)1: 了解大數(shù)據(jù)技術(shù)發(fā)展的

3、驅(qū)動(dòng)和局限。課程目標(biāo)2：掌握構(gòu)建大數(shù)據(jù)系統(tǒng)的關(guān)鍵技術(shù)，能夠某一大數(shù)據(jù)應(yīng)用場(chǎng)景，合理分析和評(píng)價(jià)構(gòu) 建大數(shù)據(jù)系統(tǒng)所面臨的復(fù)雜工程問題，給出工程實(shí)踐和解決方案，分析其對(duì)于社會(huì)、健康、安全、 法律、文化的影響。課程目標(biāo)3：針對(duì)某一大數(shù)據(jù)應(yīng)用場(chǎng)景，確定需要的數(shù)據(jù)并選擇合適的手段進(jìn)行收集，構(gòu)建大2017年8月16日數(shù)據(jù)原型系統(tǒng)，分析和理解大數(shù)據(jù)處理與分析技術(shù)對(duì)環(huán)境和社會(huì)可持續(xù)發(fā)展可能存在的影響。（三）課程目標(biāo)與專業(yè)畢業(yè)要求指標(biāo)點(diǎn)的對(duì)應(yīng)關(guān)系本課程支撐專業(yè)培養(yǎng)計(jì)劃中畢業(yè)要求指標(biāo)點(diǎn)5. 4、7. 2和& 1。.畢業(yè)要求5.4：能夠根據(jù)實(shí)驗(yàn)?zāi)康拇_定需要的數(shù)據(jù)，并能夠選擇合適的手段進(jìn)行收集。.畢業(yè)要求7.2：能夠基

4、于工程相關(guān)背景知識(shí)進(jìn)行合理分析和評(píng)價(jià)計(jì)算機(jī)復(fù)雜工程問題的工程 實(shí)踐和解決方案對(duì)于社會(huì)、健康、安全、法律、文化的影響，理解應(yīng)承擔(dān)的責(zé)任。.畢業(yè)要求8.1：能夠理解計(jì)算機(jī)技術(shù)的方法和手段對(duì)環(huán)境和社會(huì)可持續(xù)發(fā)展的影響。畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)1課程目標(biāo)2課程目標(biāo)3畢業(yè)要求5. 4V畢業(yè)要求7. 2V畢業(yè)要求8.1V注：課程目標(biāo)與畢業(yè)要求指標(biāo)點(diǎn)對(duì)接的單元格中可輸入也可標(biāo)注“H、M、L”。二、課程內(nèi)容與教學(xué)要求第一章大數(shù)據(jù)的概述（一）課程內(nèi)容L傳統(tǒng)計(jì)算機(jī)面臨的新問題；.大數(shù)據(jù)系統(tǒng)的特點(diǎn)；.大數(shù)據(jù)系統(tǒng)與物聯(lián)網(wǎng)和云計(jì)算的關(guān)系。（二）教學(xué)要求. 了解傳統(tǒng)計(jì)算機(jī)的局限；, 了解大數(shù)據(jù)系統(tǒng)的特點(diǎn)；.理解大數(shù)據(jù)系統(tǒng)與

5、相關(guān)系統(tǒng)之間的關(guān)系。（三）重點(diǎn)與難點(diǎn)L重點(diǎn)大數(shù)據(jù)系統(tǒng)的特點(diǎn)。.難點(diǎn)大數(shù)據(jù)系統(tǒng)與相關(guān)系統(tǒng)之間的關(guān)系。第二章Hadoop的基本概況（一）課程內(nèi)容Hadoop 簡(jiǎn)介；Hadoop的基本結(jié)構(gòu)；Hadoop的主要特征。（二）教學(xué)要求.掌握Hadoop的基本結(jié)構(gòu)。.理解Hadoop的主要特征。（三）重點(diǎn)與難點(diǎn).重點(diǎn)Hadoop的基本結(jié)構(gòu)。Hadoop的主要特征。2,難點(diǎn)Hadoop的主要特征。第三章分布式文件系統(tǒng)（一）課程內(nèi)容.分布式文件系統(tǒng)的概況。. HDFS體系結(jié)構(gòu)。. HDFS的局限。（-）教學(xué)要求.了解分布式文件系統(tǒng)的概況。.掌握HDFS體系結(jié)構(gòu)。.理解HDFS的局限。（三）重點(diǎn)與難點(diǎn).重點(diǎn)HDF

6、S體系結(jié)構(gòu)。HDFS的局限。.難點(diǎn)HDFS的局限。第四章大數(shù)據(jù)處理架構(gòu)（一）課程內(nèi)容分布式計(jì)算架構(gòu)的簡(jiǎn)介。MapReduce 的結(jié)構(gòu)。MapReduce 的實(shí)踐。（二）教學(xué)要求L 了解分布式計(jì)算架構(gòu)。.理解MapReduce的結(jié)構(gòu)。.掌握MapReduce的實(shí)踐。（三）重點(diǎn)與難點(diǎn).重點(diǎn)MapReduce 的結(jié)構(gòu)。MapReduce 的實(shí)踐。.難點(diǎn)MapReduce 的實(shí)踐。第五章NoSQL數(shù)據(jù)庫(kù)（一）課程內(nèi)容關(guān)系數(shù)據(jù)庫(kù)存在的問題。NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介。NoSQL數(shù)據(jù)庫(kù)的發(fā)展。（二）教學(xué)要求.理解關(guān)系數(shù)據(jù)庫(kù)存在的問題。.掌握NoSQL數(shù)據(jù)庫(kù)的基本結(jié)構(gòu)。.了解NoSQL數(shù)據(jù)庫(kù)的發(fā)展。（三）重點(diǎn)與難

7、點(diǎn).重點(diǎn)關(guān)系數(shù)據(jù)庫(kù)存在的問題。NoSQL數(shù)據(jù)庫(kù)的基本結(jié)構(gòu)。.難點(diǎn).NoSQL數(shù)據(jù)庫(kù)的基本結(jié)構(gòu)。第六章大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)（-）課程內(nèi)容.大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介。. Hive的基本結(jié)構(gòu)。（二）教學(xué)要求.了解大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)。.掌握Hive的基本結(jié)構(gòu)。（三）重點(diǎn)與難點(diǎn).重點(diǎn)Hive的基本結(jié)構(gòu)。.難點(diǎn)Hive的基本結(jié)構(gòu)。第七章分布式內(nèi)存計(jì)算（-）課程內(nèi)容Spark的基本結(jié)構(gòu)。Spark 與 Hadoop 的對(duì)比。（二）教學(xué)要求,掌握Spark的基本結(jié)構(gòu)。.了解Spark與Hadoop的差異。（三）重點(diǎn)與難點(diǎn).重點(diǎn)Spark的基本結(jié)構(gòu)。.難點(diǎn)Spark與Hadoop的差異。第八章流計(jì)算（一）課程內(nèi)容流計(jì)算概述。S

8、torm的基本結(jié)構(gòu)。Spark Streaming 的基本結(jié)構(gòu)。（二）教學(xué)要求.了解流計(jì)算的基本概念。了解Storm的基本結(jié)構(gòu)。了解Spark Streaming的基本結(jié)構(gòu)。（三）重點(diǎn)與難點(diǎn)L重點(diǎn)流計(jì)算的基本概念。2.難點(diǎn)流計(jì)算的基本概念。第九章圖計(jì)算（一）課程內(nèi)容.圖計(jì)算簡(jiǎn)介。. Pregel圖計(jì)算模型。（二）教學(xué)要求. 了解圖計(jì)算的基本概念。.了解Pregel圖計(jì)算模型。（三）重點(diǎn)與難點(diǎn).重點(diǎn)Pregel圖計(jì)算模型。.難點(diǎn)Pregel圖計(jì)算模型。第十章面向應(yīng)用領(lǐng)域的大數(shù)據(jù)分析（一）課程內(nèi)容.大數(shù)據(jù)分析在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用。.大數(shù)據(jù)分析在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用。.大數(shù)據(jù)分析在物流領(lǐng)域的應(yīng)用。（二）

9、教學(xué)要求,了解大數(shù)據(jù)分析在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用。.了解大數(shù)據(jù)分析在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用。.了解大數(shù)據(jù)分析在物流領(lǐng)域的應(yīng)用。（三）重點(diǎn)與難點(diǎn).重點(diǎn)了解大數(shù)據(jù)分析在不同領(lǐng)域的應(yīng)用。.難點(diǎn)了解大數(shù)據(jù)分析在不同領(lǐng)域的應(yīng)用。三、本課程開設(shè)的實(shí)驗(yàn)項(xiàng)目編號(hào)實(shí)驗(yàn)項(xiàng)目名稱學(xué)時(shí)類型要求支撐的課程目標(biāo)1針對(duì)某一應(yīng)用領(lǐng)域使用 Hadoop或Spark實(shí)現(xiàn)一個(gè)大 數(shù)據(jù)分析應(yīng)用4綜合性必做課程目標(biāo)2、3注：1. “類型”填驗(yàn)證性、綜合性、設(shè)計(jì)性等；. “要求”填必做、選做。實(shí)驗(yàn)1：針對(duì)某一應(yīng)用領(lǐng)域使用Hadoop或Spark實(shí)現(xiàn)一個(gè)大數(shù)據(jù)分析應(yīng)用選擇一個(gè)存在大數(shù)據(jù)處理與分析問題的領(lǐng)域，分析出具體的大數(shù)據(jù)處理與分析問題，給出合適

10、 的方案設(shè)計(jì)；確定需要的數(shù)據(jù)并選擇合適的手段進(jìn)行收集，實(shí)現(xiàn)一個(gè)大數(shù)據(jù)分析應(yīng)用；分析其對(duì)于社會(huì)、健康、安全、法律、文化的影響，理解應(yīng)承擔(dān)的責(zé)任；分析和理解大數(shù)據(jù)處理與分析技術(shù)對(duì) 環(huán)境和社會(huì)可持續(xù)發(fā)展可能存在的影響。四、學(xué)時(shí)分配及教學(xué)方法章（按序填寫）教學(xué)形式及學(xué)時(shí)分配主要教學(xué)方法支撐的課程目標(biāo)課堂 教學(xué)實(shí) 驗(yàn)上 機(jī)課程 實(shí)踐小 計(jì)第一章2講授法課程目標(biāo)1第一早2講授法、討論法課程目標(biāo)1第三章2講授法、討論法課程目標(biāo)2、3第四章22講授法、討論法、演 示法課程目標(biāo)2、3第五章22講授法、討論法、演 示法課程目標(biāo)2、3第六章2講授法、討論法、演 示法課程目標(biāo)2、3第七章2講授法、討論法、演 示法課程

11、目標(biāo)2、3第八章2講授法、討論法、演 示法課程目標(biāo)2、3第九章2講授法、討論法、演 示法課程目標(biāo)2、3第九章2講授法、討論法、演 示法課程目標(biāo)2、3合計(jì)204注：1.課程實(shí)踐學(xué)時(shí)按相關(guān)專業(yè)培養(yǎng)計(jì)劃列入表格；.主要教學(xué)方法包括講授法、討論法、演示法、研究型教學(xué)方法（基于問題、項(xiàng)目、案例等教學(xué)方法）等。五、課程考核考核形式考核要求考核權(quán)重備注大作業(yè)完成實(shí)驗(yàn)，主分析出具體的大數(shù) 據(jù)處理與分析問題，給出合適的 方案設(shè)計(jì)；確定需要的數(shù)據(jù)并選60%5.4 (40%)7.2 (10%)8. 1 (10%)擇合適的手段進(jìn)行收集，實(shí)現(xiàn)一個(gè)大數(shù)據(jù)分析應(yīng)用；小論文能夠選擇某一大數(shù)據(jù)應(yīng)用場(chǎng)景的 要求，確定需要的數(shù)據(jù)并

12、選擇合 適的手段進(jìn)行收集；能對(duì)該大數(shù) 據(jù)應(yīng)用場(chǎng)景進(jìn)行合理分析和評(píng) 價(jià)，設(shè)計(jì)和完善相應(yīng)計(jì)算機(jī)復(fù)雜 工程問題的工程實(shí)踐和解決方 案，分析其對(duì)于社會(huì)、健康、安 全、法律、文化的影響，理解應(yīng) 承擔(dān)的責(zé)任；分析和理解大數(shù)據(jù) 處理與分析技術(shù)對(duì)環(huán)境和社會(huì)可 持續(xù)發(fā)展可能存在的影響。40%5.4 (10%)7.2 (15%)8. 1 (15%)該指標(biāo)點(diǎn)的實(shí)際得分*指標(biāo)點(diǎn)占總評(píng)分的比重）/m畢業(yè)要求指標(biāo)點(diǎn)達(dá)成度=說明：n為本課程對(duì)應(yīng)指標(biāo)點(diǎn)的個(gè)數(shù)，m為總評(píng)成績(jī)合格的學(xué)生數(shù)。注：1.分學(xué)期設(shè)置和考核的課程應(yīng)按學(xué)期分別填寫上表。.考核形式主要包括課堂表現(xiàn)、平時(shí)作業(yè)、階段測(cè)試、期中考試、期末考試、大作業(yè)、小 論文、項(xiàng)目設(shè)計(jì)和作品等。.考核要求包括作業(yè)次數(shù)、考試方式（開卷、閉卷）、項(xiàng)目設(shè)計(jì)要求等。.考核權(quán)重指該考核方式或