《大數(shù)據(jù)技術(shù)與應(yīng)用》課程教學(xué)大綱

《大數(shù)據(jù)技術(shù)與應(yīng)用》教學(xué)大綱一、課程基本信息課程名稱大數(shù)據(jù)技術(shù)與應(yīng)用BigDataTechnologyandApplication課程編碼CST510121020開課院部計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院課程團(tuán)隊(duì)人工智能教學(xué)團(tuán)隊(duì)學(xué)分2.0課內(nèi)學(xué)時(shí)40講授16實(shí)驗(yàn)0上機(jī)24實(shí)踐0課外學(xué)時(shí)0適用專業(yè)智能科學(xué)與技術(shù)授課語(yǔ)言中文先修課程程序設(shè)計(jì)（C/C++）、數(shù)據(jù)庫(kù)原理、云計(jì)算技術(shù)與應(yīng)用課程簡(jiǎn)介（限選）《大數(shù)據(jù)技術(shù)與應(yīng)用》課程是按照計(jì)算機(jī)類專業(yè)應(yīng)用型創(chuàng)新型人才培養(yǎng)目標(biāo)的要求而開設(shè)的數(shù)據(jù)科學(xué)開發(fā)型課程。通過(guò)這門課程的學(xué)習(xí)，使學(xué)生初步掌握目前基于Hadoop、Storm、Spark的大數(shù)據(jù)處理技術(shù)，了解其大數(shù)據(jù)處理平臺(tái)的特點(diǎn)、核心機(jī)制以及工作模式，具備一定的大數(shù)據(jù)系統(tǒng)架構(gòu)能力，并能自行開展簡(jiǎn)單的大數(shù)據(jù)應(yīng)用開發(fā)。在課堂教學(xué)中，也將引入大數(shù)據(jù)的發(fā)展現(xiàn)狀、先進(jìn)技術(shù)（平臺(tái)）、國(guó)內(nèi)發(fā)展需求等方面的題材和內(nèi)容，以培養(yǎng)具有全球視野、面向國(guó)內(nèi)需求的社會(huì)主義建設(shè)性人才。本課程教學(xué)內(nèi)容主要包括：大數(shù)據(jù)概論；Hadoop基本構(gòu)架與分布式數(shù)據(jù)庫(kù)HBase；NoSQL數(shù)據(jù)庫(kù)；Spark；流計(jì)算；圖計(jì)算等。并通過(guò)相應(yīng)的案例學(xué)習(xí)大數(shù)據(jù)問(wèn)題的解決方案。"Bigdatatechnologyandapplication"isadatasciencedevelopmentcourseaccordingtotherequirementsofthetrainingobjectivesofappliedinnovativetalentsincomputermajors.Throughthestudyofthiscourse,studentscaninitiallymasterthecurrentbigdataprocessingtechnologybasedonHadoop,StormandSpark,andunderstandthecharacteristics,coremechanismandworkingmodeofitsbigdataprocessingplatform,havecertainbigdatasystemarchitecturecapabilities,andcancarryoutsimplebigdataapplicationdevelopment.Intheclassroomteaching,willalsointroducethedevelopmentstatusofbigdata,advancedtechnology(platform),domesticdevelopmentneedsandotheraspectsofthesubjectmatterandcontent,inordertocultivateaglobalvision,socialistconstructivetalentsorientedtodomesticneeds.Theteachingcontentofthiscoursemainlyincludes:Introductiontobigdata;HadoopbasicarchitectureanddistributeddatabaseHBase;NoSQLdatabase;Spark;StreamComputing;GraphComputing,etc.Andlearnthesolutiontothebigdataproblemthroughcorrespondingcases.負(fù)責(zé)人大綱執(zhí)筆人審核人二、課程目標(biāo)序號(hào)代號(hào)課程目標(biāo)OBE畢業(yè)要求指標(biāo)點(diǎn)任務(wù)自選1M1目標(biāo)1：理解大數(shù)據(jù)應(yīng)用系統(tǒng)的基本設(shè)計(jì)方法和設(shè)計(jì)方案，包括系統(tǒng)的軟件質(zhì)量屬性要求，尤其是可用性等指標(biāo)，為畢業(yè)設(shè)要求指標(biāo)點(diǎn)2.4的達(dá)成提供支持。是2.42M2目標(biāo)2：熟練掌握Hadoop、Spark、Storm的基本原理，并能將之應(yīng)用到實(shí)際場(chǎng)景，解決一定的復(fù)雜工程問(wèn)題，為畢業(yè)要求指標(biāo)點(diǎn)5.1的達(dá)成提供支持。是5.13M3目標(biāo)3：深刻理解RDD、MapReduce等技術(shù)的技術(shù)原理，并能根據(jù)其原理，把握大數(shù)據(jù)處理的優(yōu)化方法，為畢業(yè)要求指標(biāo)點(diǎn)7.1的達(dá)成提供支持。是7.1三、課程內(nèi)容序號(hào)章節(jié)號(hào)標(biāo)題課程內(nèi)容/重難點(diǎn)支撐課程目標(biāo)課內(nèi)學(xué)時(shí)教學(xué)方式課外學(xué)時(shí)課外環(huán)節(jié)1第一章大數(shù)據(jù)概述本章重點(diǎn)難點(diǎn)：大數(shù)據(jù)概念、大數(shù)據(jù)的影響、大數(shù)據(jù)計(jì)算模式1.1大數(shù)據(jù)的時(shí)代背景大數(shù)據(jù)相關(guān)的產(chǎn)業(yè)政策；大數(shù)據(jù)的發(fā)展歷程；1.2大數(shù)據(jù)的概念大數(shù)據(jù)的四個(gè)典型特征1.3大數(shù)據(jù)的影響大數(shù)據(jù)對(duì)科學(xué)研究、思維方式、社會(huì)發(fā)展、就業(yè)市場(chǎng)、人才培養(yǎng)方面的影響1.4大數(shù)據(jù)計(jì)算模式批處理計(jì)算；流計(jì)算；圖計(jì)算；查詢分析1.5大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)云計(jì)算簡(jiǎn)介；物聯(lián)網(wǎng)簡(jiǎn)介；大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系M32講授2作業(yè)2第一章大數(shù)據(jù)概述本章重點(diǎn)難點(diǎn)：大數(shù)據(jù)概念、大數(shù)據(jù)的影響、大數(shù)據(jù)計(jì)算模式1.1大數(shù)據(jù)的時(shí)代背景第三次信息化浪潮；大數(shù)據(jù)的發(fā)展歷程；1.2大數(shù)據(jù)的概念大數(shù)據(jù)的四個(gè)典型特征1.3大數(shù)據(jù)的影響大數(shù)據(jù)對(duì)科學(xué)研究、思維方式、社會(huì)發(fā)展、就業(yè)市場(chǎng)、人才培養(yǎng)方面的影響1.4大數(shù)據(jù)計(jì)算模式批處理計(jì)算；流計(jì)算；圖計(jì)算；查詢分析1.5大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)云計(jì)算簡(jiǎn)介；物聯(lián)網(wǎng)簡(jiǎn)介；大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系M32上機(jī)2上機(jī)3第二章分布式數(shù)據(jù)庫(kù)Hbase本章重點(diǎn)難點(diǎn)：Hbase的實(shí)現(xiàn)原理及運(yùn)行機(jī)制2.1Hadoop生態(tài)系統(tǒng)架構(gòu)分布式數(shù)據(jù)庫(kù)簡(jiǎn)介HDFS、HBase、Hive、PigZookeeper、Mahout、Pig等組件的簡(jiǎn)介，Hbase與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的對(duì)比分析2.2Hbase數(shù)據(jù)模型數(shù)據(jù)模型概述；數(shù)據(jù)模型的相關(guān)概念；數(shù)據(jù)坐標(biāo)；概念視圖；物理視圖；面向列的存儲(chǔ)2.3Hbase的實(shí)現(xiàn)原理Hbase的功能組件；表和Region；Region的定位2.4Hbase運(yùn)行機(jī)制Hbase系統(tǒng)架構(gòu)；Region服務(wù)器的工作原理；Store的工作原理；HLog的工作原理2.5Hbase編程實(shí)踐Hbase常用的Shell命令；Hbase常用的JavaAPI及應(yīng)用實(shí)例M32講授2作業(yè)4第二章分布式數(shù)據(jù)庫(kù)Hbase本章重點(diǎn)難點(diǎn)：Hbase的實(shí)現(xiàn)原理及運(yùn)行機(jī)制2.1Hadoop生態(tài)系統(tǒng)架構(gòu)分布式數(shù)據(jù)庫(kù)簡(jiǎn)介HDFS、HBase、Hive、PigZookeeper、Mahout、Pig等組件的簡(jiǎn)介，Hbase與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的對(duì)比分析2.2Hbase數(shù)據(jù)模型數(shù)據(jù)模型概述；數(shù)據(jù)模型的相關(guān)概念；數(shù)據(jù)坐標(biāo)；概念視圖；物理視圖；面向列的存儲(chǔ)2.3Hbase的實(shí)現(xiàn)原理Hbase的功能組件；表和Region；Region的定位2.4Hbase運(yùn)行機(jī)制Hbase系統(tǒng)架構(gòu)；Region服務(wù)器的工作原理；Store的工作原理；HLog的工作原理2.5Hbase編程實(shí)踐Hbase常用的Shell命令；Hbase常用的JavaAPI及應(yīng)用實(shí)例M32上機(jī)2上機(jī)5第三章NoSQL數(shù)據(jù)庫(kù)本章重點(diǎn)難點(diǎn)：NoSQL與關(guān)系型數(shù)據(jù)庫(kù)的比較、NoSQL的三大基石理論3.1NoSQL簡(jiǎn)介NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介3.2NoSQL與關(guān)系數(shù)據(jù)庫(kù)的比較為什么關(guān)系數(shù)據(jù)庫(kù)無(wú)法滿足Web2.0的需求，關(guān)系數(shù)據(jù)庫(kù)的關(guān)鍵特性在Web2.0時(shí)代的局限性3.3NoSQL的四大類型及三大基石理論鍵值數(shù)據(jù)庫(kù)、列族數(shù)據(jù)庫(kù)、文檔數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)的簡(jiǎn)介；CAP、BASE、最終一致性的理論內(nèi)容M22講授2作業(yè)6第三章NoSQL數(shù)據(jù)庫(kù)本章重點(diǎn)難點(diǎn)：NoSQL與關(guān)系型數(shù)據(jù)庫(kù)的比較、NoSQL的三大基石理論3.1NoSQL簡(jiǎn)介NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介3.2NoSQL與關(guān)系數(shù)據(jù)庫(kù)的比較為什么關(guān)系數(shù)據(jù)庫(kù)無(wú)法滿足Web2.0的需求，關(guān)系數(shù)據(jù)庫(kù)的關(guān)鍵特性在Web2.0時(shí)代的局限性3.3NoSQL的四大類型及三大基石理論鍵值數(shù)據(jù)庫(kù)、列族數(shù)據(jù)庫(kù)、文檔數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù)的簡(jiǎn)介；CAP、BASE、最終一致性的理論內(nèi)容M22上機(jī)2上機(jī)7第四章Spark本章重點(diǎn)難點(diǎn)：Spark的架構(gòu)設(shè)計(jì)及基本運(yùn)行流程4.1Spark簡(jiǎn)介Spark簡(jiǎn)介；Spark與Hadoop的對(duì)比4.2Spark運(yùn)行架構(gòu)基本概念；架構(gòu)設(shè)計(jì)；Spark運(yùn)行基本流程；RDD的設(shè)計(jì)與運(yùn)行原理4.3Spark的部署和應(yīng)用方式Spark三種部署方式；“Hadoop+Storm”與Spark的對(duì)比；Hadoop和Spark的統(tǒng)一部署4.4編程實(shí)踐啟動(dòng)SparkShell；SparkRDD基本操作；Spark應(yīng)用程序M22講授2作業(yè)8第四章Spark本章重點(diǎn)難點(diǎn)：Spark的架構(gòu)設(shè)計(jì)及基本運(yùn)行流程4.1Spark簡(jiǎn)介Spark簡(jiǎn)介；Spark與Hadoop的對(duì)比4.2Spark運(yùn)行架構(gòu)基本概念；架構(gòu)設(shè)計(jì)；Spark運(yùn)行基本流程；RDD的設(shè)計(jì)與運(yùn)行原理4.3Spark的部署和應(yīng)用方式Spark三種部署方式；“Hadoop+Storm”與Spark的對(duì)比；Hadoop和Spark的統(tǒng)一部署4.4編程實(shí)踐啟動(dòng)SparkShell；SparkRDD基本操作；Spark應(yīng)用程序M22上機(jī)2上機(jī)9第五章流計(jì)算本章重點(diǎn)難點(diǎn)：Storm的設(shè)計(jì)思想和框架設(shè)計(jì)5.1流計(jì)算概述流計(jì)算概述；靜態(tài)數(shù)據(jù)和流數(shù)據(jù)；批量計(jì)算和實(shí)時(shí)計(jì)算；流計(jì)算的概念；流計(jì)算與Hadoop；流計(jì)算框架5.2流計(jì)算的處理流程流計(jì)算的處理流程概述；數(shù)據(jù)實(shí)時(shí)采集；數(shù)據(jù)實(shí)時(shí)計(jì)算；實(shí)時(shí)查詢服務(wù)5.3流計(jì)算的應(yīng)用應(yīng)用場(chǎng)景1：實(shí)時(shí)分析；應(yīng)用場(chǎng)景2：實(shí)時(shí)交通5.4開源流計(jì)算框架StormStorm簡(jiǎn)介；Storm的特點(diǎn)；Storm的設(shè)計(jì)思想；Storm的框架設(shè)計(jì)M22講授2作業(yè)10第五章流計(jì)算本章重點(diǎn)難點(diǎn)：Storm的設(shè)計(jì)思想和框架設(shè)計(jì)5.1流計(jì)算概述流計(jì)算概述；靜態(tài)數(shù)據(jù)和流數(shù)據(jù)；批量計(jì)算和實(shí)時(shí)計(jì)算；流計(jì)算的概念；流計(jì)算與Hadoop；流計(jì)算框架5.2流計(jì)算的處理流程流計(jì)算的處理流程概述；數(shù)據(jù)實(shí)時(shí)采集；數(shù)據(jù)實(shí)時(shí)計(jì)算；實(shí)時(shí)查詢服務(wù)5.3流計(jì)算的應(yīng)用應(yīng)用場(chǎng)景1：實(shí)時(shí)分析；應(yīng)用場(chǎng)景2：實(shí)時(shí)交通5.4開源流計(jì)算框架StormStorm簡(jiǎn)介；Storm的特點(diǎn)；Storm的設(shè)計(jì)思想；Storm的框架設(shè)計(jì)M22上機(jī)2上機(jī)11第六章圖計(jì)算本章重點(diǎn)難點(diǎn)：Pregel的體系結(jié)構(gòu)及API的掌握6.1圖計(jì)算簡(jiǎn)介傳統(tǒng)圖計(jì)算解決方案的不足之處；圖計(jì)算通用軟件6.2Pregel圖計(jì)算模型Pregel簡(jiǎn)介；有向圖和頂點(diǎn)；頂點(diǎn)之間的消息傳遞；Pregel的計(jì)算過(guò)程6.3Pregel的C++API消息傳遞機(jī)制；Combiner組件；Aggregator機(jī)制；拓?fù)涓淖?；輸入和輸?.4Pregel的體系結(jié)構(gòu)Pregel的執(zhí)行過(guò)程；容錯(cuò)性；Worker組件；Master組件；Aggregator機(jī)制6.5Pregel的應(yīng)用實(shí)例單源最短路徑；二分匹配M22講授2作業(yè)12第六章圖計(jì)算本章重點(diǎn)難點(diǎn)：Pregel的體系結(jié)構(gòu)及API的掌握6.1圖計(jì)算簡(jiǎn)介傳統(tǒng)圖計(jì)算解決方案的不足之處；圖計(jì)算通用軟件6.2Pregel圖計(jì)算模型Pregel簡(jiǎn)介；有向圖和頂點(diǎn)；頂點(diǎn)之間的消息傳遞；Pregel的計(jì)算過(guò)程6.3Pregel的C++API消息傳遞機(jī)制；Combiner組件；Aggregator機(jī)制；拓?fù)涓淖?；輸入和輸?.4Pregel的體系結(jié)構(gòu)Pregel的執(zhí)行過(guò)程；容錯(cuò)性；Worker組件；Master組件；Aggregator機(jī)制6.5Pregel的應(yīng)用實(shí)例單源最短路徑；二分匹配M12上機(jī)2上機(jī)13第七章混合云計(jì)算大數(shù)據(jù)處理平臺(tái)本章重點(diǎn)難點(diǎn)：大數(shù)據(jù)處理平臺(tái)的體系結(jié)構(gòu)設(shè)計(jì)7.1大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)平臺(tái)的體系結(jié)構(gòu)風(fēng)格；體系結(jié)構(gòu)描述；平臺(tái)的質(zhì)量屬性7.2大數(shù)據(jù)處理的流程設(shè)計(jì)數(shù)據(jù)預(yù)處理；數(shù)據(jù)規(guī)范化；數(shù)據(jù)處理算法；數(shù)據(jù)可視化7.3大數(shù)據(jù)處理的案例商業(yè)空調(diào)大數(shù)據(jù)處理；抽油機(jī)系統(tǒng)效率優(yōu)化；視頻大數(shù)據(jù)處理M12講授2作業(yè)14第七章混合云計(jì)算大數(shù)據(jù)處理平臺(tái)本章重點(diǎn)難點(diǎn)：大數(shù)據(jù)處理平臺(tái)的體系結(jié)構(gòu)設(shè)計(jì)7.1大數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)平臺(tái)的體系結(jié)構(gòu)風(fēng)格；體系結(jié)構(gòu)描述；平臺(tái)的質(zhì)量屬性7.2大數(shù)據(jù)處理的流程設(shè)計(jì)數(shù)據(jù)預(yù)處理；數(shù)據(jù)規(guī)范化；數(shù)據(jù)處理算法；數(shù)據(jù)可視化7.3大數(shù)據(jù)處理的案例商業(yè)空調(diào)大數(shù)據(jù)處理；抽油機(jī)系統(tǒng)效率優(yōu)化；視頻大數(shù)據(jù)處理M12上機(jī)2上機(jī)15第八章數(shù)據(jù)可視化本章重點(diǎn)難點(diǎn)：可視化工具的掌握8.1可視化概述什么是數(shù)據(jù)可視化；可視化的發(fā)展歷程；可視化的重要作用8.2可視化工具入門級(jí)工具；信息圖表工具；地圖工具；時(shí)間線工具；高級(jí)分析工具8.3可視化典型案例全球黑客活動(dòng)；互聯(lián)網(wǎng)地圖；編程語(yǔ)言之間的影響力關(guān)系圖；百度遷徙M12講授2作業(yè)16第八章數(shù)據(jù)可視化本章重點(diǎn)難點(diǎn)：可視化工具的掌握8.1可視化概述什么是數(shù)據(jù)可視化；可視化的發(fā)展歷程；可視化的重要作用8.2可視化工具入門級(jí)工具；信息圖表工具；地圖工具；時(shí)間線工具；高級(jí)分析工具8.3可視化典型案例全球黑客活動(dòng)；互聯(lián)網(wǎng)地圖；編程語(yǔ)言之間的影響力關(guān)系圖；百度遷徙M12上機(jī)2上機(jī)四、考核方式序號(hào)考核環(huán)節(jié)操作細(xì)節(jié)總評(píng)占比1作業(yè)根據(jù)本課程大綱重點(diǎn)把握內(nèi)容安排作業(yè)考核環(huán)節(jié)，分為自主選題和教師推薦兩種形式。老師根據(jù)學(xué)生學(xué)習(xí)情況因材施教推薦課題作業(yè)，學(xué)生也可以按照自己的興趣自由擇題。25%2平時(shí)表現(xiàn)實(shí)施遲到、曠課、早退減分制，上課積極交流探討學(xué)術(shù)加分制的原則進(jìn)行平時(shí)表現(xiàn)考核。5%3期末課程項(xiàng)目采用課程答辯的方式進(jìn)行課程系統(tǒng)總結(jié)大數(shù)據(jù)科研技術(shù)成果與本課程學(xué)習(xí)感悟經(jīng)驗(yàn)，按照本課程Hadoop基本構(gòu)架與分布式數(shù)據(jù)庫(kù)HBase、NoSQL數(shù)據(jù)庫(kù)、Spark、流計(jì)算、圖計(jì)算等相關(guān)知識(shí)，學(xué)生進(jìn)行個(gè)人項(xiàng)目進(jìn)展匯報(bào)、項(xiàng)目展示、創(chuàng)新觀點(diǎn)和學(xué)習(xí)心得。70%五、評(píng)分細(xì)則序號(hào)課程目標(biāo)考核環(huán)節(jié)大致占比評(píng)分等級(jí)1M1作業(yè)30%[A,B,C,D]=[90-100,75-8