《大數(shù)據(jù)技術(shù)原理與應(yīng)用》課程教學(xué)大綱

1、大數(shù)據(jù)技術(shù)原理與應(yīng)用一、課程概況所屬專業(yè):軟件工程開(kāi)課單位：數(shù)學(xué)計(jì)算機(jī)科學(xué)學(xué)院課程類型:院系選修課程課程代碼:07494120開(kāi)課學(xué)期:5學(xué)分：3學(xué)時(shí)：68（34+34）核心課程:否擬使用教材：林子雨 大數(shù)據(jù)技術(shù)原理與應(yīng)用：概念、存儲(chǔ)、處理、分析與應(yīng)用.人民郵電出版社.2015.08 國(guó)內(nèi)(外)現(xiàn)有教材：王鵬.云計(jì)算與大數(shù)據(jù)技術(shù).人民郵電出版社.2014.05 林子雨 大數(shù)據(jù)技術(shù)原理與應(yīng)用：概念、存儲(chǔ)、處理、分析與應(yīng)用.人民郵電出版社.2015.08王星. 大數(shù)據(jù)分析：方法與應(yīng)用清華大學(xué)出版社.2013.09Holden Karau.Spark快速大數(shù)據(jù)分析.人民郵電出版社.2015.09陸嘉

2、恒. Hadoop實(shí)戰(zhàn). 機(jī)械工業(yè)出版社. 2012.11曾大聃, 周傲英(譯). Hadoop權(quán)威指南中文版. 清華大學(xué)出版社. 2011.07Nick Dimiduk.HBase實(shí)戰(zhàn)中文版.人民郵電出版社.2013.09學(xué)習(xí)參考資料專著教材類：大數(shù)據(jù)時(shí)代、大數(shù)據(jù) 思維與決策、大數(shù)據(jù)可視化：重構(gòu)智慧社會(huì)、大數(shù)據(jù)、數(shù)據(jù)之巔報(bào)紙期刊類：互聯(lián)網(wǎng)周刊、物聯(lián)網(wǎng)與云計(jì)算網(wǎng)絡(luò)資源類：/、/、/、/android二、課程描述本門課程是軟件工程類專業(yè)選修課，屬于大數(shù)據(jù)技術(shù)入門課程，為學(xué)生搭建起通向“大數(shù)據(jù)知識(shí)空間”的橋梁和紐帶，以“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)實(shí)踐、了解相關(guān)應(yīng)用”為原則，為學(xué)生在大數(shù)據(jù)

3、領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、NoSQL數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)、分布式并行編程模型MapReduce、流計(jì)算、圖計(jì)算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排了入門級(jí)的實(shí)踐操作，讓學(xué)生更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。三、課程目標(biāo)建立對(duì)大數(shù)據(jù)知識(shí)體系的輪廓性認(rèn)識(shí)，了解大數(shù)據(jù)發(fā)展歷程、基本概念、主要影響、應(yīng)用領(lǐng)域、關(guān)鍵技術(shù)、計(jì)算模式和產(chǎn)業(yè)發(fā)展，并了解云計(jì)算、物聯(lián)網(wǎng)的概念及其與大數(shù)據(jù)之間的緊密關(guān)系；了

4、解Hadoop的發(fā)展歷史、重要特性和應(yīng)用現(xiàn)狀，Hadoop項(xiàng)目結(jié)構(gòu)及其各個(gè)組件，并熟練掌握Hadoop平臺(tái)的安裝和使用方法；了解分布式文件系統(tǒng)的基本概念、結(jié)構(gòu)和設(shè)計(jì)需求，掌握Hadoop分布式文件系統(tǒng)HDFS的重要概念、體系結(jié)構(gòu)、存儲(chǔ)原理和讀寫(xiě)過(guò)程，并熟練掌握分布式文件系統(tǒng)HDFS的使用方法；了解分布式數(shù)據(jù)庫(kù)HBase的訪問(wèn)接口、數(shù)據(jù)模型、實(shí)現(xiàn)原理和運(yùn)行機(jī)制，并熟練掌握HBase的使用方法；了解NoSQL數(shù)據(jù)庫(kù)與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)的差異、NoSQL數(shù)據(jù)庫(kù)的四大類型以及NoSQL數(shù)據(jù)庫(kù)的三大基石；基本掌握Redis、MongoDB等NoSQL數(shù)據(jù)庫(kù)的使用方法；了解云數(shù)據(jù)庫(kù)的概念、基本原理和代表性產(chǎn)

5、品的使用方法；熟練掌握分布式編程框架MapReduce的基本原理和編程方法；了解流計(jì)算與批處理的區(qū)別，以及流計(jì)算的基本原理；了解圖計(jì)算的基本原理；了解數(shù)據(jù)可視化的概念和相關(guān)工具；能夠了解大數(shù)據(jù)在互聯(lián)網(wǎng)等領(lǐng)域的典型應(yīng)用。四、教學(xué)要求通過(guò)本課程學(xué)習(xí)，使學(xué)生掌握大數(shù)據(jù)的采集、傳輸、處理和應(yīng)用的技術(shù)，了解Hadoop 分布式系統(tǒng)基礎(chǔ)架構(gòu)，掌握HDFS 和MapReduce 技術(shù)。了解HBase 、Hive 、Zookeeper 、Avro 、Pig 等相關(guān)大數(shù)據(jù)技術(shù)，與實(shí)際工程應(yīng)用相結(jié)合，構(gòu)建相應(yīng)的云計(jì)算平臺(tái)。教學(xué)應(yīng)當(dāng)結(jié)合實(shí)際實(shí)驗(yàn)條件，培養(yǎng)學(xué)生實(shí)踐動(dòng)手能力，了解大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀，促進(jìn)大數(shù)據(jù)相關(guān)教學(xué)改

6、革。在學(xué)習(xí)過(guò)程中轉(zhuǎn)換角色讓學(xué)生真正的成為學(xué)習(xí)主人，通過(guò)啟發(fā)、點(diǎn)撥、設(shè)疑及解惑，激發(fā)學(xué)生的思維能力和創(chuàng)造能力; 通過(guò)輔助大量的實(shí)戰(zhàn)練習(xí)，鍛煉學(xué)生的思考能力和動(dòng)手的熟練程度。通過(guò)學(xué)習(xí)小組討論、交流的過(guò)程，能真正做到提高學(xué)生的溝通表達(dá)能力。采取立體監(jiān)督學(xué)生記筆記，加注釋，寫(xiě)總結(jié)，引導(dǎo)學(xué)生提高自學(xué)能力，對(duì)新技術(shù)有學(xué)習(xí)、鉆研精神，有較強(qiáng)的實(shí)踐能力。具有認(rèn)真負(fù)責(zé)、嚴(yán)謹(jǐn)細(xì)致的工作態(tài)度和工作作風(fēng)，具備良好的團(tuán)隊(duì)協(xié)作和溝通交流能力。五、考核方式及要求為實(shí)現(xiàn)課程教學(xué)目標(biāo)，本門課程考核方式及要求為：出勤率占20%，點(diǎn)到不少于5次，其中缺席3次，本門課按無(wú)成績(jī)計(jì)算；課程大作業(yè)1次，按批改成績(jī)20%折算后計(jì)入總成績(jī)；期

7、末考試采用卷面考試形式，占總成績(jī)的60%。六、課程內(nèi)容第一單元（講、章）：大數(shù)據(jù)概述（授課時(shí)間：第五學(xué)期第一周）教學(xué)目標(biāo)：掌握大數(shù)據(jù)基本概念與關(guān)鍵技術(shù)、大數(shù)據(jù)與云計(jì)算以及物聯(lián)網(wǎng)之間的關(guān)系，理解大數(shù)據(jù)計(jì)算模式，了解數(shù)據(jù)對(duì)當(dāng)今各行業(yè)帶來(lái)的各種影響。教學(xué)重點(diǎn)：數(shù)據(jù)爆炸對(duì)網(wǎng)絡(luò)帶寬、cpu運(yùn)算能力以及存儲(chǔ)容量產(chǎn)生的影響和促進(jìn)。大數(shù)據(jù)發(fā)展的3個(gè)階段：萌芽期、成熟期、大規(guī)模應(yīng)用期。教學(xué)難點(diǎn)：對(duì)大數(shù)據(jù)4個(gè)V（Volume、Velocity、Variety、Value）的理解，非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，大數(shù)據(jù)的思維方式，大數(shù)據(jù)的關(guān)鍵技術(shù)。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要

8、內(nèi)容：（1）大數(shù)據(jù)時(shí)代（2）大數(shù)據(jù)概念（3）大數(shù)據(jù)的影響（4）大數(shù)據(jù)的應(yīng)用（5）大數(shù)據(jù)關(guān)鍵技術(shù)（6）大數(shù)據(jù)計(jì)算模式（7）大數(shù)據(jù)產(chǎn)業(yè)（8）大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系.學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第25頁(yè)練習(xí)題1-12并在下周課前提交第二單元（講、章）：大數(shù)據(jù)處理架構(gòu)Hadoop（授課時(shí)間：第五學(xué)期第二周）教學(xué)目標(biāo)：了解Hadoop發(fā)展歷程、應(yīng)用現(xiàn)狀以及使用優(yōu)勢(shì)，掌握Hadoop安裝方法，并理解其項(xiàng)目文件結(jié)構(gòu)，大數(shù)據(jù)基本概念與關(guān)鍵技術(shù)、大數(shù)據(jù)與云計(jì)算以及物聯(lián)網(wǎng)之間的關(guān)系，理解大數(shù)據(jù)計(jì)算模式，了解數(shù)據(jù)對(duì)當(dāng)今各行業(yè)帶來(lái)的各種影響。教學(xué)重點(diǎn)：MapReduce思想，Hadoop在企業(yè)

9、中的應(yīng)用架構(gòu)，Hadoop的安裝和配置，Avro、Zookeeper、HDFS、HBase、Hive等項(xiàng)目的使用。教學(xué)難點(diǎn)：Hadoop各個(gè)組件的構(gòu)成，Hadoop集群的部署和配置及使用，基準(zhǔn)測(cè)試，云計(jì)算環(huán)境中使用Hadoop。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）Hadoop概述（2）Hadoop項(xiàng)目結(jié)構(gòu)（3）Hadoop的安裝與使用（4）Hadoop集群的部署與使用學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第36頁(yè)練習(xí)題1-9并在下周課前提交第三單元（講、章）：分布式文件系統(tǒng)HDFS（授課時(shí)間：第五學(xué)期第三周）教學(xué)目標(biāo)：了解分布式文

10、件系統(tǒng)概念，理解HDFS存儲(chǔ)原理及體系結(jié)構(gòu)，掌握HDFS數(shù)據(jù)讀寫(xiě)過(guò)程并能夠編程實(shí)現(xiàn)。了解GFS概念以及HDFS和GFS之間的關(guān)系。教學(xué)重點(diǎn)：名稱節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)，流數(shù)據(jù)的讀寫(xiě)，大規(guī)模文件存儲(chǔ)，HDFS主要組件的功能，HDFS常用命令，HDFS冗余數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)存放、數(shù)據(jù)讀取和數(shù)據(jù)復(fù)制策略。教學(xué)難點(diǎn)：HDFS的塊概念，主從（Master/Slave）結(jié)構(gòu)模型，名稱節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)的理解，數(shù)據(jù)可靠性的保障，錯(cuò)誤恢復(fù)機(jī)制。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）分布式文件系統(tǒng)（2）HDFS簡(jiǎn)介（3）HDFS相關(guān)概念（4）HDFS體系結(jié)構(gòu)（5）HDFS存

11、儲(chǔ)原理（6）HDFS數(shù)據(jù)讀寫(xiě)過(guò)程（7）HDFS編程實(shí)踐學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第58頁(yè)練習(xí)題1-2并在下周課前提交第四單元（講、章）：HBase、NoSQL和云數(shù)據(jù)庫(kù)（授課時(shí)間：第五學(xué)期第四到六周）教學(xué)目標(biāo)：了解BigTable相關(guān)概念，理解HBase與傳統(tǒng)數(shù)據(jù)庫(kù)之間的關(guān)系和區(qū)別，掌握大規(guī)模數(shù)據(jù)的離線批量處理技術(shù)；掌握NoSQL鍵值數(shù)據(jù)庫(kù)、列族數(shù)據(jù)庫(kù)、文檔數(shù)據(jù)庫(kù)和圖形數(shù)據(jù)庫(kù)的技術(shù)原理以及應(yīng)用場(chǎng)合，了解云數(shù)據(jù)庫(kù)概念以及與其他類型數(shù)據(jù)庫(kù)的關(guān)系，理解云數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)。教學(xué)重點(diǎn)：HBase數(shù)據(jù)模型和數(shù)據(jù)坐標(biāo)，面向列的存儲(chǔ)，概念視圖和物理視圖，HBase上構(gòu)建SQL引擎，HBase

12、二級(jí)索引；NoSQL的CAP、BASE和最終一致性三大理論。云數(shù)據(jù)庫(kù)的特性，UMP系統(tǒng)架構(gòu)。教學(xué)難點(diǎn)：HBase的實(shí)現(xiàn)原理，HBase的功能組件，表和Region以及Region的定位，Store和HLog工作原理。融合傳統(tǒng)關(guān)系和NoSQL優(yōu)點(diǎn)的NewSQL數(shù)據(jù)庫(kù)。分庫(kù)和分表，數(shù)據(jù)安全。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）HBase訪問(wèn)接口、數(shù)據(jù)模型（2）HBase實(shí)現(xiàn)原理、運(yùn)行機(jī)制、應(yīng)用方案（3）NoSQL與關(guān)系數(shù)據(jù)庫(kù)的比較（4）NoSQL的四大類型和三大基石（5）從NoSQL到NewSQL數(shù)據(jù)庫(kù)（6）云數(shù)據(jù)庫(kù)產(chǎn)品及系統(tǒng)架構(gòu)（7）Ama

13、zon AWS和SQLAzure云數(shù)據(jù)庫(kù).學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第86頁(yè)練習(xí)題1-19并在下周課前提交第五單元（講、章）：MapReduce（授課時(shí)間：第五學(xué)期第七周）教學(xué)目標(biāo)：了解分布式并行編程概念，理解MapReduce模型，并掌握Map和Reduce兩個(gè)過(guò)程，掌握大數(shù)據(jù)基本概念與關(guān)鍵技術(shù)、大數(shù)據(jù)與云計(jì)算以及物聯(lián)網(wǎng)之間的關(guān)系，理解大數(shù)據(jù)計(jì)算模式，了解數(shù)據(jù)對(duì)當(dāng)今各行業(yè)帶來(lái)的各種影響。教學(xué)重點(diǎn)：MPI并行計(jì)算框架和MapReduce的對(duì)比，“分而治之”策略，“計(jì)算向數(shù)據(jù)靠攏”的理念，Master/Slave架構(gòu)，資源監(jiān)控和作業(yè)調(diào)度。教學(xué)難點(diǎn)：MapReduce體系結(jié)構(gòu)的

14、四大部分：Client、JobTracker、TaskTracker、Task，Split過(guò)程和Shuffle過(guò)程，海量數(shù)據(jù)集的計(jì)算。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）MapReduce體系結(jié)構(gòu)（2）MapReduce工作流程（3）MapReduce的具體應(yīng)用.學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第104頁(yè)練習(xí)題1-16并在下周課前提交第六單元（講、章）：流計(jì)算和圖計(jì)算（授課時(shí)間：第五學(xué)期第八到九周）教學(xué)目標(biāo)：了解靜態(tài)數(shù)據(jù)和流數(shù)據(jù)的概念，掌握數(shù)據(jù)挖掘和OLAP分析工具的使用，理解流計(jì)算系統(tǒng)的特性，理解數(shù)據(jù)采集系統(tǒng)的基本框架。理

15、解Pregel圖計(jì)算框架，掌握Pregel的計(jì)算過(guò)程。教學(xué)重點(diǎn)：兩種計(jì)算模式：批量計(jì)算和實(shí)時(shí)計(jì)算，傳統(tǒng)數(shù)據(jù)處理流程和流計(jì)算數(shù)據(jù)處理流程的不同點(diǎn)。Storm的設(shè)計(jì)思想和框架結(jié)構(gòu)。Pregel解決圖計(jì)算的優(yōu)勢(shì)。教學(xué)難點(diǎn)：流計(jì)算框架的理解，流計(jì)算的三個(gè)階段：實(shí)時(shí)采集、實(shí)時(shí)計(jì)算、實(shí)時(shí)查詢，“超步”迭代，分布式圖計(jì)算框架。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）流計(jì)算處理流程及應(yīng)用（2）流計(jì)算開(kāi)源框架Storm（3）Storm、Spark Streaming和Samza應(yīng)用場(chǎng)景（4）Pregel圖計(jì)算模型和C+API（5）Pregel的體系結(jié)構(gòu)和應(yīng)用實(shí)

16、例（6）Pregel和MapReduce實(shí)現(xiàn)PageRank算法的對(duì)比（7）Hama的安裝和使用學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第125頁(yè)練習(xí)題1-16并在下周課前提交第七單元（講、章）：數(shù)據(jù)可視化以及在互聯(lián)網(wǎng)領(lǐng)域的應(yīng)用（授課時(shí)間：第五學(xué)期第十到十一周）教學(xué)目標(biāo)：了解數(shù)據(jù)可視化的發(fā)展歷程，理解其重要作用，掌握數(shù)據(jù)可視化的各種方法，理解長(zhǎng)尾理論，掌握不同類型的推薦方法，。教學(xué)重點(diǎn)：信息圖表工具，地圖工具，時(shí)間線工具，推薦系統(tǒng)的三大模塊：用戶建模模塊、推薦對(duì)象模塊、推薦算法模塊，計(jì)算相似度矩陣，推薦結(jié)果展示。教學(xué)難點(diǎn)：Weka、Gephi等高級(jí)分析工具的使用，個(gè)性化推薦算法，基于用戶

17、的協(xié)同過(guò)濾和基于物品的協(xié)同過(guò)濾，UserCF算法和ItemCF算法的對(duì)比。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）可視化工具（2）可視化典型案例（3）可視化工具實(shí)踐（4）推薦算法協(xié)同過(guò)濾（5）協(xié)同過(guò)濾實(shí)踐電影推薦系統(tǒng)學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第147頁(yè)練習(xí)題1-22并在下周課前提交第八單元（講、章）：基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)Hive（授課時(shí)間：第五學(xué)期第十二到十三周）教學(xué)目標(biāo)：了解數(shù)據(jù)倉(cāng)庫(kù)概念以及傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)面臨的挑戰(zhàn)，理解Hive與Hadoop生態(tài)系統(tǒng)中其他組件的關(guān)系，掌握Hive與傳統(tǒng)數(shù)據(jù)庫(kù)的對(duì)比分析方法，掌握Hiv

18、e的部署和應(yīng)用。教學(xué)重點(diǎn)：Data Warehouse概念的理解，Hive處理海量數(shù)據(jù)的方式，Hive提取、轉(zhuǎn)換、加載數(shù)據(jù)的工具的使用方法，Impala與Hive的比較，Hive的安裝與配置。教學(xué)難點(diǎn)：Hive在企業(yè)大數(shù)據(jù)分析平臺(tái)中的應(yīng)用，SQL語(yǔ)句轉(zhuǎn)換成MapReduce作業(yè)的基本原理以及工作過(guò)程，Impala系統(tǒng)架構(gòu)和查詢執(zhí)行過(guò)程，Hive的基本操作。學(xué) 時(shí)：課堂教學(xué)2學(xué)時(shí)，課外自主學(xué)習(xí)時(shí)間不少于2學(xué)時(shí)教學(xué)方法：講授法、演示法主要內(nèi)容：（1）Hive系統(tǒng)架構(gòu)（2）Hive工作原理（3）Hive HA基本原理（4）Impala.學(xué)習(xí)方法：小組討論、實(shí)驗(yàn)操作課后作業(yè)：完成教材第166頁(yè)練習(xí)題1-35并在下周課前提交第九單元（講、章）：Hadoop結(jié)構(gòu)再探討（授課時(shí)間：第五學(xué)期第十四到十五周）教學(xué)目標(biāo)：了解Hadoop的局限與不足，掌握針對(duì)Hadoop的改進(jìn)和提升，理解YARN的設(shè)計(jì)思路和體系結(jié)構(gòu)，熟悉YARN的工作流程，理解“一個(gè)集群多個(gè)框架”的思想。教學(xué)重點(diǎn)：Hadoop核心組件MapReduce和HDFS的架構(gòu)設(shè)計(jì)改進(jìn)，基于內(nèi)存的并行編程框架，工作流和協(xié)作服務(wù)引擎，YARN框架和MapReduce框架的對(duì)比分析。教學(xué)難點(diǎn)：Hadoop生態(tài)系統(tǒng)