云計算與大數(shù)據(jù)基礎教學大綱

云計算與大數(shù)據(jù)基礎教學大綱適用范圍：2019版本科人才培養(yǎng)方案課程代碼：08140171課程性質：專業(yè)必修課學分：2學分學時：32學時（其中：理論32學時，實驗0學時）先修課程：后續(xù)課程：數(shù)據(jù)采集，數(shù)據(jù)挖掘，數(shù)據(jù)可視化等適用專業(yè)：數(shù)據(jù)科學與大數(shù)據(jù)技術等教材：《大數(shù)據(jù)技術基礎》，薛志東編著，人民郵電出版社，2018.8開課單位：計算機科學與技術學院一、課程的性質與任務課程性質：數(shù)據(jù)科學與大數(shù)據(jù)技術等專業(yè)的專業(yè)必修課。課程任務：其任務主要是把握大數(shù)據(jù)技術的發(fā)展趨勢，熟悉本專業(yè)的前沿知識和研究熱點。該課程講述了大數(shù)據(jù)的發(fā)展簡史、大數(shù)據(jù)技術的基本內(nèi)容和主要研究領域、大數(shù)據(jù)技術的熱點應用等。要求學生掌握基本大數(shù)據(jù)技術的相關概念，掌握大數(shù)據(jù)分析的基本創(chuàng)新方法，能夠針對創(chuàng)新點開展切實有效的應用開發(fā)。該課程緊密聯(lián)系大數(shù)據(jù)技術中的前沿內(nèi)容和所涉及的新技術，例如Hadoop分布式系統(tǒng)、Nosql數(shù)據(jù)庫、MapReduce分布式編程、數(shù)據(jù)采集工具、數(shù)據(jù)分析及數(shù)據(jù)可視化等，學生通過該課程的學習能夠了解基本的大數(shù)據(jù)技術和解決實際問題的基本工具和方法。二、課程的基本內(nèi)容及要求（一）大數(shù)據(jù)基礎概念1．課程教學內(nèi)容（1）大數(shù)據(jù)的相關概念；（2）大數(shù)據(jù)處理的基礎技術；（3）流行大數(shù)據(jù)技術；（4）大數(shù)據(jù)解決方案。（5）大數(shù)據(jù)發(fā)展現(xiàn)狀和趨勢2．課程重點難點重點:了解大數(shù)據(jù)技術的基本內(nèi)容；難點:了解本專業(yè)的前沿知識和發(fā)展趨勢。3．課程教學要求（1）了解大數(shù)據(jù)技術的特點、內(nèi)容、發(fā)展歷史及未來；（2）了解大數(shù)據(jù)技術的基本內(nèi)容和主要研究領域，熟悉本專業(yè)的前沿知識和研究熱點。（二）大數(shù)據(jù)軟件基礎1．課程教學內(nèi)容（1）Linux基礎；（2）Java、Python語言基礎。（3）SQL語言基礎2．課程重點難點重點:大數(shù)據(jù)技術的主流編程語言的熟練；難點:Linux操作系統(tǒng)的命令。3．課程教學要求（1）了解掌握Java和Python語言的主要知識點；（2）了解掌握SQL語言的主要知識點；（3）掌握虛擬機Linux系統(tǒng)集群的搭建及相關操作。（三）大數(shù)據(jù)存儲技術1．課程教學內(nèi)容（1）理解HDFS分布式文件系統(tǒng)；（2）NoSQL數(shù)據(jù)庫的概念；（3）Hadoop、Hbase等平臺的配置及使用。2．課程重點難點重點:Nosql數(shù)據(jù)庫的原理；難點:掌握Hadoop生態(tài)系統(tǒng)3．課程教學要求（1）理解Hadoop生態(tài)系統(tǒng)；（2）熟練掌握Hadoop和Hbase等平臺的使用。（四）分布式計算框架1．課程教學內(nèi)容（1）MapReduce框架概述（2）深入理解MapReduce框架的運行過程（3）任務調度框架。2．課程重點難點重點:MapReduce框架的原理和方法；難點:任務調度概念的理解。3．課程教學要求（1）理解MapReduce框架的原理和方法。（2）了解MapReduce編程工具。（五）數(shù)據(jù)采集與預處理1．課程教學內(nèi)容（1）數(shù)據(jù)采集原理；（2）數(shù)據(jù)采集編碼框架；（3）數(shù)據(jù)采集工具2．課程重點難點重點:數(shù)據(jù)采集的基本概念和基本方法；難點:數(shù)據(jù)采集的實現(xiàn)與基本軟件設計。3．課程教學要求（1）數(shù)據(jù)采集的基本概念、基本方法；（2）掌握數(shù)據(jù)采集程序的原理與基本軟件設計，基本創(chuàng)新方法。。（六）數(shù)據(jù)倉庫與聯(lián)機分析處理1．課程教學內(nèi)容（1）數(shù)據(jù)倉庫的概念（2）數(shù)據(jù)模型設計（3）數(shù)據(jù)倉庫及聯(lián)機分析的工具2．課程重點難點重點:數(shù)據(jù)倉庫的基本概念和基本方法；難點:聯(lián)機分析的工具和基本設計方法。3．課程教學要求（1）掌握數(shù)據(jù)倉庫的基本概念和基本方法。；（2）了解一些聯(lián)機分析的工具和方法，掌握相應的應用實例。（七）數(shù)據(jù)分析與挖掘技術1．課程教學內(nèi)容（1）數(shù)據(jù)分析的基本概念（2）推薦系統(tǒng)（3）分類系統(tǒng)（4）聚類系統(tǒng)2．課程重點難點重點:數(shù)據(jù)分析的基本概念、基本特征、一般結構等基本內(nèi)容；難點:推薦、分類、聚類系統(tǒng)的設計和開發(fā)方法。3．課程教學要求（1）掌握數(shù)據(jù)分析的基本概念、基本特征、一般結構等基本內(nèi)容；（2）掌握推薦、分類、聚類系統(tǒng)設計和開發(fā)方法，了解專家系統(tǒng)的應用例子。（八）數(shù)據(jù)可視化技術1．課程教學內(nèi)容（1）數(shù)據(jù)可視化概述；（2）數(shù)據(jù)可視化工具；（3）與大數(shù)據(jù)平臺集成。2．課程重點難點重點:數(shù)據(jù)可視化工具的應用；難點:數(shù)據(jù)可視化與大數(shù)據(jù)工程的結合。3．課程教學要求（1）掌握數(shù)據(jù)可視化的基本概念；（2）了解常用數(shù)據(jù)可視化工具的應用；（3）掌握數(shù)據(jù)工程中數(shù)據(jù)可視化的綜合應用。（九）大數(shù)據(jù)安全基礎及大數(shù)據(jù)技術發(fā)展的未來1．課程教學內(nèi)容（1）大數(shù)據(jù)安全的挑戰(zhàn)與對策；（2）基礎設施安全。（3）數(shù)據(jù)管理安全（4）安全分析及隱私保護2．課程重點難點重點:大數(shù)據(jù)基礎設置的安全；難點:大數(shù)據(jù)平臺的安全分析和隱私保護。3．課程教學要求（1）了解大數(shù)據(jù)基礎設置的安全的概念；（2）掌握大數(shù)據(jù)平臺的安全分析和隱私保護方法。（3）理解大數(shù)據(jù)發(fā)展方向可能遇到的問題三、課程學時分配教學章節(jié)理論實踐（驗）討論、習題一、大數(shù)據(jù)基本概念2二、大數(shù)據(jù)軟件基礎4三、大數(shù)據(jù)存儲技術4四、分布式計算框架2五、數(shù)據(jù)采集與預處理4六、數(shù)據(jù)倉庫與聯(lián)機分析處理4七、數(shù)據(jù)分析與挖掘技術4八、數(shù)據(jù)可視化技術4九、大數(shù)據(jù)安全基礎4總計32四、課程考核方式與要求考核方式：本課程主要以課程論文、作業(yè)評價、課內(nèi)實驗、階段測驗、期末筆試等方式對學生進行考核評價。考核基本要求：考核總成績由期末試卷成績和過程性評價成績組成。其中：期末筆試考核成績?yōu)?00分（權重60%）；課程論文、作業(yè)評價、課堂討論、課內(nèi)實驗、階段測驗等過程性評價成績?yōu)?00分（權重40%）。過程性評價和考試試題分值分配應與教學大綱各章節(jié)的學時基本成比例。五、課程資源庫王振武編著,《大數(shù)據(jù)挖掘與應用》,清華大學出版社,2017年1月傅德謙編著,《大數(shù)據(jù)離線分析》,清華大學出版社,2017年3月王國胤編著,《大數(shù)據(jù)挖掘及應用》,清華大學出版社,2017年6月呂云翔編著,《大數(shù)據(jù)基礎及應用》,清華大學出版社,2016年12月覃雄派,王會舉,杜小勇,等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學報,2012,23(1):32-45.杜艷綏.基于MapReduce的大數(shù)據(jù)時代數(shù)據(jù)處理技術研究[J].電腦知識與技術,2015(10):1-2.丁伶敏,呂建友.探討云計算中大數(shù)據(jù)的MapReduce處理方法[J].物聯(lián)網(wǎng)技術,2014(9):86-88.Sch?lkopfB,PlattJ,HofmannT.Map-ReduceforMachineLearningonMulticore[J].AdvancesinNeuralInformationProcessingSystem,