《大數(shù)據(jù)技術(shù)概論》課程簡介

PAGEPAGE5《大數(shù)據(jù)技術(shù)概論》課程簡介課程編號：課程名稱：大數(shù)據(jù)技術(shù)概論/IntroductiontoBigDatatechnology學(xué)分:2學(xué)時：32（課內(nèi)實驗(踐)：10上機：10課外實踐：）適用專業(yè)：網(wǎng)絡(luò)工程系建議修讀學(xué)期：大三下學(xué)期開課單位：網(wǎng)絡(luò)工程系先修課程：計算機網(wǎng)絡(luò)考核方式與成績評定標準：筆試閉卷考試占70%，考勤、作業(yè)和實驗等平時成績占比30%教材與主要參考書目：內(nèi)容概述：中文：《大數(shù)據(jù)技術(shù)概論》是計算機科學(xué)與技術(shù)，通信工程、電子信息和自動控制專業(yè)等相關(guān)專業(yè)的專業(yè)課程。它是建立在云計算、數(shù)據(jù)挖掘、數(shù)據(jù)結(jié)構(gòu)等知識的基礎(chǔ)上，提高學(xué)生分析問題、解決問題的能力，拓寬專業(yè)知識，為進一步研究和解決實際問題打下基礎(chǔ)。大數(shù)據(jù)技術(shù)是數(shù)據(jù)庫技術(shù)、神經(jīng)網(wǎng)絡(luò)、粗糙集、模糊信息處理系統(tǒng)、機器學(xué)習(xí)等多種學(xué)科的產(chǎn)物。該課程研究如何讓計算機自動、高效地從已有數(shù)據(jù)集中發(fā)現(xiàn)以前未知的、具有潛在應(yīng)用價值的信息或模式，解決數(shù)據(jù)量大、而知識貧乏的矛盾。英文：《IntroductiontoBigDatatechnology》

Introductiontobigdatatechnologyisamajorcourseincomputerscienceandtechnology,communicationengineering,electronicinformationandautomaticcontrolandotherrelatedprofessionalcourses.Itisthefoundationofknowledgeincloudcomputing,datamining,datastructureandsoon,toimprovethestudents'abilitytoanalyzeandsolveproblems,expandingprofessionalknowledge,andlayafoundationforfurtherresearchandsolvepracticalproblems.Bigdatatechnologyistheproductofdatabasetechnology,neuralnetwork,roughset,fuzzyinformationprocessingsystem,machinelearningandsoon.Thiscoursestudieshowtoautomaticallyandefficientlydiscovertheunknownandpotentiallyvaluableinformationorpatternsfromexistingdatasetstosolvethecontradictionbetweenlargeamountofdataandpoorknowledge.《大數(shù)據(jù)技術(shù)概論》教學(xué)大綱課程名稱課程編號學(xué)分/學(xué)時建議開課學(xué)期大數(shù)據(jù)技術(shù)概論2/32大三下學(xué)期先修課程后續(xù)課程開課單位適用專業(yè)數(shù)據(jù)庫系統(tǒng)原理網(wǎng)絡(luò)工程實訓(xùn)網(wǎng)絡(luò)工程系網(wǎng)絡(luò)工程系一、課程性質(zhì)、目的與任務(wù)《《大數(shù)據(jù)技術(shù)概論》是網(wǎng)絡(luò)工程專業(yè)的一門重要課程。本課程主要包括大數(shù)據(jù)技術(shù)的工作原理和配置，并以若干開源框架為實例理解和學(xué)習(xí)。通過本課程，掌握配置開源Hadoop、數(shù)據(jù)挖掘的相關(guān)知識和技術(shù)，讓學(xué)生親身體驗分布式文件系統(tǒng)、分布式計算和分布式數(shù)據(jù)庫的應(yīng)用及實現(xiàn)，從而加深所學(xué)的理論知識的理解，為今后處理實際的問題打下基礎(chǔ)。教學(xué)目標：了解云計算體系結(jié)構(gòu)、服務(wù)層次劃分、基本名詞概念。學(xué)習(xí)Hadoop開源框架的配置原理、深入理解分布式系統(tǒng)RDD、DAG文件格式的存儲方式。熟練掌握MapReduce編程模型和SparkMLib的工作方式，初步具備對實際應(yīng)用領(lǐng)域的方案創(chuàng)新與設(shè)計能力。（對應(yīng)畢業(yè)要求：（3.4、4.2、4.3、5.2、6.3、6.4）本課程目標分為課程教學(xué)和實驗兩部分。1．課程教學(xué)活動對學(xué)生能力培養(yǎng)的安排本課程的目的是提高學(xué)生對大數(shù)據(jù)原理和方法的理解，使他們能分析、理解和掌握大數(shù)據(jù)技術(shù)對于實際應(yīng)用帶來的變革。2．課程實驗對學(xué)生能力培養(yǎng)的安排通過實驗環(huán)節(jié)，以團隊合作方式培養(yǎng)學(xué)生現(xiàn)狀調(diào)研與分析能力、問題發(fā)現(xiàn)與解決能力、書面表達與口頭答辯能力、個人分工與團隊合作能力，通過項目全過程訓(xùn)練強化學(xué)生的問題抽象、發(fā)散思維和實際動手能力。具體要求如下：（1）要求學(xué)生掌握常用大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)集區(qū)別；（4.2）（2）要求學(xué)生能夠配置Hadoop、R語言和Spark的分布式實驗環(huán)境；（4.2、5.2、6.4）（3）要求學(xué)生掌握RDD文件格式的基本特性和工作過程；（3.4、4.1、5.2）（4）要求學(xué)生熟悉MapReduce工作原理和編程模型方式。（3.4、4.1、4.2）（5）要求學(xué)生具備初步應(yīng)用大數(shù)據(jù)技術(shù)進行數(shù)據(jù)分析的能力。（4.1、4.3）二、教學(xué)內(nèi)容及學(xué)時分配課程內(nèi)容教學(xué)要求重點（☆）難點（△）學(xué)時安排實驗學(xué)時上機學(xué)時備注大數(shù)據(jù)概念介紹1.數(shù)據(jù)倉庫基礎(chǔ)知識2.數(shù)據(jù)集市基礎(chǔ)知識3.大數(shù)據(jù)概念4.OLTP與OLAP基礎(chǔ)知識C2DM概述1.DM的任務(wù)和功能2.DM的對象、原理、發(fā)展B☆22開源云計算體系和大數(shù)據(jù)1.Hadoop框架2.MongoDB3.HDFS文件格式4.R語言、Python語言和框架C☆Δ44面向?qū)傩缘臍w納學(xué)習(xí)技術(shù)1.概念層次(樹)的基本概念2.(名稱型)概念層次的自動生成3.數(shù)值(字)型層次(結(jié)構(gòu))的自動生成A☆2DM中的粗糙集方法1.RS的基本模型2.基于RS的數(shù)據(jù)歸約A☆Δ2Spark系統(tǒng)1.RDD、DAG、Executor概念2.Scala語言3.SparkMLib簡介4.機器學(xué)習(xí)工作流A☆Δ42DM技術(shù)1.基于神經(jīng)網(wǎng)絡(luò)技術(shù)的數(shù)據(jù)挖掘方法2.基于遺傳算法的數(shù)據(jù)挖掘3.分布式數(shù)據(jù)挖掘和空間數(shù)據(jù)挖掘B☆2大數(shù)據(jù)技術(shù)在不同領(lǐng)域的應(yīng)用1.大數(shù)據(jù)技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用2.大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用3.大數(shù)據(jù)技術(shù)在公安領(lǐng)域的應(yīng)用CΔ42（教學(xué)基本要求：A-熟練掌握；B-掌握；C-了解）三、建議實驗（上機）項目及學(xué)時分配實驗名稱學(xué)時數(shù)據(jù)采集、過濾和清洗2Scala語言運行環(huán)境2基于SparkMLib的推薦系統(tǒng)2R語言運行環(huán)境搭建2大數(shù)據(jù)技術(shù)在金融領(lǐng)域的應(yīng)用2其中課堂教學(xué):通過適當增刪教材內(nèi)容，歸納整理課程知識體系，學(xué)生對不好理解的抽象概念、原理、方法的教學(xué)其中課堂教學(xué):通過適當增刪教材內(nèi)容，歸納整理課程知識體系，學(xué)生對不好理解的抽象概念、原理、方法的教學(xué)注重理解消化；通過收集資料，豐富課件，保證教學(xué)能體現(xiàn)《云計算概論》的最新發(fā)展；結(jié)合答疑、作業(yè)批改，進行必要的上機實驗。課堂授課采用多媒體課件輔以板書形式。本課程安排實驗：以小組方式開展實驗，實驗內(nèi)容以開源框架案例驅(qū)動為需求。講課教師為每個小組提供咨詢，檢查工作進度，幫助學(xué)生改善方案，從而使學(xué)生更好地解決報告中的問題。五、考核方式與成績評定標準課程考核成績采用平時成績+期終考試成績相結(jié)合的方式，平時成績占課程考核成績的30%，平時成績考核采用作業(yè)、實驗和報告相結(jié)合的方式；期終考試成績占課程考核成績的70%，期終考試試卷對應(yīng)該課程支撐畢業(yè)要求指標點的情況如下表所示：課程支撐畢業(yè)要求指標點在試卷中的相應(yīng)分數(shù)指標點3.415指標點4.120指標點4.215指標點4.315指標點5.25指標點6.315指標點6.415總計100六、教材與主要參考書目[1].《數(shù)據(jù)挖掘一概念與技術(shù)DataMin：ConceptsandTechniques》，(加)JiaweiHah，Michelinekarnber著，高等教育出版社，2001年5月第l版。[2].《數(shù)據(jù)挖掘：概念與技術(shù)DataMining：ConceptsandTechniques》，(加)JiaweiHan，Michelinekamber著，范明、孟小峰等譯，機械工業(yè)出