大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)課程教學(xué)大綱.doc

1、大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)教學(xué)大綱學(xué)時： 60代碼：適用專業(yè)：制定：審核：批準(zhǔn)：一、課程的地位、性質(zhì)和任務(wù)大數(shù)據(jù)技術(shù)的發(fā)展，已被列為國家重大發(fā)展戰(zhàn)略。而在過去的幾年里，無論是聚焦大數(shù)據(jù)發(fā)展的促進(jìn)大數(shù)據(jù)發(fā)展行動綱要 ，還是“十三五”規(guī)劃中都深刻體現(xiàn)了政府對大數(shù)據(jù)產(chǎn)業(yè)和應(yīng)用發(fā)展的重視。目前國內(nèi)大數(shù)據(jù)發(fā)展還處于加速期、轉(zhuǎn)型期，數(shù)據(jù)與傳統(tǒng)產(chǎn)業(yè)的融合還處于起步階段，各行業(yè)對大數(shù)據(jù)分析和挖掘的應(yīng)用還不理想。但隨著市場競爭的加劇，各行業(yè)對大數(shù)據(jù)技術(shù)研究的熱情越來越高，在未來幾年，各領(lǐng)域的數(shù)據(jù)分析都將大規(guī)模應(yīng)用。本課程在注重大數(shù)據(jù)時代應(yīng)用環(huán)境前提下，考慮大數(shù)據(jù)處理分析需求多樣復(fù)雜的基本情況，從初學(xué)者角度出發(fā)， 以輕

2、量級理論、 豐富的實(shí)例對比性地介紹大數(shù)據(jù)常用計算模式的各種系統(tǒng)和工具?？紤]到當(dāng)前大數(shù)據(jù)發(fā)展處于起步并逐步趕超先進(jìn)的階段，其應(yīng)用領(lǐng)域豐富廣泛，在教學(xué)過程中應(yīng)注重掌握大數(shù)據(jù)分析的實(shí)踐操作。本課程通過豐富簡單易上手的實(shí)例，讓學(xué)生能夠切實(shí)體會和掌握各種類型工具的特點(diǎn)和應(yīng)用。二、課程教學(xué)基本要求1. 了解大數(shù)據(jù)的發(fā)展和基本概念，理解并掌握大數(shù)據(jù)的特征及主要技術(shù)層面。2. 掌握 Scrapy 環(huán)境的搭建，了解網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程，熟悉爬蟲項(xiàng)目的創(chuàng)建。3.深刻了解 hadoop 的基礎(chǔ)理論，理解并掌握Hadoop單機(jī)及集群環(huán)境的部署方法。4.掌握 HDFS的基本概念和 HDFS在 hadoop 中的作用，

3、理解并識記HDFS的使用，了解HDFS的JAVA API 接口及數(shù)據(jù)流原理；讓學(xué)生明白Map過程與 Reduce 過程這兩個獨(dú)立部分各自的原理及合作途徑，知道如何獨(dú)立編寫滿足自己需求的MapReduce程序。5. 理解 HBase中涉及的基本概念，掌握 HBase的簡單應(yīng)用；讓學(xué)生了解數(shù)據(jù)倉庫的基礎(chǔ)概念，熟悉 Hive 與 HDFS、 MapReduce直接的關(guān)心。6.熟悉 Spark 和 RDD 的基本概念，熟悉spark 接口的使用，解決實(shí)戰(zhàn)時的步驟及思路。7.明白 Hadoop和 Storm 之間的差別，掌握對Storm 的使用。理解 Apex 的工作過程并能簡單應(yīng)用。8. 了解 Dru

4、id 的基本概念、應(yīng)用場景以及集群架構(gòu)，掌握批量數(shù)據(jù)加載、流數(shù)據(jù)加載的操作。了解 Flink的重要概念和基本架構(gòu)，掌握Flink簡單的使用實(shí)例。9. 理解 Elasticsearch的基本架構(gòu)，掌握Elasticsearch的一些入門操作。了解并基本掌握怎樣利用所學(xué)的工具對目標(biāo)實(shí)例進(jìn)行數(shù)據(jù)分析。三、課程的內(nèi)容1大數(shù)據(jù)概述了解大數(shù)據(jù)的產(chǎn)生和發(fā)展，識記大數(shù)據(jù)的特征、數(shù)據(jù)類型和系統(tǒng)，大數(shù)據(jù)的計算模式和技術(shù)層面間的關(guān)聯(lián)。2數(shù)據(jù)獲取識記基本概念，識記各功能應(yīng)怎樣用Scrapy 爬蟲實(shí)現(xiàn)，了解采集目標(biāo)數(shù)據(jù)項(xiàng)定義，領(lǐng)會并掌握爬蟲運(yùn)行和數(shù)據(jù)存儲技術(shù)。3 Hadoop 基礎(chǔ)領(lǐng)會 Hadoop 的主要特點(diǎn)，識記H

5、adoop HDFS、 Hadoop MapReduce、 Hadoop YARN的原理，了解其生態(tài)系統(tǒng)中重要組成的原理，熟悉Hadoop 的配置。4 HDFS基本應(yīng)用熟悉 HDFS所需的 API 接口，了解數(shù)據(jù)流的工作過程，能簡單操作HDFS的接口。5 MapReduce應(yīng)用開發(fā)了解所需的開發(fā)環(huán)境eclipse，領(lǐng)會 Map過程與 Reduce 過程的工作原理，了解使用mapreduce解決實(shí)際問題時的步驟和思路，識記MapReduce代碼的不同功能。6分布式數(shù)據(jù)庫HBase識記 HBase的基本概念，熟悉安裝HBase集群的步驟，了解HBaseAPI 的基本步驟。7數(shù)據(jù)倉庫工具Hive領(lǐng)會

6、 Hive 的作用，掌握Hive 接口的使用，會利用Hive 解決實(shí)戰(zhàn)問題。8開源集群計算環(huán)境Spark了解 Spark 的基本思想，熟悉 Spark 所需的環(huán)境及 API 等，熟悉 Spark 實(shí)戰(zhàn)的完整工作過程，領(lǐng)會其所需的代碼。9流實(shí)時處理系統(tǒng)Storm識記 Storm 相關(guān)概念，掌握Storm 環(huán)境的安裝配置，了解Storm 的基本使用10企業(yè)級、大數(shù)據(jù)流處理Apex識記 Apex 的基本概念，掌握 Apex 的環(huán)境配置過程，理解常見組件的原理和特點(diǎn)，會簡單的應(yīng)用 Apex 解決問題。11事件流OLAP之 Druid了解 Druid 的概念及其應(yīng)用場所，掌握Druid單機(jī)環(huán)境的安裝方法

7、和步驟，并能利用Druid進(jìn)行加載流數(shù)據(jù)處理數(shù)據(jù)查詢等。12事件數(shù)據(jù)流引擎Flink識記 Flink的基本概念，明白Flink的基本架構(gòu)，能夠安裝Flink的單機(jī)和集群環(huán)境。13分布式文件搜索Elasticsearch了解 Elasticsearch包含重要部分的基本概念，掌握Elasticsearch重要的安裝過程，掌握簡單的操作。14實(shí)例電商數(shù)據(jù)分析能夠通過已經(jīng)學(xué)習(xí)了解過的環(huán)境和工具等，有條理有步驟的對實(shí)例進(jìn)行數(shù)據(jù)挖掘、數(shù)據(jù)處理和數(shù)據(jù)分析等，進(jìn)而得出相關(guān)的結(jié)論。四、課程的重點(diǎn)、難點(diǎn)1大數(shù)據(jù)概述重點(diǎn)：大數(shù)據(jù)的概念和特征。難點(diǎn)：大數(shù)據(jù)的計算模式和技術(shù)層面間的關(guān)聯(lián)。2數(shù)據(jù)獲取重點(diǎn)： Scrapy

8、 環(huán)境的搭建。難點(diǎn)：網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程。3 Hadoop 基礎(chǔ)重點(diǎn)： Hadoop 的基礎(chǔ)理論及安裝。難點(diǎn)： Hadoop 單機(jī)及集群環(huán)境的部署方法。4 HDFS基本應(yīng)用重點(diǎn)：掌握HDFS的兩種使用方法。5 MapReduce應(yīng)用開發(fā)重點(diǎn)：明白Map過程與 Reduce 過程的原理。難點(diǎn)：獨(dú)立編寫滿足自己需求的MapReduce程序。6分布式數(shù)據(jù)庫HBase重點(diǎn)： HBase 所包含的 3 個重要組件的工作方式。難點(diǎn)：如何通過 HBase shell 和 HBase API 訪問 HBase。7數(shù)據(jù)倉庫工具Hive重點(diǎn)：熟悉簡單的Hive 命令。8開源集群計算環(huán)境Spark重點(diǎn)：理解Spa

9、rk 的工作機(jī)制。難點(diǎn)：解決實(shí)戰(zhàn)時的步驟及思路。9流實(shí)時處理系統(tǒng)Storm重點(diǎn)： Storm 的實(shí)時處理。難點(diǎn)：利用Storm 的特點(diǎn)對數(shù)據(jù)進(jìn)行合適的處理。10企業(yè)級、大數(shù)據(jù)流處理Apex重點(diǎn)： Apex 的流處理功能。11事件流OLAP之 Druid重點(diǎn)： 使用 Druid 進(jìn)行加載和查詢數(shù)據(jù)。12事件數(shù)據(jù)流引擎Flink重點(diǎn)：明白Flink的基本架構(gòu)。難點(diǎn)： Flink系統(tǒng)中進(jìn)程間處理信息的原理。13分布式文件搜索Elasticsearch重點(diǎn)： Elasticsearch的基本架構(gòu)。14實(shí)例電商數(shù)據(jù)分析難點(diǎn)：怎樣利用所學(xué)的工具對目標(biāo)實(shí)例進(jìn)行數(shù)據(jù)分析。五、課時分配表序號課程內(nèi)容總學(xué)時講課實(shí)

10、驗(yàn)習(xí)題課機(jī)動1大數(shù)據(jù)概述2222數(shù)據(jù)獲取4223Hadoop 基礎(chǔ)4224HDFS基本應(yīng)用4225MapReduce應(yīng)用開發(fā)6426分布式數(shù)據(jù)庫 HBase4227數(shù)據(jù)倉庫工具 Hive4228開源集群計算環(huán)境Spark8449流實(shí)時處理系統(tǒng)Storm42210企業(yè)級、大數(shù)據(jù)流處理 Apex42211事件流 OLAP之 Druid42212事件數(shù)據(jù)流引擎Flink42213分布式文件搜索Elasticsearch42214實(shí)例電商數(shù)據(jù)分析422合計603228六、實(shí)驗(yàn)項(xiàng)目及基本要求實(shí)驗(yàn)一通過爬蟲獲取數(shù)據(jù)要求：能安裝爬蟲所需環(huán)境，創(chuàng)建簡單的爬蟲項(xiàng)目。成功完成爬蟲核心實(shí)現(xiàn)。實(shí)驗(yàn)二Hadoop 安裝

11、與配置要求： Hadoop 單機(jī)和集群模式的配置。實(shí)驗(yàn)三實(shí)戰(zhàn) HDFS的接口要求：能自主操作 Java 和命令行接口。實(shí)驗(yàn)四編寫簡單的 Mapreduce 程序要求：完成 MapReduce所需環(huán)境的配置，完成Mapreduce 應(yīng)用實(shí)例實(shí)驗(yàn)五分布式數(shù)據(jù)庫 HBase要求：安裝 HBase 集群模式，能簡單使用HBase shell 和 Hbase API 。實(shí)驗(yàn)六Hive 的使用要求：會進(jìn)行簡單的 Hive 命令使用，熟悉Hive 的復(fù)雜語句。實(shí)驗(yàn)七 Spark 簡單編程與聚類實(shí)戰(zhàn)要求：了解 Spark 簡單的 RDD創(chuàng)建，了解各個實(shí)戰(zhàn)的編程實(shí)現(xiàn)及解決過程。實(shí)驗(yàn)八 Storm 安裝與配置要求

12、：了解 Storm 的概念及原理，了解 Storm 的安裝和基本使用。實(shí)驗(yàn)九 Spark 的使用和配置要求：掌握 Apex 的使用，了解 Apex 的基本配置。實(shí)驗(yàn)十 Druid 環(huán)境配置要求：了解 Druid 的概念和使用，理解 Druid 的作用。實(shí)驗(yàn)十事件數(shù)據(jù)流引擎 Flink 的使用要求：了解 Flink 的概念和部署過程，理解Flink 的使用。七、考核辦法1考試采用統(tǒng)一命題，閉卷考試，考試時間為120 分鐘。2本大綱各部分所規(guī)定基本要求、知識點(diǎn)及知識點(diǎn)下的知識細(xì)目，都屬于考核的內(nèi)容?？荚嚸}覆蓋到各部分，并適當(dāng)突出重點(diǎn)部分，加大重點(diǎn)內(nèi)容的覆蓋密度。3不同能力層次要求的分?jǐn)?shù)比例大致為

13、：識記占20%，領(lǐng)會占 30%，簡單應(yīng)用占30%，綜合應(yīng)用占 20%4題的難度可分為易、 較易、較難和難四個等級。 試卷中不同難度試題的分?jǐn)?shù)比例一般為2:3:3:25試題主要題型有：填空、單項(xiàng)選擇、多選、簡答、及綜合應(yīng)用等。八、使用說明在本課程學(xué)習(xí)中，應(yīng)從“了解” 、“識記”、“領(lǐng)會”、“簡單應(yīng)用” 、“綜合應(yīng)用”五個能力層次去把握：1. 了解：要求概念的基本掌握，是最基本要求。2. 識記：要求能夠識別和記憶本課程有關(guān)知識點(diǎn)的主要內(nèi)容，并能夠做出正確的表達(dá)、選擇和判斷。3. 領(lǐng)會：在識記的基礎(chǔ)上，要求能夠領(lǐng)悟和理解本課程中有關(guān)知識點(diǎn)的內(nèi)涵與外延，熟悉其內(nèi)容要點(diǎn)和它們之間的區(qū)別與聯(lián)系。并能夠根據(jù)

14、考核的不同要求，做出正確的解釋、說明和論述。4. 簡單應(yīng)用：在領(lǐng)會的基礎(chǔ)上，要求能夠運(yùn)用本課程中少量知識點(diǎn)，分析和解決一般的應(yīng)用問題。5. 綜合應(yīng)用：在簡單應(yīng)用的基礎(chǔ)上，要求能夠運(yùn)用本課程中多個知識點(diǎn)，綜合分析和解決復(fù)雜的應(yīng)用問題。九、教材及參考書大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)人民郵電出版社陳志德主編2017.1教學(xué)贈送以下資料 3D 打印技術(shù)課程教學(xué)大綱課程名稱： 3D 打印技術(shù)課程編碼： 1100001120學(xué)分及學(xué)時： 1 學(xué)分理論學(xué)時 18 學(xué)時 (其中理論課 10 學(xué)時 )適用專業(yè)： 物聯(lián)網(wǎng)應(yīng)用技術(shù)開課學(xué)期： 第三學(xué)期開課部門 ：計算機(jī)與互聯(lián)網(wǎng)學(xué)院先修課程： 物聯(lián)網(wǎng)技術(shù)概論、電子技術(shù)、無線傳感

15、網(wǎng)、傳感器原理及應(yīng)用考核要求： 考查使用教材及主要參考書：作者 :高帆 3D 打印技術(shù)著出版社 :機(jī)械工業(yè)出版社出版時間 :2015 年 10 月 1本課程屬于設(shè)計類的課程一、課程性質(zhì)和任務(wù)走近 3D 打印技術(shù)課程是根據(jù)國家課程改革要求，結(jié)合我校學(xué)生發(fā)展的實(shí)際狀況，教師的課程開發(fā)能力、興趣、特長及本校的課程資源等要素而開發(fā)的設(shè)計課程。3D 打印技術(shù)，是一種以數(shù)字模型文件為基礎(chǔ)，運(yùn)用粉末狀金屬或塑料等可粘合材料，通過逐層打印的方式來構(gòu)造物體的技術(shù)。它無需機(jī)械加工或任何模具，就能直接從計算機(jī)圖形數(shù)據(jù)中生成任何形狀的零件，從而極大地縮短產(chǎn)品的研制周期，提高生產(chǎn)率和降低生產(chǎn)成本。與傳統(tǒng)技術(shù)相比，三維打

16、印技術(shù)還擁有如下優(yōu)勢：通過摒棄生產(chǎn)線而降低了成本；大幅減少了材料浪費(fèi)；而且，它還可以制造出傳統(tǒng)生產(chǎn)技術(shù)無法制造出的外形，讓人們可以更有效地設(shè)計出飛機(jī)機(jī)翼或熱交換器。因此， 3D 打印技術(shù)今后會在世界上替代大部分制造業(yè)；如果我們不能在 3D 打印技術(shù)中占有一席之地，就將難以進(jìn)入發(fā)達(dá)國家行列。因此，走近 3D 打印技術(shù)，了解并學(xué)習(xí) 3D 打印技術(shù)，對學(xué)生今后的學(xué)習(xí)與就業(yè)有非常重要的現(xiàn)實(shí)意義。本課程本著滿足學(xué)生個性化發(fā)展的需要，融合本校辦學(xué)理念和傳統(tǒng)文化。旨在通過學(xué)生對世界制造業(yè)領(lǐng)域正在迅速發(fā)展的 “具有工業(yè)革命意義的制造技術(shù) （3D 打印技術(shù)）”的學(xué)習(xí)與實(shí)踐；在 “揮動想象的翅膀 ”的過程中，體驗(yàn)

17、創(chuàng)意的神奇和偉大；快速提高學(xué)生的空間思維能力和創(chuàng)造力；提高學(xué)生參與社會實(shí)踐活動的積極性與合作、協(xié)調(diào)能力。同時也初步體會 3D 制造技術(shù)將給社會帶來的社會倫理困境。二、課程教學(xué)目的和要求1. 通過學(xué)習(xí)，了解 3D 打印技術(shù)的現(xiàn)狀，開闊學(xué)生的視野，豐富學(xué)生的生活，發(fā)展學(xué)生的創(chuàng)意思維，激發(fā)學(xué)生學(xué)習(xí)技術(shù)的興趣與熱情。形成初步的 3D 制造技術(shù)概念以和了解 3D 建模的方法，以及對技術(shù)作品的鑒賞能力。2.學(xué)習(xí) 3D 建模技能，提高學(xué)生的動手能力；實(shí)現(xiàn)能力的遷移與拓展。同時培養(yǎng)學(xué)生的社會責(zé)任感；提高學(xué)生的技術(shù)素養(yǎng)。3.營造濃厚的學(xué)習(xí)氣氛，讓學(xué)生在借鑒中模仿，在模仿中思考，在思考中創(chuàng)新，增強(qiáng)社會，生活，知識

18、產(chǎn)權(quán)觀念，提高科學(xué)理論精神和技術(shù)素養(yǎng)。、課程學(xué)時分配章序課程內(nèi)容（章題）理論實(shí)驗(yàn)一3D 打印概論1二正向三維工程設(shè)計21三逆向工程設(shè)計12四3D 打印工藝設(shè)計及材料分22析五制作及后處理11六桌面 3D 打印機(jī)的拆裝與維22修七3D 打印相關(guān)軟件的安裝110818第一章3D 打印概論1、3D 打印的歷史2、3D 打印技術(shù)的發(fā)展?fàn)顩r3、3D 打印技術(shù)的分類4、3D 打印技術(shù)未來的發(fā)展5、3D 打印技術(shù)的應(yīng)用市場第二章正向三維工程設(shè)計1、簡單零件設(shè)計2、鈑金造型3、自由造型4、曲面設(shè)計5、裝配設(shè)計6、特殊曲面第三章逆向工程設(shè)計1、三維數(shù)據(jù)的獲取2、三維數(shù)據(jù)的處理第四章3D 打印工藝設(shè)計及材料分析1、融熔沉積技術(shù)2、紫外光固化技術(shù)3、立體光固化技術(shù)4、分層實(shí)體制造技術(shù)5、選擇性激光燒結(jié)技術(shù)6、粉末粘接技術(shù)第五章制作及后處理1、FDM技術(shù)的制作及后處理2、其他技術(shù)后處理流程簡介第六章桌面 3D 打印機(jī)的拆裝與維修1、桌面 3D打印機(jī)的安裝與使用2、桌面 3D打印機(jī)的參數(shù)設(shè)置3、桌面 3D打印機(jī)的維護(hù)第七章3D 打印相關(guān)軟件的安裝1、Creo 2 0系列 Win32/64詳細(xì)圖文安裝教程2、Cimatron 單機(jī)版軟件的安裝3、切片軟件 Cura 的安裝利用資源：網(wǎng)絡(luò)資源