《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教學(xué)大綱

1、Spark大數(shù)據(jù)技術(shù)與應(yīng)用教學(xué)大綱課程名稱:Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別:必修適用專業(yè):大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時總學(xué)分：4.0學(xué)分一、課程的性質(zhì)本課程是為大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)學(xué)生開設(shè)的課程。NoSQL數(shù)據(jù)庫大多具有橫向擴展能力強、數(shù)據(jù)模型靈活等特點，在互聯(lián)網(wǎng)、電力、電信、金融以及工業(yè)物聯(lián)網(wǎng)等領(lǐng)域具有廣泛應(yīng)用。作為開源軟件，NoSQL數(shù)據(jù)庫的使用和部署較為簡單，不需要掌握復(fù)雜的底層技術(shù)原理，適合ICT領(lǐng)域中的各個專業(yè)人員學(xué)習(xí)和使用。被統(tǒng)稱為 “ NoSQL ”的非關(guān)系型數(shù)據(jù)庫，大多具有優(yōu)秀的分布式部署能力、橫向擴展 能力和靈活的數(shù)據(jù)模型。本課程介紹NoSQL數(shù)據(jù)庫的起源、基本技

2、術(shù)原理、常見存儲模式等知識，介紹 HBase、Cassandra MongoDB、Neo4j和Redis等熱門NoSQL軟件的技術(shù)原 理、架構(gòu)特點和使用方法，使學(xué)生掌握常見NoSQL數(shù)據(jù)庫的部署和使用方法，理解分布式大數(shù)據(jù)系統(tǒng)可能遇到的技術(shù)難題和解決方法，進而更深入的理解大數(shù)據(jù)領(lǐng)域的開源工具和技術(shù)原理。二、課程的任務(wù)通過本課程的學(xué)習(xí)，使學(xué)生掌握HBase、Cassandra MongoDB、Neo4j等熱門NoSQL軟件的基本技術(shù)原理、架構(gòu)特點和使用方法。掌握常見NoSQL數(shù)據(jù)庫的部署和使用方法，理解分布式大數(shù)據(jù)系統(tǒng)可能遇到的技術(shù)難題和解決方法，進而更深入的理解大數(shù)據(jù)領(lǐng)域的開源工具和技術(shù)原理。

3、三、教學(xué)內(nèi)容及學(xué)時安排序 號章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時1第1章緒論1.1數(shù)據(jù)庫的相關(guān)概念1.2關(guān)系型數(shù)據(jù)庫管理系統(tǒng)1.3 NoSQL的起源和特點1.4大數(shù)據(jù)的技術(shù)體系1. 了解數(shù)據(jù)庫的發(fā)展歷程2. 了解關(guān)系型數(shù)據(jù)庫遇到的 瓶頸3. 了解NoSQL的起源和基本 特點4. 了解大數(shù)據(jù)的技術(shù)的特點 和技術(shù)體系，以及各個環(huán)節(jié)所 解決的主要問題和解決方式5. 了解NoSQL在大數(shù)據(jù)技術(shù) 體系中的地位和作用22第2章NoSQL數(shù)據(jù)庫的基本原理2.1關(guān)系型數(shù)據(jù)庫的重要機制回顧2.2分布式數(shù)據(jù)管理的特點2.3分布式系統(tǒng)的一致性問題2.4 NoSQL的常見存儲模式2.5 NoSQL系統(tǒng)其他相關(guān)技 術(shù)1. 回顧

4、關(guān)系數(shù)據(jù)庫的重要機 制，事務(wù)、完整性等。2. 了解關(guān)系型數(shù)據(jù)庫的分布 式部署方式3. 理解分布式數(shù)據(jù)管理的分 片、多副本等策略和帶來的問 題4. 理解分布式數(shù)據(jù)管理中的 多副本、分布式事務(wù)帶來的一 致性問題5. 掌握NoSQL常見的數(shù)據(jù)存 儲模式6. 了解NoSQL的一些重要相 關(guān)技術(shù)43第3章Hadoop和HDFS簡介3.1. Hadoop 概述3.2. HDFS 原理3.3. 使用和管理HDFS3.4. Map Reduce 簡介3.5. HIVE 簡介1. 了解Hadoop的歷史和特點2. 掌握HDFS的基本原理3. 掌握HDFS部署和操作方法4. 了解Hadoop的其他相關(guān)技 術(shù)特點5

5、4第4章Hbase 基本原理4.1. HBase 概述4.2. HBase的數(shù)據(jù)模型4.3. HBase的拓撲結(jié)構(gòu)4.4. HBase 部署4.5子節(jié)點伸縮性管理4.6. Hbase 基本 Shell 操作4.7批量導(dǎo)入導(dǎo)出4.8. 通過JAVA的訪問HBase4.9. 通過 Python 訪問 HBase1. 了解HBase的歷史和特點2. 掌握HBase的基本數(shù)據(jù)模 型和拓撲結(jié)構(gòu)3. 掌握HBase部署和操作方 法4. 掌握 HBase的編程接口和 編程方法105第5章HBase 高級原理5.1. 水平分區(qū)原理5.2. 列族與Store的相關(guān)原理53數(shù)據(jù)表的基本設(shè)計原則54 HBase集群

6、的高可用性與 伸縮性5.5. HBase的擴展使用1. 掌握HBase的數(shù)據(jù)分區(qū)原 理2. 掌握HBase的列族結(jié)構(gòu)與 讀寫機制3. 了解HBase集群部署與高 可用性方案4. 了解HBase的擴展插件56第6章Cassa ndra 原理和使用6.1-6.2 Cassa ndra 基本原理6.3. Cassa ndra部署與配置6.4. CQL語言與cqlsh環(huán)境6.5. CQL數(shù)據(jù)查詢與更新6.6. Cassa ndra的維護與擴展6.7. 通過 JAVA 的訪問 Cassa ndra6.8. 通過 Python的訪問Cassa ndra1. 了解Cassandra的歷史和特占八、2. 掌握

7、Cassandra的基本數(shù)據(jù)模型和拓撲結(jié)構(gòu)3. 掌握Cassandra部署和操作 方法4. 掌握Cassandra的編程接口和編程方法87第7章文檔型數(shù)據(jù)庫原理和使用簡介7.1-7.2. Mon goDB 的技術(shù)原理7.3. 安裝配置MongoDB7.4. Mo ngoDB 的基本命令行 操作7.5. 地理信息數(shù)據(jù)操作7.6. MongoDB集群化部署7.7. 通過 JAVA 的訪問Mo ngoDB7.8. 通過 Python 的訪問Mo ngoDB1. 了解MongoDB的歷史和技術(shù)特點2. 掌握MongoDB部署和操作 方法3. 掌握MongoDB的分片和多副本機制與部署方式4. 掌握MongoDB的編程接口 和編程方法88第8章其他NoSQL數(shù)據(jù)庫簡介8.1圖數(shù)據(jù)庫簡介8.2 Neo4j的安裝與使用8.3. Redis和內(nèi)存數(shù)據(jù)庫8.4搜索引擎系統(tǒng)1. 了解Neo4j的技術(shù)特點2. 掌握Neo4j部署和操作方法3. 掌握Neo4j的編程接口與編 程方法（可選）4. 了解Redis