大數(shù)據(jù)課程體系

1、Java基礎(chǔ)JAVA開(kāi)發(fā)基礎(chǔ)知識(shí)Eclipse開(kāi)發(fā)環(huán)境 多線程技術(shù)Socket網(wǎng)絡(luò)技術(shù) RegularExpressio nJava反射技術(shù) 各種實(shí)戰(zhàn)設(shè)計(jì)模式 面向?qū)ο笤O(shè)計(jì)原則詳解Javacollecti onReflect ionJVM原理與配置、調(diào)優(yōu)Java設(shè)計(jì)模式Linux大綱Linux的介紹與安裝VMwareWorkstation虛擬軟件安裝ubuntu安裝Linux的常用命令Linux系統(tǒng)進(jìn)程管理常用命令ps、pkill、top、htop等的使用；Linux啟動(dòng)流程，運(yùn)行級(jí)別詳解，chkconfig詳解 nano編輯器Linux權(quán)限管理：用戶、組Linux權(quán)限管理：文件權(quán)限r(nóng)wxLi

2、nux 網(wǎng)絡(luò)管理：hosts,hostname,ifconfig 安裝JDKHadoopHadoop介紹，發(fā)展史，國(guó)內(nèi)外現(xiàn)狀，未來(lái)Hadoop核心組成介紹及hdfs、mapreduce體系結(jié)構(gòu)Hadoop的集群結(jié)構(gòu)Hadoop獨(dú)立模式安裝與測(cè)試Hadoop啟 動(dòng)與停止SSH安裝與配置Hadoop偽分布式和完全分布式安裝配置HDFS底層工作原理HDFSdata node,n ame no d詳解HdfsshellHdfsjavaapiInputSplit 和 OutputSplit BlockSize 配置最少副本數(shù)配置MRf乍業(yè)流程分析編寫(xiě)Map per程序 編寫(xiě)Reducer程序執(zhí)行Mapr

3、educe過(guò)程Hadoop核心類(lèi)講解，RM,NM,NN,DNYARN調(diào)度框架事件分發(fā)機(jī)制Hadoop底層IPC原理和RPCHadoop的底層googleProtoBuf的協(xié)議分析分布式數(shù)據(jù)庫(kù)HbaseHBase簡(jiǎn)介與RDBM的對(duì)比 系統(tǒng)架構(gòu)HBase上 的 Map ReduceHbase核心術(shù)語(yǔ)介紹Hbase基本操作HBaseShell以及演示Hbase樹(shù)形表設(shè)計(jì)Hbase 一對(duì)多和多對(duì)多表設(shè)計(jì)Hbase調(diào)優(yōu)（讀、寫(xiě)、設(shè)計(jì)）數(shù)據(jù)倉(cāng)庫(kù)HiveHive簡(jiǎn)介Hive集群客戶端簡(jiǎn)介HiveQL介紹與SQL的比較數(shù)據(jù)類(lèi)型外部表和分區(qū)表ddl與CLI客戶端演示 dml與CLI客戶端演示 select與CL

4、I客戶端演示Operators 和functions 與 CLI客戶端演示 Hiveserver2 與 jdbc用戶自定義函數(shù)（UDF和UDAF的開(kāi)發(fā)與演示 Hive優(yōu)化數(shù)據(jù)遷移工具SqoopSqoop簡(jiǎn)介和配置 Sqoopshell常見(jiàn)命令Sqoop導(dǎo)入與導(dǎo)出Flume分布式日志框架flume簡(jiǎn)介-基礎(chǔ)知識(shí) flume安裝與測(cè)試 flume部署方式 flumesource相關(guān)配置及測(cè)試 flumes ink相關(guān)配置及測(cè)試 flumeselector 相關(guān)配置與案例分析 flumeSi nkProcessors 相關(guān)配置和案例分析 flume In terceptors相關(guān)配置和案例分析flu

5、meAVROClient 開(kāi)發(fā) flume和kafka的整合Zookeeper 開(kāi)發(fā)Zookeeperjavaapi 開(kāi)發(fā)Zookeeperrmi咼可用分布式集群開(kāi)發(fā)Zookeeperredis咼可用監(jiān)控實(shí)現(xiàn)Netty異步io通信框架Zookeeper實(shí)現(xiàn)netty 分布式架構(gòu)的咼可用kafkakafka是什么 kafka體系結(jié)構(gòu) kafka配置詳解 kafka的安裝kafka的存儲(chǔ)策略 kafka分區(qū)特點(diǎn)kafka的發(fā)布與訂閱 zookeeper協(xié)調(diào)管理 java編程操作kafka scala編程操作kafka flume和kafka的整合Kafka和storm的整合StormStorm的基

6、本概念Storm的應(yīng)用場(chǎng)景Storm和Hadoop的對(duì)比Storm集群的安裝的linux環(huán)境準(zhǔn)備zookeeper集群搭建Storm集群搭建Storm配置文件配置項(xiàng)講解集群搭建常見(jiàn)問(wèn)題解決Storm 常用組件和編程 API： Topology、Spout、BoltStorm 分組策略（streamgroupings）使用Strom開(kāi)發(fā)一個(gè)WordCount例子Storm程序本地模式debug、Storm程序遠(yuǎn)程debugStorm事物處理Storm消息可靠性及容錯(cuò)原理Storm結(jié)合消息隊(duì)列Kafka :消息隊(duì)列基本概念（Producer、Consume、 Topic、Broker等）、消息隊(duì)列

7、Kafka使用場(chǎng)景、Storm結(jié)合Kafka編程 APIStormTrident 概念Tride ntstate 原理Tride nt開(kāi)發(fā)實(shí)例StormDRPC分布式遠(yuǎn)程調(diào)用）介紹StormDRP（實(shí)戰(zhàn)講解Storm 和 Hadoop2.x 的整合：StormonYarnStorm開(kāi)發(fā)實(shí)戰(zhàn)：Kafka+Storm+Hbase+redis項(xiàng)目實(shí)戰(zhàn)，以及多個(gè)案例Scalascala解釋器、變量、常用數(shù)據(jù)類(lèi)型等 scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu) scala的函數(shù)、默認(rèn)參數(shù)、變長(zhǎng)參數(shù)等 scala的數(shù)組、變長(zhǎng)數(shù)組、多維數(shù)組等 scala的映射、元組等操作scala的類(lèi)，包括bean屬性

8、、輔助構(gòu)造器、主構(gòu)造器等scala的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類(lèi)、apply方法等scala的包、弓1入、繼承等概念scala的特質(zhì) scala的操作符 scala的高階函數(shù) scala的集合scala數(shù)據(jù)庫(kù)連接Spark 大數(shù)據(jù)處理Spark簡(jiǎn)介與應(yīng)用場(chǎng)景RDDTran sformatio nActio nSpark 計(jì)算 PageRankLin eageSpark模型簡(jiǎn)介Spark緩存策略和容錯(cuò)處理 寬依賴(lài)與窄依賴(lài)Spark配置講解Spark集群搭建集群搭建常見(jiàn)問(wèn)題解決Spark原理核心組件和常用RDD 數(shù)據(jù)本地性任務(wù)調(diào)度DAGSchedulerTaskSchedulerSpark源碼

9、解讀 性能調(diào)優(yōu)Spark 和 Hadoop2.x 整合：SparkonYarn 原理SparkStreami ng 實(shí)時(shí)計(jì)算SparkStreaming :數(shù)據(jù)源和 DStream 無(wú)狀態(tài) transformation 與有狀態(tài) transformation Streami ngWi ndow 的操作 sparksql編程實(shí)戰(zhàn) spark的多語(yǔ)言操作SparkMLlib機(jī)器學(xué)習(xí)廠介紹回歸算法 分類(lèi)算法第四章推薦系統(tǒng)？ 第五章聚類(lèi)Kmea nsDocker基本介紹vmdocker 對(duì)比 docker基本架構(gòu)介紹 un fscgroup namespace 進(jìn)程虛擬化輕量級(jí)虛擬化 docker安裝

10、docker鏡像制作 docker常用命令 docker鏡像遷移 dockerpipework 1dockerweave虛擬化KVM虛擬化介紹，虛擬化適用場(chǎng)景等等QemuLibvirt&KVM安裝 KVM,Qemu,LibvirtQEMU-KV安裝第一個(gè)能上網(wǎng)的虛擬機(jī)Kvm虛擬機(jī)nat,網(wǎng)橋基本原理 kvm虛擬機(jī)克隆kvm虛擬機(jī)vnc配置kvm虛擬機(jī)擴(kuò)展磁盤(pán)空間Kvm快照Kvm遷移Java,python,c 語(yǔ)言編程控制kvm云平臺(tái)1Open Stackopenstack介紹和模塊基本原理分析openstack多節(jié)點(diǎn)安裝部署【a.采用centos6.x系統(tǒng)】 Keystone基本原理gla neeCin derSwiftNeutro nOpenstackapi 二次開(kāi)發(fā)綜合項(xiàng)目演練1結(jié)合基于SSH技術(shù)的jee項(xiàng)目一互聯(lián)網(wǎng)大數(shù)據(jù)調(diào)查系統(tǒng)，可針對(duì)當(dāng)下流 行的事件進(jìn)行網(wǎng)絡(luò)調(diào)查，然后從海量的調(diào)查調(diào)查問(wèn)卷中通過(guò)大數(shù)據(jù)手段 對(duì)其進(jìn)行分析和匯總，最終對(duì)大眾的消費(fèi)習(xí)慣、文化傾向、未知領(lǐng)域的