大數(shù)據(jù)課程體系

1、Java基礎JAVA開發(fā)基礎知識 Eclipse開發(fā)環(huán)境 多線程技術(shù) Socket網(wǎng)絡技術(shù) RegularExpression Java反身、J技木 各種實戰(zhàn)設計模式 面向?qū)ο笤O計原則詳解 JavacollectionReflectionJVM®理與配置、調(diào)優(yōu) Java設計模式Linux大綱Linux的介紹與女裝VMwareWorkstation虛擬軟件安裝ubuntu女裝Linux的常用命令Linux系統(tǒng)進程管理常用命令ps、pkill 、top、htop等的使用；Linux啟動流程，運行級別詳解，chkconfig詳解nano編輯盔Linux權(quán)限管理：用戶、組Linux權(quán)限管理：

2、文件權(quán)限r(nóng)wxLinux 網(wǎng)絡管理：hosts,hostname,ifconfig安裝JDKHadoopHadoop介紹，發(fā)展史，國內(nèi)外現(xiàn)狀，未來Hadoop核心組成介紹及hdfs、mapreduce體系結(jié)構(gòu)Hadoop的集群結(jié)構(gòu)Hadoop獨立模式女裝與測試Hadoop啟動與停止SSHK裝與配置Hadoop偽分布式和完全分布式安裝配置HDFS氐層工作原理HDFSdatanode,namenod群解HdfsshellHdfsjavaapiInputSplit 和 OutputSplitBlockSize酉己置最少副本數(shù)配置MR 乍業(yè)流程分析編寫Mapper程序編寫Reducer程序執(zhí)行Mapr

3、educe過程Hadoop 核心類講解，RM,NM,NN,DNYARNS度框架事件分發(fā)機制Hadoop底層IPC原理和RPCHadoop的底層googleProtoBuf的協(xié)議分析分布式數(shù)據(jù)庫HbaseHBase簡介與RDBMS對比系統(tǒng)架構(gòu)HBase上的 MapReduceHbase核心術(shù)語介紹Hbase基本操作HBaseShell以及演小Hbase樹形表設計Hbase一對多和多對多表設計Hbase調(diào)優(yōu)（讀、寫、設計）數(shù)據(jù)倉庫HiveHive簡介Hive集群客戶端簡介HiveQL介紹與SQL勺比較數(shù)據(jù)類型外部表和分區(qū)表ddl與CLI客戶端演示dml與CLI客戶端演示select與CLI客戶端演

4、示Operators和functions 與CLI客戶端演小Hiveserver2 與 jdbc用戶自定義函數(shù)（UD橋口 UDAF的開發(fā)與演示Hive優(yōu)化數(shù)據(jù)遷移工具SqoopSqoop簡介和配置Sqoopshell常見命令Sqoop導入與導出Flume分布式 日志框架flume簡介-基礎知識flume安裝與測試flume部署方式flumesource相關配置及測試flumesink相關配置及測試flumeselector 相關配置與案例分析flumeSinkProcessors 相關配置和案例分析 flumeInterceptors相關配置和案例分析flumeAVROClient 開發(fā) fl

5、ume和kafka的整合Zookeeper開發(fā)Zookeeperjavaapi 開發(fā)Zookeeperrmi高可用分布式集群開發(fā)Zookeeperredis局可用監(jiān)控實現(xiàn)Netty異步io通信框架Zookeeper實現(xiàn)netty 分布式架構(gòu)的圖可用kafkakafka是什么 kafka體系結(jié)構(gòu) kafka配置詳解 kafka的安裝kafka的存儲策略 kafka分區(qū)特點kafka的發(fā)布與訂閱 zookeeper協(xié)調(diào)管理 java編程操作kafka scala編程操作kafka flume和kafka的整合 Kafka和storm的整合StormStorm的基本概念Storm的應用場景Storm

6、和Hadoop的對比Storm集群的安裝的linux環(huán)境準備zookeeper集群搭建Storm集群搭建Storm配置文件配置項講解集群搭建常見問題解決Storm 常用組件和編程 API: Topology、Spout、BoltStorm 分組策略（streamgroupings）使用Strom開發(fā)一個WordCount例子Storm程序本地模式debug、Storm程序遠程debugStorm事物處理Storm消息可靠性及容錯原理Storm結(jié)合消息隊列Kafka :消息隊列基本概念（Producer、ConsumerTopic、Broker等）、消息隊列Kafka使用場景、Storm結(jié)合Ka

7、fka編程 APIStormTrident 概念Tridentstate 原理Trident開發(fā)實例StormDRPC分布式遠程調(diào)用）介紹StormDRPCS戰(zhàn)講解Storm 和 Hadoop2.x 的整合：StormonYarnStorm開發(fā)實戰(zhàn)：Kafka+Storm+Hbase+redis項目實戰(zhàn)，以及多個案例Scalascala解釋器、變量、常用數(shù)據(jù)類型等scala的條件表達式、輸入輸出、循環(huán)等拄制結(jié)構(gòu)scala的函數(shù)、默認參數(shù)、變長參數(shù)等scala的數(shù)組、變長數(shù)組、多維數(shù)組等scala的映射、元組等操作scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等scala的對象、單例對象

8、、伴生對象、擴展類、apply方法等scala的包、引入、繼承等概念scala的特質(zhì)scala的操作符scala的高階函數(shù)scala的集合scala數(shù)據(jù)庫連接Spark 大數(shù)據(jù)處理Spark簡介與應用場景RDDTransformationActionSpark 計算 PageRankLineageSpark模型簡介Spark緩存策略和容錯處理寬依賴與窄依賴Spark配置講解Spark集群搭建集群搭建常見問題解決Spark原理核心組件和常用RDD或據(jù)本地性任務調(diào)度DAGSchedulerTaskSchedulerSpark源碼解讀性能調(diào)優(yōu)Spark 和 Hadoop2.x 整合：SparkonY

9、arn 原理SparkStreaming實時計算SparkStreaming :數(shù)據(jù)源和 DStream無狀態(tài) transformation 匕后狀態(tài) transformationStreamingWindow 的操作sparksql編程實戰(zhàn)spark的多語百操作SparkMLlib機器學習廠介紹回歸算法分類算法第四章推薦系統(tǒng)？第五章聚類KmeansDocker基本介紹vmdocker 對比 docker基本架構(gòu)介紹 unfscgroupnamespace 進程虛擬化輕量級虛擬化docker安裝docker鏡像制作docker常用命令docker鏡像遷移 dockerpipework 1doc

10、kerweave同化 KVM虛擬化介紹，虛擬化適用場景等等QemuLibvirt&KVM安裝 KVM,Qemu,LibvirtQEMU-KV膜裝第一個能上網(wǎng)的虛擬機Kvm虛擬機nat,網(wǎng)橋基本原理kvm虛擬機克隆kvm虛擬機vnc配置kvm虛擬機擴展磁盤空間Kvm快照Kvml 移Java,python,c 語百編程控制kvm云 平 臺OpenStackopenstack介紹和模塊基本原理分析openstack多節(jié)點安裝部署【a.采用centos6.x系統(tǒng)】Keystone基本原理glanceCinderSwiftNeutronOpenstackapi 二次開發(fā)綜合項目演練1結(jié)合基于 SSHft術(shù)的jee項目一互聯(lián)網(wǎng)大數(shù)據(jù)調(diào)查系統(tǒng)，可針對當下流 行的事件進行網(wǎng)絡調(diào)查，然后從海量的調(diào)查調(diào)查問卷中通過大數(shù)據(jù)手段 對其進行分析和匯總，最終對大眾的消費習慣、文化側(cè)向、未知領域的 認知以