大數(shù)據(jù)分析培訓(xùn)機(jī)構(gòu)學(xué)習(xí)路線

課程主題課程內(nèi)容課程目標(biāo)第一階段(Java根底高級(jí))Java語(yǔ)言的高級(jí)特性靜態(tài)導(dǎo)入、自動(dòng)封箱拆箱、可變參數(shù)、增強(qiáng)for、枚舉、類加載器、反射、內(nèi)省、泛型、注解、動(dòng)態(tài)代理回掌握J(rèn)ava語(yǔ)言的高級(jí)特性Java多線程多線程加強(qiáng)、線程池、ThreadLocal掌握J(rèn)ava線程池技術(shù)，掌握線程的Join、notify、notifyAll等機(jī)制XMLDom解析、Sax解析、Pull解析

Schema基于Xml的解析與維護(hù)WebHtml,Css,Js掌握簡(jiǎn)單的Html，Css，Js的編寫實(shí)訓(xùn)工程一：易買網(wǎng)工程第二階段(Web階段，易買網(wǎng)工程貫穿)JAVAWEB前端技術(shù)工程介紹、工程開(kāi)發(fā)流程

Html、CSS、JS了解真實(shí)工程開(kāi)發(fā)流程

掌握前端開(kāi)發(fā)根本技術(shù)JAVAWEB根底技術(shù)Tomcat、HTTP協(xié)議、Servlet、Jsp、EL、JSTL、自定義標(biāo)簽

MVC、JAVAWEB三層架構(gòu)

軟件分層、耦合、解耦

AJAX掌握J(rèn)AVAWEB根底知識(shí)

深入理解軟件分層思想

AJAX實(shí)現(xiàn)異步刷新JAVAWEB高級(jí)技術(shù)Filter、Listener

文件上傳、下載

在線支付過(guò)濾器、監(jiān)聽(tīng)器及常見(jiàn)應(yīng)用場(chǎng)景

文件上傳、下載

在線支付功能實(shí)現(xiàn)aaJAVAWEB框架加強(qiáng)面向切面編程

通過(guò)注解控制事務(wù)

java根底加強(qiáng)、框架加強(qiáng)JAVA高級(jí)特性

熟悉常見(jiàn)設(shè)計(jì)模式

通過(guò)模擬實(shí)現(xiàn)框架功能，為后續(xù)學(xué)習(xí)SSH打根底實(shí)訓(xùn)工程二：國(guó)際物流工程第三階段(Struts,Hibernate,Spring,SSH工程貫穿)Struts2分析Servlet缺點(diǎn)，進(jìn)行重構(gòu)

Struts.xml配置文件

ValueStack

Ognl表達(dá)式

屬性驅(qū)動(dòng)、模型驅(qū)動(dòng)、攔截器、文件上傳、token機(jī)制等掌握Struts2在工程開(kāi)發(fā)時(shí)用到的各種知識(shí)點(diǎn)，能夠應(yīng)用

該框架熟練的開(kāi)發(fā)HibernateORM的概念、CRUD的完成、Hibernate常用的配置、API詳細(xì)的分析、對(duì)象的三種狀態(tài)、關(guān)聯(lián)關(guān)系、檢索、優(yōu)化、緩存機(jī)制熟練掌握利用Hibernate框架完成工程的開(kāi)發(fā)，深入理解ORMapping的概念，深入理解緩存機(jī)制SpringIOC、DI、動(dòng)態(tài)代理模式、AOP、基于Spring的數(shù)據(jù)庫(kù)編程、Spring的聲明式事務(wù)處理，Struts2與Hibernate與Spring的整合深入理解SpringIOC、DI在軟件架構(gòu)中的作用，深入理解SpringAOP的實(shí)現(xiàn)機(jī)制和應(yīng)用場(chǎng)景，Struts2的高級(jí)特性(對(duì)象工廠、靜態(tài)注入、插件機(jī)制、ThreadLocal針對(duì)ActionContext的封裝、Struts2的核心流程、結(jié)果集架構(gòu))、深入理解SSH整合的原理JQueryJQuery常見(jiàn)選擇器的應(yīng)用利用JQuery控制Web界面JS高級(jí)JS面向?qū)ο蟮奶卣鲗?duì)象、原型、閉包、JQuery內(nèi)部結(jié)構(gòu)解析等MavenMaven的概念、使用、原理、

Module的概念、倉(cāng)庫(kù)能用Maven搭建工程環(huán)境

熟練使用Maven的依賴和繼承機(jī)制SSH工程：國(guó)際物流工程背景、系統(tǒng)USECASE圖、系統(tǒng)功能結(jié)構(gòu)圖、系統(tǒng)框架圖、國(guó)際物流核心業(yè)務(wù)貨運(yùn)管理、購(gòu)銷合同業(yè)務(wù)、購(gòu)銷合同下貨物、出口報(bào)運(yùn)單、裝箱單、委托書(shū)、發(fā)票、財(cái)務(wù)統(tǒng)計(jì)、海量數(shù)據(jù)導(dǎo)出、出口報(bào)運(yùn)、裝箱業(yè)務(wù)、Shiro高級(jí)平安框架、工作流Activiti5掌握畫(huà)USECASE圖、系統(tǒng)結(jié)構(gòu)圖、系統(tǒng)框架圖。

面試能順暢講述國(guó)際物流核心業(yè)務(wù)，包括：購(gòu)銷合同、出口報(bào)運(yùn)、裝箱、委托、發(fā)票、財(cái)務(wù)。

了解大型數(shù)據(jù)庫(kù)設(shè)計(jì)思路，及數(shù)據(jù)庫(kù)在設(shè)計(jì)上如何優(yōu)化。

熟練實(shí)現(xiàn)合同、貨物、附件兩級(jí)主從結(jié)構(gòu)。

熟練POI制式表單應(yīng)用。

熟練應(yīng)用Shiro高級(jí)平安框架。

熟練應(yīng)用工作流Activiti5實(shí)現(xiàn)貨運(yùn)管理流程控制。實(shí)訓(xùn)工程三：易買電商工程第四階段(SpringMVC,Mybaties,SSM工程貫穿)SpringMVC模擬SpringMVC的核心部件寫一個(gè)例子、核心分發(fā)器、處理器映射、適配器、控制器、注解開(kāi)發(fā)實(shí)例、標(biāo)簽機(jī)制、攔截器機(jī)制、AJAX與JSON調(diào)用熟練掌握SpringMVC的各個(gè)組件，理解SpringMVC的架構(gòu)原理，利用SpringMVC開(kāi)發(fā)工程MyBatiesCRUD操作、SqlSessionFactory對(duì)象、SqlSession對(duì)象、集合參數(shù)、動(dòng)態(tài)SQL語(yǔ)句、代碼優(yōu)化、Mapper的接口、關(guān)聯(lián)關(guān)系、緩存機(jī)制、攔截器、MyEclipse插件的使用熟練掌握SpringMVC的各個(gè)組件，理解SpringMVC的架構(gòu)原理，利用SpringMVC開(kāi)發(fā)工程SSM工程(易買電商)工程需求講解、環(huán)境的搭建、后臺(tái)系統(tǒng)實(shí)現(xiàn)、前臺(tái)系統(tǒng)搭建、內(nèi)容管理實(shí)現(xiàn)、Redis緩存解決前臺(tái)訪問(wèn)性能問(wèn)題、單點(diǎn)登錄、異步訂單系統(tǒng)處理、Lucene與Solor實(shí)現(xiàn)文件的檢索、ActivityMQ實(shí)現(xiàn)消息的異步通信、MySQL的數(shù)據(jù)庫(kù)的讀寫別離、分布式環(huán)境的部署和實(shí)施了解電商工程的需求分析，掌握用pom.xml文件構(gòu)建工程，實(shí)現(xiàn)電商工程的前臺(tái)的內(nèi)容管理、菜單管理、購(gòu)物等。掌握Redis緩存如何提供性能、利用Solor做全文檢索、利用ActivityMQ的異步機(jī)制把緩存中的改動(dòng)同步到各個(gè)環(huán)節(jié)、掌握MySQL的主從復(fù)制和讀寫別離。利用lvs，keepalived，nginx，tomcat搭建高并發(fā)的web環(huán)境實(shí)訓(xùn)工程四：電信工程第五階段(分布式、高并發(fā)、集群、電信工程貫穿)網(wǎng)絡(luò)編程Socket、Io、Nio、Mina、RPC技術(shù)、多線程、線程池把電信工程的局部環(huán)節(jié)利用mina、RPC技術(shù)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)根底知識(shí)

ETL

MySQL的導(dǎo)入工具、分表，分區(qū)、讀寫別離、存儲(chǔ)過(guò)程級(jí)多維分析掌握數(shù)據(jù)倉(cāng)庫(kù)的知識(shí)內(nèi)容，這是大數(shù)據(jù)分析的根底分布式緩存學(xué)習(xí)MemoryCache與Redis兩種緩存掌握兩種緩存的原理、以及操作ZookeeperZookeeper的選舉、數(shù)據(jù)的同步、Zookeeper的部署、Follow與Leader了解Zookeeper的選舉算法、同步機(jī)制、掌握Z(yǔ)ookeeper的集群的搭建集群Keepalived的Loadblancing機(jī)制、Nginex反向代理效勞器、Tomcat集群、Lvs利用Lvs、Keepalived、Nginx、Tomcat搭建高并發(fā)、分布式的Web效勞器SOARest風(fēng)格的效勞架構(gòu)、基于Rest風(fēng)格的WebService的使用、dubbo效勞框架的使用利用效勞性框架使得系統(tǒng)的耦合性更弱，擴(kuò)展性更強(qiáng)云計(jì)算云計(jì)算的概念、Iaas、Paas、Saas的理解、虛擬化的概念理解云計(jì)算電信工程把上面所學(xué)的知識(shí)點(diǎn)全部結(jié)合起來(lái)做電信行業(yè)的日志分析系統(tǒng)通過(guò)工程掌握MySQL的集群、讀寫別離、優(yōu)化、掌握Mina框架的通信機(jī)制、掌握Z(yǔ)ookeeper的高可用機(jī)制、利用MySql掌握數(shù)據(jù)倉(cāng)庫(kù)的概念、利用分布式緩存提高系統(tǒng)的性能實(shí)訓(xùn)工程五：電信工程第六階段(Hadoop,Spark,電信工程貫穿)Hadoop的分布式文件系統(tǒng)HDFSHDFS的概念、HDFS的API的應(yīng)用、NameNode與SecondaryNameNode與DataNode的原理與通信機(jī)制、數(shù)據(jù)塊Block的概念、NameNode的文檔目錄樹(shù)、NameNode與DataNode的關(guān)聯(lián)Hadoop偽分布式的搭建、利用HDFS的API對(duì)分布式文件系統(tǒng)進(jìn)行操作、掌握NameNode與SecondaryNameNode的通信原理、掌握NameNode與DataNode的通信原理Hadoop的計(jì)算框架MapReduce利用MapReducer的計(jì)算框架實(shí)現(xiàn)電信日志的分析、深入理解Shuffle機(jī)制、FileOutPutFormat、FileInPutFormat熟練Map、Reducer、Sort、Partition的編程、深入理解Shuffle機(jī)制、深入理解OutPutFormat與InputFormat、基于Hadoop的對(duì)象序列化機(jī)制Hadoop的資源管理與資源調(diào)度

Yarn框架深入理解MapReducer的通信機(jī)制：利用Yarn的資源管理和資源調(diào)度機(jī)制。理解進(jìn)程ResourceManager，NodeManager，ApplicationMaster等進(jìn)程的作用深入理解Yarn的資源管理與資源調(diào)度機(jī)制。掌握整個(gè)MapReducer的計(jì)算流程和資源調(diào)度流程HBase搭建NOSQL數(shù)據(jù)庫(kù)HBase的集群、利用Zookeeper做HBase的HA機(jī)制掌握HBase的集群的的搭建HIVE數(shù)據(jù)倉(cāng)庫(kù)根底知識(shí)、Hive定義、Hive體系結(jié)構(gòu)簡(jiǎn)介、Hive集群、客戶端簡(jiǎn)介、HiveQL定義、HiveQL與SQL的比擬、數(shù)據(jù)類型、外部表和分區(qū)表、表的操作與CLI客戶端演示、數(shù)據(jù)導(dǎo)入與CLI客戶端演示、查詢數(shù)據(jù)與CLI客戶端演示、數(shù)據(jù)的連接與CLI客戶端演示、用戶自定義函數(shù)〔UDF〕的開(kāi)發(fā)與演示利用HIVE做日志分析的查詢SparkSpark介紹：Spark應(yīng)用場(chǎng)景、Scala編程語(yǔ)言、Scala高級(jí)編程、Spark集群部署等利用Spark流式編程做日志的分析電信工程把第四階段的電信工程用Hadoop與Spark實(shí)現(xiàn)熟練應(yīng)用Hadoop的MapReducer，Hive與Spark走心課程全面覆蓋實(shí)力熬煉技術(shù)骨干8大授課階段全力培養(yǎng)未來(lái)高端大數(shù)據(jù)人才課程詳情第一階段Java語(yǔ)言根底第二階段HTML、CSS與JavaScript第三階段JavaWeb和數(shù)據(jù)庫(kù)第四階段Linux根底第五階段Hadoop生態(tài)體系第六階段Spark生態(tài)體系第七階段Storm實(shí)時(shí)開(kāi)發(fā)第八階段工程案例01第一階段Java語(yǔ)言根底01Java開(kāi)發(fā)介紹-Java的開(kāi)展歷史-Java的應(yīng)用領(lǐng)域-Java語(yǔ)言的特性-Java面向?qū)ο?Java性能分類-搭建Java環(huán)境-Java工作原理02熟悉Eclipse開(kāi)發(fā)工具-Eclipse簡(jiǎn)介與下載-安裝Eclipse的中文語(yǔ)言包-Eclipse的配置與啟動(dòng)-Eclipse工作臺(tái)與視圖-“包資源管理器〞視圖-使用Eclipse-使用編輯器編寫程序代碼03Java語(yǔ)言根底-Java主類結(jié)構(gòu)-根本數(shù)據(jù)類型-變量與常量-Java運(yùn)算符-數(shù)據(jù)類型轉(zhuǎn)換-代碼注釋與編碼標(biāo)準(zhǔn)-Java幫助文檔04Java流程控制-復(fù)合語(yǔ)句-條件語(yǔ)句-if條件語(yǔ)句-switch多分支語(yǔ)句-while循環(huán)語(yǔ)句-do…while循環(huán)語(yǔ)句-for循環(huán)語(yǔ)句05Java字符串-String類-連接字符串-獲取字符串信息-字符串操作-格式化字符串-使用正那么表達(dá)式-字符串生成器06Java數(shù)組與類和對(duì)象-數(shù)組概述-一維數(shù)組的創(chuàng)立及使用-二維數(shù)組的創(chuàng)立及使用-數(shù)組的根本操作-數(shù)組排序算法-Java的類和構(gòu)造方法-Java的對(duì)象、屬性和行為07數(shù)字處理類與核心技術(shù)-數(shù)字格式化與運(yùn)算-隨機(jī)數(shù)與大數(shù)據(jù)運(yùn)算-類的繼承與Object類-對(duì)象類型的轉(zhuǎn)換-使用instanceof操作符判斷對(duì)象類型-方法的重載與多態(tài)-抽象類與接口08I/O與反射、多線程-流概述與File類-文件輸入/輸出流-緩存輸入/輸出流-Class類與Java反射-Annotation功能類型信息-枚舉類型與泛型-創(chuàng)立、操作線程與線程平安09Swing程序與集合類-常用窗體-標(biāo)簽組件與圖標(biāo)-常用布局管理器與面板-按鈕組件與列表組件-常用事件監(jiān)聽(tīng)器-集合類概述-Set集合與Map集合及接口02第二階段HTML、CSS與JavaScript01PC端網(wǎng)站布局-HTML根底，CSS根底，CSS核心屬性-CSS樣式層疊，繼承，盒模型-容器，溢出及元素類型-瀏覽器兼容與寬高自適應(yīng)-定位，錨點(diǎn)與透明-圖片整合-表格，CSS屬性與濾鏡-CSS優(yōu)化02HTML5+CSS3根底-HTML5新增的元素與屬性-CSS3選擇器-文字字體相關(guān)樣式-CSS3位移與變形處理-CSS32D、3D轉(zhuǎn)換與動(dòng)畫(huà)-彈性盒模型-媒體查詢-響應(yīng)式設(shè)計(jì)03WebApp頁(yè)面布局-移動(dòng)端頁(yè)面設(shè)計(jì)標(biāo)準(zhǔn)-移動(dòng)端切圖-文字流式/控件彈性/圖片等比例/特殊設(shè)計(jì)的布局-等比縮放布局-viewport/meta-rem/vw的使用-flexbox詳解-移動(dòng)web特別樣式處理04原生JavaScript交互功能開(kāi)發(fā)-什么是JavaScript-JavaScript使用及運(yùn)作原理-JavaScript根本語(yǔ)法-JavaScript內(nèi)置對(duì)象-事件，事件原理-JavaScript根本特效制作-cookie存儲(chǔ)-正那么表達(dá)式05Ajax異步交互-Ajax概述與特征-Ajax工作原理-XMLHttpRequest對(duì)象-同步與異步-Ajax異步交互-Ajax跨域問(wèn)題-Ajax數(shù)據(jù)的處理-基于WebSocket和推送的實(shí)時(shí)交互06JQuery應(yīng)用-各選擇器使用，及應(yīng)用優(yōu)化-Dom節(jié)點(diǎn)的各種操作-事件處理、封裝、應(yīng)用-jQuery中的各類動(dòng)畫(huà)使用-可用性表單的開(kāi)發(fā)-jQueryAjax、函數(shù)、緩存；-jQuery編寫插件、擴(kuò)展、應(yīng)用-理解模塊式開(kāi)發(fā)及應(yīng)用03第三階段JavaWeb和數(shù)據(jù)庫(kù)01數(shù)據(jù)庫(kù)-Mysql數(shù)據(jù)庫(kù)-JDBC開(kāi)發(fā)-連接池和DBUtils-Oracle介紹-MongoDB數(shù)據(jù)庫(kù)介紹-apache效勞器/Nginx效勞器-Memcached內(nèi)存對(duì)象緩存系統(tǒng)02JavaWeb開(kāi)發(fā)核心-XML-HTTP及Tomcat-Servlet工作原理解析-深入理解Session與Cookie-Tomcat的系統(tǒng)架構(gòu)與設(shè)計(jì)模式-JSP語(yǔ)法與內(nèi)置對(duì)象-JDBC技術(shù)-大瀏覽量系統(tǒng)的靜態(tài)化架構(gòu)設(shè)計(jì)03JavaWeb開(kāi)發(fā)內(nèi)幕-深入理解Web請(qǐng)求過(guò)程-JavaI/O的工作機(jī)制-JavaWeb中文編碼-Javac編譯原理-class文件結(jié)構(gòu)-ClassLoader工作機(jī)制-JVM體系結(jié)構(gòu)與工作方式-JVM內(nèi)存管理04第四階段Linux根底01Linux安裝與配置-Linux常見(jiàn)版本及VMware-安裝Linux至硬盤及虛擬機(jī)安裝Linux系統(tǒng)-虛擬機(jī)網(wǎng)絡(luò)配置〔IP地址、主機(jī)名、防火墻〕-超級(jí)用戶root-關(guān)于硬件驅(qū)動(dòng)程序-進(jìn)階：配置Grub-CSS預(yù)處理器LESS框架使用-CSS組件框架編寫02系統(tǒng)管理與目錄管理-Shell根本命令-使用命令行補(bǔ)全和通配符-find命令、locate命令-查找特定程序:whereis-Linux文件系統(tǒng)的架構(gòu)-移動(dòng)、復(fù)制和刪除-文件和目錄的權(quán)限-文件類型與輸入輸出03用戶與用戶組管理-軟件包管理-磁盤根本管理命令〔df、du、fdisk、mount〕-高級(jí)硬盤管理RAID和LVM-進(jìn)階：備份你的工作和系統(tǒng)-用戶與用戶組管理-內(nèi)存使用監(jiān)控命令〔top、free等〕-軟件安裝方式〔rpm、tar、yum〕-進(jìn)程管理04Shell編程-Shell腳本編程概述-正那么表達(dá)式-字符集和單詞、字符類-Shell腳本編程-腳本執(zhí)行命令和控制語(yǔ)句-Shell定制-個(gè)性化設(shè)置：修改.bashrc文件-Shell腳本調(diào)試05效勞器配置-系統(tǒng)引導(dǎo)-管理守護(hù)進(jìn)程-通過(guò)xinetd啟動(dòng)SSH效勞-配置inetd-Apache根底-設(shè)置Apache效勞器-PHP根底-配置DHCP效勞器06Vi編輯器與Emacs編輯器-vi中的常用命令-vi中的字符與文件操作-vi中的窗口操作-emacs概述-emacs文本編輯-emacs緩沖區(qū)和窗口-emacs的擴(kuò)展工具05第五階段Hadoop生態(tài)體系01Hadoop起源與安裝-大數(shù)據(jù)概論-Google與Hadoop模塊-Hadoop生態(tài)系統(tǒng)-Hadoop常用工程介紹-Hadoop環(huán)境安裝配置-Hadoop安裝模式-Hadoop配置文件02MapReduce快速入門-WordCount準(zhǔn)備開(kāi)發(fā)環(huán)境-MapReduce編程接口體系結(jié)構(gòu)-MapReduce通信協(xié)議-導(dǎo)入Hadoop的JAR文件-MapReduce代碼的實(shí)現(xiàn)-打包、部署和運(yùn)行-打包成JAR文件03Hadoop分布式文件系統(tǒng)-認(rèn)識(shí)HDFS及其HDFS架構(gòu)-Hadoop的RPC機(jī)制-HDFS的HA機(jī)制-HDFS的Federation機(jī)制-Hadoop文件系統(tǒng)的訪問(wèn)-JavaAPI接口與維護(hù)HDFS-HDFS權(quán)限管理04Hadoop文件I/O詳解-Hadoop文件的數(shù)據(jù)結(jié)構(gòu)-HDFS數(shù)據(jù)完整性-文件序列化-Hadoop的Writable類型-Hadoop支持的壓縮格式-Hadoop中編碼器和解碼器-gzip、LZO和Snappy比擬05MapReduce工作原理-MapReduce函數(shù)式編程概念-MapReduce框架結(jié)構(gòu)-MapReduce運(yùn)行原理-Shuffle階段和Sort階段-任務(wù)的執(zhí)行與作業(yè)調(diào)度器-自定義Hadoop調(diào)度器-YARN架構(gòu)及其工作流程06MapReduce編程開(kāi)發(fā)-WordCount案例分析-輸入格式與輸出格式-壓縮格式與MapReduce優(yōu)化-輔助類與Streaming接口-MapReduce二次排序-MapReduce中的Join算法-從MySQL讀寫數(shù)據(jù)-Hadoop系統(tǒng)調(diào)優(yōu)07Hive數(shù)據(jù)倉(cāng)庫(kù)工具-Hive工作原理、類型及特點(diǎn)-Hive操作及Hive復(fù)合類型-Hive的JOIN詳解-Hive優(yōu)化策略-Hive內(nèi)置操作符與函數(shù)-Hive用戶自定義函數(shù)接口-Hive的權(quán)限控制08開(kāi)源數(shù)據(jù)庫(kù)HBase-HBase的特點(diǎn)-HBase訪問(wèn)接口-HBase存儲(chǔ)結(jié)構(gòu)與格式-HBase設(shè)計(jì)-關(guān)鍵算法和流程-HBase的Shell操作-HBase客戶端09Sqoop與Oozie-安裝部署Sqoop-Sqoop數(shù)據(jù)遷移-Sqoop使用案例-Oozie簡(jiǎn)介-Oozie與Hive-Azkaban工作流06第六階段Spark生態(tài)體系01Spark簡(jiǎn)介-什么是Spark-Spark大數(shù)據(jù)處理框架-Spark的特點(diǎn)與應(yīng)用場(chǎng)景-SparkSQL原理和實(shí)踐-SparkStreaming原理和實(shí)踐-GraphXSparkR入門-Spark的監(jiān)控和調(diào)優(yōu)02Spark部署和運(yùn)行-部署準(zhǔn)備與下載-Spark生態(tài)和安裝部署-LocalYARN模式部署-Local模式運(yùn)行-SparkStandaloneHA安裝-YARN模式運(yùn)行Spark-Spark應(yīng)用程序部署工具spark-submit03Spark程序開(kāi)發(fā)-啟動(dòng)SparkShell-加載text文件-RDD操作及其應(yīng)用-RDD緩存-構(gòu)建Eclipse開(kāi)發(fā)環(huán)境-構(gòu)建IntelliJIDEA開(kāi)發(fā)環(huán)境-創(chuàng)立SparkContext對(duì)象-編寫編譯并提交應(yīng)用程序04Spark編程模型-RDD特征與依賴-集合〔數(shù)組〕創(chuàng)立RDD-存儲(chǔ)創(chuàng)立RDD-RDD轉(zhuǎn)換執(zhí)行控制操作-播送變量-累加器05作業(yè)執(zhí)行解析-Spark組件-RDD視圖與DAG圖-基于Standalone模式的Spark架構(gòu)-基于YARN模式的Spark架構(gòu)-作業(yè)事件流和調(diào)度分析-構(gòu)建應(yīng)用程序運(yùn)行時(shí)環(huán)境-應(yīng)用程序轉(zhuǎn)換成DAG06SparkSQL與DataFrame-SparkSQL架構(gòu)特性-DataFrame和RDD的區(qū)別-創(chuàng)立操作DataFrame-RDD轉(zhuǎn)化為DataFrame-加載保存操作與Hive表-Parquet文件JSON數(shù)據(jù)集-分布式的SQLEngine-性能調(diào)優(yōu)數(shù)據(jù)類型07深入SparkStreaming-SparkStreaming工作原理-DStream編程模型-InputDStream-DStream轉(zhuǎn)換狀態(tài)輸出-優(yōu)化運(yùn)行時(shí)間及內(nèi)存使用-文件輸入源-基于Receiver的輸入源-輸出操作08SparkMLlib與機(jī)器學(xué)習(xí)-機(jī)器學(xué)習(xí)分類級(jí)算法-SparkMLlib庫(kù)-MLlib數(shù)據(jù)類型-MLlib的算法庫(kù)與實(shí)例-ML庫(kù)主要概念-算法庫(kù)與實(shí)例09GraphX與SparkR-SparkGraphX架構(gòu)-GraphX編程與常用圖算法-GraphX應(yīng)用場(chǎng)景-SparkR的工作原理-R語(yǔ)言與其他語(yǔ)言的通信-SparkR的運(yùn)行與應(yīng)用-R的DataFrame操作方法-SparkR的DataFrame10spark工程實(shí)戰(zhàn)-大數(shù)據(jù)分析系統(tǒng)-系統(tǒng)資源分析平臺(tái)-在Spark上訓(xùn)練LR模型-獲取二級(jí)鄰居關(guān)系圖11scala編程-scala編程介紹-Scala根本語(yǔ)法-Scala開(kāi)發(fā)環(huán)境搭建-Scala開(kāi)發(fā)Spark應(yīng)用程序12Python編程-Python編程介紹-Python的根本語(yǔ)法-Python開(kāi)發(fā)環(huán)境搭建-Pyhton開(kāi)發(fā)Spark應(yīng)用程序07第七階段Storm實(shí)時(shí)開(kāi)發(fā)01storm簡(jiǎn)介與根本知識(shí)-storm的誕生誕生與成長(zhǎng)-storm的優(yōu)勢(shì)與應(yīng)用-storm根本知識(shí)概念和配置-序列化與容錯(cuò)機(jī)制-可靠性機(jī)制—保證消息處理-storm開(kāi)發(fā)環(huán)境與生產(chǎn)環(huán)境-storm拓?fù)涞牟⑿卸?storm命令行客戶端02拓?fù)湓斀馀c組件詳解-流分組和拓?fù)溥\(yùn)行-拓?fù)涞某Ｒ?jiàn)模式-本地模式與stormsub的比照-使用非jvm語(yǔ)言操作storm-hook組件根本接口-根本抽象類-事務(wù)接口-組件之間的相互關(guān)系03Hadoop分布式系統(tǒng)-認(rèn)識(shí)HDFS及其HDFS架構(gòu)-Hadoop的RPC機(jī)制-HDFS的HA機(jī)制-HDFS的Federation機(jī)制-Hadoop文件系統(tǒng)的訪問(wèn)-JavaAPI接口與維護(hù)HDFS-HDFS權(quán)限管理04spout詳解與bolt詳解-spout獲取數(shù)據(jù)的方式-常用的spout-學(xué)習(xí)編寫spout類-bolt概述-可靠的與不可靠的bolt-復(fù)合流與復(fù)合anchoring-使用其他語(yǔ)言定義bolt-學(xué)習(xí)編寫bolt類05zookeeper詳解-zookeeper簡(jiǎn)介-zookeeper的下載和部署-zookeeper的配置與運(yùn)行-zookeeper的本地模式實(shí)例-zookeeper的數(shù)據(jù)模型-zookeeper命令行操作范例-storm在zookeeper中的目錄結(jié)構(gòu)06storm安裝與集群搭建-storm集群安裝步驟與準(zhǔn)備-本地模式storm配置命令-配置hosts文件安裝jdk-zookeeper集群的搭建-部署節(jié)點(diǎn)-storm集群的搭建07storm-starter詳解-storm-starter工程概述-使用maven進(jìn)行管理-在eclipse中運(yùn)行-使用daemontools監(jiān)控storm進(jìn)程-使用monit監(jiān)控storm-常用的集群操作命令-drpctopologybuilder-Hive的權(quán)限控制08開(kāi)源數(shù)據(jù)庫(kù)HBase-HBase的特點(diǎn)-HBase訪問(wèn)接口-HBase存儲(chǔ)結(jié)構(gòu)與格式-HBase設(shè)計(jì)-關(guān)鍵算法和流程-HBase安裝-HBase的Shel