Hadoop 3 x大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)（視頻教學(xué)版）

Hadoop3.x大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)（視頻教學(xué)版）讀書筆記模板01思維導(dǎo)圖目錄分析精彩摘錄內(nèi)容摘要讀書筆記作者介紹目錄0305020406思維導(dǎo)圖開發(fā)視頻大數(shù)據(jù)框架實(shí)戰(zhàn)集群環(huán)境生態(tài)系統(tǒng)架構(gòu)案例集群數(shù)據(jù)創(chuàng)建環(huán)境模式使用原理節(jié)點(diǎn)設(shè)計(jì)本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要本書以Hadoop3.x及其周邊框架為主線，介紹了整個(gè)Hadoop生態(tài)系統(tǒng)主流的大數(shù)據(jù)開發(fā)技術(shù)。全書共16章，第1章講解VMware中CentOS7操作系統(tǒng)的安裝；第2章講解操作系統(tǒng)集群環(huán)境的配置；第3~16章講解Hadoop生態(tài)系統(tǒng)各框架HDFS、MapReduce、YARN、ZooKeeper、HBase、Hive、Sqoop和數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)Flume、Kafka、Storm、Spark以及分布式搜索系統(tǒng)Elasticsearch等的基礎(chǔ)知識、架構(gòu)原理、集群環(huán)境搭建，同時(shí)包括常用的Shell命令、API操作、源碼剖析，并通過案例演示了各個(gè)框架的實(shí)際應(yīng)用。讀者即使沒有任何大數(shù)據(jù)基礎(chǔ)，通過閱讀本書，也可以對照書中的步驟成功搭建屬于自己的大數(shù)據(jù)集群并獨(dú)立完成項(xiàng)目開發(fā)。本書通俗易懂，內(nèi)容豐富，適合大數(shù)據(jù)開發(fā)初學(xué)者、大數(shù)據(jù)運(yùn)維人員以及大數(shù)據(jù)分析與挖掘的從業(yè)者閱讀，也可作為培訓(xùn)機(jī)構(gòu)和大專院校大數(shù)據(jù)專業(yè)課程的教學(xué)用書。目錄分析1.2新建虛擬機(jī)1.1下載CentOS7鏡像文件第1章VMware中安裝CentOS1.4動(dòng)手練習(xí)1.3安裝操作系統(tǒng)第1章VMware中安裝CentOS2.1系統(tǒng)環(huán)境配置2.3克隆虛擬機(jī)2.2安裝JDK第2章CentOS7集群環(huán)境配置2.5動(dòng)手練習(xí)2.4配置主機(jī)IP映射第2章CentOS7集群環(huán)境配置2.1系統(tǒng)環(huán)境配置2.1.1新建用戶2.1.2修改用戶權(quán)限2.1.3關(guān)閉防火墻2.1.4設(shè)置固定IP2.1.5修改主機(jī)名2.1.6新建資源目錄3.1Hadoop簡介3.2YARN基本架構(gòu)及組件3.3YARN工作流程3.4配置集群各節(jié)點(diǎn)SSH無密鑰登錄第3章Hadoop3.6動(dòng)手練習(xí)3.5搭建Hadoop3.x分布式集群第3章Hadoop3.1Hadoop簡介3.1.1Hadoop生態(tài)系統(tǒng)架構(gòu)3.1.2Hadoop不同版本架構(gòu)對比3.4配置集群各節(jié)點(diǎn)SSH無密鑰登錄3.4.1無密鑰登錄原理3.4.2無密鑰登錄操作步驟4.1HDFS簡介4.2HDFS命令行操作4.3HDFSWeb界面操作4.4HDFSJavaAPI操作4.5動(dòng)手練習(xí)12345第4章HDFS4.1HDFS簡介4.1.1設(shè)計(jì)目標(biāo)4.1.2總體架構(gòu)4.1.3主要組件4.1.4文件讀寫4.4HDFSJavaAPI操作4.4.1讀取數(shù)據(jù)4.4.2創(chuàng)建目錄4.4.3創(chuàng)建文件4.4.4刪除文件4.4.5遍歷文件和目錄4.4.6獲取文件或目錄的元數(shù)據(jù)4.4.7上傳本地文件4.4.8下載文件到本地5.1MapReduce簡介5.2MapReduce程序編寫步驟5.3案例分析：單詞計(jì)數(shù)5.4案例分析：數(shù)據(jù)去重第5章MapReduce5.5案例分析：求平均分5.6案例分析：二次排序5.7使用MRUnit測試MapReduce程序5.8動(dòng)手練習(xí)第5章MapReduce5.1MapReduce簡介5.1.1設(shè)計(jì)思想5.1.2任務(wù)流程5.1.3工作原理6.1ZooKeeper簡介6.2ZooKeeper安裝配置6.3ZooKeeper命令行操作6.4ZooKeeperJavaAPI操作第6章ZooKeeper6.6動(dòng)手練習(xí)6.5案例分析：監(jiān)聽服務(wù)器動(dòng)態(tài)上下線第6章ZooKeeper6.1ZooKeeper簡介6.1.1應(yīng)用場景6.1.2架構(gòu)原理6.1.3數(shù)據(jù)模型6.1.4節(jié)點(diǎn)類型6.1.5Watcher機(jī)制6.1.6分布式鎖6.2ZooKeeper安裝配置6.2.1單機(jī)模式6.2.2偽分布模式6.2.3集群模式6.4ZooKeeperJavaAPI操作6.4.1創(chuàng)建Java工程6.4.2創(chuàng)建節(jié)點(diǎn)6.4.3修改數(shù)據(jù)6.4.4獲取數(shù)據(jù)6.4.5刪除節(jié)點(diǎn)7.1HDFSHA搭建7.3動(dòng)手練習(xí)7.2YARNHA搭建第7章HDFS與YARNHA7.1HDFSHA搭建7.1.1架構(gòu)原理7.1.2搭建步驟7.1.3結(jié)合ZooKeeper進(jìn)行HDFS自動(dòng)故障轉(zhuǎn)移7.2YARNHA搭建7.2.1架構(gòu)原理7.2.2搭建步驟8.1什么是HBase8.2HBase基本結(jié)構(gòu)8.3HBase數(shù)據(jù)模型8.4HBase集群架構(gòu)8.5HBase安裝配置12345第8章HBase8.6HBaseShell命令操作8.7HBaseJavaAPI操作8.8HBase過濾器8.9案例分析：HBaseMapReduce數(shù)據(jù)轉(zhuǎn)移8.10案例分析：HBase數(shù)據(jù)備份與恢復(fù)8.11動(dòng)手練習(xí)010302040506第8章HBase8.5HBase安裝配置8.5.1單機(jī)模式8.5.2偽分布模式8.5.3集群模式8.7HBaseJavaAPI操作8.7.1創(chuàng)建Java工程8.7.2創(chuàng)建表8.7.3添加數(shù)據(jù)8.7.4查詢數(shù)據(jù)8.7.5刪除數(shù)據(jù)8.9案例分析：HBaseMapReduce數(shù)據(jù)轉(zhuǎn)移8.9.1HBase不同表間數(shù)據(jù)轉(zhuǎn)移8.9.2HDFS數(shù)據(jù)轉(zhuǎn)移至HBase9.1什么是Hive9.2Hive架構(gòu)體系9.3Hive三種運(yùn)行模式9.4Hive安裝配置9.5Hive常見屬性配置12345第9章Hive9.6BeelineCLI的使用9.7Hive數(shù)據(jù)庫操作9.8Hive表操作9.9Hive查詢第9章Hive9.10其他Hive命令9.12Hive自定義函數(shù)9.11Hive元數(shù)據(jù)表結(jié)構(gòu)分析第9章Hive9.13HiveJDBC操作9.14案例分析：Hive與HBase整合9.15案例分析：Hive分析搜狗用戶搜索日志9.16動(dòng)手練習(xí)第9章Hive9.1什么是Hive9.1.1數(shù)據(jù)單元9.1.2數(shù)據(jù)類型9.4Hive安裝配置9.4.1內(nèi)嵌模式9.4.2本地模式9.4.3遠(yuǎn)程模式9.8Hive表操作9.8.1內(nèi)部表9.8.2外部表9.8.3分區(qū)表9.8.4分桶表9.9Hive查詢9.9.1SELECT子句查詢9.9.2JOIN連接查詢10.1什么是Sqoop10.2使用Sqoop10.3數(shù)據(jù)導(dǎo)入工具10.4數(shù)據(jù)導(dǎo)出工具第10章Sqoop10.5Sqoop安裝與配置10.6案例分析：將MySQL表數(shù)據(jù)導(dǎo)入到HDFS中10.7案例分析：將HDFS中的數(shù)據(jù)導(dǎo)出到MySQL中10.8案例分析：將MySQL表數(shù)據(jù)導(dǎo)入到HBase中10.9動(dòng)手練習(xí)12345第10章Sqoop10.1什么是Sqoop10.1.1Sqoop基本架構(gòu)10.1.2Sqoop開發(fā)流程11.1什么是Kafka11.2Kafka架構(gòu)11.3主題與分區(qū)11.4分區(qū)副本第11章Kafka11.5消費(fèi)者組11.6數(shù)據(jù)存儲(chǔ)機(jī)制11.7Kafka集群環(huán)境搭建11.8命令行操作11.9JavaAPI操作12345第11章Kafka11.11動(dòng)手練習(xí)11.10案例分析：Kafka生產(chǎn)者攔截器第11章Kafka11.8命令行操作11.8.1創(chuàng)建主題11.8.2查詢主題11.8.3創(chuàng)建生產(chǎn)者11.8.4創(chuàng)建消費(fèi)者11.9JavaAPI操作11.9.1創(chuàng)建Java工程11.9.2創(chuàng)建生產(chǎn)者11.9.3創(chuàng)建消費(fèi)者11.9.4運(yùn)行程序12.1什么是Flume12.2Flume的架構(gòu)原理12.3安裝與簡單使用12.4案例分析：日志監(jiān)控（一）第12章Flume12.5案例分析：日志監(jiān)控（二）12.6攔截器12.7選擇器12.8案例分析：攔截器和選擇器的應(yīng)用12.9案例分析：Flume與Kafka整合12.10動(dòng)手練習(xí)010302040506第12章Flume12.2Flume的架構(gòu)原理12.2.1單節(jié)點(diǎn)架構(gòu)12.2.2組件介紹12.2.3多節(jié)點(diǎn)架構(gòu)12.6攔截器12.6.1內(nèi)置攔截器12.6.2自定義攔截器13.1什么是Storm13.3Storm集群架構(gòu)13.2StormTopology第13章Storm13.4Storm流分組13.5Storm集群環(huán)境搭建13.6案例分析：單詞計(jì)數(shù)13.7案例分析：Storm與Kafka整合13.8動(dòng)手練習(xí)12345第13章Storm13.6案例分析：單詞計(jì)數(shù)13.6.1設(shè)計(jì)思路13.6.2代碼編寫13.6.3程序運(yùn)行13.7案例分析：Storm與Kafka整合13.7.1設(shè)計(jì)思路13.7.2代碼編寫13.7.3程序運(yùn)行14.1什么是Elasticsearch14.2基本概念14.3集群架構(gòu)14.4集群環(huán)境搭建14.5安裝Kibana12345第14章Elasticsearch14.6RESTAPI14.7Head插件安裝14.8JavaAPI操作：員工信息14.9動(dòng)手練習(xí)第14章Elasticsearch14.2基本概念14.2.1索引、類型和文檔14.2.2分片和副本14.2.3路由14.6RESTAPI14.6.1集群狀態(tài)API14.6.2索引API14.6.3文檔API14.6.4搜索API14.6.5QueryDSL15.1什么是Scala15.2安裝Scala15.3Scala基礎(chǔ)15.4集合第15章Scala15.5類和對象15.6抽象類和特質(zhì)15.7使用Eclipse創(chuàng)建Scala項(xiàng)目15.8使用IntelliJIDEA創(chuàng)建Scala項(xiàng)目15.9動(dòng)手練習(xí)12345第15章Scala15.2安裝Scala15.2.1Windows中安裝Scala15.2.2CentOS7中安裝Scala15.3Scala基礎(chǔ)15.3.1變量聲明15.3.2數(shù)據(jù)類型15.3.3表達(dá)式15.3.4循環(huán)15.3.5方法與函數(shù)15.4集合15.4.1數(shù)組15.4.2List15.4.3Map映射15.4.4元組15.4.5Set15.5類和對象15.5.1類的定義15.5.2單例對象15.5.3伴生對象15.5.4get和set方法15.5.5構(gòu)造器15.6抽象類和特質(zhì)15.6.1抽象類15.6.2特質(zhì)15.7使用Eclipse創(chuàng)建Scala項(xiàng)目15.7.1安裝ScalaforEclipseIDE15.7.2創(chuàng)建Scala項(xiàng)目15.8使用IntelliJIDEA創(chuàng)建Scala項(xiàng)目15.8.1IDEA中安裝Scala插件15.8.2創(chuàng)建Scala項(xiàng)目16.1Spark概述16.2Spark主要組件16.3Spark運(yùn)行時(shí)架構(gòu)16.4Spark集群環(huán)境搭建第16章Spark16.5SparkHA搭建16.7SparkShell的使用16.6Spark應(yīng)用程序的提交第16章Spark16.8SparkRDD16.9案例分析：使用SparkRDD實(shí)現(xiàn)單詞計(jì)數(shù)16.10SparkSQL16.11案例分析：使用SparkSQL實(shí)現(xiàn)單詞計(jì)數(shù)第16章Spark16.12案例分析：SparkSQL與Hive整合16.14動(dòng)手練習(xí)16.13案例分析：SparkSQL讀寫MySQL第16章Spark16.3Spark運(yùn)行時(shí)架構(gòu)16.3.1SparkStandalone模式16.3.2SparkOnYARN模式16.4Spark集群環(huán)境搭建16.4.1SparkStandalone模式16.4.2SparkOnYARN模式16.8SparkR