Hadoop技術(shù)培訓(xùn)大綱.doc

附錄：Hadoop技術(shù)培訓(xùn)大綱（4天）課程模塊課程主題n 主要內(nèi)容n 案例和演示模塊一Hadoop簡介和生態(tài)系統(tǒng)介紹 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問題 Hadoop概述 Hadoop與分布式文件系統(tǒng) Hadoop生態(tài)系統(tǒng) Hadoop的行業(yè)應(yīng)用案例分析 Hadoop在云計算和大數(shù)據(jù)的位置和關(guān)系 Hadoop版本介紹 Hadoop與Google FS的關(guān)系 Hadoop在國內(nèi)的使用情況和未來 Hadoop在推薦領(lǐng)域的使用案例介紹模塊二Hadoop安裝和主要配置文件介紹 Hadoop安裝所需軟件介紹 Hadoop單機安裝 Hadoop偽分布式安裝 Hadoop完全分布式安裝 Hadoop三個節(jié)點安裝的配置介紹 Hahoop多節(jié)點ssh配置 Hadoop格式化詳解 Hadoop核心配置文件介紹 核心配置文件core-site.xml HDFS配置文件hdfs-site.xml Mapreduce配置文件mapred-site.xml master文件配置詳解 slave文件配置詳解 Hadoop啟動和停止方法一start-all.sh詳解stop-all.sh詳解 Hadoop的啟動和停止方法二 hadoop-deamon.sh詳解 Hadoop安裝的常見錯誤介紹和解決方案 使用自帶的wordcount和pi測試集群安裝是否成功 使用Streaming來測試集群安裝是否成功 Hadoop單機演示 Hadoop偽分布式演示 Hadoop完全分布式演示 Hadoop兩種啟動方式的演示 Hadoop安裝常見錯誤的介紹和演示 Hadoop自帶的wordcount和pi演示 Hadoop Streaming的案例演示模塊三Hadoop組件介紹 Hadoop NameNode 介紹 Hadoop SecondaryNameNode 介紹 Hadoop DataNode 介紹 Hadoop JobTracker 介紹 Hadoop TaskTracker 介紹模塊五Hadoop的HDFS模塊 HDFS架構(gòu)介紹 HDFS原理介紹 NameNode功能詳解 DataNode功能詳解 SecondaryNameNode功能詳解 HSFD的fsimage和editslog詳解 HDFS的block詳解 HDFS的block的備份策略 Hadoop的機架感知配置 HDFS的shell命令介紹 HDFS的thrift server服務(wù)介紹 HDFS的API接口介紹 HDFS的權(quán)限詳解 Hadoop的客服端接入案例 Hadoop的shell命令演示 Hadoop的API接口演示 Hadoop的客服端接入案例模塊六MapReducer入門和高級 Mapreduce原理 MapReduce流程 剖析一個MapReduce程序 Mapper和Reducer抽象類詳解 Mapreduce的最小驅(qū)動類 MapReduce自帶的類型 自定義Writables和WritableComparables Mapreduce的輸入InputFormats MapReduce的輸出OutputFormats 自定義InputFormat 自定義InputSPlits 自定義RecorderReader Combiner詳解 Partitioner詳解 DistributeFileSystem詳解 Hadoop Tools工具介紹 Counter計數(shù)器詳解 自定義Counter計數(shù)器 MapReduce的優(yōu)化 Map和Reduce的個數(shù)設(shè)置 Hadoop小文件優(yōu)化 任務(wù)調(diào)度 默認的任務(wù)調(diào)度 公平任務(wù)調(diào)度 能力任務(wù)調(diào)度 使用 Hadoop MapReduce Streaming 編程 MapReduce的單元測試 MapReduce實現(xiàn)海量數(shù)據(jù)比較大小案例 自定義Hadoop類型案例 自定義Partitioner案例 實現(xiàn)在內(nèi)存隨機生成100個數(shù)，分成兩個Map來比較大小 自定義inputFormat和InputSplit和RecorderReader來實現(xiàn)MapReduce讀取Redis里面的數(shù)據(jù)。 多文件輸出和自動定義MapReduce的輸出名 MapReduce實現(xiàn)Join算法案例 MapReduce實現(xiàn)海量文檔相似度算法 自定義Counter案例實現(xiàn) MapReduce實現(xiàn)Pangrank算法。 MapReduce單元測試：Map的單元測試測試、reduce單元測試和MapReduce整體的單元測試實戰(zhàn)。 某公司使用MapReduce分析日志案例（10T數(shù)據(jù)以上） 配置公平調(diào)度器案例實戰(zhàn)模塊七Hive和pig的使用 Hive和Pig基礎(chǔ) Hive、Impala和presto的比較 Hive的作用和原理說明 Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系 Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流 Hive 部署和安裝 Hive Cli 的基本用法 Hive的server啟動 HQL基本語法 Hive的加載數(shù)據(jù)本地加載和HDFS加載 Hive的partition詳解 Hive的存儲方式詳解 RCFILE、TEXTFILE和SEQUEUEFILE Hive的UDF和UDAF Hive的transform詳解 Hive的JDBC連接 使用JDBC 連接Hive進行查詢和分析 使用正則表達式加載數(shù)據(jù) 編寫UDF函數(shù) 編寫UDAF自定義函數(shù) Partition使用實戰(zhàn) Transform使用實戰(zhàn) 某些大型公司使用hive分析日志案例詳解和實戰(zhàn)。模塊八Hbase使用 Hbase原理 Hmaster詳解 RegionServer詳解 Zookeeper介紹 Hbase安裝 Hbase邏輯視圖介紹 Hbase物理視圖介紹 Hbase的二級索引介紹 Hbase 的DDL和DML Hbase表的設(shè)計案例 Hbase的import功能介紹 MapReduce操作Hbase Hbase的 thrift Server介紹 Hbase 的API介紹 Hbase案例分析 Hbase安裝實戰(zhàn) MapReduce操作Hbase實戰(zhàn) Hbase的API實戰(zhàn) Hbase表結(jié)構(gòu)設(shè)計實戰(zhàn)模塊九Hadoop集群配置介紹和維護 Hadoop集群的部署要點 NameNode和SecondaryNameNode和JobTracker機器的配置要求 dataNode與tasktracker機器的配置要求 Hadoop集群管理的工具介紹 Ganglia和nig