第二部分、redis實(shí)戰(zhàn)案例及總回顧大數(shù)據(jù)教程大綱

1、大數(shù)據(jù)高并發(fā)系統(tǒng)架構(gòu)實(shí)戰(zhàn)方案(LVS 負(fù)載均衡、Nginx、共享緩存)、海量數(shù)據(jù)、隊(duì)列課程講師：tom5課程分類(lèi)：Java涉及項(xiàng)目：大數(shù)據(jù)高并發(fā)系統(tǒng)架構(gòu)用到技術(shù)：LVS 負(fù)載均衡、Nginx、共享、海量數(shù)據(jù)其他特性：隊(duì)列緩存、緩存涵蓋內(nèi)容：、代碼、ppt數(shù)量：21、主從隨著互聯(lián)網(wǎng)的發(fā)展，高并發(fā)、大數(shù)據(jù)量的要求越來(lái)越高。而這些高要求都是基礎(chǔ)的技術(shù)和細(xì)節(jié)組合而成的。本課程就從實(shí)際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構(gòu)常用詳細(xì)演練。及通過(guò)該課程的學(xué)習(xí)，普通的技術(shù)就可以快速搭建起千萬(wàn)級(jí)的高并發(fā)大數(shù)據(jù)平臺(tái)。亮點(diǎn)一：真實(shí)環(huán)境還原，課程采用了 VM 環(huán)境重現(xiàn)大現(xiàn)。集群服務(wù)器環(huán)境，真實(shí)環(huán)境還原再亮點(diǎn)二：基礎(chǔ)實(shí)用，細(xì)

2、節(jié)決定成敗，課程內(nèi)容在演練過(guò)程中重點(diǎn)介紹各種細(xì)節(jié)，保證初級(jí)人員快速入門(mén)及高級(jí)進(jìn)階。亮點(diǎn)三：講師豐富的海量經(jīng)驗(yàn)第一章 概述（1）簡(jiǎn)要介紹該系列課程的內(nèi)容，本章內(nèi)容如下：主流高并發(fā)大數(shù)據(jù)應(yīng)對(duì)技術(shù)介紹CDN 鏡像技術(shù)介紹靜態(tài)化技術(shù)介紹庫(kù)表水平及垂直拆分技術(shù)介紹虛擬化云計(jì)算體系介紹高并發(fā)系統(tǒng)架構(gòu)規(guī)劃高并發(fā)大型高可靠架構(gòu)圖課程安排簡(jiǎn)介高并發(fā)大型高可靠架構(gòu)網(wǎng)絡(luò)IP 規(guī)劃搭建實(shí)戰(zhàn)環(huán)境的準(zhǔn)備工作SFTP 客戶(hù)端Filezilla 使用簡(jiǎn)介SSH 客戶(hù)端SecureCRT 使用簡(jiǎn)介Centos 關(guān)閉圖形界面啟動(dòng)及開(kāi)啟 sshd 實(shí)戰(zhàn)虛擬機(jī)clone 后網(wǎng)卡重新初始化演練 VMware 使用技巧演練第二章 LVS

3、 實(shí)現(xiàn)負(fù)載均衡軟交換實(shí)戰(zhàn)（5）本章演練的是負(fù)載均衡技術(shù)的，主要包括 LVS 的類(lèi)型特點(diǎn)適用場(chǎng)景介紹，使用Piranha 安裝快速搭建 LVS 負(fù)載均衡集群及配置，LVS 負(fù)載均衡DR 模式深入安裝調(diào)試，LVS 調(diào)度策略及負(fù)載均衡原理詳細(xì)演練，LVS 深入實(shí)踐 NAT 模式集群調(diào)試。詳細(xì)內(nèi)容如下：LVS 服務(wù)器配置準(zhǔn)備關(guān)閉centos 網(wǎng)卡自動(dòng)管理實(shí)踐上網(wǎng)網(wǎng)卡手動(dòng)配置yum 鏡像加速 yum 安裝Piranha piranha-gui 啟動(dòng)配置開(kāi)通 3306 口pulse 啟動(dòng)piranha 安裝效果驗(yàn)證 nginx 服務(wù)器配置安裝主機(jī)名配置添加nginx 的yum 安裝源yum 安裝 ngin

4、x nginx 安裝效果驗(yàn)證配置打開(kāi) 80 口配置虛 IP 包轉(zhuǎn)發(fā)規(guī)則支持 LVS 的 DR 模式Piranha 配置DR 模式詳解演練global settings 公網(wǎng)IP 配置Primary servredundancy 配置 lvs 服務(wù)器的冗余，ublic ipvirtual servers 配置 Virtual IP Address 和real server主從配置 scp LVS 安裝效果驗(yàn)證 ipvsadm 演練熱備切換LVS 自服務(wù)配置啟動(dòng)Piranha 相關(guān)輪詢(xún)配置參數(shù)講解及效果演示Round robin：輪轉(zhuǎn)調(diào)度 輪詢(xún) （最簡(jiǎn)單的輪詢(xún)）Weighted least-con

5、nections：最少連接（考慮負(fù)載、服務(wù)器性能）Weighted round robin：最少連接（考慮服務(wù)器性能）Least-connection：最少連接（考慮負(fù)載） 等/etc/sysconfig/ha/lvs.cf 文件配置內(nèi)容詳細(xì)講解LVS 調(diào)度策略深入及效果演示服務(wù)器集群負(fù)載均衡簡(jiǎn)化的整體結(jié)構(gòu)講解基于DNS 的請(qǐng)求調(diào)度基于前端調(diào)度器的請(qǐng)求調(diào)度四層交換-通過(guò)DR 實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)四層交換-通過(guò)IP 隧道實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)四層交換-通過(guò)NAT 實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)四層交換-三種報(bào)文轉(zhuǎn)發(fā)技術(shù)比較應(yīng)用層交換-協(xié)議支持Http 重定向應(yīng)用層交換-其他技術(shù)基于后端服務(wù)器的請(qǐng)求調(diào)度LVS 三種模式比較LVS 典

6、型 NAT 模式網(wǎng)絡(luò)拓?fù)鋱DClone 服務(wù)器配置安裝nginx2 及l(fā)vs2 Piranha 配置 NET 模式NAT 模式效果演示centos 配置centos 主備 LVS關(guān)閉，開(kāi)啟轉(zhuǎn)發(fā)配置文件驗(yàn)證LVSNAT 安裝效果第三章 Nginx 高級(jí)配置實(shí)戰(zhàn)（3）本章演練的是靜態(tài)內(nèi)容與動(dòng)態(tài)內(nèi)容服務(wù)器分離，主要包括 Nginx 基礎(chǔ)安裝配置，Nginx 反向?qū)崙?zhàn)進(jìn)階，Nginx 動(dòng)靜分離URL 轉(zhuǎn)發(fā)實(shí)戰(zhàn)，詳細(xì)內(nèi)容如下：Hadoop，Tomcat 的安裝環(huán)境采用debian 的tomcat 最小安裝版虛擬機(jī)并初始化tomcat 服務(wù)端口修改主機(jī)名修改增加首頁(yè) jsp 服務(wù)器識(shí)別標(biāo)志 tomcat 安

7、裝效果測(cè)試 nginx 安裝默認(rèn)目錄講解 nginx 配置文件詳細(xì)講解nginx 配置server 先后順序演練hosts 文件修改本地 dns 配置模擬Nginx 調(diào)度策略演練：nginx 的upstream 目前支持 4 種方式的分配：輪詢(xún)（默認(rèn)）、weight、ip_hash、fair、url_hashNginx 調(diào)度策略-小技巧演練等：backup，down 等演練proxy_pass 后的url 加不加/的區(qū)別演練Nginx 對(duì)URL 進(jìn)行匹配語(yǔ)則講解Nginx 對(duì)URL 進(jìn)行匹配演練實(shí)踐Nginx 對(duì)URL 進(jìn)行匹配-常用規(guī)則講解Nginx 一些可用的全局變量詳解Nginx后，服務(wù)

8、端收到參數(shù)通過(guò)tomcat 上編寫(xiě)info.jsp 詳細(xì)查看Nginx 對(duì)URL 重寫(xiě)語(yǔ)法詳解：標(biāo)記，判斷文件或目錄正則表達(dá)式語(yǔ)法講解Nginx 對(duì)URL 重寫(xiě)例子技巧演練1.簡(jiǎn)單例子： rewrite /zixun/(0-9+)(/*).html$ /zixun/$1/ last;多目錄轉(zhuǎn)成參數(shù)目錄對(duì)換設(shè)定 nginx 在用戶(hù)使用 ie 的使用重定向到/nginx-ie 目錄下目錄自動(dòng)加“/”6.7.htac多個(gè)目錄s8.文件反盜鏈并設(shè)置過(guò)期時(shí)間9.跳轉(zhuǎn)10.多轉(zhuǎn)向11.三級(jí)跳轉(zhuǎn)12.鏡向13.某個(gè)子目錄作鏡向第四章 基于共享實(shí)現(xiàn)動(dòng)態(tài)內(nèi)容靜態(tài)化加速實(shí)戰(zhàn)（2）本章演練的是基于共享實(shí)現(xiàn)動(dòng)態(tài)內(nèi)容靜

9、態(tài)化加速，主要包括 NFS 共享文件系統(tǒng)基礎(chǔ)安裝配置，tomcat 動(dòng)態(tài)內(nèi)容靜態(tài)化加速實(shí)戰(zhàn)演練。詳細(xì)內(nèi)容如下：nginx 負(fù)載均衡雙機(jī)配置文件同步檢查 LVS 及整套集群環(huán)境運(yùn)行狀態(tài)（LVS+nginx+tomcat），停掉 tomcat 檢查clone 生成服務(wù)器安裝配置 nfs 服務(wù)端centos64 位 yum 安裝服務(wù)端 nfs-utilsbind修改nfs 配置文件/etc/exports 服務(wù)端開(kāi)放共享目錄，啟動(dòng)nfs 相關(guān)服務(wù)端服務(wù)關(guān)閉nginx 服務(wù)器，tomcat 服務(wù)器上nfs 客戶(hù)端安裝配置并驗(yàn)證共享效果配置各nfs 相關(guān)服務(wù)開(kāi)機(jī)自啟動(dòng)通過(guò)詳細(xì) jsp 講解演練將動(dòng)態(tài)內(nèi)容

10、靜態(tài)化，提高整體系統(tǒng)性能。tomcat 服務(wù)器上目錄權(quán)限開(kāi)放保證tomcat，nginx 服務(wù)動(dòng)態(tài)內(nèi)容靜態(tài)化效果驗(yàn)證限讀寫(xiě)第五章 緩存安裝配置使用（2）本章演練的主流緩存的搭建，主要包括基于 memcached 搭建緩存編程實(shí)戰(zhàn)演練。詳細(xì)內(nèi)容如下：安裝配置,基于緩存Clone 生成服務(wù)器 mem 配置網(wǎng)卡及主機(jī)名memcached 的 rpmfyum 安裝memcachede 的yum 源 rpm 安裝包memcached 安裝效果驗(yàn)證，服務(wù)自啟動(dòng)配置驗(yàn)證centos、win7 上安裝net 客戶(hù)端net 命令幫助檢查端口 11211 是否可關(guān)掉 11211 口限制memcached 服務(wù)器運(yùn)

11、行狀態(tài)參數(shù)詳解memcached 啟動(dòng)命令詳解并演練Memcached java 客戶(hù)端 jar 包memcache 客戶(hù)端測(cè)試代碼 memtest.jsp 詳解演練ss items 命令查看memcache 中每個(gè) slab 中的 item 的一些詳細(xì)信息ss slabs 命令查看memcache 中slab 中內(nèi)存分配的情況memcache 的增刪改讀效果演練計(jì)數(shù)器代碼count.jsp 講解實(shí)戰(zhàn)部署到tomcat1 和tomcat2，不同服務(wù)器 jsp 增加服務(wù)器識(shí)別標(biāo)識(shí)，并驗(yàn)證效果第六章主從安裝配置實(shí)戰(zhàn)（2）本章演練數(shù)據(jù)關(guān)鍵主流數(shù)據(jù)庫(kù)高可靠的搭建，主要包括主從基礎(chǔ)安裝配置，主從安裝配置

12、進(jìn)階及結(jié)合緩存編程實(shí)戰(zhàn)演練。詳細(xì)內(nèi)容如下：Clone 生成服務(wù)器1 配置網(wǎng)卡及主機(jī)名yum 安裝修改配置服務(wù)配置字符集 utf8d 自啟動(dòng)服務(wù)并啟動(dòng)驗(yàn)證安裝效果設(shè)置root遺忘如何重置關(guān)鍵使用技巧Clone 生成服務(wù)器2 修改主從配置開(kāi)啟binlog在主服務(wù)器上建立帳戶(hù)并slave 同步權(quán)限，查詢(xún) master 的狀態(tài)確定 binlog 文件名及登錄主服務(wù)器的偏移值配置從服務(wù)器Slave 指定上述主服務(wù)器 binlog 文件名及偏移值啟動(dòng)從同步服務(wù)并檢查從服務(wù)器功能狀態(tài)詳細(xì)狀態(tài)實(shí)際講解Slave_IO_Running: Yes Slave_SQL_Running: Yes/此狀態(tài)必須 YES十

13、分關(guān)鍵外部3306 口驗(yàn)證/此狀態(tài)必須 YES打開(kāi) 3306 口配置高級(jí)配置解決主從服務(wù)器驗(yàn)證主從主服務(wù)器中建庫(kù)建表，問(wèn)題效果數(shù)據(jù)從服務(wù)器中查看同步效果若主服務(wù)器有老數(shù)據(jù)的情況初始化步驟詳解dump，source 等命令使用解決memcahe 持久化問(wèn)題jdbc 驅(qū)動(dòng)jar 包利用test.jsp 代碼講解小陷阱問(wèn)題解決計(jì)數(shù)器表建立，計(jì)數(shù)器 jsp 代碼修改并在原有 memcache 基礎(chǔ)上增加部分代碼，間隔超過(guò) 10 秒存一次 db，并重啟 memcached 檢查代碼效果測(cè)試持久化第七章 海量數(shù)據(jù)安裝配置實(shí)戰(zhàn)（2）本章演練主流 NoSql 分布式數(shù)據(jù)引擎及MapReducehadoop 的

14、搭建，主要包括 hadoop分布計(jì)算基礎(chǔ)安裝配置，hadoop 高級(jí)管理，HDFS 分布式文件使用深入演練。詳細(xì)內(nèi)容如下：HDFS 和MapReduce 共同組成了 Hadoop 分布式系統(tǒng)體系結(jié)構(gòu)的MapReduce 分布式計(jì)算、Hadoop 分布式集群運(yùn)行圖詳解Clone 出hadoop 服務(wù)器 nameNode 配置 ip 及hostname修改hosts 增加nameNode，dataNode 的 ip nameNode 增加hadoop 用戶(hù)及用戶(hù)組并設(shè)置 nameNode 配置ssh 自動(dòng)登錄Clone 出hadoop 服務(wù)器 dataNode1、2 配置 ip 及hostname

15、修改hosts 增加nameNode，dataNode 的 ip dataNode 增加hadoop 用戶(hù)及用戶(hù)組并設(shè)置 dataNode1、2 配置ssh 自動(dòng)登錄 Namenode 服務(wù)端同步 ssh 公鑰文件到各 dataNode1、2ssh 驗(yàn)證ssh 自動(dòng)登錄Hadoop 安裝，并上傳解壓縮建立文件目錄tmpHadoop 配置conf/core-site.xml 詳解演練 Hadoop 配置conf/hdfs-site.xml 詳解演練 Hadoop 配置conf/mapred-site.xml 詳解演練 Hadoop 配置conf/mastersHadoop 配置conf/slav

16、es Hadoop 到slaves 服務(wù)器啟動(dòng)Hadoop首次執(zhí)行，格式化HDFS 文件系統(tǒng)hadoop namenode format驗(yàn)證Hadoop 啟動(dòng)java 自帶的小工具 jps 查看進(jìn)程hadoop dfsadmin -report 查看服務(wù)狀態(tài)Web 管理：jobtracker、tasktracker、DFS 狀態(tài)查看。HDFS 集群、Hadoop 無(wú)法啟動(dòng)可能的原因：管理HDFS 中的文件詳細(xì)演練等第八章 簡(jiǎn)單隊(duì)列緩存安裝配置實(shí)戰(zhàn)（2）本章演練熱門(mén)的 redis 搭建簡(jiǎn)單的隊(duì)列及緩存編程詳細(xì)演練。詳細(xì)內(nèi)容如下：，主要包括redis 安裝配置實(shí)戰(zhàn)，redis 實(shí)用Redis 是當(dāng)

17、前最熱門(mén)的高級(jí) key-value 數(shù)據(jù)庫(kù)。它跟memcached 類(lèi)似，不過(guò)數(shù)據(jù)可以持久化，而且支持的數(shù)據(jù)類(lèi)型很豐富?；趓edis 搭建簡(jiǎn)單的隊(duì)列及緩存clone 服務(wù)器 redis 配置 ip 及修改主機(jī)名安裝redis-2.6.11.tar.gz編譯原代碼編譯問(wèn)題編譯環(huán)境上網(wǎng)yum 安裝Redis 編譯安裝，在src 目錄下生成 5 個(gè)可執(zhí)行文件，redis-server、redis-cli、redis-benark、redis-check-aof、redis-check-dump設(shè)置內(nèi)存分配策略設(shè)置/etc/sysctl.conf 中mit_memory = 1，允許分配所有的物理內(nèi)

18、存，而不管當(dāng)前的內(nèi)存狀態(tài)如何Redis 啟動(dòng)并驗(yàn)證Redis配置連接 6379 口打開(kāi) 6379 端口配置指定 log 及db 文件配置自啟動(dòng)服務(wù):/etc/init.d/redis增限。配置自啟動(dòng)服務(wù) redisRedis 配置文件redis.conf 修改，其中 daemonize: 默認(rèn)情況下，redis 不是在運(yùn)行的，需要在運(yùn)行，把該項(xiàng)的值更改為 yes。Redis 常用命令：del name，exists namng，save，redis-cli -p 6379 saveRedis 支持String 類(lèi)型，能二進(jìn)制安全的字符串，最大長(zhǎng)度為 1GB。也可用來(lái)數(shù)字，并支持對(duì)數(shù)字加減操作。還支持對(duì)其部分的修改和獲取操作。List 類(lèi)型操作演練集合（Sets）類(lèi)型操作演練有序集合（Sort