大數(shù)據(jù)應(yīng)用案例 大數(shù)據(jù)培訓(xùn)視頻教程-大數(shù)據(jù)高并發(fā)架構(gòu)實(shí)戰(zhàn)案例

《大數(shù)據(jù)高并發(fā)系統(tǒng)架構(gòu)實(shí)戰(zhàn)方案（LVS負(fù)載均衡、Nginx、共享存儲(chǔ)、海量數(shù)據(jù)、隊(duì)列

緩存）》

課程講師：tom5

課程分類：Java

涉及項(xiàng)目：大數(shù)據(jù)高并發(fā)系統(tǒng)平臺(tái)架構(gòu)

用到技術(shù)：LVS負(fù)載均衡、Nginx、共享存儲(chǔ)、海量數(shù)據(jù)

其他特性：隊(duì)列緩存、緩存平臺(tái)、mysql主從復(fù)制

涵蓋內(nèi)容：視頻、代碼、ppt

課時(shí)數(shù)量:21

隨著互聯(lián)網(wǎng)的發(fā)展，高并發(fā)、大數(shù)據(jù)量的網(wǎng)站要求越來(lái)越高。而這些高要求都是基礎(chǔ)的技術(shù)

和細(xì)節(jié)組合而成的。本課程就從實(shí)際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構(gòu)常用技術(shù)點(diǎn)及詳細(xì)演練。

通過(guò)該課程的學(xué)習(xí)，普通的技術(shù)人員就可以快速搭建起千萬(wàn)級(jí)的高并發(fā)大數(shù)據(jù)網(wǎng)站平

臺(tái)。

亮點(diǎn)一：真實(shí)環(huán)境還原，課程采用了VM環(huán)境重現(xiàn)大網(wǎng)站集群服務(wù)器環(huán)境，真實(shí)環(huán)境還原再

現(xiàn)。

亮點(diǎn)二：基礎(chǔ)實(shí)用，細(xì)節(jié)決定成敗，課程內(nèi)容在演練過(guò)程中重點(diǎn)介紹各種細(xì)節(jié)，保證初級(jí)人員快

速入門及高級(jí)進(jìn)階。

亮點(diǎn)三：講師豐富的海量平臺(tái)運(yùn)作經(jīng)驗(yàn)

第一章概述（1課時(shí)）簡(jiǎn)要介紹該系列課程的內(nèi)容，

本章內(nèi)容如下：

主流高并發(fā)大數(shù)據(jù)應(yīng)對(duì)技術(shù)介紹

CDN鏡像技術(shù)介紹

靜態(tài)化技術(shù)介紹

庫(kù)表水平及垂直拆分技術(shù)介紹

虛擬化云計(jì)算體系介紹

高并發(fā)系統(tǒng)架構(gòu)規(guī)劃

高并發(fā)大型網(wǎng)站高可靠架構(gòu)圖

課程安排簡(jiǎn)介

高并發(fā)大型網(wǎng)站高可靠架構(gòu)網(wǎng)絡(luò)IP規(guī)劃

搭建實(shí)戰(zhàn)環(huán)境的準(zhǔn)備工作

SFTP客戶端Filezilla使用簡(jiǎn)介

SSH客戶端SecureCRT使用簡(jiǎn)介

Centos關(guān)閉圖形界面啟動(dòng)及開啟sshd實(shí)戰(zhàn)

虛擬機(jī)clone后網(wǎng)卡重新初始化演練

VMware使用技巧演練

第二章LVS實(shí)現(xiàn)負(fù)載均衡軟交換實(shí)戰(zhàn)（5課時(shí)）

本章演練的是負(fù)載均衡技術(shù)的核心，主要包括LVS的類型特點(diǎn)適用場(chǎng)景介紹，使用Piranha安

裝快速搭建LVS負(fù)載均衡集群及配置，LVS負(fù)載均衡DR模式深入安裝調(diào)試，LVS調(diào)度策略及負(fù)載均衡

原理詳細(xì)演練，LVS深入實(shí)踐NAT模式集群調(diào)試。

詳細(xì)內(nèi)容如下：

LVS服務(wù)器配置準(zhǔn)備

關(guān)閉centos網(wǎng)卡自動(dòng)管理實(shí)踐

上網(wǎng)網(wǎng)卡手動(dòng)配理

yum鏡像加速

yum安裝Piranha

piranha-gui啟動(dòng)

防火墻配置開通3306口

pulse啟動(dòng)

piranha安裝效果驗(yàn)證

nginx服務(wù)器配置安裝

主機(jī)名配置

添加nginx的yum安裝源

yum安裝nginx

nginx安裝效果驗(yàn)證

防火墻配置打開80口

防火墻配置虛IP包轉(zhuǎn)發(fā)規(guī)則支持LVS的DR模式

Piranha配置DR模式詳解演練

globalsettings公網(wǎng)IP酉己置Primaryserverpublicip

redundancy配置Ivs服務(wù)器的冗余，

virtualservers配置VirtualIPAddress和realserver

主從配置scp復(fù)制

LVS安裝效果驗(yàn)證

ipvsadm演練

熱備切換

LVS自服務(wù)配置啟動(dòng)

Piranha相關(guān)輪詢配置參數(shù)講解及效果演示

Roundrobin：輪轉(zhuǎn)調(diào)度輪詢（最簡(jiǎn)單的輪詢）

Weightedleast-connections：加權(quán)最少連接（考慮負(fù)載、服務(wù)器性能因素）

Weightedroundrobin：加權(quán)最少連接（考慮服務(wù)器性能因素）

Least-connection：最少連接（考慮負(fù)載因素）等

/etc/sysconfig/ha/lvs.cf文件配置內(nèi)容詳細(xì)講解

LVS調(diào)度策略深入及效果演示

服務(wù)器集群負(fù)載均衡簡(jiǎn)化的整體結(jié)構(gòu)講解

基于DNS的請(qǐng)求調(diào)度

基于前端調(diào)度器的請(qǐng)求調(diào)度

四層交換-通過(guò)DR實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)

四層交換?通過(guò)IP隧道實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)

四層交換-通過(guò)NAT實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)

四層交換-三種報(bào)文轉(zhuǎn)發(fā)技術(shù)比較

應(yīng)用層交換-協(xié)議內(nèi)部支持Http重定向

應(yīng)用層交換-其他技術(shù)

基于后端服務(wù)器的請(qǐng)求調(diào)度

LVS三種模式比較

LVS典型NAT模式網(wǎng)絡(luò)拓?fù)鋱D

Clone服務(wù)器配置安裝nginx2及Ivs2

Piranha配置NET模式

NAT模式效果演示

centos配置防火墻關(guān)閉，開啟轉(zhuǎn)發(fā)

centos主備LVS復(fù)制配置文件驗(yàn)

證LVSNAT安裝效果

第三章Nginx高級(jí)配置實(shí)戰(zhàn)(3課時(shí))

本章演練的是靜態(tài)內(nèi)容與動(dòng)態(tài)內(nèi)容服務(wù)器分離，主要包括Nginx基礎(chǔ)安裝配置，Nginx反向代理

實(shí)戰(zhàn)進(jìn)階，Nginx動(dòng)靜分離URL轉(zhuǎn)發(fā)實(shí)戰(zhàn)，

詳細(xì)內(nèi)容如下：

Hadoop,Tomcat的安裝環(huán)境采用debian的tomcat最小安裝版虛擬機(jī)下載并初始

化

tomcat服務(wù)端口修改

主機(jī)名修改

增加首頁(yè)jsp服務(wù)器識(shí)別標(biāo)志

tomcat安裝效果測(cè)試nginx

安裝默認(rèn)目錄講解nginx配

置文件詳細(xì)講解

nginx配置server先后順序演練

hosts文件修改本地dns配置模擬域名訪問

Nginx調(diào)度策略演練：nginx的upstream目前支持4種方式的分配：輪詢(默認(rèn))、

weightsip_hash、fair、url_hash

Nginx調(diào)度策略-小技巧演練等：backup,down等演練

proxy_pass后的url加I不力口/的區(qū)別演練

Nginx對(duì)URL進(jìn)行匹配語(yǔ)法規(guī)則講解

Nginx對(duì)URL進(jìn)行匹配演練實(shí)踐

Nginx對(duì)URL進(jìn)行匹配?常用規(guī)則講解

Nginx一些可用的全局變量詳解

Nginx代理后，服務(wù)端收到參數(shù)通過(guò)tomcat上編寫info.jsp詳細(xì)查看

Nginx對(duì)URL重寫語(yǔ)法詳解：標(biāo)記，判斷文件或目錄

正則表達(dá)式語(yǔ)法講解

Nginx對(duì)URL重寫例子技巧演練

1.簡(jiǎn)單例子:rewrite"/zixun/([0-9]+)(/*).html$"/zixun/$l/last;

2.多目錄轉(zhuǎn)成參數(shù)

3.目錄對(duì)換

4.設(shè)定nginx在用戶使用ie的使用重定向到/nginx-ie口錄下

5.目錄自動(dòng)加

6.禁止htaccess

7?禁止多個(gè)目錄

8.文件反盜鏈并設(shè)置過(guò)期時(shí)間

9.域名跳轉(zhuǎn)

10.多域名轉(zhuǎn)向

11.三級(jí)域名跳轉(zhuǎn)

12.域名鏡向

13.某個(gè)子目錄作鏡向

第四章基于共享存儲(chǔ)實(shí)現(xiàn)動(dòng)態(tài)內(nèi)容靜態(tài)化加速實(shí)戰(zhàn)（2課時(shí)）

本章演練的是基于共享存儲(chǔ)實(shí)現(xiàn)動(dòng)態(tài)內(nèi)容靜態(tài)化加速，主要包括NFS共享文件系統(tǒng)基礎(chǔ)安裝配

置，tomcat動(dòng)態(tài)內(nèi)容靜態(tài)化加速實(shí)戰(zhàn)演練。

詳細(xì)內(nèi)容如下：

nginx負(fù)載均衡雙機(jī)配置文件同步復(fù)制

檢查L(zhǎng)VS及整套集群環(huán)境運(yùn)行狀態(tài)（LVS+nginx+tomcat）,停掉tomcat檢查

clone生成服務(wù)器安裝配置nfs服務(wù)端

centos64位yum安裝服務(wù)端nfs-utilsrpcnbind

修改nfs配置文件/etc/exports服務(wù)端開放共享目錄

關(guān)閉防火墻，啟動(dòng)nfs相關(guān)服務(wù)端服務(wù)

nginx服務(wù)器，tomcat服務(wù)器上nfs客戶端安裝配置并驗(yàn)證共享效果

配置各nfs相關(guān)服務(wù)開機(jī)自啟動(dòng)

通過(guò)詳細(xì)jsp講解演練將動(dòng)態(tài)內(nèi)容靜態(tài)化，提高整體系統(tǒng)性能。

tomcat服務(wù)器上目錄權(quán)限開放保證tomcat,nginx服務(wù)有權(quán)限讀寫

動(dòng)態(tài)內(nèi)容靜態(tài)化效果驗(yàn)證

第五章緩存平臺(tái)安裝配置使用（2課時(shí)）

本章演練的主流緩存平臺(tái)的搭建，主要包括基于memcached搭建緩存平臺(tái)安裝配置，基于緩存

編程實(shí)戰(zhàn)演練。

詳細(xì)內(nèi)容如下：

Clone生成服務(wù)器mem配置網(wǎng)卡及主機(jī)名

下載memcached的rpmforge的yum源rpm安裝包

yum安裝memcached

memcached安裝效果驗(yàn)證，服務(wù)自啟動(dòng)配置驗(yàn)證

centos>win7上安裝telnet客戶端

telnet命令幫助檢查端口11211是否可訪問

防火墻關(guān)掉11211口限制

memcached服務(wù)器運(yùn)行狀態(tài)參數(shù)詳解

memcached啟動(dòng)命令詳解并演練

下載Memcachedjava客戶端jar包

memcache客戶端測(cè)試代碼memtest.jsp詳解演練

statsitems命令查看memcache中每個(gè)slab中存儲(chǔ)的item的一些詳細(xì)信息

statsslabs命令查看memcache中slab中內(nèi)存分配的情況

memcache的增刪改讀效果演練

計(jì)數(shù)器代碼count.jsp講解實(shí)戰(zhàn)

部署到tomcatl和tomcat2,不同服務(wù)器jsp增加服務(wù)器識(shí)別標(biāo)識(shí)，并驗(yàn)證效果

第六章mysql主從復(fù)制安裝配置實(shí)戰(zhàn)（2課時(shí)）

本章演練數(shù)據(jù)關(guān)鍵存儲(chǔ)主流數(shù)據(jù)庫(kù)高可靠平臺(tái)的搭建，主要包括mysql主從復(fù)制基礎(chǔ)安裝配

置，mysql主從復(fù)制安裝配置進(jìn)階及結(jié)合緩存編程實(shí)戰(zhàn)演練。

詳細(xì)內(nèi)容如下：

Clone生成服務(wù)器mysqll配置網(wǎng)卡及主機(jī)名

yum安裝mysql服務(wù)

修改mysql配置字符集utf8

配置mysqld自啟動(dòng)服務(wù)并啟動(dòng)驗(yàn)證安裝效果

mysql設(shè)置root密碼

Mysql遺忘密碼如何重置關(guān)鍵使用技巧

Clone生成服務(wù)器mysql2修改主從配置開啟binlog

在主服務(wù)器上建立帳戶并授權(quán)slave同步權(quán)限

登錄主服務(wù)器的mysql,杳詢master的狀態(tài)確定binlog文件名及pos偏移值

配置從服務(wù)器Slave指定上述主服務(wù)器binlog文件名及pos偏移值

啟動(dòng)從同步復(fù)制服務(wù)并檢查從服務(wù)器復(fù)制功能狀態(tài)

詳細(xì)狀態(tài)實(shí)際講解Slave_IO_Running:Yes〃此狀態(tài)必須YES

Slave_SQL_Running:Yes〃此狀態(tài)必須YES

十分關(guān)鍵

外部訪問3306口驗(yàn)證

配置防火墻打開3306口

高級(jí)配置解決mysql遠(yuǎn)程訪問授權(quán)問題

主從服務(wù)器驗(yàn)證主從復(fù)制效果

主服務(wù)器中建庫(kù)建表，插入數(shù)據(jù)

從服務(wù)器中查看同步效果

若主服務(wù)器有老數(shù)據(jù)的情況初始化步驟詳解mysqldump,source等命令使用

利用Mysql解決memcahe持久化問題

Mysqljdbc驅(qū)動(dòng)jar包下載Mysql

測(cè)試mysqltest.jsp代碼講解mysql

授權(quán)小陷阱問題解決

計(jì)數(shù)器表建立，計(jì)數(shù)器jsp代碼修改并在原有memcache基礎(chǔ)上增加mysql持久化

部分代碼，間隔超過(guò)10秒存一次db,并重啟memcached檢查代碼效果

第七章海量數(shù)據(jù)平臺(tái)安裝配置實(shí)戰(zhàn)（2課時(shí)）

本章演練主流NoSql分布式數(shù)據(jù)引擎及MapReduce平臺(tái)hadoop的搭建，主要包括hadoop

分布計(jì)算平臺(tái)基礎(chǔ)安裝配置，hadoop高級(jí)管理，HDFS分布式文件使用深入演練。

詳細(xì)內(nèi)容如下：

HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS集群、

MapReduce分布式計(jì)算、Hadoop分布式集群運(yùn)行圖詳解

Clone出hadoop服務(wù)器nameNode配置ip及hostname

修改hosts增力IInameNode,dataNode的ip映射

nameNode增加hadoop用戶及用戶組并設(shè)置密碼

nameNode配置ssh自動(dòng)登錄

Clone出hadoop服務(wù)器dataNodel、2酉覆ip及hostname

修改hosts增力口nameNode,dataNode的ip映射dataNode

增加hadoop用戶及用戶組并設(shè)置密碼

dataNodel>2配置ssh自動(dòng)登錄

Namenode服務(wù)端同步ssh公鑰文件到各

dataNodel、2

ssh驗(yàn)證ssh自動(dòng)登錄

Hadoop安裝，下載并上傳解壓縮

建立文件目錄tmp

Hadoop配置conf/core-site.xml詳解演練

Hadoop配置conf/hdfs-site.xml詳解演練

Hadoop配置conf/mapred-site.xml詳解演練

Hadoop配置conf/masters

Hadoop酉己置conf/slaves

復(fù)制Hadoop到slaves服務(wù)器

啟動(dòng)Hadoop

首次執(zhí)行，格式化HDFS文件系統(tǒng)hadoopnamenode-format

驗(yàn)證Hadoop啟動(dòng)

java自帶的小工具jps查看進(jìn)程

hadoopdfsadmin-report查看服務(wù)狀態(tài)

Web管理:jobtracker、tasktracker、DFS狀態(tài)查看

Hadoop無(wú)法啟動(dòng)可能的原因：防火墻等

管理HDFS中的文件詳細(xì)演練

第章簡(jiǎn)單隊(duì)列緩存平臺(tái)安裝配置實(shí)戰(zhàn)（2課時(shí)）

本章演練熱門的redis搭建簡(jiǎn)單的隊(duì)列及緩存平臺(tái)，主要包括redis安裝配置實(shí)戰(zhàn)，redis實(shí)用

編程詳細(xì)演練。

詳細(xì)內(nèi)容如下：

Redis是當(dāng)前最熱門的高級(jí)key-value數(shù)據(jù)庫(kù)。它跟memcached類似，不過(guò)數(shù)據(jù)可

以持久化，而且支持的數(shù)據(jù)類型很豐富。

基于redis搭建簡(jiǎn)單的隊(duì)列及緩存平臺(tái)

clone服務(wù)器redis配置ip及修改主機(jī)名

下載安裝redis-2.6.11.tar.gz

編譯原代碼

編譯問題編譯環(huán)境上網(wǎng)yum安裝

Redis編譯安裝，在src目錄下生成5個(gè)可執(zhí)行文件，redis-serve「、redis-cli>

redis-benchmark>redis-check-aof^redis-check-dump

設(shè)置內(nèi)存分配策略設(shè)置/etc/sysctl.conf中vm.overcommit_memory=1,允許分

配所有的物理內(nèi)存，而不管當(dāng)前的內(nèi)存狀態(tài)如何

Redis啟動(dòng)并驗(yàn)證

Redis遠(yuǎn)程連接6379口配

置防火墻打開6379端口配

置指定log及db文件

配置自啟動(dòng)服務(wù)腳本:/etc/init.d/「edis

增加權(quán)限。配置自啟動(dòng)服務(wù)redis

Redis配刊文件redis.conf修改，其中daemonize:默認(rèn)情況下，redis不是在后臺(tái)

運(yùn)行的，需要在后臺(tái)運(yùn)行，把該項(xiàng)的值更改為yeso

Redis常用命令：delname,existsname,ping,save,redis-cli-p6379save

Redis支持String類型，能存儲(chǔ)二進(jìn)制安全的字符串，最大長(zhǎng)度為1GB。也可用來(lái)存

儲(chǔ)數(shù)字，并支持對(duì)數(shù)字加減操作。還支持對(duì)其部分的修改和獲取操作。

List類型操作演練

集合(Sets)類型操作演練

有序集合(SortedSets)類型操作演練