大型網(wǎng)站技術(shù)架構(gòu)核心原理與案例分析教學(xué)課件

1、大型網(wǎng)站技術(shù)架構(gòu) 核心原理與案例分析INFORMATION SHARE方陽(yáng) 2019.02金融核心研發(fā)信息技術(shù)中心目錄 網(wǎng)站的演化1 大型網(wǎng)站的架構(gòu)模式2 核心要素分析3CONTENTS什么樣的網(wǎng)站才算是大型網(wǎng)站？高并發(fā)，大流量高可用海量的數(shù)據(jù)用戶(hù)分布廣泛，網(wǎng)絡(luò)情況復(fù)雜安全環(huán)境惡劣需求快速變更，發(fā)布頻繁漸進(jìn)式的發(fā)展 網(wǎng)站的演化1大型網(wǎng)站都是由小型網(wǎng)站發(fā)展而來(lái)，架構(gòu)也是如此初始階段的網(wǎng)站，一臺(tái)服務(wù)器包含應(yīng)用、數(shù)據(jù)庫(kù)等應(yīng)用與數(shù)據(jù)分離使用緩存改善性能使用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力數(shù)據(jù)庫(kù)讀寫(xiě)分離使用反向代理和CDN加速網(wǎng)站相應(yīng)使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)使用NoSQL和搜索引擎業(yè)務(wù)拆分分

2、布式服務(wù) 網(wǎng)站的演化1網(wǎng)站架構(gòu)的演化 網(wǎng)站的演化1大型網(wǎng)站的價(jià)值觀(guān)大型網(wǎng)站架構(gòu)技術(shù)的價(jià)值觀(guān)是隨網(wǎng)站所需靈活應(yīng)對(duì)驅(qū)動(dòng)大型網(wǎng)站技術(shù)發(fā)展的主要力量是網(wǎng)站的業(yè)務(wù)發(fā)展網(wǎng)站技術(shù)是為了業(yè)務(wù)而存在的，脫離業(yè)務(wù)發(fā)展的實(shí)際，可能會(huì)將技術(shù)發(fā)展引入小道技術(shù)是用來(lái)解決業(yè)務(wù)問(wèn)題的，而業(yè)務(wù)問(wèn)題，也可以通過(guò)業(yè)務(wù)的手段解決網(wǎng)站架構(gòu)架構(gòu)是什么？最高層次的規(guī)劃，難以改變的決定。這些規(guī)劃和決定奠定了事務(wù)未來(lái)發(fā)展的方向和最終的藍(lán)圖軟件架構(gòu)是什么？有管軟件整體結(jié)果與組件的抽象描述，用于知道大型軟件系統(tǒng)各個(gè)方面的設(shè)計(jì)大型網(wǎng)站的架構(gòu)模式架構(gòu)模式分層分割分布式集群緩存異步冗余自動(dòng)化安全分層將系統(tǒng)橫向維度上切分成幾個(gè)部分，每個(gè)部分負(fù)責(zé)比較單一的

3、職責(zé)，通過(guò)上層對(duì)下層的依賴(lài)和調(diào)用組成一個(gè)完整的系統(tǒng)禁止跨層次的調(diào)用和逆向調(diào)用 大型網(wǎng)站的架構(gòu)模式2分割如果說(shuō)分層是將軟件在橫向方面進(jìn)行切分，那么分隔就是在縱向方面對(duì)軟件進(jìn)行切分大型網(wǎng)站分隔的粒度可能會(huì)很小。比如在應(yīng)用層，將不同業(yè)務(wù)進(jìn)行分隔，例如將購(gòu)物、論壇、搜索、廣告分隔成不同的應(yīng)用，有對(duì)立的團(tuán)隊(duì)負(fù)責(zé)，部署在不同的服務(wù)器上 大型網(wǎng)站的架構(gòu)模式2分布式分布式是指將不同的業(yè)務(wù)分布在不同的地方分布式應(yīng)用和服務(wù)，把應(yīng)用和服務(wù)模塊分布式部署分布式靜態(tài)資源：把JS，CSS，JPG圖片等資源獨(dú)立分布式部署，并采用獨(dú)立的域名分布式數(shù)據(jù)和存儲(chǔ)：大型網(wǎng)站的海量數(shù)據(jù)，單臺(tái)計(jì)算機(jī)無(wú)法提供空間時(shí)，需要分布式部署分布式計(jì)

4、算：應(yīng)用、服務(wù)、數(shù)據(jù)處理都是計(jì)算，這些計(jì)算量非常龐大，目前很多網(wǎng)站采用hadoop及其MapRedcuce分布式計(jì)算框架 大型網(wǎng)站的架構(gòu)模式2集群集群是指將多臺(tái)服務(wù)器集中在一起，實(shí)現(xiàn)同一業(yè)務(wù)對(duì)于用戶(hù)訪(fǎng)問(wèn)集中的模塊需要將獨(dú)立部署的服務(wù)器集群化，即多臺(tái)服務(wù)器部署相同的應(yīng)用構(gòu)成一個(gè)集群，通過(guò)負(fù)載均衡設(shè)備共同對(duì)外提供服務(wù)服務(wù)器集群能夠?yàn)橄嗤姆?wù)提供更多的并發(fā)支持，因此當(dāng)有更多的用戶(hù)訪(fǎng)問(wèn)時(shí)，只需要向集群中加入新的機(jī)器即可；另外可以實(shí)現(xiàn)當(dāng)其中的某臺(tái)服務(wù)器發(fā)生故障時(shí)，可以通過(guò)負(fù)載均衡的失效轉(zhuǎn)移機(jī)制將請(qǐng)求轉(zhuǎn)移至集群中其他的服務(wù)器上，因此可以提高系統(tǒng)的可用性 大型網(wǎng)站的架構(gòu)模式2緩存緩存目的就是減輕服務(wù)器的計(jì)

5、算，使數(shù)據(jù)直接返回給用戶(hù)。在現(xiàn)在的軟件設(shè)計(jì)中，緩存已經(jīng)無(wú)處不在。具體實(shí)現(xiàn)有CDN、反向代理、本地緩存、分布式緩存等使用緩存有兩個(gè)條件：訪(fǎng)問(wèn)數(shù)據(jù)熱點(diǎn)不均衡，即某些頻繁訪(fǎng)問(wèn)的數(shù)據(jù)需要放在緩存中；數(shù)據(jù)在某個(gè)時(shí)間段內(nèi)有效，不過(guò)很快過(guò)期，否則會(huì)因?yàn)閿?shù)據(jù)過(guò)期而臟讀，影響數(shù)據(jù)的正確性緩存除了可以加快數(shù)據(jù)的訪(fǎng)問(wèn)速度，還可以減輕后端應(yīng)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力 大型網(wǎng)站的架構(gòu)模式2異步使用異步，業(yè)務(wù)之間的消息傳遞不是同步調(diào)用，而是將一個(gè)業(yè)務(wù)操作分成多個(gè)階段，每個(gè)階段之間通過(guò)共享數(shù)據(jù)的方法異步執(zhí)行進(jìn)行協(xié)作異步調(diào)用可以提高系統(tǒng)的可用性，加快網(wǎng)站的響應(yīng)速度，消除并發(fā)訪(fǎng)問(wèn)高峰。但是可能會(huì)對(duì)用戶(hù)體驗(yàn)及業(yè)務(wù)流程造成影響 大型網(wǎng)

6、站的架構(gòu)模式2冗余網(wǎng)站需要724小時(shí)連續(xù)運(yùn)行，那么就得有相應(yīng)的冗余機(jī)制，以防某臺(tái)機(jī)器宕掉時(shí)無(wú)法訪(fǎng)問(wèn)，而冗余則可以通過(guò)部署至少兩臺(tái)服務(wù)器構(gòu)成一個(gè)集群實(shí)現(xiàn)服務(wù)高可用。數(shù)據(jù)庫(kù)除了定期備份還需要實(shí)現(xiàn)冷熱備份。甚至可以在全球范圍內(nèi)部署災(zāi)備數(shù)據(jù)中心 大型網(wǎng)站的架構(gòu)模式2自動(dòng)化具體有自動(dòng)化發(fā)布過(guò)程，自動(dòng)化代碼管理、自動(dòng)化測(cè)試、自動(dòng)化安全檢測(cè)、自動(dòng)化部署、自動(dòng)化監(jiān)控、自動(dòng)化報(bào)警、自動(dòng)化失效轉(zhuǎn)移、自動(dòng)化失效恢復(fù)等 大型網(wǎng)站的架構(gòu)模式2安全身份驗(yàn)證、加密、防火墻等 大型網(wǎng)站的架構(gòu)模式2 核心要素3二三四可用性伸縮性擴(kuò)展性五安全性高性能一用戶(hù)眼中的網(wǎng)站性能 高性能3開(kāi)發(fā)眼中的網(wǎng)站性能開(kāi)發(fā)人員關(guān)注的是應(yīng)用程序本身和相

7、關(guān)子系統(tǒng)的性能，包括響應(yīng)延遲、系統(tǒng)吞吐量、并發(fā)處理能力、系統(tǒng)穩(wěn)定性等。主要優(yōu)化手段有：使用緩存加速數(shù)據(jù)讀取，使用集群提高吞吐能力，使用異步消息加快請(qǐng)求相應(yīng)，使用代碼優(yōu)化改善性能 高性能3運(yùn)維眼中的網(wǎng)站性能運(yùn)維人員關(guān)注的基礎(chǔ)設(shè)施性能和資源利用率，比如服務(wù)器硬件，數(shù)據(jù)中心網(wǎng)絡(luò)，網(wǎng)絡(luò)運(yùn)營(yíng)商主要優(yōu)化手段有：建設(shè)優(yōu)化骨干網(wǎng)，使用高性?xún)r(jià)比的服務(wù)器等 高性能3判斷一個(gè)網(wǎng)站性能好不好有哪些指標(biāo)響應(yīng)時(shí)間，從發(fā)出請(qǐng)求到收到數(shù)據(jù)所需要的時(shí)間并發(fā)數(shù)，系統(tǒng)能同時(shí)處理請(qǐng)求的數(shù)目吞吐量，單位時(shí)間內(nèi)，系統(tǒng)能處理的請(qǐng)求數(shù)量性能計(jì)數(shù)器，一些數(shù)據(jù)指標(biāo)，包括對(duì)象與線(xiàn)程數(shù)，內(nèi)存使用，CPU使用等 高性能3 高性能3性能測(cè)試方法性能測(cè)試

8、負(fù)載測(cè)試壓力測(cè)試穩(wěn)定性測(cè)試 高性能3 WEB前端性能優(yōu)化1 應(yīng)用服務(wù)器性能優(yōu)化2 存儲(chǔ)性能優(yōu)化3 高性能3Web前端優(yōu)化瀏覽器端優(yōu)化減少http請(qǐng)求，合并CSS,JS,圖片等使用瀏覽器緩存，靜態(tài)資源可以緩存在瀏覽器中啟用壓縮，對(duì)文件壓縮，減少傳輸?shù)臄?shù)據(jù)量，瀏覽器端解壓，這對(duì)服務(wù)器和瀏覽器端都有壓力CSS放在頁(yè)面最上，js放在頁(yè)面最下面減少Cookie傳輸 高性能3Web前端優(yōu)化CDN加速CDN本質(zhì)就是緩存，而且將數(shù)據(jù)緩存在離用戶(hù)最近的地方。CDN就部署在網(wǎng)絡(luò)營(yíng)運(yùn)商的機(jī)房中反向代理傳統(tǒng)代理服務(wù)器位于瀏覽器一側(cè)，而反向代理服務(wù)器位于網(wǎng)站機(jī)房一側(cè)。反向代理服務(wù)器通過(guò)配置緩存功能，加速網(wǎng)站響應(yīng)另外，反

9、向代理具有保護(hù)網(wǎng)站安全的作用，所有請(qǐng)求都須經(jīng)過(guò)反代服務(wù)器。反代還可以實(shí)現(xiàn)負(fù)載均衡 高性能3反向代理 高性能3應(yīng)用服務(wù)器性能優(yōu)化分布式緩存分布式緩存架構(gòu)有兩種，一種以Jboss 為代表需要更新同步的分布式緩存，一種一Memcached為代表的不互相通信的分布式緩存異步操作使用集群存儲(chǔ)性能優(yōu)化（硬件）高性能的代碼多線(xiàn)程，需要注意線(xiàn)程安全問(wèn)題資源復(fù)用數(shù)據(jù)結(jié)構(gòu)垃圾回收 高可用性3 高可用的應(yīng)用1 高可用的服務(wù)2 高可用的數(shù)據(jù)3 軟件質(zhì)量保證4 網(wǎng)站運(yùn)行監(jiān)控5 高可用3高可用的網(wǎng)站可用性度量網(wǎng)站年度不可用時(shí)間=（1-網(wǎng)站不可用時(shí)間/年度時(shí)間） 100%可用性考核 高可用3應(yīng)用層、服務(wù)層、數(shù)據(jù)層的劃分粒度

10、會(huì)很小很詳細(xì)，結(jié)構(gòu)復(fù)雜、服務(wù)器規(guī)模龐大。通常情況下，不同的業(yè)務(wù)產(chǎn)品會(huì)部署在不同的服務(wù)器集群上，互不干擾 高可用3高可用的應(yīng)用通過(guò)負(fù)載均衡進(jìn)行無(wú)狀態(tài)的失效轉(zhuǎn)移Session管理早期網(wǎng)站使用session復(fù)制，在集群中同步Session綁定在某臺(tái)服務(wù)器上，但是一旦宕機(jī)，session就不存在利用cookie記錄session，保存在客戶(hù)端上，但是受限于cookie的大小和用戶(hù)是否開(kāi)啟cookieSession服務(wù)器，部署獨(dú)立的session服務(wù)器集群，每次讀寫(xiě)都訪(fǎng)問(wèn)session服務(wù)器 高可用3高可用的服務(wù)分級(jí)管理核心應(yīng)用和服務(wù)優(yōu)先的使用更好的硬件，其他次之超時(shí)設(shè)置服務(wù)調(diào)用時(shí)間設(shè)置超時(shí)時(shí)間異步調(diào)用

11、通過(guò)消息隊(duì)列方式完成服務(wù)降級(jí)網(wǎng)站訪(fǎng)問(wèn)高峰期，可對(duì)非重要服務(wù)降級(jí)：拒絕服務(wù)和關(guān)閉服務(wù)冪等性設(shè)計(jì) 高可用3高可用的數(shù)據(jù)CAP原理數(shù)據(jù)持久性 Partition Tolerance數(shù)據(jù)可訪(fǎng)問(wèn)性 Availibility數(shù)據(jù)一致性 Consistency數(shù)據(jù)強(qiáng)一致，數(shù)據(jù)更新結(jié)果和操作響應(yīng)總是一致的數(shù)據(jù)用戶(hù)一致，數(shù)據(jù)在存儲(chǔ)中可能是不一致的，但是用戶(hù)訪(fǎng)問(wèn)時(shí)，通過(guò)就錯(cuò)和校驗(yàn)，可以確定一個(gè)一直的數(shù)據(jù)給用戶(hù)數(shù)據(jù)最終一致，物理存儲(chǔ)的數(shù)據(jù)可能是不一致的，用戶(hù)訪(fǎng)問(wèn)時(shí)也可能是不一致的，但是經(jīng)過(guò)一段時(shí)間后，數(shù)據(jù)最終會(huì)達(dá)到一致。 高可用3 高可用3高可用的數(shù)據(jù)數(shù)據(jù)備份失效轉(zhuǎn)移 高可用3運(yùn)行監(jiān)控監(jiān)控?cái)?shù)據(jù)采集用戶(hù)行為日志收集服

12、務(wù)器性能監(jiān)控運(yùn)行數(shù)據(jù)報(bào)告監(jiān)控管理系統(tǒng)報(bào)警失效轉(zhuǎn)移自動(dòng)優(yōu)雅降級(jí)不同功能物理分離縱向分離 橫向分離 高伸縮性3單一功能通過(guò)集群實(shí)現(xiàn)伸縮 高伸縮性3 高伸縮性3HTTP重定向負(fù)載均衡DNS域名解析負(fù)載均衡反向代理負(fù)載均衡IP負(fù)載均衡數(shù)據(jù)鏈路層負(fù)載均衡負(fù)載均衡算法簡(jiǎn)介集群的伸縮性設(shè)計(jì)：http重定向負(fù)載均衡DNS域名解析負(fù)載均衡反向代理負(fù)載均衡IP負(fù)載均衡數(shù)據(jù)鏈路層負(fù)載均衡 高伸縮性3數(shù)據(jù)存儲(chǔ)服務(wù)器集群的伸縮性設(shè)計(jì)關(guān)系數(shù)據(jù)庫(kù)集群的伸縮性設(shè)計(jì)NoSQL數(shù)據(jù)庫(kù)的伸縮性設(shè)計(jì) 高可擴(kuò)展性3 分布式消息隊(duì)列降低系統(tǒng)耦合性1 分布式服務(wù)2 可擴(kuò)展的數(shù)據(jù)結(jié)構(gòu)3 開(kāi)放平臺(tái)4 高擴(kuò)展性3分布式消息隊(duì)列事件驅(qū)動(dòng)架構(gòu)通過(guò)在

13、低耦合的模塊之間傳輸事件消息，以保持模塊的松散耦合，并借助事件消息的通信完成模塊間合作，典型的架構(gòu)就是生產(chǎn)者消費(fèi)者模式。在大型網(wǎng)站架構(gòu)中，具體實(shí)現(xiàn)手段很多，最常用的就是分布式消息隊(duì)列 高擴(kuò)展性3 高擴(kuò)展性3目前開(kāi)源的和商業(yè)的分布式消息隊(duì)列產(chǎn)品有很多，比較著名的有Apache ActiveMQ等，如下是分布式消息隊(duì)列的架構(gòu)原理 高擴(kuò)展性3巨無(wú)霸系統(tǒng)面臨的麻煩編譯部署困難代碼分支管理困難數(shù)據(jù)庫(kù)連接耗盡新增業(yè)務(wù)困難 高擴(kuò)展性3利用分布式服務(wù)打造可復(fù)用的業(yè)務(wù)平臺(tái)負(fù)載均衡失效轉(zhuǎn)移高效的遠(yuǎn)程通信整合異構(gòu)系統(tǒng)對(duì)應(yīng)用最少侵入版本管理實(shí)時(shí)監(jiān)控 高擴(kuò)展性3目前國(guó)內(nèi)有較多成功實(shí)施案例的開(kāi)源分布式服務(wù)框架是阿里巴巴的Dubbo，下圖是Dubbo的架構(gòu)原理服務(wù)框架客戶(hù)端模塊通過(guò)服務(wù)注冊(cè)中心加載服務(wù)提供者列表（服務(wù)提供者啟動(dòng)后主動(dòng)向服務(wù)注冊(cè)中心注冊(cè)自己可提供的服務(wù)接口列表），查找需要的服務(wù)接口，并根據(jù)配置的負(fù)載均衡策略將服務(wù)調(diào)用請(qǐng)求發(fā)送到某臺(tái)服務(wù)提供者服務(wù)器。如果服務(wù)調(diào)用失敗，客戶(hù)端模塊會(huì)自動(dòng)從服務(wù)提供者列表選擇一個(gè)可提供同樣服務(wù)的另一臺(tái)服務(wù)器重新請(qǐng)求服務(wù)，實(shí)現(xiàn)服務(wù)的自動(dòng)失效轉(zhuǎn)移，保證高可用服務(wù)。 高擴(kuò)展性3利用開(kāi)放平臺(tái)建設(shè)網(wǎng)站生態(tài)圈大型網(wǎng)站為了更好的服務(wù)自