(完整word版)互聯(lián)網(wǎng)高并發(fā)架構(gòu)設(shè)計

1、前言高并發(fā)經(jīng)常會發(fā)生在有大活躍用戶量，用戶高聚集的業(yè)務(wù)場景中，如：秒殺活動，定時領(lǐng)取紅包等。為了讓業(yè)務(wù)可以流暢的運行并且給用戶一個好的交互體驗，我們需要根據(jù)業(yè)務(wù)場景預(yù)估達到的并發(fā)量等因素，來設(shè)計適合自己業(yè)務(wù)場景的高并發(fā)處理方案。在電商相關(guān)產(chǎn)品開發(fā)的這些年，我有幸的遇到了并發(fā)下的各種坑，這一路摸爬滾打過來有著不少的血淚史，這里進行的總結(jié)，作為自己的歸檔記錄，同時分享給大家。服務(wù)器架構(gòu)業(yè)務(wù)從發(fā)展的初期到逐漸成熟，服務(wù)器架構(gòu)也是從相對單一到集群，再到分布式服務(wù)。個可以支持高并發(fā)的服務(wù)少不了好的服務(wù)器架構(gòu)，需要有均衡負載，數(shù)據(jù)庫需要主從集群，nosql緩存需要主從集群，靜態(tài)文件需要上傳cdn，這些都是

2、能讓業(yè)務(wù)程序流暢運行的強大后盾。服務(wù)器這塊多是需要運維人員來配合搭建，具體我就不多說了，點到為止。大致需要用到的服務(wù)器架構(gòu)如下： 服務(wù)器o均衡負載（如：nginx，阿里云SLB）o資源監(jiān)控o分布式 數(shù)據(jù)庫o主從分離，集群oDBA表優(yōu)化，索引優(yōu)化，等o分布式 nosqloredis主從分離，集群omongodb主從分離，集群omemcache主從分離，集群 cdnohtmlocssojsoimage并發(fā)測試高并發(fā)相關(guān)的業(yè)務(wù)，需要進行并發(fā)的測試，通過大量的數(shù)據(jù)分析評估出整個架構(gòu)可以支撐的并發(fā)量。測試高并發(fā)可以使用第三方服務(wù)器或者自己測試服務(wù)器，利用測試工具進行并發(fā)請求測試，分析測試數(shù)據(jù)得到可以支撐

3、并發(fā)數(shù)量的評估，這個可以作為一個預(yù)警參考，俗話說知己自彼百戰(zhàn)不殆。第三方服務(wù):阿里云性能測試并發(fā)測試工具：ApacheJMeterVisualStudio性能負載測試MicrosoftWebApplicationStressTool實戰(zhàn)方案通用方案日用戶流量大，但是比較分散，偶爾會有用戶高聚的情況；場景：用戶簽到，用戶中心，用戶訂單，等服務(wù)器架構(gòu)圖：說明：場景中的這些業(yè)務(wù)基本是用戶進入APP后會操作到的，除了活動日（618，雙11,等），這些業(yè)務(wù)的用戶量都不會高聚集，同時這些業(yè)務(wù)相關(guān)的表都是大數(shù)據(jù)表，業(yè)務(wù)多是查詢操作，所以我們需要減少用戶直接命中DB的查詢；優(yōu)先查詢緩存，如果緩存不存在，再進行

4、DB查詢，將查詢結(jié)果緩存起來。更新用戶相關(guān)緩存需要分布式存儲，比如使用用戶ID進行hash分組，把用戶分布到不同的緩存中，這樣一個緩存集合的總量不會很大，不會影響查詢效率。方案如：用戶簽到獲取積分o計算出用戶分布的key,redishash中查找用戶今日簽到信息o如果查詢到簽到信息，返回簽到信息o如果沒有查詢到，DB查詢今日是否簽到過，如果有簽到過，就把簽到信息同步redis緩存。o如果DB中也沒有查詢到今日的簽到記錄，就進行簽到邏輯，操作DB添加今日簽到記錄，添加簽到積分（這整個DB操作是一個事務(wù)）o緩存簽到信息到redis，返回簽到信息o注意這里會有并發(fā)情況下的邏輯問題，如：一天簽到多次，

5、發(fā)放多次積分給用戶。o我的博文大話程序猿眼里的高并發(fā)1有相關(guān)的處理方案。 用戶訂單o這里我們只緩存用戶第一頁的訂單信息，一頁40條數(shù)據(jù)，用戶一般也只會看第一頁的訂單數(shù)據(jù)o用戶訪問訂單列表，如果是第一頁讀緩存，如果不是讀DBo計算出用戶分布的key,redishash中查找用戶訂單信息o如果查詢到用戶訂單信息，返回訂單信息o如果不存在就進行DB查詢第一頁的訂單數(shù)據(jù)，然后緩存redis，返回訂單信息 用戶中心o計算出用戶分布的key,redishash中查找用戶訂單信息o如果查詢到用戶信息，返回用戶信息o如果不存在進行用戶DB查詢，然后緩存redis，返回用戶信息 其他業(yè)務(wù)o上面例子多是針對用戶存

6、儲緩存，如果是公用的緩存數(shù)據(jù)需要注意一些問題，如下o注意公用的緩存數(shù)據(jù)需要考慮并發(fā)下的可能會導(dǎo)致大量命中DB查詢，可以使用管理后臺更新緩存，或者DB查詢的鎖住操作。o我的博文大話Redis進階對更新緩存問題和推薦方案的分享。以上例子是一個相對簡單的高并發(fā)架構(gòu)，并發(fā)量不是很高的情況可以很好的支撐，但是隨著業(yè)務(wù)的壯大，用戶并發(fā)量增加，我們的架構(gòu)也會進行不斷的優(yōu)化和演變，比如對業(yè)務(wù)進行服務(wù)化，每個服務(wù)有自己的并發(fā)架構(gòu)，自己的均衡服務(wù)器，分布式數(shù)據(jù)庫，nosql主從集群，如：用戶服務(wù)、訂單服務(wù)；消息隊列秒殺、秒搶等活動業(yè)務(wù)，用戶在瞬間涌入產(chǎn)生高并發(fā)請求場景：定時領(lǐng)取紅包，等服務(wù)器架構(gòu)圖：lT-=AFP

7、|-.ir.ii肖刖.列口詼主爆甲歩絢塑序?qū)懭?Q*-9-<ip-n=.卡"一+陰主從耳群昨SA均(ngix/ilb)說明：場景中的定時領(lǐng)取是一個高并發(fā)的業(yè)務(wù)，像秒殺活動用戶會在到點的時間涌入，DB瞬間就接受到一記暴擊,hold不住就會宕機，然后影響整個業(yè)務(wù)；像這種不是只有查詢的操作并且會有高并發(fā)的插入或者更新數(shù)據(jù)的業(yè)務(wù)，前面提到的通用方案就無法支撐，并發(fā)的時候都是直接命中DB；設(shè)計這塊業(yè)務(wù)的時候就會使用消息隊列的，可以將參與用戶的信息添加到消息隊列中，然后再寫個多線程程序去消耗隊列，給隊列中的用戶發(fā)放紅包；方案如：定時領(lǐng)取紅包o般習(xí)慣使用redis的listo當(dāng)用戶參與活動，

8、將用戶參與信息push到隊列中o然后寫個多線程程序去pop數(shù)據(jù)，進行發(fā)放紅包的業(yè)務(wù)o這樣可以支持高并發(fā)下的用戶可以正常的參與活動，并且避免數(shù)據(jù)庫服務(wù)器宕機的危險附加：通過消息隊列可以做很多的服務(wù)。如：定時短信發(fā)送服務(wù)，使用sset(sortedset)，發(fā)送時間戳作為排序依據(jù)，短信數(shù)據(jù)隊列根據(jù)時間升序，然后寫個程序定時循環(huán)去讀取sset隊列中的第一條，當(dāng)前時間是否超過發(fā)送時間，如果超過就進行短信發(fā)送。一級緩存高并發(fā)請求連接緩存服務(wù)器超出服務(wù)器能夠接收的請求連接量，部分用戶出現(xiàn)建立連接超時無法讀取到數(shù)據(jù)的問題；因此需要有個方案當(dāng)高并發(fā)時候時候可以減少命中緩存服務(wù)器；這時候就出現(xiàn)了一級緩存的方案，

9、一級緩存就是使用站點服務(wù)器緩存去存儲數(shù)據(jù)，注意只存儲部分請求量大的數(shù)據(jù)，并且緩存的數(shù)據(jù)量要控制，不能過分的使用站點服務(wù)器的內(nèi)存而影響了站點應(yīng)用程序的正常運行，一級緩存需要設(shè)置秒單位的過期時間，具體時間根據(jù)業(yè)務(wù)場景設(shè)定，目的是當(dāng)有高并發(fā)請求的時候可以讓數(shù)據(jù)的獲取命中到一級緩存，而不用連接緩存nosql數(shù)據(jù)服務(wù)器，減少nosql數(shù)據(jù)服務(wù)器的壓力比如APP首屏商品數(shù)據(jù)接口，這些數(shù)據(jù)是公共的不會針對用戶自定義，而且這些數(shù)據(jù)不會頻繁的更新，像這種接口的請求量比較大就可以加入一級緩存；服務(wù)器架構(gòu)圖：讀取并同軀帝push農(nóng)曲汪換肝合理的規(guī)范和使用nosql緩存數(shù)據(jù)庫，根據(jù)業(yè)務(wù)拆分緩存數(shù)據(jù)庫的集群，這樣基本可以很好支持業(yè)務(wù)，一級緩存畢竟是使用站點服務(wù)器緩存所以還是要善用。靜態(tài)化數(shù)據(jù)高并發(fā)請求數(shù)據(jù)不變化的情況下如果可以不請求自己的服務(wù)器獲取數(shù)據(jù)那就可以減少服務(wù)器的資源壓力。對于更新頻繁度不高，并且數(shù)據(jù)允許短時間內(nèi)的延遲，可以通過數(shù)據(jù)靜態(tài)化成JSON，XML,HTML等數(shù)據(jù)文件上傳CDN，在拉取數(shù)據(jù)的時候優(yōu)先到CDN拉取，如果沒有獲取到數(shù)據(jù)再從緩存，數(shù)據(jù)庫中獲取，當(dāng)管理人員操作后臺編輯數(shù)據(jù)再重新生成靜態(tài)文件上傳同步到CDN，這樣在高并發(fā)的時候可以使數(shù)據(jù)的獲取命中在CDN服務(wù)器上。CDN節(jié)點同步有一定的延遲性，所