分布式架構的演進(共22頁)

1、精選優(yōu)質文檔-傾情為你奉上分布式架構的演進系統(tǒng)架構演化歷程-初始階段架構初始階段 的小型系統(tǒng) 應用程序、數(shù)據(jù)庫、文件等所有的資源都在一臺服務器上通俗稱為LAMP特征：應用程序、數(shù)據(jù)庫、文件等所有的資源都在一臺服務器上。描述：通常服務器操作系統(tǒng)使用linux，應用程序使用PHP開發(fā)，然后部署在Apache上，數(shù)據(jù)庫使用Mysql，匯集各種免費開源軟件以及一臺廉價服務器就可以開始系統(tǒng)的發(fā)展之路了。系統(tǒng)架構演化歷程-應用服務和數(shù)據(jù)服務分離好景不長，發(fā)現(xiàn)隨著系統(tǒng)訪問量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一臺webserver特征：應用程序、數(shù)據(jù)庫、文件分

2、別部署在獨立的資源上。描述：數(shù)據(jù)量增加，單臺服務器性能及存儲空間不足，需要將應用和數(shù)據(jù)分離，并發(fā)處理能力和數(shù)據(jù)存儲空間得到了很大改善。系統(tǒng)架構演化歷程-使用緩存改善性能特征：數(shù)據(jù)庫中訪問較集中的一小部分數(shù)據(jù)存儲在緩存服務器中，減少數(shù)據(jù)庫的訪問次數(shù)，降低數(shù)據(jù)庫的訪問壓力。描述：系統(tǒng)訪問特點遵循二八定律，即80%的業(yè)務訪問集中在20%的數(shù)據(jù)上。緩存分為本地緩存和遠程分布式緩存，本地緩存訪問速度更快但緩存數(shù)據(jù)量有限，同時存在與應用程序爭用內存的情況。系統(tǒng)架構演化歷程-使用應用服務器集群在做完分庫分表這些工作后，數(shù)據(jù)庫上的壓力已經降到比較低了，又開始過著每天看著訪問量暴增的幸福生活了，突然有一天，發(fā)現(xiàn)

3、系統(tǒng)的訪問又開始有變慢的趨勢了，這個時候首先查看數(shù)據(jù)庫，壓力一切正常，之后查看webserver，發(fā)現(xiàn)apache阻塞了很多的請求，而應用服務器對每個請求也是比較快的，看來 是請求數(shù)太高導致需要排隊等待，響應速度變慢特征：多臺服務器通過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務器的負載壓力不再成為整個系統(tǒng)的瓶頸。系統(tǒng)架構演化歷程-數(shù)據(jù)庫讀寫分離享受了一段時間的系統(tǒng)訪問量高速增長的幸福后，發(fā)現(xiàn)系統(tǒng)又開始變慢了，這次又是什么狀況呢，經過查找，發(fā)現(xiàn)數(shù)據(jù)庫寫入、更

4、新的這些操作的部分數(shù)據(jù)庫連接的資源競爭非常激烈，導致了系統(tǒng)變慢特征：多臺服務器通過負載均衡同時向外部提供服務，解決單臺服務器處理能力和存儲空間上限的問題。描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，使得服務器的負載壓力不在成為整個系統(tǒng)的瓶頸。系統(tǒng)架構演化歷程-反向代理和CDN加速特征：采用CDN和反向代理加快系統(tǒng)的 訪問速度。描述：為了應付復雜的網絡環(huán)境和不同地區(qū)用戶的訪問，通過CDN和反向代理加快用戶訪問的速度，同時減輕后端服務器的負載壓力。CDN與反向代理的基本原理都是緩存。系統(tǒng)架構演化歷程-分布式文件系統(tǒng)和分布式數(shù)據(jù)庫隨著系統(tǒng)的不斷運行，數(shù)據(jù)量開始大幅度

5、增長，這個時候發(fā)現(xiàn)分庫后查詢仍然會有些慢，于是按照分庫的思想開始做分表的工作特征：數(shù)據(jù)庫采用分布式數(shù)據(jù)庫，文件系統(tǒng)采用分布式文件系統(tǒng)。描述：任何強大的單一服務器都滿足不了大型系統(tǒng)持續(xù)增長的業(yè)務需求，數(shù)據(jù)庫讀寫分離隨著業(yè)務的發(fā)展最終也將無法滿足需求，需要使用分布式數(shù)據(jù)庫及分布式文件系統(tǒng)來支撐。分布式數(shù)據(jù)庫是系統(tǒng)數(shù)據(jù)庫拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用，更常用的數(shù)據(jù)庫拆分手段是業(yè)務分庫，將不同的業(yè)務數(shù)據(jù)庫部署在不同的物理服務器上。系統(tǒng)架構演化歷程-使用NoSQL和搜索引擎特征：系統(tǒng)引入NoSQL數(shù)據(jù)庫及搜索引擎。描述：隨著業(yè)務越來越復雜，對數(shù)據(jù)存儲和檢索的需求也越來越復雜，系統(tǒng)

6、需要采用一些非關系型數(shù)據(jù)庫如NoSQL和分數(shù)據(jù)庫查詢技術如搜索引擎。應用服務器通過統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應用程序管理諸多數(shù)據(jù)源的麻煩。系統(tǒng)架構演化歷程-業(yè)務拆分特征：系統(tǒng)上按照業(yè)務進行拆分改造，應用服務器按照業(yè)務區(qū)分進行分別部署。描述：為了應對日益復雜的業(yè)務場景，通常使用分而治之的手段將整個系統(tǒng)業(yè)務分成不同的產品線，應用之間通過超鏈接建立關系，也可以通過消息隊列進行數(shù)據(jù)分發(fā)，當然更多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構成一個關聯(lián)的完整系統(tǒng)?？v向拆分：將一個大應用拆分為多個小應用，如果新業(yè)務較為獨立，那么就直接將其設計部署為一個獨立的Web應用系統(tǒng)縱向拆分相對較為簡單，通過梳理業(yè)務，

7、將較少相關的業(yè)務剝離即可。橫向拆分：將復用的業(yè)務拆分出來，獨立部署為分布式服務，新增業(yè)務只需要調用這些分布式服務橫向拆分需要識別可復用的業(yè)務，設計服務接口，規(guī)范服務依賴關系。系統(tǒng)架構演化歷程-分布式服務特征：公共的應用模塊被提取出來，部署在分布式服務器上供應用服務器調用。描述：隨著業(yè)務越拆越小，應用系統(tǒng)整體復雜程度呈指數(shù)級上升，由于所有應用要和所有數(shù)據(jù)庫系統(tǒng)連接，最終導致數(shù)據(jù)庫連接資源不足，拒絕服務。Q：分布式服務應用會面臨哪些問題？A：(1) 當服務越來越多時，服務URL配置管理變得非常困難，F(xiàn)5硬件負載均衡器的單點壓力也越來越大。(2) 當進一步發(fā)展，服務間依賴關系變得錯蹤復雜，甚至分不清

8、哪個應用要在哪個應用之前啟動，架構師都不能完整的描述應用的架構關系。(3) 接著，服務的調用量越來越大，服務的容量問題就暴露出來，這個服務需要多少機器支撐？什么時候該加機器？(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數(shù)都有什么約定？ (5) 一個服務有多個業(yè)務消費者，如何確保服務質量？(6) 隨著服務的不停升級，總有些意想不到的事發(fā)生，比如cache寫錯了導致內存溢出，故障不可避免，每次核心服務一掛，影響一大片，人心慌慌，如何控制故障的影響面？服務是否可以功能降級？或者資源劣化？ Java分布式應用技術基礎分布式服務下的關鍵技術：消息隊列架構消息對

9、列通過消息對象分解系統(tǒng)耦合性，不同子系統(tǒng)處理同一個消息分布式服務下的關鍵技術：消息隊列原理分布式服務下的關鍵技術：服務框架架構服務框架通過接口分解系統(tǒng)耦合性，不同子系統(tǒng)通過相同的接口描述進行服務啟用服務框架是一個點對點模型服務框架面向同構系統(tǒng)適合：移動應用、互聯(lián)網應用、外部系統(tǒng)分布式服務下的關鍵技術：服務框架原理分布式服務下的關鍵技術：服務總線架構服務總線同服務框架一樣，均是通過接口分解系統(tǒng)耦合性，不同子系統(tǒng)通過相同的接口描述進行服務啟用服務總線是一個總線式的模型服務總線面向同構、異構系統(tǒng)適合：內部系統(tǒng)分布式服務下的關鍵技術：服務總線原理分布式架構下系統(tǒng)間交互的5種通信模式request/re

10、sponse模式（同步模式）：客戶端發(fā)起請求一直阻塞到服務端返回請求為止。Callback（異步模式）：客戶端發(fā)送一個RPC請求給服務器，服務端處理后再發(fā)送一個消息給消息發(fā)送端提供的callback端點，此類情況非常合適以下場景：A組件發(fā)送RPC請求給B，B處理完成后，需要通知A組件做后續(xù)處理。Future模式：客戶端發(fā)送完請求后，繼續(xù)做自己的事情，返回一個包含消息結果的Future對象?？蛻舳诵枰褂梅祷亟Y果時，使用Future對象的.get(),如果此時沒有結果返回的話，會一直阻塞到有結果返回為止。Oneway模式：客戶端調用完繼續(xù)執(zhí)行，不管接收端是否成功。Reliable模式：為保證通信

11、可靠，將借助于消息中心來實現(xiàn)消息的可靠送達，請求將做持久化存儲，在接收方在線時做送達，并由消息中心保證異常重試。五種通信模式的實現(xiàn)方式-同步點對點服務模式五種通信模式的實現(xiàn)方式-異步點對點消息模式1五種通信模式的實現(xiàn)方式-異步點對點消息模式2五種通信模式的實現(xiàn)方式-異步廣播消息模式分布式架構下的服務治理服務治理是服務框架/服務總線的核心功能。所謂服務治理，是指服務的提供方和消費方達成一致的約定，保證服務的高質量。服務治理功能可以解決將某些特定流量引入某一批機器，以及限制某些非法消費者的惡意訪問，并在提供者處理量達到一定程度是，拒絕接受新的訪問?；诜湛蚣蹹ubbo的服務治理-服務管理道你的系統(tǒng)，對外提供了多少服務，可以對服務進行升級、降級、停用、權重調整等操作可以知道你提供的服務，誰在使用，因業(yè)務需求，可以對該消費者實施屏蔽、停用等操作基于服務框架Dubbo的服務治理-服務監(jiān)控可以統(tǒng)計服務的每秒請求數(shù)、平均響應時