分布式架構(gòu)在云計(jì)算平臺(tái)中的應(yīng)用對比分析

1、 分布式架構(gòu)在云計(jì)算平臺(tái)中的應(yīng)用對比分析 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66481853 分布式架構(gòu)在云計(jì)算平臺(tái)中的應(yīng)用對比分析 PAGEREF _Toc66481853 h 1 HYPERLINK l _Toc66481854 一、分布式云計(jì)算平臺(tái)架構(gòu)需求分析 PAGEREF _Toc66481854 h 3 HYPERLINK l _Toc66481855 二、分布式云計(jì)算平臺(tái)架構(gòu)應(yīng)用場景 PAGEREF _Toc66481855 h 3 HYPERLINK l _Toc66481856 2.1 分布式存儲(chǔ) PAGEREF _Toc66481856

2、 h 4 HYPERLINK l _Toc66481857 2.1.2 優(yōu)缺點(diǎn)分析 PAGEREF _Toc66481857 h 7 HYPERLINK l _Toc66481858 2.2 分布式VXLAN網(wǎng)絡(luò) PAGEREF _Toc66481858 h 8 HYPERLINK l _Toc66481859 2.2.1 架構(gòu)說明 PAGEREF _Toc66481859 h 8 HYPERLINK l _Toc66481860 2.2.1.1 集中式VXLAN PAGEREF _Toc66481860 h 8 HYPERLINK l _Toc66481861 2.2.1.2 分布式VXLA

3、N PAGEREF _Toc66481861 h 9 HYPERLINK l _Toc66481862 2.2.2 優(yōu)缺點(diǎn)分析 PAGEREF _Toc66481862 h 10 HYPERLINK l _Toc66481863 2.3 分布式數(shù)據(jù)庫 PAGEREF _Toc66481863 h 11 HYPERLINK l _Toc66481864 2.3.1 架構(gòu)說明 PAGEREF _Toc66481864 h 11 HYPERLINK l _Toc66481865 2.3.1.1 關(guān)系型分布式數(shù)據(jù)庫架構(gòu) PAGEREF _Toc66481865 h 12 HYPERLINK l _To

4、c66481866 2.3.1.2 非關(guān)系型分布式數(shù)據(jù)庫架構(gòu) PAGEREF _Toc66481866 h 15 HYPERLINK l _Toc66481867 2.3.2 優(yōu)缺點(diǎn)分析 PAGEREF _Toc66481867 h 18 HYPERLINK l _Toc66481868 2.4 分布式安全 PAGEREF _Toc66481868 h 19 HYPERLINK l _Toc66481869 2.4.1 架構(gòu)說明 PAGEREF _Toc66481869 h 19 HYPERLINK l _Toc66481870 2.4.2 優(yōu)缺點(diǎn)分析 PAGEREF _Toc66481870

5、 h 21 HYPERLINK l _Toc66481871 三、分布式架構(gòu)建設(shè)的挑戰(zhàn) PAGEREF _Toc66481871 h 21 HYPERLINK l _Toc66481872 四、結(jié)束語 PAGEREF _Toc66481872 h 22【摘要】云計(jì)算平臺(tái)雖然可以解決數(shù)據(jù)中心資源使用和效率問題，但如果不解決IT架構(gòu)問題，云計(jì)算平臺(tái)一樣無法滿足業(yè)務(wù)的使用需要，分布式架構(gòu)自然也成為云計(jì)算平臺(tái)的一種選擇。本文針對分布式云計(jì)算平臺(tái)架構(gòu)四個(gè)主要應(yīng)用場景：分布式存儲(chǔ)、分布式VXLAN網(wǎng)絡(luò)、分布式數(shù)據(jù)庫、分布式安全，結(jié)合云計(jì)算平臺(tái)的實(shí)際建設(shè)方案做具體的說明和優(yōu)缺點(diǎn)分析。一、分布式云計(jì)算平臺(tái)架構(gòu)

6、需求分析云計(jì)算平臺(tái)可以提供靈活和按需使用的資源，同時(shí)又可以保證業(yè)務(wù)系統(tǒng)的高可用，大量先進(jìn)的IT特性已經(jīng)成為了金融、醫(yī)療、媒體和政府等行業(yè)數(shù)據(jù)中心建設(shè)的核心。從IT架構(gòu)上看，傳統(tǒng)的集中式架構(gòu)已經(jīng)無法滿足新時(shí)代業(yè)務(wù)的需求。因?yàn)樗鼰o法保證業(yè)務(wù)快速響應(yīng)能力，靈活性和可靠性也相對較低。特別是當(dāng)云計(jì)算平臺(tái)業(yè)務(wù)發(fā)展達(dá)到一定規(guī)模的時(shí)候，集中式架構(gòu)往往會(huì)出現(xiàn)大量的瓶頸。例如云計(jì)算平臺(tái)服務(wù)器計(jì)算、存儲(chǔ)容量和I/O能力不足，需要快速擴(kuò)容；虛擬機(jī)數(shù)量過多，需要大規(guī)模組網(wǎng)；單體業(yè)務(wù)數(shù)據(jù)庫規(guī)模過大，需要拆庫拆表分散部署；集中式安全設(shè)備無法保證每個(gè)虛擬主機(jī)安全等等；云計(jì)算平臺(tái)雖然可以解決數(shù)據(jù)中心資源使用和效率問題，但是不解

7、決IT架構(gòu)問題，云計(jì)算平臺(tái)一樣無法滿足業(yè)務(wù)的使用需要，這時(shí)候分布式架構(gòu)就自然成為了云計(jì)算平臺(tái)的一種必然的選擇。二、分布式云計(jì)算平臺(tái)架構(gòu)應(yīng)用場景基于分布式架構(gòu)的云計(jì)算平臺(tái)具有較好的伸縮性，特別在處理大規(guī)模并發(fā)和管理等問題時(shí)，能顯著提處理速度和效率，目前主要的應(yīng)用場景包括以下幾個(gè)：1、分布式存儲(chǔ)，使用多個(gè)節(jié)點(diǎn)共同提供云計(jì)算平臺(tái)數(shù)據(jù)資源服務(wù)；2、分布式VXLAN網(wǎng)絡(luò)，解決云計(jì)算平臺(tái)大規(guī)模二層網(wǎng)絡(luò)使用問題。3、分布式數(shù)據(jù)庫，有多個(gè)節(jié)點(diǎn)共同組成一個(gè)邏輯集中，物理分布的大型數(shù)據(jù)庫。4、分布式安全產(chǎn)品，解決云環(huán)境下虛擬化安全問題，提供了分層次、全方位、可擴(kuò)展的安全隔離和安全防護(hù)。下面我們將基于以上四個(gè)應(yīng)用場

8、景，結(jié)合云計(jì)算平臺(tái)的實(shí)際建設(shè)方案做具體的說明和優(yōu)缺點(diǎn)分析。2.1 分布式存儲(chǔ)2.1.1 架構(gòu)說明隨著業(yè)務(wù)數(shù)據(jù)的不斷增加，云計(jì)算平臺(tái)在面對極具彈性的存儲(chǔ)需求和性能要求下，傳統(tǒng)集中的獨(dú)立存儲(chǔ)設(shè)備基本無法滿足大規(guī)模數(shù)據(jù)處理的需要。在性能和數(shù)據(jù)存儲(chǔ)容量等方面都面臨著一定的瓶頸。傳統(tǒng)集中式存儲(chǔ)架構(gòu)采用單臺(tái)SAN或IPSAN存儲(chǔ)，通常配置2-8個(gè)控制器，通過存儲(chǔ)擴(kuò)展柜進(jìn)行容量擴(kuò)展，而且擴(kuò)容能力有限。如果增加性能，需要增加控制器和緩存，甚至需要更換存儲(chǔ)設(shè)備型號(hào)為高端存儲(chǔ)。單臺(tái)存儲(chǔ)的性能和擴(kuò)展能力是有限的，一般達(dá)不到線性擴(kuò)展。隨著存儲(chǔ)容量的增加，存儲(chǔ)的性能會(huì)先增加然后達(dá)到一定瓶頸后逐漸降低。因?yàn)橐婚_始大量的磁

9、盤增加會(huì)提升存儲(chǔ)整體讀寫性能，但是當(dāng)磁盤性能達(dá)到控制器的性能后會(huì)嚴(yán)重影響控制器對數(shù)據(jù)的處理和運(yùn)行，性能會(huì)逐漸下降。分布式存儲(chǔ)系統(tǒng)使用高速交換機(jī)進(jìn)行組網(wǎng)，并將分布式存儲(chǔ)軟件部署在低廉的X86硬件上。如下圖所示：分布式存儲(chǔ)可以提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著大數(shù)據(jù)集群的云計(jì)算平臺(tái)應(yīng)用。分布式存儲(chǔ)可以將數(shù)據(jù)存放在很多不同的服務(wù)器上。而用戶不必關(guān)系具體的數(shù)據(jù)在哪，分布式存儲(chǔ)軟件會(huì)管理這些數(shù)據(jù)。在云計(jì)算平臺(tái)中，分布式存儲(chǔ)可以提供：1、可以為任何物理機(jī)或者虛擬機(jī)提供塊、文件和對象等存儲(chǔ)服務(wù)；2、分布式存儲(chǔ)支持多種企業(yè)級(jí)特性，包括快照、精簡配置、備份、加密、壓縮等，幫助可以整合或替代現(xiàn)有集中存

10、儲(chǔ)設(shè)施，支撐各種業(yè)務(wù)應(yīng)用。3、可實(shí)現(xiàn)云計(jì)算平臺(tái)PB、EB級(jí)以上容量的存儲(chǔ)資源池按需靈活擴(kuò)展，相對于集中存儲(chǔ)，存儲(chǔ)采購成本也比較低。應(yīng)用場景以開源式分布式存儲(chǔ)服務(wù)ceph為例。Ceph目前是OpenStack支持的開源塊存儲(chǔ)實(shí)現(xiàn)系統(tǒng)。Ceph是一種統(tǒng)一的、分布式的存儲(chǔ)系統(tǒng)。統(tǒng)一意味著Ceph可以一套存儲(chǔ)系統(tǒng)同時(shí)提供對象存儲(chǔ)、塊存儲(chǔ)和文件系統(tǒng)存儲(chǔ)三種功能，以便在滿足不同應(yīng)用需求的前提下簡化部署和運(yùn)維。分布式在Ceph系統(tǒng)中則意味著真正的無中心結(jié)構(gòu)和沒有理論上限的系統(tǒng)規(guī)?？蓴U(kuò)展性。自下向上，可以將Ceph系統(tǒng)分為以下幾個(gè)層次：RADOS（Reliable, Autonomic, Distribute

11、d Object Store），基礎(chǔ)存儲(chǔ)系統(tǒng)，即可靠的、自動(dòng)化的、分布式的對象存儲(chǔ)。LIBRADOS，基礎(chǔ)庫。RADOS GW（RADOS Gateway）、RBD（Reliable Block Device）和Ceph FS（Ceph File System），高層應(yīng)用接口，提供對象、塊存儲(chǔ)和文件存儲(chǔ)服務(wù)。Ceph在云計(jì)算平臺(tái)中主要的應(yīng)用場景如下：1、對象存儲(chǔ)服務(wù)對象存儲(chǔ)通過RadosGW接口實(shí)現(xiàn)?？梢蕴峁eph Cluster作為分布式對象存儲(chǔ)的能力，如Amazon的S3范圍，Swift等。企業(yè)用戶也可以直接使用其作為媒體數(shù)據(jù)存儲(chǔ)，分發(fā)等。2、塊存儲(chǔ)服務(wù)塊存儲(chǔ)通過LibRBD接口實(shí)現(xiàn)。

12、可以為虛擬機(jī)和主機(jī)(Host)提供不同路徑的塊存儲(chǔ)。如下圖所示，Ceph Cluster為虛擬機(jī)提供塊設(shè)備支持。LibRBD是基于Librados的塊設(shè)備接口實(shí)現(xiàn)，主要將一個(gè)塊設(shè)備映射為不同的對象來實(shí)現(xiàn)。Ceph首先使用OSD服務(wù)將數(shù)據(jù)以對象形式存儲(chǔ)在每一個(gè)集群節(jié)點(diǎn)的物理磁盤DISK中，然后通過LibRBD可以創(chuàng)建一個(gè)塊設(shè)備(Container)，最后通過QEMU/KVM Attach到VM上。通過Container和VM的解耦使得塊設(shè)備可以被綁定到不同的VM上。3、文件存儲(chǔ)服務(wù)文件存儲(chǔ)服務(wù)通過CephFS接口實(shí)現(xiàn)?？梢蕴峁㏄B級(jí)分布式文件系統(tǒng)。這里會(huì)引入一個(gè)新的組件MDS(Meta Data

13、 Server)，它主要為兼容POSIX文件系統(tǒng)提供元數(shù)據(jù)，如目錄和文件元數(shù)據(jù)。同時(shí)，MDS會(huì)將元數(shù)據(jù)也存在RADOS(Ceph Cluster)中。元數(shù)據(jù)存儲(chǔ)在RADOS中后，元數(shù)據(jù)本身也達(dá)到了并行化，大大加強(qiáng)了文件操作的速度。需要注意的是MDS并不會(huì)直接為Client提供文件數(shù)據(jù)，而只是為Client提供元數(shù)據(jù)的操作。如上圖所示，當(dāng)Client打開一個(gè)文件時(shí)，會(huì)查詢并更新MDS相應(yīng)的元數(shù)據(jù)如文件包括的對象信息，然后再根據(jù)提供的對象信息直接從RADOS(Ceph Cluster)中直接得到文件數(shù)據(jù)。CephFS作為分布式文件系統(tǒng)，當(dāng)面對不同的文件熱點(diǎn)和大小時(shí)，它可以使用多個(gè)MDS根據(jù)數(shù)據(jù)負(fù)載

14、均衡來避免MDS的熱點(diǎn)，并進(jìn)行動(dòng)態(tài)調(diào)整。2.1.2 優(yōu)缺點(diǎn)分析分布式存儲(chǔ)優(yōu)點(diǎn)：1、使用低成本服務(wù)器和廉價(jià)磁盤，可以為云計(jì)算平臺(tái)提供大數(shù)據(jù)量的存儲(chǔ)空間，同時(shí)降低建設(shè)成本。2、可以隨時(shí)按需進(jìn)行橫向擴(kuò)容，沒有容量限制，而且隨著容量的增加可以實(shí)現(xiàn)近線性的性能提升。3、可以提供真正意義上的統(tǒng)一存儲(chǔ)，在一套存儲(chǔ)系統(tǒng)中實(shí)現(xiàn)按需提供塊、文件和對象全融合存儲(chǔ)服務(wù)能力，滿足云計(jì)算平臺(tái)多種場景需求。分布式存儲(chǔ)缺點(diǎn)：1、節(jié)點(diǎn)數(shù)量較少時(shí)，性能有限，無法提供傳統(tǒng)中高端集中存儲(chǔ)的高性能。對于一些企業(yè)級(jí)存儲(chǔ)特性，包括快照、重刪、壓縮和加密等功能，并不是所有分布式存儲(chǔ)軟件都可以提供，需要在選擇時(shí)按需做好POC測試。2、隨著節(jié)點(diǎn)

15、數(shù)量的增加，服務(wù)器的數(shù)量也會(huì)顯著增加，對機(jī)房的空間、能耗和運(yùn)維管理都是一個(gè)挑戰(zhàn)。3、由于數(shù)據(jù)是分散存儲(chǔ)的，會(huì)存在一定的數(shù)據(jù)一致性問題，雖然通過數(shù)據(jù)性一致性鎖等技術(shù)手段可以解決一部分問題，但是性能也會(huì)降低。2.2 分布式VXLAN網(wǎng)絡(luò)2.2.1 架構(gòu)說明在云計(jì)算平臺(tái)的架構(gòu)中，二層網(wǎng)絡(luò)至關(guān)重要，因?yàn)椴还苁欠植际酱鎯?chǔ)系統(tǒng)網(wǎng)絡(luò)還是虛擬化網(wǎng)絡(luò)系統(tǒng)，都需二層網(wǎng)絡(luò)架構(gòu)。特別是在虛擬機(jī)遷移過程中，二層網(wǎng)絡(luò)是必須的。因?yàn)闉榱吮ＷC虛擬機(jī)遷移過程中業(yè)務(wù)不中斷，需要保證虛擬機(jī)的IP地址、MAC地址等參數(shù)保持不變，這就要求網(wǎng)絡(luò)必須是一個(gè)二層網(wǎng)絡(luò)，且要求網(wǎng)絡(luò)本身具備多路徑的冗余備份和可靠性。在傳統(tǒng)集中式的二層網(wǎng)絡(luò)環(huán)境下，

16、數(shù)據(jù)報(bào)文是通過查詢MAC地址表進(jìn)行二層轉(zhuǎn)發(fā)，而MAC地址表的容量限制了虛擬機(jī)的數(shù)量。而且為了對虛擬化網(wǎng)絡(luò)做隔離，需要用到VLAN技術(shù)，由于IEEE 802.1Q中定義的VLAN Tag域只有12比特，僅能表示4096個(gè)VLAN，無法滿足大二層網(wǎng)絡(luò)中標(biāo)識(shí)大量租戶或租戶群的需求。傳統(tǒng)二層網(wǎng)絡(luò)中的VLAN無法滿足網(wǎng)絡(luò)動(dòng)態(tài)調(diào)整的需求。VXLAN技術(shù)的出現(xiàn)，很好地解決了上述問題。VXLAN通過采用MAC in UDP封裝來延伸二層網(wǎng)絡(luò)，并使用物理網(wǎng)絡(luò)的IP、MAC地址作為外層頭進(jìn)行封裝，將以太報(bào)文封裝在IP報(bào)文之上，對網(wǎng)絡(luò)只表現(xiàn)為封裝后的參數(shù)。通過路由在網(wǎng)絡(luò)中傳輸，無需關(guān)注虛擬機(jī)的MAC地址。且路由網(wǎng)絡(luò)

17、無網(wǎng)絡(luò)結(jié)構(gòu)限制，具備大規(guī)模擴(kuò)展能力、故障自愈能力、負(fù)載均衡能力。通過路由網(wǎng)絡(luò)，虛擬機(jī)遷移不受網(wǎng)絡(luò)架構(gòu)限制。目前，VXLAN的實(shí)現(xiàn)主要有兩種方式：集中式和分布式。2.2.1.1 集中式VXLAN在VXLAN網(wǎng)絡(luò)中，“Leaf”指VXLAN網(wǎng)絡(luò)中的二層接入設(shè)備，與物理服務(wù)器或VM對接，通過將物理服務(wù)器和VM發(fā)送過來的報(bào)文封裝在VXLAN報(bào)文中，將對應(yīng)的流量接入VXLAN網(wǎng)絡(luò)中?！癝pine”是VXLAN網(wǎng)絡(luò)中的骨干傳輸設(shè)備，負(fù)責(zé)VXLAN流量的轉(zhuǎn)發(fā)?！癗VE”是實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化功能的網(wǎng)絡(luò)實(shí)體，是VXLAN的二層網(wǎng)關(guān)，報(bào)文經(jīng)過NVE封裝轉(zhuǎn)換后，NVE之間就可基于三層基礎(chǔ)網(wǎng)絡(luò)建立二層虛擬化網(wǎng)絡(luò)。NVE目

18、前有軟件NVE（例如VMware的NSX）和硬件NVE（集成在交換機(jī)上）。主要實(shí)現(xiàn)VXLAN與VLAN、MAC等的二層映射。另外，封裝在“NVE”中的“VETP”是VXLAN隧道端點(diǎn)，用于VXLAN報(bào)文的封裝和解封裝，虛擬機(jī)可以通過虛擬化軟件直接建立VTEP隧道。為了實(shí)現(xiàn)VXLAN虛擬網(wǎng)絡(luò)的跨子網(wǎng)通信以及外部網(wǎng)絡(luò)的訪問，需要使用VXLAN三層網(wǎng)關(guān)。在VXLAN集中網(wǎng)絡(luò)中，三層網(wǎng)關(guān)集中在一組或幾組交換機(jī)上，與服務(wù)器相連的Leaf交換機(jī)的VTEP，只作為VXLAN的二層網(wǎng)關(guān)。Leaf1、Leaf2和Spine作為VXLAN網(wǎng)絡(luò)的VTEP，Leaf1和Spine之間、Leaf2和Spine之間分別搭

19、建VXLAN隧道，并在Spine上部署VXLAN三層網(wǎng)關(guān)，即可實(shí)現(xiàn)不同部門VM之間的相互通信。2.2.1.2 分布式VXLAN在分布式VXLAN網(wǎng)絡(luò)中，所有Leaf節(jié)點(diǎn)物理交換機(jī)都具備三層網(wǎng)關(guān)功能。Leaf1和Leaf2作為VXLAN網(wǎng)絡(luò)的VTEP，部署了VXLAN三層網(wǎng)關(guān)，并在兩個(gè)VXLAN三層網(wǎng)關(guān)之間建立VXLAN隧道。VM1和VM2互訪時(shí)，流量只需要在Leaf1節(jié)點(diǎn)進(jìn)行轉(zhuǎn)發(fā)。VM1和VM4跨Leaf節(jié)點(diǎn)互訪時(shí)，流量經(jīng)過Leaf節(jié)點(diǎn)和VXLAN隧道，Spine節(jié)點(diǎn)僅作為流量轉(zhuǎn)發(fā)節(jié)點(diǎn)。2.2.2 優(yōu)缺點(diǎn)分析集中式和分布式VXLAN主要區(qū)別如下：采用集中式VXLAN網(wǎng)關(guān)方案時(shí)，不同VXLAN之

20、間的流量以及VXLAN訪問外界網(wǎng)絡(luò)的流量全部由集中式VXLAN IP網(wǎng)關(guān)處理，網(wǎng)關(guān)壓力較大，并加劇了網(wǎng)絡(luò)帶寬資源的消耗。而在分布式VXLAN網(wǎng)關(guān)方案中，每臺(tái)VTEP設(shè)備都可以作為VXLAN網(wǎng)關(guān)，對本地站點(diǎn)的流量進(jìn)行三層轉(zhuǎn)發(fā)，很好地緩解了網(wǎng)關(guān)的壓力。但是多個(gè)網(wǎng)關(guān)部署在leaf，會(huì)導(dǎo)致組網(wǎng)復(fù)雜，只有在大規(guī)模云計(jì)算平臺(tái)組網(wǎng)架構(gòu)中才需要用到分布式VXLAN方案。2.3 分布式數(shù)據(jù)庫2.3.1 架構(gòu)說明在云計(jì)算平臺(tái)中，傳統(tǒng)數(shù)據(jù)庫以O(shè)RACLE、DB2或者M(jìn)ySql的關(guān)系型數(shù)據(jù)庫為主，但是當(dāng)單表數(shù)據(jù)量爆炸或者單個(gè)數(shù)據(jù)庫無法承受高強(qiáng)度I/O時(shí)，集中式數(shù)據(jù)庫是無法解決性能和數(shù)據(jù)處理瓶頸問題的，難以應(yīng)對應(yīng)用層的

21、高并發(fā)數(shù)據(jù)訪問。分布式數(shù)據(jù)庫按類型可分為：關(guān)系型分布式數(shù)據(jù)庫。例如Mysql分布式集群和阿里云分布式數(shù)據(jù)庫DRDS等?？梢蕴峁┓植际绞聞?wù)處理。非關(guān)系型分布式數(shù)據(jù)庫。例如Key-Value數(shù)據(jù)庫“Redis”，Document-Oriented數(shù)據(jù)庫“MongoDB”，Column-Family數(shù)據(jù)庫“HBase”和Graph-Oriented數(shù)據(jù)庫“Neo4J”等等。需要注意的是，大多數(shù)NoSQL分布式數(shù)據(jù)庫不支持分布式事務(wù)處理。如果要支持分布式事務(wù)需要彼此協(xié)調(diào)從而耗費(fèi)時(shí)間，每個(gè)節(jié)點(diǎn)在事務(wù)處理過程中必須依次確認(rèn)，保證任何一個(gè)節(jié)點(diǎn)都寫處理完成。NoSQL數(shù)據(jù)庫主要考慮的是性能問題，所以大部分No

22、SQL數(shù)據(jù)庫不提供分布式事務(wù)。2.3.1.1 關(guān)系型分布式數(shù)據(jù)庫架構(gòu)關(guān)系型分布式數(shù)據(jù)庫在通常是大型企業(yè)用戶承載核心業(yè)務(wù)的重要技術(shù)選型方向之一，是幫助企業(yè)處理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)的重要技術(shù)平臺(tái)。要求分布式關(guān)系型數(shù)據(jù)庫在規(guī)?？蔁o限水平擴(kuò)展，支持分布式事務(wù)，具備數(shù)據(jù)強(qiáng)一致性，滿足企業(yè)級(jí)核心數(shù)據(jù)庫對大容量、高并發(fā)、高可靠及高可用的苛刻要求。關(guān)系型分布式數(shù)據(jù)庫的特點(diǎn)是物理數(shù)據(jù)不是存儲(chǔ)在一個(gè)節(jié)點(diǎn)上，而是存儲(chǔ)在云計(jì)算平臺(tái)網(wǎng)絡(luò)中的多個(gè)節(jié)點(diǎn)上。但是在邏輯上是一個(gè)整體，數(shù)據(jù)被所有用戶共享，并被統(tǒng)一管理。關(guān)系型分布式數(shù)據(jù)庫的數(shù)據(jù)具有獨(dú)立性，具有集中與自治相結(jié)合的控制機(jī)制，具有一定的冗余性，可處理分布式事務(wù)。關(guān)系型分布式

23、數(shù)據(jù)庫最重要的兩個(gè)機(jī)制就是分片和分組。分片可以解決擴(kuò)展性問題，主要包括垂直分片與水平分片兩種方式。分組解決可用性問題，分組通常通過高可用的方式實(shí)現(xiàn)。水平分表：基于關(guān)系型數(shù)據(jù)庫中的“橫”進(jìn)行拆分。當(dāng)一個(gè)表中的數(shù)據(jù)量過大時(shí)，可以把該表的數(shù)據(jù)按照某種規(guī)則，例如ID進(jìn)行拆分，然后存儲(chǔ)到多個(gè)結(jié)構(gòu)相同的表上（同一個(gè)數(shù)據(jù)庫）。降低單表數(shù)據(jù)量，優(yōu)化性能。水平分庫：可以采用關(guān)鍵字段取模的方式來對數(shù)據(jù)訪問進(jìn)行路由。垂直分表：基于關(guān)系型數(shù)據(jù)庫中的“列”進(jìn)行拆分。將表按照功能模塊、關(guān)系密切程度劃分出來，部署到不同的庫上。例如將某個(gè)內(nèi)容較多的“列”拆分出去，但是每個(gè)表里面的數(shù)據(jù)記錄數(shù)是相同的，只是“列”不一樣。垂直分庫

24、：就是依據(jù)業(yè)務(wù)功能的不同，劃分為不同的業(yè)務(wù)庫。例如按照user、order和product把user數(shù)據(jù)放到用戶庫、把order數(shù)據(jù)放到訂單庫、把product數(shù)據(jù)放到產(chǎn)品庫?；旌喜鸱旨捶謳旆直?，如上圖所示。是綜合了垂直和水平拆分的一種方式。垂直拆分把不同類型的數(shù)據(jù)存儲(chǔ)到不同庫中，再結(jié)合水平拆分，使單表數(shù)據(jù)量保持在合理范圍內(nèi)，擴(kuò)展系統(tǒng)的并發(fā)處理能力，提升單表的性能。單純的分表雖然可以解決數(shù)據(jù)量過大導(dǎo)致查詢變慢的問題，但無法解決過多并發(fā)請求訪問同一個(gè)庫，導(dǎo)致數(shù)據(jù)庫響應(yīng)變慢的問題。所以通常水平拆分都至少要采用分庫的方式，用于解決大數(shù)據(jù)量和高并發(fā)的問題。數(shù)據(jù)庫分組以MySQL為例，目前可以采用的高可

25、用組復(fù)制技術(shù)主要有主從復(fù)制、MHA和MGR等。MHA目前在MySQL高可用方面是一個(gè)相對成熟的解決方案，MHA能做到在030秒之內(nèi)自動(dòng)完成數(shù)據(jù)庫的故障切換操作，并且在進(jìn)行故障切換的過程中，MHA能在最大程度上保證數(shù)據(jù)的一致性，以達(dá)到真正意義上的高可用。該軟件由兩部分組成：MHA Manager（管理節(jié)點(diǎn)）和MHA Node（數(shù)據(jù)節(jié)點(diǎn)）MHA Manager：可以單獨(dú)部署在一臺(tái)獨(dú)立的機(jī)器上管理多個(gè)master-slave集群，也可以部署在一臺(tái)slave節(jié)點(diǎn)上。MHA Node：行在每臺(tái)MySQL服務(wù)器上。MHA Manager會(huì)定時(shí)探測集群中的Master“主”節(jié)點(diǎn)，當(dāng)檢測到Master故障后能

26、夠?qū)崿F(xiàn)自動(dòng)故障轉(zhuǎn)移，通過鑒定得出最“新”的Salve的relay log，自動(dòng)將最新數(shù)據(jù)的slave“從”節(jié)點(diǎn)提升為新的Master“主”節(jié)點(diǎn)，然后將所有其他的slave“從”節(jié)點(diǎn)重新指向新的Master。整個(gè)故障轉(zhuǎn)移過程對應(yīng)用程序完全透明。MHA就能夠保證各個(gè)slave之間的數(shù)據(jù)一致性，即使有些slave在主庫崩潰時(shí)還沒有收到最新的relay log事件。一個(gè)slave節(jié)點(diǎn)能否成為候選的主節(jié)點(diǎn)可通過在配置文件中配置它的優(yōu)先級(jí)。由于master能夠保證各個(gè)slave之間的數(shù)據(jù)一致性，所以所有的slave節(jié)點(diǎn)都有希望成為主節(jié)點(diǎn)。在通常的replication環(huán)境中由于復(fù)制中斷而極容易產(chǎn)生的數(shù)據(jù)一

27、致性問題，在MHA中將不會(huì)發(fā)生。分布式數(shù)據(jù)庫+分布式存儲(chǔ)如上圖所示，分布式數(shù)據(jù)庫還可以結(jié)合前面講到的ceph分布式存儲(chǔ)，采用分布式Mysql節(jié)點(diǎn)+分布式存儲(chǔ)節(jié)點(diǎn)的高可用分布式架構(gòu)，每個(gè)分區(qū)內(nèi)采用一主多從的架構(gòu)設(shè)計(jì)，數(shù)據(jù)使用分布式存儲(chǔ)的多副本技術(shù)，可自動(dòng)實(shí)現(xiàn)故障秒級(jí)切換與瞬間生效。同時(shí)支持跨數(shù)據(jù)中心部署，全面保障服務(wù)高可用。存儲(chǔ)層由X86服務(wù)器和基于ceph的分布式存儲(chǔ)軟件構(gòu)成，每個(gè)X86服務(wù)器節(jié)點(diǎn)負(fù)責(zé)部分?jǐn)?shù)據(jù)存儲(chǔ)，同時(shí)在每個(gè)存儲(chǔ)節(jié)點(diǎn)內(nèi)通過ceph的讀寫主-副機(jī)制保障數(shù)據(jù)寫入的一致性。即在數(shù)據(jù)寫入時(shí)客戶端只向?qū)?yīng)的主OSD寫入數(shù)據(jù)，然后再發(fā)生數(shù)據(jù)到其他副本，只有所有節(jié)點(diǎn)的OSD都完成數(shù)據(jù)寫入時(shí)，

28、主OSD才確認(rèn)完成寫請求。在基于MySQL的分布式數(shù)據(jù)庫中，分表支持動(dòng)態(tài)漂移，隨著表的熱度和大小進(jìn)行動(dòng)態(tài)的擴(kuò)容和伸縮，保證資源分配最優(yōu)化。而分布式存儲(chǔ)節(jié)點(diǎn)可以無限水平擴(kuò)展，從而提供可動(dòng)態(tài)無限擴(kuò)展的存儲(chǔ)容量。性能隨節(jié)點(diǎn)擴(kuò)展而線性增長，滿足云計(jì)算平臺(tái)對容量和性能的需求，具備云服務(wù)所有的彈性、敏捷、按需和輕運(yùn)維特性。2.3.1.2 非關(guān)系型分布式數(shù)據(jù)庫架構(gòu)非關(guān)系數(shù)據(jù)庫（NoSQL）是一種新的非關(guān)系分布式存儲(chǔ)技術(shù)。數(shù)據(jù)庫數(shù)據(jù)不僅包含每日文本數(shù)據(jù)，而且還包含其他數(shù)據(jù)，例如圖片，視頻，F(xiàn)LASH動(dòng)畫等，因?yàn)樗哂泻Ａ看鎯?chǔ)和靈活性。易于使用，高并發(fā)性等可以為系統(tǒng)提供可擴(kuò)展的松耦合類型數(shù)據(jù)模式。此模式嚴(yán)格遵循

29、CAP定理，可以很好地支持非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，并滿足高并發(fā)讀寫的要求，具有良好的可擴(kuò)展性。下面以列數(shù)據(jù)庫Hbase為例，說明分布式數(shù)據(jù)庫的架構(gòu)。1、Hbase是Hadoop數(shù)據(jù)庫，是一個(gè)高可用，高性能、可擴(kuò)展的分布式存儲(chǔ)系統(tǒng)，Hbase適合于存儲(chǔ)基于列而不是基于行模式的數(shù)據(jù)。2、HBase構(gòu)建在Hadoop 的HDFS分布式文件系統(tǒng)之上，使用HDFS作為最基本存儲(chǔ)基礎(chǔ)單元，可以提供大數(shù)據(jù)實(shí)時(shí)讀寫的處理能。在需要實(shí)時(shí)讀寫隨機(jī)訪問超大規(guī)模數(shù)據(jù)集時(shí)，可以使用HBase3、Hbase可以管理超級(jí)大的數(shù)據(jù)表（可達(dá)數(shù)十億行數(shù)百萬列），支持海量數(shù)據(jù)存儲(chǔ)（TB/PB級(jí)別），具有高吞吐量并且可以實(shí)現(xiàn)在海量數(shù)據(jù)中

30、高效隨機(jī)讀取，能同時(shí)處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。因?yàn)槠洳捎梅植际郊軜?gòu)，適合于不需要完全擁有傳統(tǒng)關(guān)系型數(shù)據(jù)庫實(shí)時(shí)一致性的業(yè)務(wù)。Hbase的架構(gòu)如下：1、客戶端包含訪問HBase的接口，同時(shí)在緩存中維護(hù)著已經(jīng)訪問過的Region位置信息，可以用來加快后續(xù)數(shù)據(jù)訪問過程。2、Zookeeper是一個(gè)分布式集群管理工具，維護(hù)集群中服務(wù)的狀態(tài)，為了保證集群狀態(tài)的一致性，zookeeper節(jié)點(diǎn)數(shù)至少為3節(jié)點(diǎn)以上且必須為奇數(shù)。HMaster和每個(gè)Region服務(wù)器定時(shí)發(fā)送心跳信息給Zookeeper，用于檢查服務(wù)器是否可用，并在失效時(shí)進(jìn)行管理。Zookeeper可以選舉出一個(gè)Master作為集群的總管，并保證在

31、任何時(shí)候只能有一個(gè)Master在運(yùn)行，做到Master的高可用。3、Master主要負(fù)責(zé)表和Region的管理工作。管理用戶對表的增加、刪除、修改、查詢等操作，實(shí)現(xiàn)不同Region服務(wù)器之間的負(fù)載均衡。在Region分裂或合并后，負(fù)責(zé)重新調(diào)整Region的分布，對發(fā)生故障失效的Region服務(wù)器上的Region進(jìn)行遷移。4、Region服務(wù)器是HBase中最核心的模塊，一個(gè)HBase服務(wù)器集群中通常包含多個(gè)Region服務(wù)器。HBase服務(wù)器主要負(fù)責(zé)Region中的數(shù)據(jù)的讀寫和管理，負(fù)責(zé)維護(hù)分配給自己的Region，并響應(yīng)用戶的讀寫請求。主要架構(gòu)如下：客戶端發(fā)出讀取請求時(shí)，首先會(huì)查詢該Regi

32、on在內(nèi)存中的緩存“Memstore”，如果在Memstore中查到結(jié)果則直接將結(jié)果返回給客戶端；如果在“Memstore”中沒有查到匹配的數(shù)據(jù)，接下來會(huì)讀已持久化的StoreFile文件中的數(shù)據(jù)。客戶端發(fā)出寫入請求時(shí)，首先會(huì)將數(shù)據(jù)寫入該Region的HLog中。數(shù)據(jù)寫入完成后，數(shù)據(jù)就會(huì)被更新到“Memstore”，最后發(fā)送給客戶端確認(rèn)。當(dāng)“Memstore”積累到足夠的數(shù)據(jù)時(shí)，整個(gè)數(shù)據(jù)集就被寫入到一個(gè)新的HFile中，清空緩存并在HLog里面寫入一個(gè)標(biāo)記。系統(tǒng)會(huì)周期性（默認(rèn)1小時(shí)）地把MemStore緩存里的內(nèi)容刷寫到磁盤的StoreFile文件中，每次刷寫都生成一個(gè)新的StoreFile文

33、件，因此，每個(gè)Store包含多個(gè)StoreFile文件。5、HDFS是Hadoop的分布式存儲(chǔ)。HDFS的設(shè)計(jì)本質(zhì)就是為了大量的數(shù)據(jù)能夠分布式存儲(chǔ)而存在的，如果沒有分布式存儲(chǔ)，分布式數(shù)據(jù)庫也沒有辦法存儲(chǔ)和更好的管理大數(shù)據(jù)。HDFS可以將數(shù)據(jù)存放在很多不同的機(jī)器上。而用戶不必關(guān)系具體的數(shù)據(jù)在哪，HDFS會(huì)管理這些數(shù)據(jù)。HDFS 采用Master/Slave的架構(gòu)來存儲(chǔ)數(shù)據(jù)，這種架構(gòu)主要由四個(gè)部分組成，分別為HDFS Client、NameNode、Secondary NameNode、DataNode（數(shù)據(jù)節(jié)點(diǎn)）。客戶端可以管理HDFS，比如啟動(dòng)或者關(guān)閉，也可以通過一些命令來訪問HDFS?？蛻舳?/p>

34、在讀取數(shù)據(jù)時(shí)：首先訪問NameNode，獲取文件的位置信息。NameNode是一個(gè)管理節(jié)點(diǎn)，可以管理數(shù)據(jù)塊（Block）映射信息，也可以配置多副本策略，處理客戶端讀寫請求。DataNode：就是Slave。然后由NameNode發(fā)出命令，DataNode執(zhí)行實(shí)際的操作。DataNode是數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)實(shí)際的數(shù)據(jù)塊（Block）信息，同時(shí)執(zhí)行數(shù)據(jù)塊的讀/寫操作?？蛻舳嗽趯懭霐?shù)據(jù)時(shí)：首先將文件切分成多個(gè)數(shù)據(jù)塊（Block），然后發(fā)送給DataNode寫入數(shù)據(jù)。Secondary NameNode并非NameNode的熱備節(jié)點(diǎn)，而是一個(gè)Slave節(jié)點(diǎn)，只是輔助NameNode做一些工作，不能以主

35、備的方式接替NameNode提供服務(wù)，但是可輔助恢復(fù)NameNode。2.3.2 優(yōu)缺點(diǎn)分析分布式數(shù)據(jù)庫優(yōu)點(diǎn)：1、分布式架構(gòu)的數(shù)據(jù)庫具有靈活的體系結(jié)構(gòu)，更適合分布式的管理與控制，而且可擴(kuò)展性好，也易于擴(kuò)充。2、分布式架構(gòu)的數(shù)據(jù)庫可靠性高，支持高可用特性，支持大規(guī)模的數(shù)據(jù)庫處理并且可以保證高性能。3、分布式數(shù)據(jù)庫通常配合使用分布式存儲(chǔ)進(jìn)行存儲(chǔ)數(shù)據(jù)，支持低成本的分布式數(shù)據(jù)存儲(chǔ)架構(gòu)，經(jīng)濟(jì)性能比較好。分布式數(shù)據(jù)庫缺點(diǎn)：1、分布式數(shù)據(jù)庫不管是關(guān)系型數(shù)據(jù)庫還是非關(guān)系型數(shù)據(jù)庫，都存在數(shù)據(jù)一致性問題。因?yàn)榘凑誄AP理論，分布式數(shù)據(jù)庫主要解決容錯(cuò)、性能和高可用問題，數(shù)據(jù)一致性和集中式數(shù)據(jù)庫相比會(huì)存在一定的局限性

36、，通常是選擇數(shù)據(jù)最終一致性，而在實(shí)時(shí)性上做出一些讓步。2、分布式數(shù)據(jù)庫系統(tǒng)開銷較大，因?yàn)槎鄠€(gè)數(shù)據(jù)節(jié)點(diǎn)都需要進(jìn)行通信，如果網(wǎng)絡(luò)帶寬低，無法保證低延時(shí)特性的時(shí)候，數(shù)據(jù)的讀寫會(huì)變慢。3、數(shù)據(jù)的存取結(jié)構(gòu)比較復(fù)雜，在發(fā)生故障時(shí)，如果不熟悉技術(shù)原理，可能很難恢復(fù)。而且分布式數(shù)據(jù)庫開源產(chǎn)品比較多，沒有太多成熟的商業(yè)版本產(chǎn)品可以選擇，需要用戶具備較強(qiáng)的技術(shù)能力，根據(jù)業(yè)務(wù)的需求選擇合適的數(shù)據(jù)庫系統(tǒng)。2.4 分布式安全2.4.1 架構(gòu)說明云計(jì)算平臺(tái)提供了靈活的資源彈性配置，動(dòng)態(tài)負(fù)載均衡，高可用等功能，提高了硬件資源利用率，縮短了業(yè)務(wù)部署的時(shí)間。同時(shí)也引入了新的安全問題，讓傳統(tǒng)集中式架構(gòu)的安全設(shè)備失效。傳統(tǒng)基于安全

37、域/安全邊界的防護(hù)機(jī)制已經(jīng)難以滿足云計(jì)算環(huán)境下的應(yīng)用模式。云計(jì)算平臺(tái)的網(wǎng)絡(luò)邊界是模糊化的，提供的是服務(wù)，對使用者身份、權(quán)限和行為的鑒別、控制與審計(jì)比較困難。主要包括：1、云計(jì)算平臺(tái)的虛擬機(jī)之間的網(wǎng)絡(luò)防護(hù)安全云計(jì)算平臺(tái)的虛擬機(jī)都在一個(gè)服務(wù)器內(nèi)，虛擬機(jī)之間的網(wǎng)絡(luò)通信是通過虛擬網(wǎng)絡(luò)進(jìn)行的，存在被監(jiān)聽和攻擊的風(fēng)險(xiǎn)。同時(shí)，虛擬機(jī)之間的通信流量并沒有通過外部設(shè)備進(jìn)行交換，傳統(tǒng)集中式的安全設(shè)備是監(jiān)控不到的。如果某個(gè)虛擬機(jī)出現(xiàn)安全問題，那么整個(gè)云計(jì)算平臺(tái)可能都會(huì)面臨安全問題。2、云計(jì)算平臺(tái)的虛擬機(jī)之間的動(dòng)態(tài)遷移安全云計(jì)算平臺(tái)的虛擬機(jī)可以按需遷移到其他服務(wù)器上，造成安全域邊界的動(dòng)態(tài)化，傳統(tǒng)集中式的防護(hù)墻設(shè)備采用

38、的是固定區(qū)域邊界防護(hù)手段，在云計(jì)算平臺(tái)環(huán)境中會(huì)失效。如果新遷移的服務(wù)器上沒有對應(yīng)的安全保護(hù)策略，就可能對遷移后的虛擬機(jī)造成安全威脅。下面以某分布式安全防火墻為例，說明分布式安全架構(gòu)，如下圖所示：虛擬化分布式防火墻由安全策略管理平臺(tái)（云安全管理平臺(tái)）和虛擬化分布式防火墻構(gòu)成，網(wǎng)絡(luò)采用VxLAN架構(gòu)。云安全管理平臺(tái)負(fù)責(zé)安全策略的集中管理，并對安全策略的遷移功能提供支持。接收虛擬化安全設(shè)備的日志以及統(tǒng)計(jì)信息，集中展現(xiàn)整個(gè)虛擬化數(shù)據(jù)中心中的安全態(tài)勢。虛擬化分布式防火墻是以虛擬機(jī)形式部署在虛擬化平臺(tái)上，打破傳統(tǒng)集中式防火墻的局限，更貼近虛擬機(jī)的位置，利用虛擬網(wǎng)絡(luò)重定向機(jī)制，獲取所有虛擬機(jī)的流量，實(shí)現(xiàn)分布

39、式防火墻高級(jí)安全防護(hù)功能。虛擬化分布式防火墻，為虛擬化網(wǎng)絡(luò)環(huán)境提供東西向流量的安全防護(hù)能力?？梢宰詣?dòng)在集群中每個(gè)主機(jī)上自動(dòng)部署一個(gè)虛擬化分布式防火墻實(shí)例，并通過虛擬網(wǎng)絡(luò)重定向技術(shù)實(shí)現(xiàn)客戶虛擬機(jī)的流量重定向到本宿主機(jī)的虛擬化分布式防火墻中，實(shí)現(xiàn)針對虛擬機(jī)之間東西向流量進(jìn)行高級(jí)安全防護(hù)。虛擬化分布式防火墻系統(tǒng)是一個(gè)具有高度綜合性、集成性的高層網(wǎng)絡(luò)安全應(yīng)用系統(tǒng)，可以應(yīng)用于租戶之間，或者不同安全域之間，為用戶提供虛擬機(jī)之間的安全服務(wù)。借助網(wǎng)絡(luò)功能虛擬化平臺(tái)，可以靈活方便的在虛擬網(wǎng)絡(luò)環(huán)境中部署，具有極強(qiáng)的靈活性和可擴(kuò)展性，為用戶提供東西向的邊界安全服務(wù)。2.4.2 優(yōu)缺點(diǎn)分析分布式安全優(yōu)點(diǎn)：1、在云計(jì)算環(huán)境中，分布式安全產(chǎn)品可以針對每一個(gè)虛擬機(jī)做貼身防護(hù)，保護(hù)虛擬機(jī)網(wǎng)絡(luò)的安全和虛擬機(jī)動(dòng)態(tài)遷移前后的安全威脅。2、能夠?qū)υ朴?jì)算平臺(tái)提供立體的安全保護(hù)，避免云計(jì)算環(huán)境中虛擬網(wǎng)絡(luò)的不可控，保護(hù)每一個(gè)虛擬機(jī)的安全，從而保護(hù)整個(gè)云計(jì)算平臺(tái)的安全。3、分布式安全產(chǎn)品具有良好的可擴(kuò)展性和功能，能夠平滑擴(kuò)展支撐云計(jì)算平臺(tái)業(yè)務(wù)的增長和用戶的增加。在功能上，可以通過軟件的方式靈活提供防火墻，入侵檢測、防護(hù)、防病毒和QOS等多種安全功能，簡化了傳統(tǒng)集中式安全設(shè)備的部署架構(gòu)，靈活性也更高。分布式安全缺點(diǎn)：1、分布式安全產(chǎn)品通常需要對云計(jì)算平臺(tái)的虛擬化網(wǎng)絡(luò)進(jìn)行引流（即網(wǎng)絡(luò)重定向機(jī)制），否則獲取不到東西向流量也就沒