分布式系統(tǒng)簡(jiǎn)單介紹

1、操作系統(tǒng)前沿技術(shù)分布式系統(tǒng)陳然 3140103431 2016/12/7 目錄緒論3分布式系統(tǒng)介紹5分布式系統(tǒng)與集中式系統(tǒng)5分布式系統(tǒng)與集群5分布式系統(tǒng)的主要特征6分布式系統(tǒng)的設(shè)計(jì)理念81. 分布式系統(tǒng)對(duì)服務(wù)器硬件要求很低82. 分布式系統(tǒng)強(qiáng)調(diào)橫向可擴(kuò)展性83. 分布式系統(tǒng)不允許單點(diǎn)失效94. 分布式系統(tǒng)盡可能減少節(jié)點(diǎn)間通訊開(kāi)銷(xiāo)10分布式系統(tǒng)實(shí)例11緒論第25屆ACM操作系統(tǒng)原理研討會(huì)（SOSP15）于2015年在美國(guó)加尼福尼亞州舉辦。本次會(huì)議對(duì)操作系統(tǒng)的前沿技術(shù)進(jìn)行了探究，涉及到的領(lǐng)域從高性能事務(wù)處理系統(tǒng)的研究到其實(shí)際實(shí)現(xiàn)的形式說(shuō)明；從能量感知系統(tǒng)技術(shù)到全球范圍內(nèi)的分布式系統(tǒng)研究；從bug尋

2、找到大數(shù)據(jù)研究。而對(duì)分布式系統(tǒng)的探討，又在本次研討會(huì)中占據(jù)了重要的地位。本次研討的十個(gè)議題，四個(gè)都和分布式系統(tǒng)有關(guān)，可見(jiàn)其重要性。分布式系統(tǒng)介紹分布式系統(tǒng)與集中式系統(tǒng)在了解分布式系統(tǒng)之前，需要先了解一下與之相對(duì)應(yīng)的集中式系統(tǒng)是什么樣的。集中式系統(tǒng)用一句話概括就是：一個(gè)主機(jī)帶多個(gè)終端。終端沒(méi)有數(shù)據(jù)處理能力，僅負(fù)責(zé)數(shù)據(jù)的錄入和輸出。而運(yùn)算、存儲(chǔ)等全部在主機(jī)上進(jìn)行。現(xiàn)在的銀行系統(tǒng)，大部分都是這種集中式的系統(tǒng)，此外，在大型企業(yè)、科研單位、軍隊(duì)、政府等也有分布。集中式系統(tǒng)最大的特點(diǎn)也是缺點(diǎn)就是部署結(jié)構(gòu)非常簡(jiǎn)單，由于采用單機(jī)部署。很可能帶來(lái)系統(tǒng)大而復(fù)雜、難于維護(hù)、發(fā)生單點(diǎn)故障（單個(gè)點(diǎn)發(fā)生故障的時(shí)候會(huì)波及到

3、整個(gè)系統(tǒng)或者網(wǎng)絡(luò)，從而導(dǎo)致整個(gè)系統(tǒng)或者網(wǎng)絡(luò)的癱瘓）、擴(kuò)展性差等問(wèn)題。因此分布式系統(tǒng)應(yīng)運(yùn)而生。分布式系統(tǒng)是一個(gè)硬件或軟件組件分布在不同的網(wǎng)絡(luò)計(jì)算機(jī)上，彼此之間僅僅通過(guò)消息傳遞進(jìn)行通信和協(xié)調(diào)的系統(tǒng)。簡(jiǎn)單來(lái)說(shuō)就是一群獨(dú)立計(jì)算機(jī)集合共同對(duì)外提供服務(wù)，但是對(duì)于系統(tǒng)的用戶來(lái)說(shuō)，就像是一臺(tái)計(jì)算機(jī)在提供服務(wù)一樣。分布式意味著可以采用更多的普通計(jì)算機(jī)（相對(duì)于昂貴的大型機(jī)）組成分布式集群對(duì)外提供服務(wù)。計(jì)算機(jī)越多，CPU、內(nèi)存、存儲(chǔ)資源等也就越多，能夠處理的并發(fā)訪問(wèn)量也就越大。分布式系統(tǒng)與集群分布式是指在多臺(tái)不同的服務(wù)器中部署不同的服務(wù)模塊，通過(guò)遠(yuǎn)程調(diào)用協(xié)同工作，對(duì)外提供服務(wù)。集群是指在多臺(tái)不同的服務(wù)器中部署相同應(yīng)

4、用或服務(wù)模塊，構(gòu)成一個(gè)集群，通過(guò)負(fù)載均衡設(shè)備對(duì)外提供服務(wù)。簡(jiǎn)單的說(shuō)，分布式就是把一個(gè)大型應(yīng)用分解成10個(gè)不同的小的應(yīng)用，分配給10個(gè)計(jì)算機(jī)進(jìn)行處理。而集群是同時(shí)讓10臺(tái)計(jì)算機(jī)處理10個(gè)相同的10個(gè)應(yīng)用。分布式系統(tǒng)的主要特征分布性分布式系統(tǒng)中的多臺(tái)計(jì)算機(jī)之間在空間位置上可以隨意分布，系統(tǒng)中的多臺(tái)計(jì)算機(jī)之間沒(méi)有主、從之分，即沒(méi)有控制整個(gè)系統(tǒng)的主機(jī)，也沒(méi)有受控的從機(jī)。透明性系統(tǒng)資源被所有計(jì)算機(jī)共享。每臺(tái)計(jì)算機(jī)的用戶不僅可以使用本機(jī)的資源，還可以使用本分布式系統(tǒng)中其他計(jì)算機(jī)的資源(包括CPU、文件、打印機(jī)等)。同一性系統(tǒng)中的若干臺(tái)計(jì)算機(jī)可以互相協(xié)作來(lái)完成一個(gè)共同的任務(wù)，或者說(shuō)一個(gè)程序可以分布在幾臺(tái)計(jì)算

5、機(jī)上并行地運(yùn)行。通信性系統(tǒng)中任意兩臺(tái)計(jì)算機(jī)都可以通過(guò)通信來(lái)交換信息?？赏卣剐钥赏卣剐允欠植际较到y(tǒng)的最大特點(diǎn)，它能夠適應(yīng)需求變化而擴(kuò)展。企業(yè)級(jí)應(yīng)用需求經(jīng)常隨時(shí)間而不斷變化，它必須要能適應(yīng)需求的變化，即具有可擴(kuò)展性。和集中式系統(tǒng)相比，分布式系統(tǒng)的性價(jià)比更高、處理能力更強(qiáng)、可靠性更高、也有很好的擴(kuò)展性，可以讓多臺(tái)服務(wù)器協(xié)同工作，完成單臺(tái)服務(wù)器無(wú)法處理的高并發(fā)的大數(shù)據(jù)量的任務(wù)。例如，在處理大型應(yīng)用時(shí)，如果采用集中式計(jì)算，需要耗費(fèi)相當(dāng)長(zhǎng)的時(shí)間來(lái)完成。分布式計(jì)算將該應(yīng)用分解成許多小的部分，分配給多臺(tái)空閑計(jì)算機(jī)進(jìn)行處理。這樣可以節(jié)約整體計(jì)算時(shí)間，大大提高計(jì)算效率。分布式系統(tǒng)的設(shè)計(jì)理念1. 分布式系統(tǒng)對(duì)服務(wù)器

6、硬件要求很低這一點(diǎn)主要現(xiàn)在如下兩個(gè)方面：· 對(duì)服務(wù)器硬件可靠性不做要求，允許服務(wù)器硬件發(fā)生故障，硬件的故障由軟件來(lái)容錯(cuò)。所以分布式系統(tǒng)的高可靠性是由軟件來(lái)保證。· 對(duì)服務(wù)器的性能不做要求，不要求使用高頻CPU、大容量?jī)?nèi)存、高性能存儲(chǔ)等等。因?yàn)榉植际较到y(tǒng)的性能瓶頸在于節(jié)點(diǎn)間通訊帶來(lái)的網(wǎng)絡(luò)開(kāi)銷(xiāo)，單臺(tái)服務(wù)器硬件性能再好，也要等待網(wǎng)絡(luò)IO。一般而言，互聯(lián)網(wǎng)公司的大型數(shù)據(jù)中心都是選用大量廉價(jià)的PC服務(wù)器而不是用幾臺(tái)高性能服務(wù)器搭建分布式集群，以此來(lái)降低數(shù)據(jù)中心成本。比如，Google對(duì)于數(shù)據(jù)中心的成本控制做到了極致：所有服務(wù)器一律不要機(jī)箱；主板完全定制，只要最基本的組件，早期的定制主

7、板連電源開(kāi)關(guān)和USB接口都不要；在主板上加裝隔離帶把CPU單獨(dú)隔出來(lái)，讓冷風(fēng)只吹CPU，不吹內(nèi)存、硬盤(pán)等不需要降溫的組件，最大限度降低冷卻電力消耗。2. 分布式系統(tǒng)強(qiáng)調(diào)橫向可擴(kuò)展性橫向可擴(kuò)展性是指通過(guò)增加服務(wù)器數(shù)量來(lái)提升集群整體性能?？v向可擴(kuò)展性是指提升每臺(tái)服務(wù)器性能進(jìn)而提升集群整體性能?？v向可擴(kuò)展性的上限非常明顯，單臺(tái)服務(wù)器的性能不可能無(wú)限提升，而且跟服務(wù)器性能相比，網(wǎng)絡(luò)開(kāi)銷(xiāo)才是分布式系統(tǒng)最大的瓶頸。橫向可擴(kuò)展性的上限空間比較大，集群總能很方便地增加服務(wù)器。而且分布式系統(tǒng)會(huì)盡可能保證橫向擴(kuò)展帶來(lái)集群整體性能的線性提升。比如有10臺(tái)服務(wù)器組成的集群，橫向擴(kuò)展為100臺(tái)同樣服務(wù)器的集群，那么整體

8、分布式系統(tǒng)性能會(huì)提升為接近原來(lái)的10倍。互聯(lián)網(wǎng)公司的數(shù)據(jù)中心，一般一個(gè)分布式系統(tǒng)橫向擴(kuò)展的上限在萬(wàn)臺(tái)服務(wù)器左右。Google數(shù)據(jù)中心的基本單元：CELL，由兩萬(wàn)臺(tái)左右服務(wù)器組成，每個(gè)CELL由一套分布式管理系統(tǒng)BORG，統(tǒng)一管理，每個(gè)數(shù)據(jù)中心都由多個(gè)CELL組成。3. 分布式系統(tǒng)不允許單點(diǎn)失效單點(diǎn)失效是指，某個(gè)應(yīng)用服務(wù)只有一份實(shí)例運(yùn)行在某一臺(tái)服務(wù)器上，這臺(tái)服務(wù)器一旦掛掉，那么這個(gè)應(yīng)用服務(wù)必然也受影響而掛掉，導(dǎo)致整個(gè)服務(wù)不可用。例如，某網(wǎng)站后臺(tái)如果只在某一臺(tái)服務(wù)器上運(yùn)行一份，那這臺(tái)服務(wù)器一旦宕機(jī)，該網(wǎng)站服務(wù)必然受影響而不可用。再比如，如果所有數(shù)據(jù)都存在某一臺(tái)服務(wù)器上，那一旦這臺(tái)服務(wù)器壞了，所有數(shù)

9、據(jù)都不可訪問(wèn)。因?yàn)榉植际较到y(tǒng)的服務(wù)器都是廉價(jià)的PC服務(wù)器，硬件不能保證100%可靠，所以分布式系統(tǒng)默認(rèn)每臺(tái)服務(wù)器隨時(shí)都可能發(fā)生故障掛掉。同時(shí)分布式系統(tǒng)必須要提供高可靠服務(wù)，不允許出現(xiàn)單點(diǎn)失效，因此分布式系統(tǒng)里運(yùn)行的每個(gè)應(yīng)用服務(wù)都有多個(gè)運(yùn)行實(shí)例跑在多個(gè)節(jié)點(diǎn)上，每個(gè)數(shù)據(jù)點(diǎn)都有多個(gè)備份存在不同的節(jié)點(diǎn)上。這樣一來(lái)，多個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障，導(dǎo)致某個(gè)應(yīng)用服務(wù)的所有實(shí)例都掛掉、或某個(gè)數(shù)據(jù)點(diǎn)的多個(gè)備份都不可讀的概率大大降低，進(jìn)而有效防止單點(diǎn)失效。通常情況，不要讓服務(wù)器滿負(fù)荷運(yùn)行，服務(wù)器長(zhǎng)時(shí)間滿負(fù)荷運(yùn)行的話，出故障的概率顯著升高。所以分布式系統(tǒng)采用一大堆中低性能的PC服務(wù)器，盡可能把負(fù)載均攤到所有服務(wù)器上，讓每臺(tái)

10、服務(wù)器的負(fù)載都不高，保證集群整體穩(wěn)定性。4. 分布式系統(tǒng)盡可能減少節(jié)點(diǎn)間通訊開(kāi)銷(xiāo)如前所述，分布式系統(tǒng)的整體性能瓶頸在于內(nèi)部網(wǎng)絡(luò)開(kāi)銷(xiāo)。目前網(wǎng)絡(luò)傳輸?shù)乃俣冗€趕不上CPU讀取內(nèi)存或硬盤(pán)的速度，所以減少網(wǎng)絡(luò)通訊開(kāi)銷(xiāo)，讓CPU盡可能處理內(nèi)存的數(shù)據(jù)或本地硬盤(pán)的數(shù)據(jù)，能顯著提高分布式系統(tǒng)的性能。典型的例子就是Hadoop MapReduce，把計(jì)算任務(wù)分配到要處理的數(shù)據(jù)所在的節(jié)點(diǎn)上運(yùn)行，從而避免在網(wǎng)絡(luò)上傳輸數(shù)據(jù)。分布式系統(tǒng)實(shí)例這里我選擇的實(shí)例是Hadoop的HDFS，Hadoop是一個(gè)很經(jīng)典的MapReduce的開(kāi)源實(shí)現(xiàn)的系統(tǒng)架構(gòu)，能夠分布式運(yùn)行且復(fù)制數(shù)據(jù)，也可以在一個(gè)集群上運(yùn)行多個(gè)進(jìn)程，管理由用戶創(chuàng)建的并行任務(wù)，低成本且可擴(kuò)展。Hadoop集群排序1TB的數(shù)據(jù)只花了209秒。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)HDFS，它的文件存儲(chǔ)原理如下：（圖片摘自網(wǎng)絡(luò)）假設(shè)一個(gè)文件如圖由紅綠藍(lán)三個(gè)數(shù)據(jù)塊組成，將該文件寫(xiě)入HDFS這三塊首先在namenode中登記元數(shù)據(jù)，哪個(gè)數(shù)據(jù)塊在哪個(gè)服務(wù)器上：黃色