分布式系統(tǒng)介紹說明課件

1、分布式系統(tǒng)介紹說明分布式系統(tǒng)介紹說明21.1 分布式系統(tǒng)概念1.2 分布式系統(tǒng)的特點1.3 硬件概念1.4 軟件概念1.5 分布式系統(tǒng)設(shè)計問題主要內(nèi)容41.1 分布式系統(tǒng)概念主要內(nèi)容3 What is a Distributed System? “一個分布式系統(tǒng)是若干個獨立的計算機的集合，但是對該系統(tǒng)的用戶來說，系統(tǒng)就像一臺計算機一樣?！?兩個方面的含義： 硬件方面：各個計算機都是自治的 軟件方面：用戶將整個系統(tǒng)看作是一臺計算機 1.1 分布式系統(tǒng)概念5 What is a Distributed Sys4集中式系統(tǒng)6集中式系統(tǒng)5Sun ULTRA5 with 32GB disk6 Units

2、Eathernet Switch100MSun ULTRA1032GB diskOne unitNOW(Network of Workstations)7Sun ULTRA5 Eathernet SwitchSu6The Grid8The Grid7分布式系統(tǒng)定義一個分布式系統(tǒng)組織成中間件形式，中間件層分布在多臺機器上。1.19分布式系統(tǒng)定義一個分布式系統(tǒng)組織成中間件形式，1.18應(yīng)用舉例 銀行“一卡通”系統(tǒng)電信“神州行”系統(tǒng) SETIHome從集中式系統(tǒng)到分布式系統(tǒng)高性能微型計算機(PC)的普及高速計算機網(wǎng)絡(luò)（LAN、WAN）的普及 10應(yīng)用舉例91.1 分布式系統(tǒng)概念1.2 分布式系統(tǒng)的特

3、點1.3 硬件概念1.4 軟件概念1.5 分布式系統(tǒng)設(shè)計問題主要內(nèi)容111.1 分布式系統(tǒng)概念主要內(nèi)容10優(yōu)點 - 與集中式系統(tǒng)相比較1、經(jīng)濟性：高的性能/價格比 GroschLaw: Power Price2 NOPC vs. 大型機（mainframe）1.2 分布式系統(tǒng)的特點12優(yōu)點 - 與集中式系統(tǒng)相比較1.2 分布式系統(tǒng)的特點112、性能：能產(chǎn)生單個大型主機不能達到的絕對性能 10,000 X 50MIPS 500,000MIPS（5千億次）= 0.002ns/次=0.7mm優(yōu)點 - 與集中式系統(tǒng)相比較132、性能：能產(chǎn)生單個大型主機不能達到的絕對性能 優(yōu)點 -123、應(yīng)用的固有的分

4、布性, 例如： CSCW 工作流4、可靠性高 多工系統(tǒng)的容錯能力5、可擴充性強 系統(tǒng)演進能力（evolution）優(yōu)點 - 與集中式系統(tǒng)相比較143、應(yīng)用的固有的分布性, 例如：優(yōu)點 - 與集中式系統(tǒng)13總結(jié)：優(yōu)點 - 與集中式系統(tǒng)相比較項目描 述經(jīng)濟 微處理機提供了比大型主機更好的性能價格比速度分布式系統(tǒng)總的計算能力比單個大型主機更強固有的分布性一些應(yīng)用涉及到空間上分散的機器可靠性如果一個機器崩潰,整個系統(tǒng)還可以運轉(zhuǎn)漸增計算能力可以逐漸有所增加15總結(jié)：優(yōu)點 - 與集中式系統(tǒng)相比較項目描 述經(jīng)濟141、支持數(shù)據(jù)共享 文件 數(shù)據(jù)庫2、支持設(shè)備共享 高檔打印機 海量磁盤優(yōu)點 -與獨立PC機比較1

5、61、支持數(shù)據(jù)共享優(yōu)點 -與獨立PC機比較153、P2P通信 email BBS4、靈活性負載分配優(yōu)點 -與獨立PC機比較173、P2P通信優(yōu)點 -與獨立PC機比較16總結(jié)：優(yōu)點 -與獨立PC機比較項目描 述數(shù)據(jù)共享允許多個用戶訪問一個公共的數(shù)據(jù)庫設(shè)備共享允許多個用戶共享昂貴的外圍設(shè)備(如彩色打印機)通信使得人們之間的通信更加容易,如通過電子郵件靈活性用最有效的方式將工作負荷分配到可用的機器上18總結(jié)：優(yōu)點 -與獨立PC機比較項目描 述數(shù)據(jù)共享允許17存在的問題項目描 述軟件目前為分布式系統(tǒng)開發(fā)的軟件還很少網(wǎng)絡(luò)通信網(wǎng)絡(luò)可能的問題: 如 QoS等等安全容易造成對保密數(shù)據(jù)的訪問19存在的問題項目描

6、 述軟件目前為分布式系統(tǒng)開發(fā)的軟件還很181.1 分布式系統(tǒng)概念1.2 分布式系統(tǒng)的特點1.3 硬件概念1.4 軟件概念1.5 分布式系統(tǒng)設(shè)計問題主要內(nèi)容201.1 分布式系統(tǒng)概念主要內(nèi)容19Flynn分類：（1972）SISD（單指令流、單數(shù)據(jù)流 ）：（PC機）SIMD （單指令流、多數(shù)據(jù)流 ） ：矩陣計算機MISD （多指令流、單數(shù)據(jù)流 ） ：無MIMD （多指令流、多數(shù)據(jù)流 ） ：分布式系統(tǒng)1.3 硬件概念：多臺計算機是如何聯(lián)結(jié)在一起 ？CPU指令流個數(shù)數(shù)據(jù)流個數(shù)21Flynn分類：1.3 硬件概念：多臺計算機是如何聯(lián)結(jié)20存儲器使用：共享式、私有式多處理器系統(tǒng)（multi-proces

7、sor）多計算機系統(tǒng)（multi-computer） MIMD分類PPMPPPMPMM具有共享存儲器的通常稱為多處理機（multiprocessor）或多處理器；而不具有共享存儲器的則稱為多計算機(multicomputer) 22存儲器使用：共享式、私有式MIMD分類PPMPPPMPM21連接方式：總線式交換式關(guān)聯(lián)程度：緊耦合式：多用于并行系統(tǒng) 松耦合式 ：多用于分布式系統(tǒng) MIMD分類23MIMD分類22MIMD系統(tǒng)分類 sequent 超級計算機 LAN工作站 超立方 Encor RP3 Transputer 24MIMD系統(tǒng)分類 sequent 23（1）總線型多處理機解決總線過載：高

8、速緩存（cache）： 命中率（hit rate） 緩存一致性（coherency）直寫（Write-through）監(jiān)聽（ Snoopy）控制線、數(shù)據(jù)線、地址線SMP？25（1）總線型多處理機解決總線過載：高速緩存（cache）24（2）交換型多處理機交叉開關(guān)線：n2個交叉開關(guān)點Omega開關(guān)網(wǎng)：2 2開關(guān)點，共n (log2n) /2個NUMA(NonUniform Memory Access)：分層存儲26（2）交換型多處理機交叉開關(guān)線：n2個交叉開關(guān)點25（3）總線型多計算機 本地內(nèi)存 局域網(wǎng)絡(luò)（10M 1000M）只用于CPU和CPU之間的通信 27（3）總線型多計算機 本地內(nèi)存26

9、網(wǎng)格（grid）：二維平面(n2個節(jié)點)。超立方（hypercube）：n維立方（2n個節(jié)點）（4）交換型多計算機28網(wǎng)格（grid）：二維平面(n2個節(jié)點)。（4）交換型多27Intel 單核CPU芯片29Intel 單核CPU芯片28Intel多核結(jié)構(gòu)Replicate multiple processor cores on a single die.30Intel多核結(jié)構(gòu)Replicate multiple 29多核處理器是一類特殊的多處理機所有處理器在同一個芯片上多核處理器是MIMD: 不同的核執(zhí)行不同的指令，操作內(nèi)存的不同位置 多核是一個共享內(nèi)存的多處理機：所有核共享同一個內(nèi)存31多

10、核處理器是一類特殊的多處理機所有處理器在同一個芯片上302 Processors vs. 2 Cores2 CoresTwo cores on same die connected directlyMultiple threads and processes automatically processed in parallelOnly a small increase in power consumption2 ProcessorsTwo separate chips connected externally by a system busRequires explicit software

11、 supportMuch greater power consumption322 Processors vs. 2 Cores2 Co31Inter-Core Bus InterfacePentium D with 975X ChipsetMemory ControllerHubI/O Controller HubDDR2 MemoryPCI Express x166 PCI4 Serial ATA Ports6 PCI Express x1High-Definition Audio2 PCI Express x8orDMI (2 GB/s)1066 / 800 MHz FSBCore 1L

12、2 Cache(for Core 1)Core 0L2 Cache(for Core 0)6 USB 2.0Intel Matrix StorageBIOS SupportIntel Pro 1000 LAN33Inter-Core Bus InterfacePent321.1 分布式系統(tǒng)概念1.2 分布式系統(tǒng)的特點1.3 硬件概念1.4 軟件概念1.5 分布式系統(tǒng)設(shè)計問題主要內(nèi)容341.1 分布式系統(tǒng)概念主要內(nèi)容33分類： 緊耦合式、 松耦合式1.4 軟件相關(guān)概念緊耦合 松耦合 軟件硬件松耦合緊耦合 分布式OS多處理機分時OS 網(wǎng)絡(luò)OS35分類：1.4 軟件相關(guān)概念緊耦合 松耦34軟件相關(guān)概

13、念A(yù)n overview of DOS (Distributed Operating Systems)NOS (Network Operating Systems)MiddlewareSystemDescriptionMain GoalDOSTightly-coupled operating system for multi-processors and homogeneous multicomputersHide and manage hardware resourcesNOSLoosely-coupled operating system for heterogeneous multico

14、mputers (LAN and WAN)Offer local services to remote clientsMiddlewareAdditional layer atop of NOS implementing general-purpose servicesProvide distribution transparency36軟件相關(guān)概念A(yù)n overview of SystemD35網(wǎng)絡(luò)操作系統(tǒng)（NOS）網(wǎng)絡(luò)操作系統(tǒng)的一般結(jié)構(gòu)37網(wǎng)絡(luò)操作系統(tǒng)（NOS）網(wǎng)絡(luò)操作系統(tǒng)的一般結(jié)構(gòu)36網(wǎng)絡(luò)操作系統(tǒng)（NOS）遠程登錄telnetrlogin38網(wǎng)絡(luò)操作系統(tǒng)（NOS）遠程登錄37網(wǎng)絡(luò)操作系統(tǒng)

15、（NOS）網(wǎng)絡(luò)文件NFSmount磁盤映射39網(wǎng)絡(luò)操作系統(tǒng)（NOS）網(wǎng)絡(luò)文件NFS38真正的分布式系統(tǒng)單一的、全局的進程間通信機制協(xié)議、位置全局進程管理創(chuàng)建、啟動、掛起、撤銷全局文件系統(tǒng)文件名、目錄、操作統(tǒng)一的系統(tǒng)調(diào)用接口40真正的分布式系統(tǒng)單一的、全局的進程間通信機制39多處理機分時系統(tǒng)（MPOS）具有一個運行隊列的多處理機系統(tǒng) 41多處理機分時系統(tǒng)（MPOS）具有一個運行隊列的多處理機系40多處理機分時系統(tǒng)（MPOS）存在一個唯一的運行隊列 文件系統(tǒng)的結(jié)構(gòu)不同特點：42多處理機分時系統(tǒng)（MPOS）存在一個唯一的運行隊列 特點41多計算機操作系統(tǒng)多件算機操作系統(tǒng)的一般結(jié)構(gòu)1.1443多計算機

16、操作系統(tǒng)多件算機操作系統(tǒng)的一般結(jié)構(gòu)1.1442多計算機操作系統(tǒng)消息傳遞的阻塞和緩沖1.1544多計算機操作系統(tǒng)消息傳遞的阻塞和緩沖1.1543多計算機操作系統(tǒng)Relation between blocking, buffering, and reliable communications.Synchronization pointSend bufferReliable comm. guaranteed?Block sender until buffer not fullYesNot necessaryBlock sender until message sentNoNot necessaryB

17、lock sender until message receivedNoNecessaryBlock sender until message deliveredNoNecessary45多計算機操作系統(tǒng)Relation between blo44分布式共享內(nèi)存系統(tǒng)Pages of address space distributed among four machinesSituation after CPU 1 references page 10Situation if page 10 is read only and replication is used46分布式共享內(nèi)存系統(tǒng)Pages

18、 of address sp45分布式共享內(nèi)存系統(tǒng)False sharing of a page between two independent processes.47分布式共享內(nèi)存系統(tǒng)False sharing of a 46中間件分布式系統(tǒng)作為中間件的一般結(jié)構(gòu)1-2248中間件分布式系統(tǒng)作為中間件的一般結(jié)構(gòu)1-2247中間件和開放性 In an open middleware-based distributed system, the protocols used by each middleware layer should be the same, as well as the in

19、terfaces they offer to applications.1.2349中間件和開放性 In an open middle48三種操作系統(tǒng)比較項 目網(wǎng)絡(luò)操作系統(tǒng)分布式操作系統(tǒng)多處理機操作系統(tǒng)中間件看起來象一個虛擬的單處理機系統(tǒng)?否是是所有的機器只運行相同的操作系統(tǒng)?否是是否有多少操作系統(tǒng)的拷貝?NN1N怎樣通信?共享文件消息共享存儲器模型特定需要共同一致的網(wǎng)絡(luò)協(xié)議?是是否是是否只有一個運行隊列?否否是否文件共享是否有良好的語義定義?通常沒有是是通常有資源管理每個節(jié)點全局分布全局集中每個節(jié)點可擴性好一般差變化的開放性好一般差好50三種操作系統(tǒng)比較項 目網(wǎng)絡(luò)操分布式操多處理機中間491.1 分布式系統(tǒng)概念1.2 分布式系統(tǒng)的特點1.3 硬件概念1.4 軟件概念1.5 分布式系統(tǒng)設(shè)計問題主要內(nèi)容511.1 分布式系統(tǒng)概念主要內(nèi)容50透明性（Transparency）（對用戶、對程序）1.5 分布式系統(tǒng)設(shè)計中的關(guān)鍵問題種 類含 義位置透明用戶不知道資源位于何處遷移透明資源可以不改名地隨意移動復(fù)制透明用戶不知道有多少個拷貝存在并發(fā)透明多個用戶可以自動的共享資源并行透明系統(tǒng)活動可以在用戶沒有感覺的情況下并行發(fā)生52透明性（Trans