大數(shù)據(jù)技術(shù)基礎(chǔ)教程 課件 第2章 分布式計(jì)算編程基礎(chǔ)

第2章分布式計(jì)算編程基礎(chǔ)《大數(shù)據(jù)技術(shù)基礎(chǔ)教程》學(xué)習(xí)目標(biāo)/Target了解分布式系統(tǒng)及分布式計(jì)算架構(gòu)了解分布式文件系統(tǒng)掌握CAP理論章節(jié)概述/

Summary隨著使用傳統(tǒng)計(jì)算機(jī)語言硬編碼方式設(shè)計(jì)的HPC程序越來越不受青睞，Hadoop和Spark這樣的分布式軟件框架應(yīng)運(yùn)而生，推動(dòng)了適用于大規(guī)模HPC系統(tǒng)的高效程序發(fā)展。受分布式計(jì)算原理的啟發(fā)，諸如MapReduce這樣的函數(shù)式編程語言模型可以通過Hadoop和Spark在HPC集群上輕易地實(shí)現(xiàn)。本章主要介紹分布式系統(tǒng)、分布式計(jì)算架構(gòu)、分布式文件系統(tǒng)和CAP定理目錄/Contents01020304分布式系統(tǒng)分布式計(jì)算架構(gòu)分布式文件系統(tǒng)CAP定理分布式系統(tǒng)2.12.1分布式系統(tǒng)分布式系統(tǒng)是一種計(jì)算機(jī)網(wǎng)絡(luò)化布局，各個(gè)(計(jì)算機(jī)）節(jié)點(diǎn)間的信息交流通過復(fù)雜的消息傳遞接口來實(shí)現(xiàn)。分布式系統(tǒng)主要用來處理那些往往需要幾百臺(tái)計(jì)算機(jī)協(xié)同才能處理和完成的數(shù)據(jù)集上的問題。多進(jìn)程進(jìn)程通信獨(dú)立的地址空間2.1分布式系統(tǒng)在分布式系統(tǒng)的構(gòu)建中，無論分布于各個(gè)地區(qū)還是建在同一座建筑物內(nèi)，都要面對以下幾個(gè)挑戰(zhàn)。程序并發(fā)缺少中央時(shí)鐘獨(dú)立故障分布式計(jì)算架構(gòu)2.22.2分布式計(jì)算架構(gòu)分布式系統(tǒng)是分散在網(wǎng)絡(luò)中多臺(tái)機(jī)器上的復(fù)雜軟件組件。這些系統(tǒng)需要進(jìn)一步組織分工，以求其復(fù)雜性能夠被理解。分層架構(gòu)基于對象的架構(gòu)數(shù)據(jù)中心架構(gòu)基于事件的架構(gòu)分布式文件系統(tǒng)2.32.3分布式文件系統(tǒng)離線分析系統(tǒng)2.3.1分布式文件系統(tǒng)需求分布式文件系統(tǒng)的發(fā)展已成為識(shí)別分布式服務(wù)設(shè)計(jì)中諸多挑戰(zhàn)和陷阱的一個(gè)起點(diǎn)。在其發(fā)展的早期階段，已經(jīng)實(shí)現(xiàn)了訪問透明和位置透明。性能、可擴(kuò)展性、并發(fā)控制、容錯(cuò)和安全要求也在其后續(xù)開發(fā)階段中得以滿足。（1）透明性：

訪問透明

位置透明

移動(dòng)透明

性能透明

擴(kuò)展透明2.3分布式文件系統(tǒng)離線分析系統(tǒng)2.3.1分布式文件系統(tǒng)需求（2）并發(fā)文件更新（3）文件復(fù)制（4）硬件的異構(gòu)性（5）容錯(cuò)（6）一致性（7）安全性（8）效率性CAP定理2.42.4CAP定理CAP定理又稱CAP原則，指的是在一個(gè)分布式系統(tǒng)中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分區(qū)容錯(cuò)性），最多只能同時(shí)三個(gè)特性中的兩個(gè)，三者不可兼得.2.4.1CAP的定義Consistency(一致性)：“allnodesseethesamedataatthesametime”，即更新操作成功并返回客戶端后，所有節(jié)點(diǎn)在同一時(shí)間的數(shù)據(jù)完全一致，這就是分布式的一致性。一致性的問題在并發(fā)系統(tǒng)中不可避免，對于客戶端來說，一致性指的是并發(fā)訪問時(shí)更新過的數(shù)據(jù)如何獲取的問題。從服務(wù)端來看，則是更新如何復(fù)制分布到整個(gè)系統(tǒng)，以保證數(shù)據(jù)最終一致。2.4.1CAP的定義Availability(可用性)：可用性指“Readsandwritesalwayssucceed”，即服務(wù)一直可用，而且是正常響應(yīng)時(shí)間。好的可用性主要是指系統(tǒng)能夠很好的為用戶服務(wù)，不出現(xiàn)用戶操作失敗或者訪問超時(shí)等用戶體驗(yàn)不好的情況。2.4.1CAP的定義PartitionTolerance(分區(qū)容錯(cuò)性)：即分布式系統(tǒng)在遇到某節(jié)點(diǎn)或網(wǎng)絡(luò)分區(qū)故障的時(shí)候，仍然能夠?qū)ν馓峁M足一致性或可用性的服務(wù)。分區(qū)容錯(cuò)性要求能夠使應(yīng)用雖然是一個(gè)分布式系統(tǒng)，而看上去卻好像是在一個(gè)可以運(yùn)轉(zhuǎn)正常的整體。比如現(xiàn)在的分布式系統(tǒng)中有某一個(gè)或者幾個(gè)機(jī)器宕掉了，其他剩下的機(jī)器還能夠正常運(yùn)轉(zhuǎn)滿足系統(tǒng)需求，對于用戶而言并沒有什么體驗(yàn)上的影響。2.4.2CAP定理證明N1、N2正常運(yùn)作N1和N2通信網(wǎng)絡(luò)出現(xiàn)故障2.4.3取舍策略CAP三個(gè)特性只能滿足其中兩個(gè)，那么取舍的策略就共有三種：CAwithoutP：CPwithoutA：APwihtoutC：本章小結(jié)本章主要介紹了分布式計(jì)算編程的基礎(chǔ)概念，包括分布