第1章分布式計算概述

1、分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)分布式計算與開發(fā)模式分布式計算與開發(fā)模式 Why What When Where How Exam 教材：機械工業(yè)出版社分布式計算、云計算與大數(shù)據(jù)林偉偉 主編第第1章章 分布式計算概述分布式計算概述分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)提提 綱綱 分布式計算概念 分布式系統(tǒng)介紹 分布式計算基礎(chǔ)技術(shù)分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)分布式計算的定義 分布式計算是一門計算機科學(xué)，主要研究對象是分布式系統(tǒng)。在介紹分布式計算概念前，首先簡單了解一下什么是分布式系統(tǒng)。簡單地說，一個分布式系統(tǒng)是由若干通過網(wǎng)絡(luò)互聯(lián)的計算機組成的軟硬件系統(tǒng)1，且這些

2、計算機互相配合以完成一個共同的目標(biāo)（往往這個共同的目標(biāo)稱為“項目”）分布式計算指在分布式系統(tǒng)上執(zhí)行的計算。分布式計算是將一個大型計算任務(wù)分成很多部分分別交給其他的計算機處理，并將所有的計算結(jié)果合并為原問題的解決方案。這里與并行計算不同的是，并行計算是使用多個處理器并行執(zhí)行單個計算。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)分布式計算的優(yōu)缺點優(yōu)點優(yōu)點超大規(guī)模超大規(guī)模 虛擬化虛擬化高可靠性高可靠性 通用性通用性 高可伸縮性高可伸縮性 按需服務(wù)按需服務(wù) 極其廉價極其廉價 容錯性容錯性弱點弱點多點故障多點故障一臺或多臺計算機的故障，或一條或多條網(wǎng)絡(luò)鏈路的故障，都會導(dǎo)致分布式系統(tǒng)出現(xiàn)問題安全性安全性分

3、布式系統(tǒng)為非授權(quán)用戶的攻擊提供了更多機會分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)分布式云計算相關(guān)計算形式分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)分布式云計算相關(guān)計算形式分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)集中計算與分布式計算mainframe computerworkstationnetwork hostnetwork linkterminalcentralized computingdistributed computing分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)串行運算與并行運算并行運算與分布式計算的區(qū)別是：分布式計算強調(diào)的是任務(wù)的分布執(zhí)行，而并行計算強調(diào)的是任務(wù)的并發(fā)

4、執(zhí)行分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)云計算概念提出云計算概念提出l提出者：Google工程師，比希利亞，27歲l出發(fā)點：推廣Google超級強大的計算資源，招賢納士 l結(jié)果：蜂擁而至，名噪一時，被視為“云”的起源*- 10 -分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)云計算與網(wǎng)格計算云計算與網(wǎng)格計算v 網(wǎng)格計算：利用互聯(lián)網(wǎng)把地理上廣泛分布的各種資源（計算、存儲、帶寬、軟件、數(shù)據(jù)、信息、知識等）連成一個邏輯整體，就像一臺超級計算機一樣，為用戶提供一體化信息和應(yīng)用服務(wù)（計算、存儲、訪問等） 。v 網(wǎng)格計算強調(diào)資源共享，任何節(jié)點都可以請求使用其它節(jié)點的資源，任何節(jié)點都需要貢獻(xiàn)一定資源給

5、其他節(jié)點。云計算強調(diào)專有，請求或獲取的資源是專有的，并且由少數(shù)團(tuán)體提供，使用者不需要貢獻(xiàn)自己的資源。v 網(wǎng)格計算側(cè)重并行的計算集中性需求，并且難以自動擴展。云計算側(cè)重事務(wù)性應(yīng)用，大量的單獨的請求，可以實現(xiàn)自動或半自動的擴展。云計算包含的網(wǎng)格計算特征：（1）提供在線的計算、存儲等服務(wù)（2）超大規(guī)模的資源組合（3）資源的虛擬化*11分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)云計算與分布式計算云計算與分布式計算v分布式計算（狹義）：將待解決問題分成多個小問題，再分配給許多計算系統(tǒng)處理，最后將處理結(jié)果加以綜合。v特點：把計算任務(wù)分派給網(wǎng)絡(luò)中的多臺獨立的機器v優(yōu)點稀有資源可以共享 通過分布式計算可以在

6、多臺計算機上平衡計算負(fù)載 可以把程序放在最適合運行它的計算機上 云計算包含的分布式計算特征：（1）通過資源調(diào)度和組合滿足用戶的資源請求（2）對外提供統(tǒng)一的、單一的接口分布式郵箱系統(tǒng)*12分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)云計算與并行計算云計算與并行計算n 并行計算：是指同時使用多種計算資源解決計算問題的過程。通常指一個程序的多個部分同時運行于多個處理器上。n 特點：把計算任務(wù)分派給系統(tǒng)內(nèi)的多個運算單元n 并行計算問題的特征n 將工作分離成離散部分，有助于同時解決n 隨時并及時地執(zhí)行多個程序指令（多條線同時運行）n 多計算資源下解決問題的耗時要少于單個計算資源下的耗時云計算包含的并行計

7、算特征：（1）用戶資源（單一類型和組合類型）請求的同時處理*13分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)云計算與對等計算云計算與對等計算n 對等計算系統(tǒng)中，每個節(jié)點都擁有對等的功能與責(zé)任，既可以充當(dāng)服務(wù)器向其他節(jié)點提供數(shù)據(jù)或服務(wù)，又可以作為客戶機享用其他節(jié)點提的供數(shù)據(jù)或服務(wù)，節(jié)點之間的交互可以是直接對等的，任何節(jié)點可以隨時自由地加入或離開系統(tǒng)。對等計算：有可能作為云計算的一個類型n預(yù)測：將可能以“對等子云”的形式出現(xiàn)在云計算中。n依據(jù)：云計算對超大規(guī)模、多類型資源的統(tǒng)一管理是困難的；對等計算具有魯棒性、可擴展性、成本、搜索等方面的優(yōu)點Google的云計算服務(wù)曾出現(xiàn)嚴(yán)重問題，Gmail、Bl

8、ogger和Spreadsheet等服務(wù)均長時間當(dāng)機。亞馬遜S3云計算服務(wù)也曾出現(xiàn)問題。而P2P系統(tǒng)則有更強的抗毀能力。*14分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)提提 綱綱 分布式計算概念 分布式系統(tǒng)介紹 分布式計算基礎(chǔ)技術(shù)分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)分布式系統(tǒng)介紹分布式系統(tǒng)介紹The Interneta network hostworkstationsa local network分布式系統(tǒng)指通過網(wǎng)絡(luò)分布式系統(tǒng)指通過網(wǎng)絡(luò)互連，可協(xié)作執(zhí)行某個任務(wù)互連，可協(xié)作執(zhí)行某個任務(wù)的獨立計算機集合。不共享的獨立計算機集合。不共享內(nèi)存或程序執(zhí)行空間的一系內(nèi)存或程序執(zhí)行空間的一系列計算

9、機被認(rèn)為是相互獨立列計算機被認(rèn)為是相互獨立的的。2022-6-26Distributed Computing,Chap 117Distributed computing目前因特網(wǎng)上參加人數(shù)最多的分布式計算項目目前因特網(wǎng)上參加人數(shù)最多的分布式計算項目SETIhome分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)v 可靠性：指一個分布式系統(tǒng)在它的某一個或多個硬件的軟件組件造成故障時，仍能提供服務(wù)的能力。v 可擴展性：指一個系統(tǒng)為了支持持續(xù)增長的任務(wù)數(shù)量可以不斷擴展的能力。v 可用性：指一個系統(tǒng)盡可能地限制系統(tǒng)因故障而暫停的能力。v 高效性：指一個分布式系統(tǒng)通過分散的計算資源來實現(xiàn)任務(wù)執(zhí)行的高效率。*

10、18分布式系統(tǒng)特征分布式系統(tǒng)特征分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)CAP理論理論分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)提提 綱綱 分布式計算概念 分布式系統(tǒng)介紹 分布式計算基礎(chǔ)技術(shù)分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)進(jìn)程間通信進(jìn)程間通信Process 1Process 2datasenderreceiveru分布式計算的核心技術(shù)是進(jìn)程間通信（分布式計算的核心技術(shù)是進(jìn)程間通信（interprocess communication，IPC），即在互相獨立的進(jìn)程（進(jìn)程是程序的運行時表示）間通信及共同協(xié)作），即在互相獨立的進(jìn)程（進(jìn)程是程序的運行時表示）間通信及共同協(xié)作以完成某項

11、任務(wù)的能力。以完成某項任務(wù)的能力。u在分布式計算中，兩個或多個進(jìn)程按約定的某種協(xié)議進(jìn)行在分布式計算中，兩個或多個進(jìn)程按約定的某種協(xié)議進(jìn)行IPC，此處協(xié)議，此處協(xié)議是指數(shù)據(jù)通信各參與進(jìn)程必須遵守的一組規(guī)則。在協(xié)議中，一個進(jìn)程有些時候是指數(shù)據(jù)通信各參與進(jìn)程必須遵守的一組規(guī)則。在協(xié)議中，一個進(jìn)程有些時候可能是發(fā)送者，在其他時候則可能是接收者。當(dāng)一個進(jìn)程與另一個進(jìn)程進(jìn)行通可能是發(fā)送者，在其他時候則可能是接收者。當(dāng)一個進(jìn)程與另一個進(jìn)程進(jìn)行通信時，信時，IPC被稱為單播（被稱為單播（unicast）；當(dāng)一個進(jìn)程與另外一組進(jìn)程進(jìn)行通信時，）；當(dāng)一個進(jìn)程與另外一組進(jìn)程進(jìn)行通信時，IPC被稱為組播（被稱為組播（

12、multicast）。）。P2P1P1P2P3P4.unicastmulticastmmmm分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)IPC程序接口的四種基本操作程序接口的四種基本操作u發(fā)送（發(fā)送（Send）。該操作由發(fā)送進(jìn)程發(fā)起，旨在向接收進(jìn)程傳輸數(shù)據(jù)。操）。該操作由發(fā)送進(jìn)程發(fā)起，旨在向接收進(jìn)程傳輸數(shù)據(jù)。操作必須允許發(fā)送進(jìn)程識別接收進(jìn)程和定義待傳數(shù)據(jù)。作必須允許發(fā)送進(jìn)程識別接收進(jìn)程和定義待傳數(shù)據(jù)。u接收（接收（Receive）。該操作由接收進(jìn)程發(fā)起，旨在接收發(fā)送進(jìn)程發(fā)來的數(shù)）。該操作由接收進(jìn)程發(fā)起，旨在接收發(fā)送進(jìn)程發(fā)來的數(shù)據(jù)操作必須允許接收進(jìn)程識別發(fā)送進(jìn)程和定義保存數(shù)據(jù)的內(nèi)存空間，該內(nèi)存隨

13、據(jù)操作必須允許接收進(jìn)程識別發(fā)送進(jìn)程和定義保存數(shù)據(jù)的內(nèi)存空間，該內(nèi)存隨后被接收者訪問。后被接收者訪問。u連接（連接（Connect）。對面向連接的）。對面向連接的IPC，必須有允許在發(fā)起進(jìn)程和指定進(jìn)，必須有允許在發(fā)起進(jìn)程和指定進(jìn)程間建立邏輯連擊的操作：其中以進(jìn)程發(fā)出請求連接操作而另一進(jìn)程發(fā)出接受程間建立邏輯連擊的操作：其中以進(jìn)程發(fā)出請求連接操作而另一進(jìn)程發(fā)出接受連接操作。連接操作。u斷開連接（斷開連接（Disconnect）。對面向連接的）。對面向連接的IPC，該操作允許通信的雙方關(guān)，該操作允許通信的雙方關(guān)閉先前建立起來的某一邏輯連接。閉先前建立起來的某一邏輯連接。分布式計算分布式計算云計算云計

14、算大數(shù)據(jù)大數(shù)據(jù)HTTP進(jìn)程間通信實例進(jìn)程間通信實例C1C2S3S4C4Web serverWeb browsera processan operationdata flowoperations:S1: accept connectionS2: receive (request)S3: send (response)S3: disconnectC1: make connectionC2: send (request)C3: receive (response)C4: disconnectS2C3S1HTTPrequestHTTPresponse分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)事件同步

15、事件同步uIPC中的一個主要難點是進(jìn)行中的一個主要難點是進(jìn)行IPC的各相關(guān)進(jìn)程是獨立執(zhí)行的，各進(jìn)程不的各相關(guān)進(jìn)程是獨立執(zhí)行的，各進(jìn)程不知道對方進(jìn)程的情況。協(xié)議涉及的雙方必須按特定順序發(fā)起知道對方進(jìn)程的情況。協(xié)議涉及的雙方必須按特定順序發(fā)起IPC操作，否則可操作，否則可能通信失敗。能通信失敗。u因此，參與通信的兩個進(jìn)程需要同步他們的操作，由一方發(fā)送數(shù)據(jù)，另一因此，參與通信的兩個進(jìn)程需要同步他們的操作，由一方發(fā)送數(shù)據(jù)，另一方則需要等待所有數(shù)據(jù)發(fā)送完成時，開始接收數(shù)據(jù)。方則需要等待所有數(shù)據(jù)發(fā)送完成時，開始接收數(shù)據(jù)。uIPC設(shè)施提供事件同步的最簡單的方法是使用阻塞（設(shè)施提供事件同步的最簡單的方法是使用

16、阻塞（blocking）機制或同）機制或同步（步（synchronous） ，即掛起某一進(jìn)程的執(zhí)行，直到該進(jìn)程發(fā)起的某個操作，即掛起某一進(jìn)程的執(zhí)行，直到該進(jìn)程發(fā)起的某個操作執(zhí)行結(jié)束。執(zhí)行結(jié)束。u另外，另外，IPC操作可以是異步（操作可以是異步（asynchronous）或非阻塞操作）或非阻塞操作（nonblocking）。進(jìn)程發(fā)起的異步操作不會引起阻塞。因此，一旦向）。進(jìn)程發(fā)起的異步操作不會引起阻塞。因此，一旦向IPC設(shè)設(shè)施發(fā)出異步操作后，進(jìn)程可以繼續(xù)執(zhí)行。當(dāng)該異步操作完成后，進(jìn)程才會隨后施發(fā)出異步操作后，進(jìn)程可以繼續(xù)執(zhí)行。當(dāng)該異步操作完成后，進(jìn)程才會隨后得到得到IPC設(shè)施的通知。設(shè)施的通知。

17、分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)同步send和同步receive process 1running on host 1blocking send startsblocking send returnsblocking receive startsblocking receive endsexecution flowsuspended periodSynchronous Send and Receivean operationacknowledgement of data receivedprovided by the IPC facility process 2running on

18、 host 2receive操作的發(fā)出導(dǎo)致該發(fā)起進(jìn)程掛起，直到接收完成該操作的所有數(shù)據(jù)。同樣地，send操作的發(fā)出導(dǎo)致發(fā)送進(jìn)程掛起。當(dāng)發(fā)送的數(shù)據(jù)被進(jìn)程2接收后，主機2的IPC設(shè)施向主機1的IPC設(shè)施發(fā)送一條確認(rèn)信息，進(jìn)程1隨后可被解鎖。注意，消息確認(rèn)由兩臺主機的IPC設(shè)施處理，并且對兩個進(jìn)程是透明的。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)異步send和同步receiveProcess 1Process 2blocking receive startsblocking receive returnsexecution flowsuspended periodAsynchronous Sen

19、d and Synchronous Receivenonblocking sendoperationreceive操作的發(fā)出將導(dǎo)致接收進(jìn)程掛起，直到接收到滿足操作的所有數(shù)據(jù)為止。然而，send操作的發(fā)出不會導(dǎo)致發(fā)送進(jìn)程掛起。在本例中，發(fā)送進(jìn)程永遠(yuǎn)不會被阻塞，因此，進(jìn)程2所在主機的IPC設(shè)施不必發(fā)送確認(rèn)消息。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)同步send和異步receive情形1Process 1Process 2nonblocking receive issuedexecution flowsuspended periodSynchronous Send and Asynchrono

20、us Receiveblocking send issuedScenario Atransparent acknowledgementprovided by the IPC facility接收操作請求的數(shù)據(jù)在receive操作發(fā)出時已經(jīng)到達(dá)，在這種情況下，數(shù)據(jù)被立即傳送到進(jìn)程2，主機2的IPC設(shè)施返回的確認(rèn)消息將進(jìn)程1解鎖。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)同步send和異步receive情形2indefiniteblockingProcess 1Process 2nonblocking receive issuedand returned immediatelyexecution

21、 flowsuspended periodSynchronous Send and Asynchronous Receiveblocking send issuedScenario BProcess 1Process 2receive操作請求的數(shù)據(jù)仍未到達(dá)；沒有數(shù)據(jù)傳遞到該進(jìn)程。接收進(jìn)程負(fù)責(zé)確定已真正接收到數(shù)據(jù)，如果需要的話，重復(fù)receive操作，直到數(shù)據(jù)到達(dá)（注意，通常由程序使用循環(huán)來重復(fù)發(fā)出receive操作，直到等待的數(shù)據(jù)全部接收。這種重復(fù)嘗試技術(shù)被稱為輪詢技術(shù)）。進(jìn)程1被無限期阻塞，直到進(jìn)程2重發(fā)receive請求，并最終收到主機2 IPC設(shè)施的確認(rèn)消息分布式計算分布式計算云計算云計

22、算大數(shù)據(jù)大數(shù)據(jù)同步send和異步receive情形3Process 1Process 2nonblocking receive issuedand returned immediatelyexecution flowsuspended periodSynchronous Send and Asynchronous Receiveblocking send issuedScenario Cprocess is notifiedof the arrival ofdatatransparent acknowledgementprovided by the IPC facilityreceive操作請

23、求的數(shù)據(jù)仍未到達(dá)。當(dāng)請求數(shù)據(jù)到達(dá)時，主機2的IPC設(shè)施將通告進(jìn)程2，此時進(jìn)程2可以繼續(xù)處理數(shù)據(jù)。該情形要求進(jìn)程2提供一個可以被IPC設(shè)施調(diào)用的偵聽接口或事件號，用于向進(jìn)程通告請求數(shù)據(jù)的到達(dá)分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)異步send和異步receiveProcess 1Process 2nonblocking receive issuedand returned immediatelyexecution flowsuspended periodAsynchronous Send and Asynchronous Receiveblocking send issuedScenario

24、 Cprocess is notifiedof the arrival ofdata如果雙方都沒有阻塞，數(shù)據(jù)能傳送到接收者的唯一途徑就是由IPC設(shè)施保留接收到的數(shù)據(jù)。接收進(jìn)程隨后可以被通告數(shù)據(jù)到達(dá)了。另外，接收進(jìn)程也可以輪詢數(shù)據(jù)是否已經(jīng)到達(dá)，并在所等待的數(shù)據(jù)到達(dá)時，對其進(jìn)行處理分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)死鎖和超時死鎖和超時u雖然阻塞提供雖然阻塞提供IPC必要的同步，阻塞以錯誤的順序發(fā)起是可能會引起必要的同步，阻塞以錯誤的順序發(fā)起是可能會引起死鎖死鎖（ deadlocks ）。u連接和接收操作可能會導(dǎo)致連接和接收操作可能會導(dǎo)致無限期的阻塞（無限期的阻塞（ indefinite

25、blocking ），死，死鎖也可能造成鎖也可能造成無限期的阻塞無限期的阻塞。u例如，進(jìn)程例如，進(jìn)程Process1和進(jìn)程和進(jìn)程Process2因相互等待對方而無限期阻塞，此因相互等待對方而無限期阻塞，此時，即由無限期阻塞而產(chǎn)生了進(jìn)程的死鎖。見后頁的圖示說明。時，即由無限期阻塞而產(chǎn)生了進(jìn)程的死鎖。見后頁的圖示說明。u我們一般不期望被請求的進(jìn)程被無期限掛起（即無期限阻塞），無期限阻我們一般不期望被請求的進(jìn)程被無期限掛起（即無期限阻塞），無期限阻塞可以通過使用超時或子線程來避免。塞可以通過使用超時或子線程來避免。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)死鎖receive from proces

26、s 2 issued;receive from process 1 issued;process 1 blocked pending datafrom process 2.process 2 blocked pending datafrom process 1.Process 1Process 2processexecutingprocessblockedan operation盡管阻塞機制為IPC提供了必要的同步，但是同步操作如果按照錯誤的順序執(zhí)行就可能會產(chǎn)生死鎖，造成進(jìn)程被無限期掛起。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)用線程實現(xiàn)異步操作processmain threadnew

27、thread issues a blocking IPC operationthread is blockedthread is unblocked after the operation is fulfilledmain thread continues withother processing在使用IPC編程接口時，了解該操作是同步操作還是異步操作是非常重要的。如果阻塞操作僅僅是發(fā)送或接收，那么編程人員就可以使用子進(jìn)程或線程來提供阻塞，讓程序的主線程或父進(jìn)程繼續(xù)執(zhí)行其他的任務(wù)，而子進(jìn)程或線程將被掛起，直到接收到響應(yīng)為止，這就是所說的異步處理。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)事件

28、狀態(tài)圖Process 1Process 2interprocess communicationexecution flowprocess blockedEvent diagram for a protocolrequest 1response 1response2request 2time一個包括兩個并發(fā)進(jìn)程A和B的請求-響應(yīng)協(xié)議的事件狀態(tài)圖。每個進(jìn)程隨事件變化的執(zhí)行情況用垂直線表示，時間沿垂直線向下增加。執(zhí)行線上的實線段表示進(jìn)程處于活動狀態(tài)的時間段，虛線段表示進(jìn)程被阻塞的時間段。分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)HTTP順序狀態(tài)圖Process AProcess Binterpro

29、cess communicationrequest 1response 1request 2response 2Process AProcess Binterprocess communicationrequest 1response 1request 2response 2Web BrowserWeb ServerHttp requestHttp response分布式計算分布式計算云計算云計算大數(shù)據(jù)大數(shù)據(jù)HTTP會話期間的對話Script started on Tue Oct 10 21:49:28 2000 9:49pm telnet 80 Trying 0. Connected to . Escape character is . GET /mliu/ HTTP/1.0 H HT TT TP P R Re eq qu ue es st t HTTP/1.1 200 OK H HT TT TP P r r