體系結構復習5——倉庫級計算機的并行

1、體系結構復習要要倉庫級計算機的并行體系結構復習倉庫級計算機的并行注：本章不做重點要求，簡略復習8.倉1庫級計算機倉庫級計算機般把作為商用因特網基礎的超大型規(guī)模的集群稱做倉庫級計算機（WSC）,WSC的建設主要關心：Q成本和性能能耗效率可靠性（冗余備份）*網絡I/O。工作負載平衡并行性。運行成本。規(guī)模計算WSC的可靠性（通過軟件冗余來屏蔽停用次數(shù)）：和對比HPC是高性能計算機（集群），HPC和WSC不同之處在于：HPC節(jié)點間網絡比WSC快的多，且程序獨立性強，通信頻繁HPC傾向于定制硬件，而WSC實用大眾化商用芯片降低成本HPC強調線程級并行或數(shù)據(jù)級并行，而WSC強調請求級并行HPC常常滿負載持

2、續(xù)數(shù)周完成大規(guī)模運行作業(yè)，而WSC是面向并發(fā)請求的，通常不會滿負載倉庫級計算機體系結構機架是容納服務器、交換機等的外殼框架，個機架上往往放置有多個服務器，服務器通過機架交換機通信；服務器陣列由多個機架排列成的二維陣列構成，陣列內部機架間通過陣列交換機通信因此WSC訪存類型有三種：本地訪問機架內服務器訪問“陣列內服務器訪問平均存儲器延遲是各種訪問方式（延遲）的加權平均值云計算云計算云計算是一種按使用量付費的服務模式，這種模式提供可用的、便捷的、按需的網絡訪問，進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進

3、行很少的交互（美國國家標準與技術研究院定義）般把云計算服務分成三種:。IaaS（基礎設施即服務）：以服務的形式提供虛擬硬件資源（如虛擬主機、存儲、兀絡、數(shù)據(jù)庫管理等資源），用戶無需購買服務器、網絡設備、存儲設備，只需通過互聯(lián)網租賃即可搭建自己的應用系統(tǒng)，例如AWS、阿里云VPS等“PaaS（平臺即服務）：提供應用服務引擎（如互聯(lián)兀應用編程接口、運行平臺等），用戶基于該應用服務引擎，可以使用API構建該類應用，口GAE、SAE等SaaS（軟件即服務）：用戶通過Internet來使用軟件，不必購買軟件，只需按需租用軟件服務即可，如GoogleDocs、OracleCRMOnDemand等8.2.2

4、云計算關鍵技術。虛擬化：硬件資源虛擬化、網絡設施虛擬化、應用虛擬化、桌面虛擬化等分布式存儲：GoogleGFS、HadoopHDFS并行編程：HadoopMapReduce數(shù)據(jù)管理:GoogleBigTable、HadoopHBase分布式資源管理：GoogleChubby8.3HadoopMapReduce簡介MapReduce基礎MapReduce是Google提出的一個軟件架構，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對；指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組Ma

5、pReduce系統(tǒng)主要由三個模塊組成：?？蛻舳擞糜趯⒂脩糇珜懙牟⑿刑幚碜鳂I(yè)提交至Master節(jié)點主節(jié)點（Master）自動將用戶作業(yè)分解為Map任務和Reduce任務，并將任務調度到工作節(jié)點（Worker）工作節(jié)點向master請求執(zhí)行任務，同時多個工作節(jié)點組成的分布式文件系統(tǒng)HDFS用于存儲輸入輸出數(shù)據(jù)MapReduce工作流程MapReduce庫先把userprogram的輸入文件劃分為M份（由輸入文件的大小和用戶定義的塊大小決定）master是負責調度的，為空閑worker分配作業(yè)（Map作業(yè)或者Reduce作業(yè)被分配了Map作業(yè)的worker,開始讀取對應分片的輸入數(shù)據(jù)，Map作業(yè)數(shù)量

6、和split對應；Map作業(yè)從輸入數(shù)據(jù)中抽取出鍵值對，每一個鍵值對都作為參數(shù)傳遞給map函數(shù)，map函數(shù)產生的中間鍵值對被緩存在內存中。緩存的中間鍵值對會被定期寫入本地磁盤，而且被分為R個區(qū)，R的大小是由用戶定義的，將來每個區(qū)會對應一個Reduce作業(yè)；這些中間鍵值對的位置會被通報給master,master負責將信息轉發(fā)給Reduceworker。master通知分配了Reduce作業(yè)的worker它負責的分區(qū)在什么位置，當Reduceworker把所有它負責的中間鍵值對都讀過來后，先對它們進行排序，使得相同鍵的鍵值對聚集在一起。reduceworker遍歷排序后的中間鍵值對，對于每個唯一的鍵，都將鍵與關聯(lián)的值傳遞給reduce函數(shù)，reduce