云計(jì)算的分布式計(jì)算框架

1、XXX系統(tǒng)概要設(shè)計(jì)說明書思特奇分布式計(jì)算技術(shù)介紹（V1.0）北京神州數(shù)碼思特奇信息技術(shù)股份有限公司二一二一年一月北京思特奇信息技術(shù)股份有限公司 第 2 頁(yè) 共 22 頁(yè) 思特奇分布式技術(shù)框架介紹 文檔信息文檔名稱電子文檔Microsoft WORD 2003文件狀態(tài) 草 稿 正式發(fā)布 正在修改編 寫 人日 期2009年02月27日校 對(duì) 人日 期年 月 日審 核 人日 期年 月 日批 準(zhǔn) 人日 期年 月 日變更記錄變更序號(hào)變更原因變更頁(yè)碼變更前版本號(hào)變更后版本號(hào)更改人批準(zhǔn)人生效日期備 注1文檔建立0.11 引言框架中最核心的設(shè)計(jì)就是：MapReduce和HDFS。MapReduce就是“任務(wù)的

2、分解與結(jié)果的匯總”。HDFS是分布式文件系統(tǒng)，為分布式計(jì)算存儲(chǔ)提供了底層支持。MapReduce先將一個(gè)任務(wù)分解成為多個(gè)任務(wù)，“Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來，得出最后的分析結(jié)果。在分布式系統(tǒng)中， 機(jī)器集群把硬件看作資源池，將并行的任務(wù)拆分，然后交由每一個(gè)空閑機(jī)器資源去處理，能夠極大地提高計(jì)算效率，同時(shí)這種資源無關(guān)性，對(duì)于計(jì)算集群的擴(kuò)展 無疑提供了最好的設(shè)計(jì)保證。分布式計(jì)算就好比螞蟻吃大象，廉價(jià)的機(jī)器群可以匹敵任何高性能的計(jì)算機(jī)。任務(wù)分解處理以后，那就需要將處理以后的結(jié)果再匯總起來，這就是Reduce要做的工作。2 HDFS分布式文件系統(tǒng)HDFS是分布式計(jì)算的存儲(chǔ)基石，具有

3、如下幾個(gè)特點(diǎn)：a) 對(duì)于整個(gè)集群?jiǎn)我坏拿臻g。b) 數(shù)據(jù)一致性。適合一次寫入多次讀取的模型，客戶端在文件沒有被成功創(chuàng)建之前無法看到文件存在。c) 文件會(huì)被分割成多個(gè)文件塊，每個(gè)文件塊被分配存儲(chǔ)到數(shù)據(jù)節(jié)點(diǎn)上，而且根據(jù)配置會(huì)由復(fù)制文件塊來保證數(shù)據(jù)的安全性。HDFS采用master/slave架構(gòu)。一個(gè)HDFS集群由一個(gè)Namenode和一定數(shù)目的Datanode組成。Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對(duì)文件的訪問。Datanode在集群中一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理節(jié)點(diǎn)上它們附帶的存儲(chǔ)。在內(nèi) 部，一個(gè)文件分成一個(gè)或多個(gè)block，這些block存儲(chǔ)在D

4、atanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace操作，例如 打開、關(guān)閉、重命名文件和目錄，同時(shí)決定block到具體Datanode節(jié)點(diǎn)的映射。Datanode在Namenode的指揮下進(jìn)行block的創(chuàng) 建、刪除和復(fù)制。Namenode和Datanode都是設(shè)計(jì)成可以跑在普通的廉價(jià)的運(yùn)行l(wèi)inux的機(jī)器上。HDFS的設(shè)計(jì)特點(diǎn)：a) 數(shù)據(jù)安全：一個(gè)Block會(huì)有三份備份，一份放在NameNode指定的DataNode，另一份放在與指定DataNode非同一Rack上 的DataNode，最后一份放在與指定DataNode同一Rack上的DataNode上。b) 心跳檢測(cè)Da

5、taNode的健康狀況，如果發(fā)現(xiàn)問題就采取數(shù)據(jù)備份的方式來保證數(shù)據(jù)的安全性。c) 數(shù)據(jù)復(fù)制：平衡DataNode的存儲(chǔ)利用率、數(shù)據(jù)交互壓力等情況。d) 數(shù)據(jù)交驗(yàn)：采用CRC32作數(shù)據(jù)交驗(yàn)。e) 數(shù)據(jù)管道性的寫入：當(dāng)客戶端要寫入文件到DataNode上，首先客戶端讀取一個(gè)Block然后寫到第一個(gè)DataNode上，然后由第一個(gè) DataNode傳遞到備份的DataNode上，一直到所有需要寫入這個(gè)Block的NataNode都成功寫入，客戶端才會(huì)繼續(xù)開始寫下一個(gè) Block。f) 安全模式：當(dāng)分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié)束。3 思特奇

6、分布式計(jì)算框架結(jié)構(gòu)Master主要負(fù)責(zé)NameNode的工作以及JobTracker的工作。JobTracker的主要職責(zé)就是啟 動(dòng)、跟蹤和調(diào)度各個(gè)Slave的任務(wù)執(zhí)行。Slave通常具有DataNode的功能并負(fù)責(zé)TaskTracker的工作。 TaskTracker根據(jù)應(yīng)用要求來結(jié)合本地?cái)?shù)據(jù)執(zhí)行Map任務(wù)以及Reduce任務(wù)。思特奇分布式計(jì)算框架特點(diǎn)a) 可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是設(shè)計(jì)根本。b) 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。c) 可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。d) 高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。神州數(shù)碼思特奇信息技術(shù)股