數(shù)據(jù)中心存儲(chǔ)架構(gòu)論述

1、數(shù)據(jù)中心存儲(chǔ)架構(gòu)存儲(chǔ)系統(tǒng)是數(shù)據(jù)中心IT環(huán)境的核心基礎(chǔ)架構(gòu)，是數(shù)據(jù)中心數(shù)據(jù)訪問(wèn)的最終 承載體。存儲(chǔ)在云計(jì)算、虛擬化、大數(shù)據(jù)等相關(guān)技術(shù)進(jìn)入后已經(jīng)發(fā)生了巨大的改 變，塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)支撐起多種數(shù)據(jù)類型的讀取;集中式存儲(chǔ)已經(jīng) 不再是數(shù)據(jù)中心的主流存儲(chǔ)架構(gòu)，海量數(shù)據(jù)的存儲(chǔ)訪問(wèn)，需要擴(kuò)展性、伸縮性極 強(qiáng)的分布式存儲(chǔ)架構(gòu)來(lái)實(shí)現(xiàn)。在新的IT發(fā)展過(guò)程中，數(shù)據(jù)中心建設(shè)已經(jīng)進(jìn)入云計(jì)算時(shí)代，企業(yè)IT存儲(chǔ)環(huán) 境已經(jīng)不能簡(jiǎn)單的從一般性業(yè)務(wù)運(yùn)營(yíng)需求來(lái)構(gòu)建云計(jì)算的數(shù)據(jù)中心存儲(chǔ)環(huán)境。云 計(jì)算數(shù)據(jù)中心的建設(shè)不是為了滿足某一個(gè)業(yè)務(wù)系統(tǒng)的特殊目標(biāo)，是為了實(shí)現(xiàn)所有 業(yè)務(wù)系統(tǒng)在云平臺(tái)上能夠?qū)崿F(xiàn)靈活的資源調(diào)度、良好的伸縮性、業(yè)務(wù)

2、擴(kuò)展的彈性 以及快速交付性。因此，是一種自下而上的建設(shè)模式（如圖1所示），基于云計(jì)算 平臺(tái)的建設(shè)先于應(yīng)用系統(tǒng)需求，并不再與具體的業(yè)務(wù)捆綁，應(yīng)用系統(tǒng)的建設(shè)、擴(kuò) 容、升級(jí)主要以軟件為主，硬件物理資源向資源池申請(qǐng)，存儲(chǔ)系統(tǒng)成為云數(shù)據(jù)中 心的可分配、可調(diào)度的資源，在這種情況下，有助于消除瓶頸、提高處理速度， 使得業(yè)務(wù)系統(tǒng)穩(wěn)定、高效、持久運(yùn)行。Eft圖1數(shù)據(jù)中心的系統(tǒng)建設(shè)發(fā)展一、數(shù)據(jù)中心存儲(chǔ)架構(gòu)的演進(jìn)隨著數(shù)據(jù)中心從最初的孤立系統(tǒng)企業(yè)級(jí)應(yīng)用，發(fā)展到互聯(lián)網(wǎng)化階段的大規(guī)模 云計(jì)算服務(wù)，其存儲(chǔ)架構(gòu)也不斷發(fā)展（如圖2所示）。從滿足關(guān)鍵系統(tǒng)的性能與容 量需求，到以虛擬化架構(gòu)來(lái)整合數(shù)據(jù)中心存儲(chǔ)資源，提供按需的存儲(chǔ)服務(wù)

3、和自動(dòng) 化運(yùn)維，并進(jìn)一步向存儲(chǔ)系統(tǒng)的智能化、敏捷化演進(jìn)，應(yīng)用需求的變化是存儲(chǔ)架 構(gòu)不斷改進(jìn)提升的驅(qū)動(dòng)力，豎井式、虛擬化、云存儲(chǔ)三種架構(gòu)并存是當(dāng)前現(xiàn)狀， 軟件定義存儲(chǔ)架構(gòu)的出現(xiàn)則是后云計(jì)算時(shí)代的存儲(chǔ)發(fā)展階段。圖2存儲(chǔ)系統(tǒng)系統(tǒng)架構(gòu)和管理演進(jìn)n*岸1豎井式架構(gòu)對(duì)于早期的系統(tǒng)，在主機(jī)架構(gòu)下，數(shù)據(jù)和邏輯是一體的，采用面向過(guò)程的設(shè) 計(jì)方法，每個(gè)應(yīng)用是一個(gè)孤立的系統(tǒng)，維護(hù)相對(duì)容易，難于相互集成；客戶機(jī)/ 服務(wù)器架構(gòu)將邏輯與數(shù)據(jù)進(jìn)行了分離（不論C/S還是B/S模式，本質(zhì)都是客戶機(jī)/ 服務(wù)器架構(gòu)），同樣采用面向?qū)ο蟮脑O(shè)計(jì)方法，每個(gè)應(yīng)用是一個(gè)孤立的系統(tǒng)，提 供了一定后臺(tái)集成的能力。這種架構(gòu)的存儲(chǔ)也隨著系統(tǒng)的建設(shè)形

4、成了自身的獨(dú)立 性，業(yè)務(wù)平臺(tái)的硬件設(shè)備按照規(guī)劃期內(nèi)最大用戶數(shù)來(lái)配置，而在業(yè)務(wù)初期和業(yè)務(wù) 發(fā)展情況難預(yù)測(cè)的情況下，無(wú)法真實(shí)評(píng)估存儲(chǔ)的規(guī)模與性能要求，這往往會(huì)浪費(fèi) 不少硬件設(shè)備資源和空間、動(dòng)力等資源，并且硬件資源不能靈活調(diào)度。每個(gè)業(yè) 務(wù)上線都需要經(jīng)過(guò)軟件選型、評(píng)估資源、硬件選型、采購(gòu)和實(shí)施等環(huán)節(jié)，業(yè)務(wù)上 線流程長(zhǎng)、時(shí)間跨度大，不利于業(yè)務(wù)發(fā)展。存儲(chǔ)虛擬化隨著業(yè)務(wù)發(fā)展，數(shù)據(jù)中心存儲(chǔ)不可避免形成大量的異構(gòu)環(huán)境，標(biāo)準(zhǔn)化的管理 流程難以實(shí)施。存儲(chǔ)虛擬化架構(gòu)實(shí)現(xiàn)對(duì)不同結(jié)構(gòu)的存儲(chǔ)設(shè)備進(jìn)行集中化管理，統(tǒng) 一整合形成一個(gè)存儲(chǔ)池，向服務(wù)器層屏蔽存儲(chǔ)設(shè)備硬件的特殊性，虛擬化出統(tǒng)一 的邏輯特性，從而實(shí)現(xiàn)了存儲(chǔ)系統(tǒng)集中、統(tǒng)

5、一而又方便的管理。使得存儲(chǔ)池中的 所有存儲(chǔ)卷都擁有相同的屬性，如性能、冗余特性、備份需求或成本，并實(shí)現(xiàn)自 動(dòng)化（如LUN管理）以及基于策略的集中存儲(chǔ)管理。同時(shí)，存儲(chǔ)資源的自動(dòng)化管理為用戶提供更高層次策略的選擇。在存儲(chǔ)池中 可以定義多種存儲(chǔ)工具來(lái)代表不同業(yè)務(wù)領(lǐng)域或存儲(chǔ)用戶的不同服務(wù)等級(jí)。另外， 還允許用戶以單元的方式管理每一存儲(chǔ)池內(nèi)部的存儲(chǔ)資源，根據(jù)需要添加、刪除 或改變，同時(shí)保持對(duì)應(yīng)用服務(wù)器業(yè)務(wù)系統(tǒng)的透明性?；诓呗缘拇鎯?chǔ)虛擬化能夠 管理整個(gè)存儲(chǔ)基礎(chǔ)機(jī)構(gòu)，保持合理分配存儲(chǔ)資源，高優(yōu)先級(jí)的應(yīng)用有更高的存儲(chǔ) 優(yōu)先級(jí)，使用性能最好的存儲(chǔ)，低優(yōu)先級(jí)的應(yīng)用使用便宜的存儲(chǔ)。云存儲(chǔ)架構(gòu)云存儲(chǔ)架構(gòu)伴隨著大規(guī)模

6、云計(jì)算的數(shù)據(jù)時(shí)代的到來(lái)，將存儲(chǔ)作為云的服務(wù)提 供，不論是企業(yè)私有云還是公有云的存儲(chǔ)，都著重于大量存儲(chǔ)數(shù)據(jù)的創(chuàng)建和分布， 并關(guān)注快速通過(guò)云獲得數(shù)據(jù)的訪問(wèn)。云存儲(chǔ)架構(gòu)需要支持大規(guī)模的數(shù)據(jù)負(fù)載的存 儲(chǔ)、備份、遷移、傳輸，同時(shí)要求巨大的成本、性能和管理優(yōu)勢(shì)。云存儲(chǔ)的技術(shù)部署，通過(guò)集群應(yīng)用或分布式文件系統(tǒng)等功能，網(wǎng)絡(luò)中大量各 種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ) 和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)，保證數(shù)據(jù)的安全性，并節(jié)約存儲(chǔ)空間。在大規(guī)模系統(tǒng)支撐上，分布式文件系統(tǒng)、分布式對(duì)象存儲(chǔ)等技術(shù)，為云存儲(chǔ) 的各種應(yīng)用提供了高度可伸縮、可擴(kuò)展和極大的彈性支撐和強(qiáng)大的數(shù)據(jù)訪問(wèn)性 能，并且因?yàn)?/p>

7、這些分布式技術(shù)對(duì)標(biāo)準(zhǔn)化硬件的支持，使得大規(guī)模云存儲(chǔ)得以低成 本的建設(shè)和運(yùn)維。云存儲(chǔ)不是要取代現(xiàn)有的盤陣，而是為了應(yīng)付高速成長(zhǎng)的數(shù)據(jù)量與帶寬而產(chǎn) 生的新形態(tài)存儲(chǔ)系統(tǒng)，因此云存儲(chǔ)在構(gòu)建時(shí)重點(diǎn)考慮的三點(diǎn)：擴(kuò)容簡(jiǎn)便、性能易 于增長(zhǎng)、管理簡(jiǎn)易。4.軟件定義存儲(chǔ)軟件定義存儲(chǔ)當(dāng)前還未有確切的定義，但軟件定義存儲(chǔ)代表了一種趨勢(shì)，即 存儲(chǔ)架構(gòu)中軟件和硬件的分離，也就是數(shù)據(jù)層和控制層的分離。對(duì)于數(shù)據(jù)中心用 戶而言，通過(guò)軟件來(lái)實(shí)現(xiàn)對(duì)存儲(chǔ)資源的管理和調(diào)度，如靈活的卷遷移等而無(wú)需考 慮硬件設(shè)備本身。通過(guò)軟件定義存儲(chǔ)實(shí)現(xiàn)存儲(chǔ)資源的虛擬化、抽象化、自動(dòng)化，能夠完整的 實(shí)現(xiàn)數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個(gè)要求，

8、使得存儲(chǔ)系統(tǒng)具 備靈活、自由和高可用等特點(diǎn)。二、數(shù)據(jù)中心存儲(chǔ)的技術(shù)架構(gòu)1.數(shù)據(jù)類型數(shù)據(jù)中心的存儲(chǔ)數(shù)據(jù)類型發(fā)生了很大的變化，按照結(jié)構(gòu)化程度來(lái)分，可以大 致分為以下三種。1）結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及應(yīng)用。這是一種用戶定義的數(shù)據(jù)類型，它包含了一 系列的屬性，每一個(gè)屬性都有一個(gè)數(shù)據(jù)類型，存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)里。一般的業(yè)務(wù) 系統(tǒng)都有大量的結(jié)構(gòu)化數(shù)據(jù)，一般存儲(chǔ)在Oracle或MySQL的等的關(guān)系型數(shù)據(jù)庫(kù) 中，在企業(yè)級(jí)數(shù)據(jù)中心，一般在集中存儲(chǔ)架構(gòu)中保存，或成為主存儲(chǔ)系統(tǒng)，以塊 存儲(chǔ)訪問(wèn)為主。2）非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及應(yīng)用。相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫(kù) 二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公

9、文檔、文本、 圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等，分布式文件系統(tǒng)是實(shí) 現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的主要技術(shù)。3）半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及應(yīng)用。介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫(kù)、面 向?qū)ο髷?shù)據(jù)庫(kù)中的數(shù)據(jù)）和完全無(wú)結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)， 半結(jié)構(gòu)化數(shù)據(jù)模型具有一定的結(jié)構(gòu)性，但較之傳統(tǒng)的關(guān)系和面向?qū)ο蟮哪Ｐ透鼮?靈活。半結(jié)構(gòu)數(shù)據(jù)模型完全不基于傳統(tǒng)數(shù)據(jù)庫(kù)模式的嚴(yán)格概念，這些模型中的數(shù) 據(jù)都是自描述的。由于半結(jié)構(gòu)化數(shù)據(jù)沒(méi)有嚴(yán)格的語(yǔ)義定義，所以不適合用傳統(tǒng)的 關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，適合存儲(chǔ)這類數(shù)據(jù)的數(shù)據(jù)庫(kù)被稱作NoSQL 數(shù)據(jù)庫(kù)。塊、文件、對(duì)象2.1塊存儲(chǔ)對(duì)于存儲(chǔ)系統(tǒng)，塊

10、讀寫一般是在存儲(chǔ)介質(zhì)上的數(shù)據(jù)概念，對(duì)于磁盤來(lái)說(shuō)，塊 數(shù)據(jù)的存儲(chǔ)單元是一個(gè)或多個(gè)磁盤扇區(qū)。因此塊級(jí)數(shù)據(jù)的讀寫，是面向最底層的 物理層的，數(shù)據(jù)操作基于起始扇區(qū)編號(hào)、操作碼（讀、寫等）、連續(xù)扇區(qū)數(shù)量等， 塊數(shù)據(jù)訪問(wèn)接口是SCSI接口。有兩種常用的兩種塊存儲(chǔ)方式。1）DAS（Direct Attach STorage）。是直接連接于主機(jī)服務(wù)器的一種儲(chǔ)存方 式，每一臺(tái)主機(jī)服務(wù)器有獨(dú)立的儲(chǔ)存設(shè)備，每臺(tái)主機(jī)服務(wù)器的儲(chǔ)存設(shè)備無(wú)法互通， 需要跨主機(jī)存取資料時(shí)，必須經(jīng)過(guò)相對(duì)復(fù)雜的設(shè)定，若主機(jī)服務(wù)器分屬不同的操 作系統(tǒng)，要存取彼此的數(shù)據(jù)，更是復(fù)雜，有些系統(tǒng)甚至不能存取。通常用在單一 網(wǎng)絡(luò)環(huán)境下且數(shù)據(jù)交換量不大，性能

11、要求不高的環(huán)境下，是早期的技術(shù)實(shí)現(xiàn)。2）SAN（Storage Area Network） o是一種用高速網(wǎng)絡(luò)聯(lián)接主機(jī)服務(wù)器與存儲(chǔ) 設(shè)備的一種儲(chǔ)存方式，存儲(chǔ)系統(tǒng)會(huì)位于主機(jī)群的后端，它使用高速I/O網(wǎng)絡(luò)聯(lián)結(jié) 方式，以FC、iSCSI、FCOE為當(dāng)前主流形式。一般而言，SAN應(yīng)用在對(duì)網(wǎng)絡(luò)速度 要求高、對(duì)數(shù)據(jù)的可靠性和安全性要求高、對(duì)數(shù)據(jù)共享的性能要求高的應(yīng)用環(huán)境 中，特點(diǎn)是代價(jià)高，性能好。它采用SCSI塊I/O的命令集，在SAN網(wǎng)絡(luò)級(jí)的數(shù) 據(jù)訪問(wèn)提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率，具有高帶寬、低延遲的優(yōu)勢(shì)，但是 由于SAN系統(tǒng)的價(jià)格較高，且不具備大規(guī)?？蓴U(kuò)展性，不能滿足大型云計(jì)算數(shù)據(jù) 中心的存儲(chǔ)需

12、求。,m4 if fcilAT.rtdI.ttt-L降JUL* *1*1崗。曹6帝.KMthMOC. 4IIHALk!|.riii,3.%ir，rnrEHF12xnIJLMtS：HRFl 扯p-lqjiDkh.垃tAWfm t ie_ 申書 L-IIFIEW PMWH niHWg. HimL素r 血桃1旗前ITWhl i, Na.的一VrMM.*MLN I.mg表1幾種文件系統(tǒng)ia-U|WC Can；2.2文件存儲(chǔ)RUblflM ft Kk廚、J對(duì)于文件，是按名存，Jit H- F- 1i uHa mIII 41uHjEJFfr.胥r KJT *hL. tim能碼i斗7 K7八上各個(gè)不同的文件

13、，需要給每個(gè)文件取一個(gè)確定的名字，稱為文件名，它用來(lái)表示磁盤上的文件，以便于在磁盤 上能夠按名查找這些文件。文件的數(shù)據(jù)操作基于文件名、偏移量、讀寫字節(jié)數(shù) 等，但是文件本身并無(wú)文件自身的屬性、元數(shù)據(jù)信息?；趯?duì)不同環(huán)境的文件存 儲(chǔ)發(fā)展了多種形式的文件系統(tǒng)（如表1所示）。對(duì)象存儲(chǔ)對(duì)象是自完備的，包含元數(shù)據(jù)、數(shù)據(jù)和屬性，可以進(jìn)行自我管理，對(duì)象本身 是平等的。也就是說(shuō)，對(duì)象分布在一個(gè)平坦的空間中，而非文件系統(tǒng)那樣的樹(shù)狀 邏輯結(jié)構(gòu)之中，對(duì)象存儲(chǔ)以ID為基礎(chǔ)，根據(jù)ID可以直接訪問(wèn)數(shù)據(jù)，核心是將數(shù) 據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對(duì)象存儲(chǔ)設(shè)備（Object -based Storage

14、 Device，OSD）構(gòu)建存儲(chǔ)系統(tǒng)，每個(gè)對(duì)象存儲(chǔ)設(shè)備具有一定的智 能，能夠自動(dòng)管理其上的數(shù)據(jù)分布。典型代表：Swift、CEPH從設(shè)備級(jí)別看塊、文件、對(duì)象存儲(chǔ)（如表2所示）唆川陞。1AM書晚ilmtmmin用捐母It件罩曲部廠畔知件伽用叫盅作盡趣滯戶盼texkititismiiigm院吞場(chǎng)沒(méi)普XPTWtfit*嘲富存U遷叫叫粗EAMHLIN.hJbt 點(diǎn)“ 收山小的，陷辟巨M的肝山 朔折H林隊(duì)株ttltftJ翌虹的浙 段世普1?郵 普1：皿*5鼻4的.I*攵點(diǎn)取健步也朗帆弟-HHHSitiw- rrtiUA*事七也ML*古船由坪用盅上1419 ft,口沏卑世養(yǎng)花幃rmfif寡 的HJHS亢的

15、曹單!t昨 URNifif 恃tL表2塊、文件、對(duì)象存儲(chǔ)的設(shè)備級(jí)訪問(wèn)比較主存儲(chǔ)架構(gòu)主存儲(chǔ)是數(shù)據(jù)中心的重要存儲(chǔ)系統(tǒng)，通常稱為Tierl存儲(chǔ)，用于存儲(chǔ)活動(dòng)數(shù) 據(jù)（經(jīng)常需要訪問(wèn)的數(shù)據(jù)）以及要求高性能、低延遲、高可用性的數(shù)據(jù)。主存儲(chǔ)通 常用于支撐數(shù)據(jù)中心關(guān)鍵任務(wù)程序（如數(shù)據(jù)庫(kù)、電子郵件和事務(wù)處理）。大多數(shù)重 要程序采用隨機(jī)數(shù)據(jù)訪問(wèn)模式，具有不同的訪問(wèn)要求，但是都能產(chǎn)生大量數(shù)據(jù)， 企業(yè)可以利用這些數(shù)據(jù)完成業(yè)務(wù)。即使在虛擬領(lǐng)域中出現(xiàn)越來(lái)越多的新的數(shù)據(jù)存儲(chǔ)技術(shù)，傳統(tǒng)的主存儲(chǔ)系統(tǒng)仍 然普遍。DAS是最早的主存儲(chǔ)架構(gòu)，但SAN已經(jīng)成為當(dāng)前使用最廣泛、也最為主 流的存儲(chǔ)架構(gòu)。而NAS則在數(shù)據(jù)中心用于文件共享應(yīng)用，

16、并且也在后端采用了 S AN的擴(kuò)展。在數(shù)據(jù)中心領(lǐng)域，絕大多數(shù)廠商也均以SAN架構(gòu)來(lái)部署面向高級(jí)用 戶的主存儲(chǔ)解決方案，以及在此基礎(chǔ)上相關(guān)的容災(zāi)備份方案和存儲(chǔ)虛擬化方案。SAN的特點(diǎn)是性能高、穩(wěn)定性強(qiáng)、價(jià)格高。在一些需要集中存儲(chǔ)的數(shù)據(jù)庫(kù)等 實(shí)時(shí)服務(wù)要求高的重要應(yīng)用領(lǐng)域，依然是當(dāng)前的主流的技術(shù)，在存儲(chǔ)應(yīng)用中，需 要集中存儲(chǔ)的高端應(yīng)用由SAN來(lái)承擔(dān)，基于文件的小規(guī)模應(yīng)用由NAS承擔(dān)更合適， 使得SAN與NAS成為互補(bǔ)存儲(chǔ)架構(gòu)出現(xiàn)。最初的數(shù)據(jù)中心，大部分?jǐn)?shù)據(jù)都是主數(shù)據(jù)。隨著數(shù)據(jù)的存在時(shí)間增長(zhǎng)，大量 數(shù)據(jù)會(huì)通常移動(dòng)到次級(jí)和三級(jí)存儲(chǔ)。因此，隨著存儲(chǔ)各方面技術(shù)發(fā)展和業(yè)務(wù)的成 熟，數(shù)據(jù)中心逐步開(kāi)始尋求能夠減少

17、主存儲(chǔ)的途徑，以充分利用容量，降低整個(gè) 數(shù)據(jù)生命周期的成本。分布式文件存儲(chǔ)架構(gòu)分布式文件系統(tǒng)主要的功能是用于存儲(chǔ)文檔、圖像、視頻之類的非結(jié)構(gòu)化數(shù) 據(jù)，該系統(tǒng)建立在網(wǎng)絡(luò)之上的，以全局方式管理系統(tǒng)資源，它可以任意調(diào)度網(wǎng)絡(luò) 中的存儲(chǔ)資源，并且調(diào)度過(guò)程是透明的。分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù) 荷，利用位置服務(wù)器定位存儲(chǔ)信息，不但提高了系統(tǒng)的可靠性、可用性和存取效 率，還易于擴(kuò)展。以高性能、高容量為主要特性的分布式存儲(chǔ)系統(tǒng)。HDFS（Hadoop Distributed File System）是開(kāi)源項(xiàng)目 Hadoop 的家族成員， 是谷歌文件系統(tǒng)GoogleFS（Go

18、ogle File System）的開(kāi)源實(shí)現(xiàn)，以下僅簡(jiǎn)單介紹H DFS工作模式。HDFS被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)，是一個(gè)高度容錯(cuò) 性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常 適合大規(guī)模數(shù)據(jù)集上的非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化應(yīng)用。運(yùn)行在HDFS之上的程序 有很大量的數(shù)據(jù)集，典型的HDFS文件大小是GB到TB的級(jí)別，因此，HDFS被調(diào) 整成支持大文件。一個(gè)HDFS集群是有一個(gè)Namenode和一定數(shù)目的Datanode組 成（如圖3所示）：NameNode（名稱節(jié)點(diǎn)）是一個(gè)或一組中心服務(wù)器，是HDFS的中樞，負(fù)責(zé)管理 文件系統(tǒng)的目錄名字空間信息（name

19、space）和客戶端對(duì)文件的訪問(wèn)，并且管理所 有的 DataNode;DataNode（數(shù)據(jù)節(jié)點(diǎn)）在HDFS中負(fù)責(zé)管理本節(jié)點(diǎn)上附帶的存儲(chǔ)Block（數(shù)據(jù) 塊）。在HDFS內(nèi)部，文件不是放在一塊磁盤上，一個(gè)文件其實(shí)分成多個(gè)block（數(shù) 據(jù)塊），這些block存儲(chǔ)分散在Datanode組成的集群中，NameNode記錄block 對(duì)應(yīng)在不同的DataNode上的映射關(guān)系。NameNode接受客戶端的元數(shù)據(jù)請(qǐng)求，然后對(duì)DataNode發(fā)出Block Ops（塊操 作）指令，文件的創(chuàng)建、刪除和復(fù)制操作，同時(shí)決定block到具體Datanode節(jié)點(diǎn) 的映射。Datanode在Namenode的管理下進(jìn)

20、行block的創(chuàng)建、刪除和復(fù)制。1 Aiclitlcrture圖3 HDFS經(jīng)典體系架構(gòu)圖示HDFS可靠性和性能主要通過(guò)數(shù)據(jù)塊的副本來(lái)實(shí)現(xiàn)，并且HDFS采用一種稱之 為Rack-aware（機(jī)架感知）的策略來(lái)改進(jìn)數(shù)據(jù)的可靠性、有效性和網(wǎng)絡(luò)帶寬的利 用。在通常副本數(shù)為3的情況下，HDFS的策略將一個(gè)副本存放在本地機(jī)架上， 一個(gè)副本放在同一個(gè)機(jī)架上的另一個(gè)節(jié)點(diǎn)，最后一個(gè)副本放在不同機(jī)架上的一個(gè) 節(jié)點(diǎn)。在讀取時(shí)，為了降低整體的帶寬消耗和讀延時(shí)，如果客戶端同一個(gè)機(jī)架上 有一個(gè)副本，那么就讀該副本。HDFS依然是主從結(jié)構(gòu)，Namenode成為整個(gè)系統(tǒng)的瓶頸和關(guān)鍵故障點(diǎn)，因此， 眾多使用分布式文件系統(tǒng)的用

21、戶均在此基礎(chǔ)上不斷完善其高可用性，比如發(fā)展出 無(wú)中心存儲(chǔ)架構(gòu)。分布式對(duì)象存儲(chǔ)架構(gòu)在對(duì)象存儲(chǔ)中，存儲(chǔ)的不僅是數(shù)據(jù)，還有與豐富的數(shù)據(jù)相關(guān)的屬性信息。系 統(tǒng)會(huì)給每一個(gè)對(duì)象分配一個(gè)唯一的OID(Object ID)。對(duì)象本身是平等的，所有 的OID都屬于一個(gè)平坦的地址空間，而并非文件系統(tǒng)那樣的樹(shù)狀邏輯結(jié)構(gòu)。對(duì)象 存儲(chǔ)空間訪問(wèn)對(duì)象只通過(guò)一個(gè)唯一的OID標(biāo)識(shí)即可，不需要復(fù)雜的路徑結(jié)構(gòu)，沒(méi) 有路徑他文件夾的概念。對(duì)象存儲(chǔ)架構(gòu)有以下組成部分。5.1對(duì)象對(duì)象是系統(tǒng)中數(shù)據(jù)存儲(chǔ)的基本單位。一個(gè)對(duì)象實(shí)際上就是文件的數(shù)據(jù)和一組 屬性信息(Meta Data)的組合，這些屬性信息可以定義基于文件的RAID參數(shù)、數(shù) 據(jù)分布

22、和服務(wù)質(zhì)量等;而傳統(tǒng)的存儲(chǔ)系統(tǒng)中用文件或塊作為基本的存儲(chǔ)單位，在 塊存儲(chǔ)系統(tǒng)中還需要始終追蹤系統(tǒng)中每個(gè)塊的屬性，對(duì)象通過(guò)與存儲(chǔ)系統(tǒng)通信維 護(hù)自己的屬性。在存儲(chǔ)設(shè)備中，所有對(duì)象都有一個(gè)對(duì)象標(biāo)識(shí)，通過(guò)對(duì)象標(biāo)識(shí)命令 訪問(wèn)該對(duì)象。通常有多種類型的對(duì)象，存儲(chǔ)設(shè)備上的根對(duì)象標(biāo)識(shí)存儲(chǔ)設(shè)備和該設(shè) 備的各種屬性，組對(duì)象是存儲(chǔ)設(shè)備上共享資源管理策略的對(duì)象集合等。對(duì)象存儲(chǔ)設(shè)備(OSD，Object Storage Device)OSD有自己的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤系統(tǒng)，和塊設(shè)備的區(qū)別不在于存儲(chǔ)介 質(zhì)，而在于兩者提供的訪問(wèn)接口。OSD的主要功能包括數(shù)據(jù)存儲(chǔ)和安全訪問(wèn)，目 前國(guó)際上通常采用標(biāo)準(zhǔn)化計(jì)算單元結(jié)構(gòu)實(shí)現(xiàn)對(duì)象存

23、儲(chǔ)設(shè)備。OSD執(zhí)行從對(duì)象到塊 的映射，這個(gè)動(dòng)作允許本地實(shí)體以最佳方式?jīng)Q定怎樣存儲(chǔ)一個(gè)對(duì)象，OSD存儲(chǔ)節(jié) 點(diǎn)不僅具備存儲(chǔ)功能，還包括智能化的高級(jí)能力。傳統(tǒng)的存儲(chǔ)驅(qū)動(dòng)只是作為Tar get響應(yīng)客戶端的I/O請(qǐng)求，而對(duì)象存儲(chǔ)設(shè)備是智能設(shè)備，它能同時(shí)執(zhí)行Targe t和Initiator的功能，支持與其他對(duì)象存儲(chǔ)設(shè)備的通信和協(xié)作，如數(shù)據(jù)分配、 復(fù)制與恢復(fù)。元數(shù)據(jù)服務(wù)器(MDS ，Metadata Server)元數(shù)據(jù)服務(wù)器的工作就是管理文件系統(tǒng)的名稱空間、控制客戶端與OSD對(duì)象 的交互，緩存和同步分布式元數(shù)據(jù)。雖然元數(shù)據(jù)和數(shù)據(jù)兩者都存儲(chǔ)在對(duì)象存儲(chǔ)集 群，但兩者分別管理，支持可擴(kuò)展性。5.2對(duì)象存儲(chǔ)系統(tǒng)