第二章大數(shù)據(jù)存儲(chǔ)

1、2016.9大數(shù)據(jù)之大 -大是相對(duì)而言的概念。Eg:對(duì)于像SAPHANA(是一個(gè)軟硬件結(jié)合體，提供高性能的數(shù)據(jù)查詢功能)那樣的內(nèi)存數(shù)據(jù)庫來說，2TB可能就已經(jīng)是大容量了；而對(duì)于像谷歌這樣的搜索引擎，EB的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。大也是一個(gè)迅速變化的概念。HDS(快速交貨服務(wù))在2004年發(fā)布的USP存儲(chǔ)虛擬化平臺(tái)具備管理32PB內(nèi)外部附加存儲(chǔ)的能力。當(dāng)時(shí)，大多數(shù)人認(rèn)為，USP的存儲(chǔ)容量大得有些離譜。但是現(xiàn)在，大多數(shù)企業(yè)都已經(jīng)擁有PB級(jí)的數(shù)據(jù)量，一些搜索引擎公司的數(shù)據(jù)存儲(chǔ)量甚至達(dá)到了EB級(jí)。由于許多家庭都保存了TB級(jí)的數(shù)據(jù)量，一些云計(jì)算公司正在推廣其文件共享或家庭數(shù)據(jù)備份服務(wù)。由此看來，大數(shù)據(jù)

2、存儲(chǔ)的首要需求存儲(chǔ)容量可擴(kuò)展。大數(shù)據(jù)對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前用戶現(xiàn)有的存儲(chǔ)能力。這就要求實(shí)現(xiàn)存儲(chǔ)虛擬化。存儲(chǔ)虛擬化是目前為止提高存儲(chǔ)效率最重要、最有效的技術(shù)手段。它為現(xiàn)有存儲(chǔ)系統(tǒng)提供了自動(dòng)分層和精簡配置等提高存儲(chǔ)效率的工具。擁有了虛擬化存儲(chǔ)，用戶可以將來自內(nèi)部和外部存儲(chǔ)系統(tǒng)中的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)全部整合到一個(gè)單一的存儲(chǔ)平臺(tái)上。當(dāng)所有存儲(chǔ)資產(chǎn)變成一個(gè)單一的存儲(chǔ)資源池時(shí)，自動(dòng)分層和精簡配置功能就可以擴(kuò)展到整個(gè)存儲(chǔ)基礎(chǔ)設(shè)施層面。1)數(shù)據(jù)存儲(chǔ) 大數(shù)據(jù)發(fā)展面臨的問題是來自不同地方、不同標(biāo)準(zhǔn)、數(shù)據(jù)量大、多種結(jié)構(gòu)形式、實(shí)時(shí)性等多樣化要求的數(shù)據(jù)信息。2)數(shù)據(jù)分析 是大數(shù)據(jù)處理流程的核心，因?yàn)榇髷?shù)據(jù)的價(jià)值

3、就產(chǎn)生于分析的過程,首先，數(shù)據(jù)量大帶來更大價(jià)值的同時(shí)也帶來了更多的數(shù)據(jù)噪音.其次，傳統(tǒng)的數(shù)據(jù)倉庫系統(tǒng)對(duì)處理時(shí)間的要求并不高，而在很多大數(shù)據(jù)應(yīng)用場(chǎng)景中，不僅要考慮算法的準(zhǔn)確性，還要考慮實(shí)時(shí)性的要求3)數(shù)據(jù)顯示 與數(shù)據(jù)分析相比，很多用戶往往更關(guān)心數(shù)據(jù)結(jié)果的顯示。傳統(tǒng)的以文本形式輸出結(jié)果或者直接在電腦終端上顯示結(jié)果的方法在面對(duì)小數(shù)據(jù)量或許是很好的選擇，但是對(duì)于形式復(fù)雜的海量數(shù)據(jù)是不可行的。這就需要引入可視化技術(shù)來可視化最終甚至是中間的計(jì)算結(jié)果，此外，還需要人機(jī)交互技術(shù)或者數(shù)據(jù)起源技術(shù)，使得用戶在得到結(jié)果的同時(shí)更好的理解結(jié)果的由來數(shù)據(jù)安全數(shù)據(jù)的持續(xù)增長帶來了數(shù)據(jù)的安全問題。首先，大數(shù)據(jù)因?yàn)槟繕?biāo)大而在網(wǎng)

4、絡(luò)上更容易被發(fā)現(xiàn)；其次，大數(shù)據(jù)存在更敏感更有價(jià)值的數(shù)據(jù)，對(duì)潛在攻擊者的吸引力更大。容量問題這里所說的“大容量”通?？蛇_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機(jī)。4)延遲問題 “大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對(duì)高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡單的在服務(wù)器內(nèi)部做高速

5、緩存，大到全固態(tài)介質(zhì)可擴(kuò)展存儲(chǔ)系統(tǒng)通過高性能閃存存儲(chǔ)，自動(dòng)、智能地對(duì)熱點(diǎn)數(shù)據(jù)進(jìn)行讀/寫高速緩存的LSINytro系列產(chǎn)品等等都在蓬勃發(fā)展。5)安全問題 某些特殊行業(yè)的應(yīng)用，比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報(bào)等都有自己的安全標(biāo)準(zhǔn)和保密性需求.6)成本問題 對(duì)于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來說，成本控制是關(guān)鍵的問題。想控制成本，就意味著我們要讓每一臺(tái)設(shè)備都實(shí)現(xiàn)更高的“效率”，同時(shí)還要減少那些昂貴的部件。7)數(shù)據(jù)的積累許多大數(shù)據(jù)應(yīng)用都會(huì)涉及到法規(guī)遵從問題，這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年。比如醫(yī)療信息通常是為了保證患者的生命安全，而財(cái)務(wù)信息通常要保存7年。而有些使用大數(shù)據(jù)存儲(chǔ)的用戶卻希望數(shù)據(jù)

6、能夠保存更長的時(shí)間，因?yàn)槿魏螖?shù)據(jù)都是歷史記錄的一部分，而且數(shù)據(jù)的分析大都是基于時(shí)間段進(jìn)行的。要實(shí)現(xiàn)長期的數(shù)據(jù)保存，就要求存儲(chǔ)廠商開發(fā)出能夠持續(xù)進(jìn)行數(shù)據(jù)一致性檢測(cè)的功能以及其他保證長期高可用的特性。同時(shí)還要實(shí)現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。8)靈活性 大數(shù)據(jù)存儲(chǔ)系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過仔細(xì)設(shè)計(jì)，才能保證存儲(chǔ)系統(tǒng)的靈活性，使其能夠隨著應(yīng)用分析軟件一起擴(kuò)容及擴(kuò)展。在大數(shù)據(jù)存儲(chǔ)環(huán)境中，已經(jīng)沒有必要再做數(shù)據(jù)遷移了，因?yàn)閿?shù)據(jù)會(huì)同時(shí)保存在多個(gè)部署站點(diǎn)。一個(gè)大型的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施一旦開始投入使用，就很難再調(diào)整了，因此它必須能夠適應(yīng)各種不同的應(yīng)用類型和數(shù)據(jù)場(chǎng)景。 大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分

7、析。到目前為止，這兩種技術(shù)還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域：大數(shù)據(jù)存儲(chǔ)致力于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái)；大數(shù)據(jù)分析關(guān)注的是在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。什么是大數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)存儲(chǔ)是指大數(shù)據(jù)的存儲(chǔ)問題。大數(shù)據(jù)存儲(chǔ)和傳統(tǒng)的數(shù)據(jù)存儲(chǔ)的不同1、存儲(chǔ)虛擬化 存儲(chǔ)的虛擬化技術(shù)有很多優(yōu)點(diǎn)，比如提高存儲(chǔ)利用效率和性能，簡化存儲(chǔ)管理復(fù)雜性，綠色節(jié)省，降低運(yùn)營成本等?，F(xiàn)代數(shù)據(jù)應(yīng)用在存儲(chǔ)容量、I/O性能、可用性、可靠性、利用效率、管理、業(yè)務(wù)連續(xù)性等方面對(duì)存儲(chǔ)系統(tǒng)不斷提出更高的需求，基于存儲(chǔ)虛擬化提供目前最新的存儲(chǔ)虛擬化技術(shù)有自動(dòng)分級(jí)存儲(chǔ)（根據(jù)數(shù)據(jù)的重要性、訪問頻率、保留時(shí)間、容量、性能等指

8、標(biāo)，將數(shù)據(jù)采取不同的存儲(chǔ)方式分別存儲(chǔ)在不同性能的存儲(chǔ)設(shè)備上，通過分級(jí)存儲(chǔ)管理實(shí)現(xiàn)數(shù)據(jù)客體在存儲(chǔ)設(shè)備之間的自動(dòng)遷移）、自動(dòng)精減配置（是一項(xiàng)新的容量分配的技術(shù)，不會(huì)一次性的劃分過大的空間給某項(xiàng)應(yīng)用，而是根據(jù)該項(xiàng)應(yīng)用實(shí)際所需要的容量，多次的少量的分配給應(yīng)用程序，當(dāng)該項(xiàng)應(yīng)用所產(chǎn)生的數(shù)據(jù)增長，分配的容量空間已不夠的時(shí)候，系統(tǒng)會(huì)再次從后端存儲(chǔ)池中補(bǔ)充分配一部分存儲(chǔ)空間）、云存儲(chǔ)（指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng))、分布式文件系統(tǒng)，另外還有諸如動(dòng)態(tài)內(nèi)存分區(qū)、SAN和NAS虛擬化。2、固態(tài)硬

9、盤固態(tài)硬盤，簡稱固盤，固態(tài)硬盤用固態(tài)電子存儲(chǔ)芯片陣列而制成的硬盤，由控制單元和存儲(chǔ)單元組成。分類固態(tài)硬盤的存儲(chǔ)介質(zhì)分為兩種，一種是采用閃存（它的外觀可以被制作成多種模樣，例如：筆記本硬盤、微硬盤、存儲(chǔ)卜、U盤等樣式。 ）作為存儲(chǔ)介質(zhì)，另外一種是采用DRAM（它是一種高性能的存儲(chǔ)器，而且使用壽命很長，美中不足的是需要獨(dú)立電源來保護(hù)數(shù)據(jù)安全）作為存儲(chǔ)介質(zhì)。優(yōu)點(diǎn)1 1、讀寫速度快：、讀寫速度快：采用閃存作為存儲(chǔ)介質(zhì)，讀取速度相對(duì)機(jī)械硬盤更快。2 2、防震抗摔性、防震抗摔性：傳統(tǒng)硬盤都是磁碟型的，數(shù)據(jù)儲(chǔ)存在磁碟扇區(qū)里。而固態(tài)硬盤是使用閃存顆粒（即mp3、U盤等存儲(chǔ)介質(zhì)）制作而成。3 3、低功耗：、低功

10、耗：固態(tài)硬盤的功耗上要低于傳統(tǒng)硬盤。4 4、無噪音：、無噪音：固態(tài)硬盤沒有機(jī)械馬達(dá)和風(fēng)扇，工作時(shí)噪音值為0分貝5 5、工作溫度范圍大：、工作溫度范圍大：典型的硬盤驅(qū)動(dòng)器只能在5到55攝氏度范圍內(nèi)工作。而大多數(shù)固態(tài)硬盤可在-1070攝氏度工作。6、輕便：輕便：固態(tài)硬盤在重量方面更輕，與常規(guī)1.8英寸硬盤相比，重量輕20-30克 一種數(shù)據(jù)縮減技術(shù)，通常用于基于磁盤的備份系統(tǒng)，旨在減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量。為了解決這個(gè)問題，節(jié)省更多空間，“重復(fù)刪除”技術(shù)便順理成章地成了人們關(guān)注的焦點(diǎn)。采用“重復(fù)刪除”技術(shù)可以將存儲(chǔ)的數(shù)據(jù)縮減為原來的1/20，從而讓出更多的備份空間，不僅可以使磁盤上的備份數(shù)據(jù)保存

11、更長的時(shí)間，而且還可以節(jié)約離線存儲(chǔ)時(shí)所需的大量的帶寬 是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。1.存儲(chǔ)層存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備可以是光纖存儲(chǔ)設(shè)通道設(shè)備，云存儲(chǔ)中的存儲(chǔ)設(shè)備往往數(shù)量龐大且分布多不同地域。彼此之間通過廣域同、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接在一起。2.基礎(chǔ)管理層 基礎(chǔ)管理層是云存儲(chǔ)最核心的部分，也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分。基礎(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。3.應(yīng)用接口層應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺(tái)、IPTV和視頻點(diǎn)播應(yīng)用平臺(tái)、網(wǎng)絡(luò)硬盤應(yīng)用平臺(tái)，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺(tái)等。4.訪問層任何一個(gè)授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。云存儲(chǔ)運(yùn)營單位不同，云存儲(chǔ)提供的訪問類型和訪問手段也不同。注意：云存儲(chǔ)