存儲(chǔ)知識(shí)點(diǎn)培訓(xùn)

1、存儲(chǔ)知識(shí)點(diǎn)培訓(xùn)湖南安存科技有限公司軟件定義存儲(chǔ)軟件定義存儲(chǔ) 我們知道軟件是用戶(hù)與硬件之間的接口界面。用戶(hù)主要是通過(guò)軟件與硬件進(jìn)行交流。早期為了大規(guī)模制造，降低制造的復(fù)雜度和成本。許多功能都固化在硬件里，我們可以稱(chēng)之為硬件定義。隨著人民日益增長(zhǎng)的多樣化、個(gè)性化定制的需求，以及更加智能、更加靈活所需的自動(dòng)化的需求，出現(xiàn)了軟件定義。 就是要將特定的硬件與軟件進(jìn)行解耦，將硬件的可操控成分按需求，分階段的，通過(guò)編程接口或者以服務(wù)的方式逐步暴露給前端應(yīng)用，分階段地滿(mǎn)足應(yīng)用對(duì)資源的不同程度、不同方面的靈活調(diào)用。全局統(tǒng)一命名空間全局統(tǒng)一命名空間 全局統(tǒng)一命名空間將磁盤(pán)和內(nèi)存資源聚集成一個(gè)單一的虛擬存儲(chǔ)池，對(duì)上

2、層用戶(hù)和應(yīng)用屏蔽了底層的物理硬件。存儲(chǔ)資源可以根據(jù)需要在虛擬存儲(chǔ)池中進(jìn)行彈性擴(kuò)展，比如擴(kuò)容或收縮。 消除了SAN環(huán)境中經(jīng)常發(fā)生的訪問(wèn)熱點(diǎn)和性能瓶頸問(wèn)題。基于基于標(biāo)準(zhǔn)標(biāo)準(zhǔn)協(xié)議協(xié)議存儲(chǔ)服務(wù)支持NFS, SAMBA, 以及原生協(xié)議，完全與POSIX標(biāo)準(zhǔn)兼容。現(xiàn)有應(yīng)用程序不需要作任何修改或使用專(zhuān)用API，就可以對(duì)存儲(chǔ)服務(wù)器中的數(shù)據(jù)進(jìn)行訪問(wèn)。負(fù)載均衡負(fù)載均衡 其意思就是分?jǐn)偟蕉鄠€(gè)操作單元上進(jìn)行執(zhí)行，例如Web服務(wù)器、FTP服務(wù)器、企業(yè)關(guān)鍵應(yīng)用服務(wù)器和其它關(guān)鍵任務(wù)服務(wù)器等，從而共同完成工作任務(wù)。 在云存儲(chǔ)中主要包含2層意思：一是原有負(fù)載的均攤，二是擴(kuò)容后的自動(dòng)均衡。 根據(jù)空間利用和動(dòng)態(tài)負(fù)載情況進(jìn)行自適應(yīng)負(fù)

3、載均衡、數(shù)據(jù)自動(dòng)遷移?？煽啃钥煽啃?容錯(cuò)容錯(cuò)能力可達(dá)能力可達(dá)99.9999%99.9999%可靠性容錯(cuò)可靠性容錯(cuò)能力可達(dá)能力可達(dá)99.9999%99.9999% 6個(gè)9的存儲(chǔ)系統(tǒng)，表示系統(tǒng)在連續(xù)運(yùn)行1年時(shí)間里，非人為故障可保持業(yè)務(wù)中斷時(shí)間不超過(guò)31秒。 與產(chǎn)品的工作模式相關(guān)。元數(shù)據(jù)智能分布元數(shù)據(jù)智能分布元數(shù)據(jù)智能分布元數(shù)據(jù)智能分布服務(wù)器計(jì)算資源池虛擬化SAN集群存儲(chǔ)系統(tǒng)無(wú)縫支持虛擬化、主流大數(shù)據(jù)平臺(tái)存儲(chǔ)虛擬層文件訪問(wèn)(File)資源池各種通用存儲(chǔ)池統(tǒng)一集合管理物理主機(jī)藍(lán)寶石云存儲(chǔ)系統(tǒng).聚合帶寬糾刪碼冗余技術(shù)超融合巨大容量智能存儲(chǔ)節(jié)點(diǎn)智能存儲(chǔ)節(jié)點(diǎn)智能存儲(chǔ)節(jié)點(diǎn)智能存儲(chǔ)節(jié)點(diǎn)智能存儲(chǔ)節(jié)點(diǎn)智能存儲(chǔ)節(jié)點(diǎn).

4、物理主機(jī)OSOSOSHyper-V/ESX物理主機(jī)OSOSOSKVM/ESX塊設(shè)備訪問(wèn)(Block Device）低功耗設(shè)計(jì)吞吐量系統(tǒng)實(shí)測(cè)吞吐量系統(tǒng)實(shí)測(cè)200200萬(wàn)萬(wàn)IOPSIOPS；聚合帶寬系統(tǒng)實(shí)測(cè)；聚合帶寬系統(tǒng)實(shí)測(cè)100100萬(wàn)萬(wàn)GB/SGB/S 吞吐量和聚合帶寬是衡量存儲(chǔ)系統(tǒng)兩個(gè)性能指標(biāo)。 吞吐量：指單位時(shí)間內(nèi)進(jìn)行讀寫(xiě)（I/O）操作的次數(shù)。 聚合帶寬：指由并行文件系統(tǒng)中各臺(tái)服務(wù)器的帶寬聚合所形成的對(duì)外統(tǒng)一的帶寬值，可根據(jù)服務(wù)器規(guī)模和配置方式進(jìn)行擴(kuò)展。冷熱冷熱數(shù)據(jù)數(shù)據(jù)管理管理 根據(jù)數(shù)據(jù)冷熱程度自動(dòng)在不同性能和可靠性的存儲(chǔ)介質(zhì)中遷移數(shù)據(jù)，對(duì)外提供統(tǒng)一服務(wù)接口。 支持兩種冷熱數(shù)據(jù)管理模式：

5、分層存儲(chǔ)，即熱數(shù)據(jù)存儲(chǔ)在快卷，達(dá)到性能的極致；冷數(shù)據(jù)存儲(chǔ)在慢卷，達(dá)到可靠性的極致；這種模式存儲(chǔ)空間利用率高，但熱數(shù)據(jù)的可靠性低于冷數(shù)據(jù)。 另外一種模式是緩存模式，即熱數(shù)據(jù)同時(shí)會(huì)存儲(chǔ)在慢卷和快卷，這種模式下全系統(tǒng)數(shù)據(jù)的可靠性達(dá)到一致。容錯(cuò)性能容錯(cuò)性能 1+N多副本指寫(xiě)一份數(shù)據(jù)存儲(chǔ)同時(shí)復(fù)制N份數(shù)據(jù)存儲(chǔ)（N=1、2、3、N）。 K+M(原N+M)糾刪碼指K個(gè)原始數(shù)據(jù)數(shù)據(jù)塊加上M個(gè)校驗(yàn)數(shù)據(jù)塊的結(jié)構(gòu)，其中數(shù)據(jù)塊K和校驗(yàn)塊M值都能夠按照一定的規(guī)則設(shè)定。存儲(chǔ)系統(tǒng)支持此特性時(shí)，可做到系統(tǒng)中任意M個(gè)數(shù)據(jù)塊丟失或損壞的情況下，數(shù)據(jù)可恢復(fù)，保持完好。 將文件按照一定的規(guī)則分為K份，使用預(yù)先定義的算法生成M份冗余碼，

6、其中數(shù)據(jù)塊K和校驗(yàn)塊M的值能夠按照一定的規(guī)則設(shè)定。在1M個(gè)數(shù)據(jù)塊（數(shù)據(jù)或校驗(yàn)都行）損壞的情況下，整體數(shù)據(jù)仍可以通過(guò)計(jì)算剩余數(shù)據(jù)塊上面的數(shù)據(jù)得出，整體數(shù)據(jù)不會(huì)丟失，存儲(chǔ)仍然是可用的。我們實(shí)現(xiàn)時(shí)充分考慮原始數(shù)據(jù)和冗余碼的分布，從而實(shí)現(xiàn)了對(duì)節(jié)點(diǎn)的容錯(cuò)。節(jié)點(diǎn)當(dāng)機(jī)時(shí)，正常業(yè)務(wù)不受影響，等結(jié)點(diǎn)修復(fù)上線后，存儲(chǔ)系統(tǒng)會(huì)自動(dòng)進(jìn)行修復(fù)。糾刪碼原理如圖：6+3糾刪碼組合，最大可容忍3個(gè)數(shù)據(jù)塊同時(shí)損壞糾刪碼與RAIDp糾刪碼和大家熟悉的RAID技術(shù)看起來(lái)是有些類(lèi)似的，一條數(shù)據(jù)是由多個(gè)數(shù)據(jù)塊構(gòu)成，分為數(shù)據(jù)塊和校驗(yàn)塊。但與RAID5/RAID6不同的是，糾刪碼功能上來(lái)看最大的區(qū)分特點(diǎn)是校驗(yàn)和數(shù)據(jù)的比例按K+M可調(diào)整，并且

7、校驗(yàn)塊數(shù)量不再受限于兩個(gè)，典型的如12+4，6+3等等。p具備了跨節(jié)點(diǎn)容錯(cuò)能力。數(shù)據(jù)恢復(fù)快p數(shù)據(jù)恢復(fù)速度快，踢盤(pán)或者替換故障硬盤(pán)最小恢復(fù)時(shí)間低于1分鐘。p采用傳統(tǒng)RAID技術(shù)的存儲(chǔ)系統(tǒng)在踢盤(pán)或替換故障磁盤(pán)后通常需要長(zhǎng)達(dá)十幾小時(shí)的恢復(fù)時(shí)間。在線替盤(pán)p支持在線替換故障磁盤(pán)和存儲(chǔ)服務(wù)器，數(shù)據(jù)在新插入的磁盤(pán)和存儲(chǔ)服務(wù)器上自動(dòng)修復(fù)，支持跨節(jié)點(diǎn)數(shù)據(jù)恢復(fù)。p任一節(jié)點(diǎn)的磁盤(pán)損壞后，可在任一其它盤(pán)位恢復(fù)數(shù)據(jù)，且業(yè)務(wù)不中斷。存儲(chǔ)系統(tǒng)常見(jiàn)故障我們的處理方式p 壞道壞道 指硬盤(pán)上的某些區(qū)域發(fā)生故障，寫(xiě)到其上的數(shù)據(jù)可能丟失。p 引發(fā)原因：自身質(zhì)量的問(wèn)題硬盤(pán)維護(hù)不當(dāng)突然斷電用戶(hù)使用的原因，使用上不能善待硬盤(pán)，比如內(nèi)存太少

8、以致應(yīng)用軟件對(duì)硬盤(pán)頻繁訪問(wèn)，對(duì)硬盤(pán)過(guò)分頻繁地整理碎片，不適當(dāng)?shù)某l，電源質(zhì)量不好，溫度過(guò)高，防塵不良，震動(dòng)等。老化p 解決方案：藍(lán)寶石云存儲(chǔ)在服務(wù)端可以定期自動(dòng)檢測(cè)壞道的出現(xiàn)，在底層文件系統(tǒng)屏蔽壞道，在客戶(hù)端通過(guò)數(shù)據(jù)恢復(fù)技術(shù)確保在壞道存在情況下正常讀寫(xiě)數(shù)據(jù)，并將恢復(fù)后的數(shù)據(jù)塊寫(xiě)到健康位置。存儲(chǔ)系統(tǒng)常見(jiàn)故障我們的處理方式p 壞盤(pán)壞盤(pán)磁盤(pán)是存儲(chǔ)系統(tǒng)中的易損部件，平均每年的故障率超過(guò)1%，在大規(guī)模存儲(chǔ)系統(tǒng)中將每天發(fā)生多個(gè)硬盤(pán)故障事件。p 解決方案： 藍(lán)寶石云存儲(chǔ)首創(chuàng)了業(yè)界唯一的亂序熱拔插技術(shù)，管理員可以一種輕松的方式處理壞盤(pán)故障。 一般的硬盤(pán)故障可簡(jiǎn)單將故障盤(pán)拔出，然后插入新盤(pán)即可，無(wú)須其它任何人工

9、操作，存儲(chǔ)系統(tǒng)會(huì)在后臺(tái)自動(dòng)識(shí)別新盤(pán)并恢復(fù)數(shù)據(jù)。 如果是硬盤(pán)背板故障，可在存儲(chǔ)系統(tǒng)中任意位置找到空閑盤(pán)位插入數(shù)據(jù)盤(pán)，硬盤(pán)上原有的數(shù)據(jù)將自動(dòng)被識(shí)別，將傳統(tǒng)的十幾個(gè)小時(shí)的恢復(fù)時(shí)間縮短到分鐘級(jí)。存儲(chǔ)系統(tǒng)常見(jiàn)故障我們的處理方式p 踢盤(pán)踢盤(pán)指由于軟硬件故障導(dǎo)致RAID卡將硬盤(pán)踢出陣列組合。在RAID存儲(chǔ)系統(tǒng)中，一旦發(fā)生踢盤(pán)故障，即使硬盤(pán)完好無(wú)損馬上重新插入，該硬盤(pán)將作為新硬盤(pán)識(shí)別并進(jìn)行格式化，需要十幾個(gè)小時(shí)的時(shí)間進(jìn)行數(shù)據(jù)恢復(fù)。p 解決方案： 藍(lán)寶石云存儲(chǔ)通過(guò)硬盤(pán)的唯一標(biāo)識(shí)和歷史數(shù)據(jù)自動(dòng)識(shí)別，徹底消除了踢盤(pán)故障。 如果由于各種原因硬盤(pán)被彈出存儲(chǔ)系統(tǒng)，只要重新插入舊盤(pán)，硬盤(pán)上原有的數(shù)據(jù)將自動(dòng)被識(shí)別，將傳統(tǒng)的十

10、幾個(gè)小時(shí)的恢復(fù)時(shí)間縮短到分鐘級(jí)。存儲(chǔ)系統(tǒng)常見(jiàn)故障我們的處理方式p存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)節(jié)點(diǎn)故障故障指整臺(tái)存儲(chǔ)服務(wù)器發(fā)生故障離線，結(jié)點(diǎn)故障是傳統(tǒng)RAID存儲(chǔ)系統(tǒng)的死穴。p解決方案： 云存儲(chǔ)通過(guò)糾刪碼數(shù)據(jù)切片技術(shù)將數(shù)據(jù)分散到K+M個(gè)節(jié)點(diǎn)上，可以在故障存儲(chǔ)節(jié)點(diǎn)不大于M個(gè)的情況下保持?jǐn)?shù)據(jù)的可靠性和可用性。備份 數(shù)據(jù)備份是將數(shù)據(jù)以某種方式加以保留，以便在系統(tǒng)遭受破壞或其他特定情況下重新加以利用的一個(gè)過(guò)程。 數(shù)據(jù)備份的核心是恢復(fù)，數(shù)據(jù)備份的意義不僅在于防范意外事件的破壞，而且還是歷史數(shù)據(jù)保存歸檔的最佳方式。 備份幾種類(lèi)型：全備份、增量備份、差量備份、按需備份。 備份目的：災(zāi)難恢復(fù)、業(yè)務(wù)性恢復(fù)、歸檔。容災(zāi) 是指在相隔較遠(yuǎn)的異地，建立兩套或多套功能相同的IT系統(tǒng)，互相之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換，當(dāng)一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時(shí)，整個(gè)應(yīng)用系統(tǒng)可以切換到另