《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項目二 淺析大數(shù)據(jù)存儲技術(shù)

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目二淺析大數(shù)據(jù)存儲技術(shù)任務(wù)一淺析文件系統(tǒng)大數(shù)據(jù)存儲架構(gòu)？嵌入式存儲架構(gòu)，應(yīng)用場景？云存儲架構(gòu)？大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用？回顧任務(wù)引入-計算機系統(tǒng)計算機系統(tǒng)中有各種存儲器，如CPU內(nèi)部的通用寄存器組、CPU內(nèi)的Cache（高速緩存）、CUP外部的Cache、主板上的主存儲器、主板外的聯(lián)機（在線）磁盤存儲器以及脫機（離線）的磁帶存儲器和光盤存儲器等。任務(wù)描述:在LINUX系統(tǒng)中有一個重要的概念：一切都是文件。在UNIX系統(tǒng)中，把一切資源都看作是文件，包括硬件設(shè)備。任務(wù)教學(xué)目標(biāo)：了解文件系統(tǒng)的核心了解訪問文件的流程了解日志文件系統(tǒng)XFS文件系統(tǒng)任務(wù)概要教學(xué)內(nèi)容文件系統(tǒng)的作用文件系統(tǒng)的核心概念訪問文件的流程一二三日志文件系統(tǒng)四XFS文件系統(tǒng)五文件系統(tǒng)對比六文件系統(tǒng)的作用知識點一文件系統(tǒng)是一種存儲和組織數(shù)據(jù)的方法，它使得對數(shù)據(jù)的訪問和查找變得容易。01文件系統(tǒng)通常使用硬盤和光盤等存儲設(shè)備，也可能僅僅是一種訪問數(shù)據(jù)的界面。02文件系統(tǒng)向用戶提供底層數(shù)據(jù)訪問的機制。03文件系統(tǒng)的概述文件系統(tǒng)的核心概念知識點二文件系統(tǒng)的核心概念文件名元數(shù)據(jù)（Metadata）inodePosixindode硬鏈接軟鏈接LinuxVFSFHS文件讀寫執(zhí)行屬性文件系統(tǒng)的核心概念硬鏈接軟鏈接文件系統(tǒng)的核心概念$chmod[options]mode[,mode]file1[file2...]chmod的八進制語法的數(shù)字說明：r4w2x1-0chmod使用語法舉例：訪問文件的流程知識點三1234命令只傳遞了一個絕對路徑通過inode-table尋找父路徑在父目錄表中尋找對應(yīng)文件inode查找到inode指定文件訪問文件的流程日志文件系統(tǒng)知識點四（一）日志文件系統(tǒng)在文件系統(tǒng)發(fā)生變化時，先把相關(guān)的信息寫入一個被稱為日志的區(qū)域，然后再把變化寫入主文件系統(tǒng)的文件系統(tǒng)。在文件系統(tǒng)發(fā)生故障（如內(nèi)核崩潰或突然停電）時，日志文件系統(tǒng)更容易保持一致性，并且可以較快恢復(fù)。在回寫模式中，只有元數(shù)據(jù)被記錄到日志中，數(shù)據(jù)會被直接寫入主文件系統(tǒng)。這種模式能提供較好的性能，不過有較大的風(fēng)險?；貙懺陧樞蚰Ｊ街?，只有元數(shù)據(jù)被記錄到日志中，但在日志被標(biāo)記為提交前，數(shù)據(jù)會被寫入文件系統(tǒng)。順序在數(shù)據(jù)模式中，元數(shù)據(jù)和文件內(nèi)容都先被寫入日志中，然后在提交到主文件系統(tǒng)。數(shù)據(jù)（二）日志的級別XFS文件系統(tǒng)知識點五（一）XFS歷史19XFS，一種高性能的日志文件系統(tǒng)，最早于1993年，由SiliconGraphics為他們的IRIX操作系統(tǒng)而開發(fā)，是IRIX5.3版的默認文件系統(tǒng)XFS特別擅長處理大文件，同時提供平滑的數(shù)據(jù)傳輸。（二）XFS特性容量大1對文件系統(tǒng)元數(shù)據(jù)提供了日志支持2分配組提供了可伸縮和并行特性3條帶化分配4基于Extent的分配方式5可變塊尺寸6延遲分配7稀疏文件8（三）文件系統(tǒng)對比1.FAT文件系統(tǒng)的數(shù)據(jù)訪問方式（二）文件系統(tǒng)對比2.Ext2文件系統(tǒng)的數(shù)據(jù)訪問方式本章從文件系統(tǒng)的基本概念出發(fā)，闡述了文件系統(tǒng)的作用、核心概念、訪問流程、日志文件系統(tǒng)、XFS文件系統(tǒng)、文件系統(tǒng)對比。包括如下內(nèi)容：1.文件系統(tǒng)的作用：概念。2.文件系統(tǒng)核心概念：文件名、元數(shù)據(jù)、inode、Posixinode、硬鏈接軟鏈接、LinuxVFS、FHS、文件的讀寫執(zhí)行屬性。3、訪問文件的流程4、日志文件系統(tǒng)、XFS文件系統(tǒng)、文件系統(tǒng)對比。任務(wù)小結(jié)課外研讀大數(shù)據(jù)標(biāo)準(zhǔn)獨立學(xué)習(xí)到今天，我們國家已經(jīng)有12項大數(shù)據(jù)國家標(biāo)準(zhǔn)正式獲批發(fā)布。我們可以通過研讀《GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南》標(biāo)準(zhǔn)來識別數(shù)據(jù)的類別，國家大數(shù)據(jù)標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化委員會組織專家進行撰寫更新。通過研讀《合作式智能交通系統(tǒng)車用通信系統(tǒng)應(yīng)用層及應(yīng)用數(shù)據(jù)交互標(biāo)準(zhǔn)》來研究5G+智慧交通應(yīng)用數(shù)據(jù)交互的格式。1.簡述日志的三個級別？2.XFS文件系統(tǒng)的特性?作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目二淺析大數(shù)據(jù)存儲技術(shù)任務(wù)二

淺析RAID磁盤陣列文件系統(tǒng)？文件系統(tǒng)的作用？XFS？日志文件系統(tǒng)？回顧任務(wù)引入-磁盤陣列系統(tǒng)磁盤陣列的英文名稱是RedundantArrayofIndependentDisks(RAID),即獨立冗余磁盤陣列。RAID可以通過一些技術(shù)（軟件或硬件）將多個硬盤整合成為一個較大的磁盤設(shè)備；而這個較大的磁盤可不止存儲功能而已，它還具有數(shù)據(jù)保護的功能。任務(wù)描述:磁盤陣列的英文名稱是RedundantArrayofIndependentDisks(RAID),即獨立冗余磁盤陣列。任務(wù)教學(xué)目標(biāo)：理解硬盤物理結(jié)構(gòu)。了解各種硬盤參數(shù)了解數(shù)據(jù)保護技術(shù)了解RAID類型及配置方法任務(wù)概要教學(xué)內(nèi)容硬件結(jié)構(gòu)硬盤陣列結(jié)構(gòu)一二硬盤結(jié)構(gòu)知識點一（一）硬盤物理結(jié)構(gòu)磁頭：內(nèi)容磁頭是硬盤中最昂貴的部件，也是硬盤技術(shù)中最重要和最關(guān)鍵的一環(huán)。磁道：當(dāng)磁盤旋轉(zhuǎn)時，磁頭若保持在一個位置上，則每個磁頭都會在磁盤表面劃出一個圓形軌跡，這些圓形軌跡就叫做磁道。扇區(qū)：磁盤上的每一個磁道按512個字節(jié)為單位劃分為弧段，這些弧段便是磁盤的扇區(qū)。柱面：硬盤通常由重疊的一組盤片構(gòu)成，每個盤面都被劃分為數(shù)目相等的磁道，并從外緣的“0”開始編號，具有相同編號的磁道形成一個圓柱，稱之為磁盤的柱面。平均訪問時間磁頭從起始位置到到達目標(biāo)磁道位置，并且從目標(biāo)磁道上找到要讀寫的數(shù)據(jù)扇區(qū)所需的時間。轉(zhuǎn)速是硬盤內(nèi)電機主軸的旋轉(zhuǎn)速度，也就是硬盤盤片在一分鐘內(nèi)所能完成的最大轉(zhuǎn)數(shù)。傳輸速率硬盤讀寫數(shù)據(jù)的速度，單位為兆字節(jié)每秒（MB/s）。容量作為計算機系統(tǒng)的數(shù)據(jù)存儲器，容量是硬盤最主要的參數(shù)。緩存硬盤控制器上的一塊內(nèi)存芯片，具有極快的存取速度，它是硬盤內(nèi)部存儲和外界接口之間的緩沖器。硬盤參數(shù)（二）硬盤主要參數(shù)（三）硬盤接口種類ATASATAⅢIDESCSISATASASSATA

Ⅱ（三）硬盤接口種類IDE接口STAT接口硬盤陣列結(jié)構(gòu)知識點二（一）硬盤數(shù)據(jù)保護技術(shù)SMARTS.M.A.R.T的全稱為“Self-MonitoringAnalysisandReportingTechnology”，即“自我監(jiān)測、分析及報告技術(shù)”。

（一）硬盤數(shù)據(jù)保護技術(shù)DFTDFT（DriveFitnessTest，驅(qū)動器健康檢測）技術(shù)是IBM公司為其PC硬盤開發(fā)的數(shù)據(jù)保護技術(shù)。RAID全稱為獨立磁盤冗余陣列(RdeundantArrayofIndependentDisks)，基本思想就是把多個相對便宜的硬盤組合起來，成為一個硬盤陣列組，使性能達到甚至超過一個價格昂貴、容量巨大的硬盤。（一）硬盤數(shù)據(jù)保護技術(shù)（二）盤陣硬件磁盤陣列卡又稱RAID卡，一般在配置服務(wù)器的時候作為一個內(nèi)置選配部件，為服務(wù)器增添RAID配置功能磁盤陣列卡軟件仿真RAID俗稱軟RAID，是通過CPU計算RAID校驗碼，以軟件控制的方式，在讀寫數(shù)據(jù)的時候按照RAID的模式寫入多塊磁盤軟件仿真RAID內(nèi)通過以太網(wǎng)或者光纖與存儲交換機連接，為局域網(wǎng)內(nèi)的服務(wù)器提供存儲服務(wù)，一般會提供塊存儲或者NAS服務(wù)外接式盤陣（二）盤陣硬件1.磁盤陣列柜（二）盤陣硬件1.RAID磁盤陣列卡（三）RAID類型詳解RAID0RAID10和RAID01RAID5RAID13124（三）RAID類型詳解RAID0可以把多塊硬盤連成一個容量更大的硬盤組，可以提高磁盤的性能和吞吐量。1.RAID0（三）RAID類型詳解把一個磁盤的數(shù)據(jù)鏡像到另一個磁盤上，在不影響性能情況下最大限度的保證系統(tǒng)的可靠性和可修復(fù)性上，具有很高的數(shù)據(jù)冗余能力，但磁盤利用率為50%。2.RAID1（三）RAID類型詳解奇偶校驗（XOR）條帶存儲，校驗數(shù)據(jù)分布式存儲，數(shù)據(jù)條帶存儲單位為塊。3.RAID5（三）RAID類型詳解RAID10是先做鏡象，然后再做條帶。4.RAID10（三）RAID類型詳解RAID01是先做條帶，然后再做鏡像。5.RAID01（四）RAID配置方法在計算機一開機后立即按下<F2>或<Del>，進入UEFI設(shè)置實用程序。（四）RAID配置方法選擇創(chuàng)建RAID磁盤卷選項，然后按下<Enter>。（四）RAID配置方法輸入磁盤卷名稱，然后按下<Enter>或僅按下<Enter>接受磁盤卷名稱。（四）RAID配置方法選擇所需的RAID級別（四）RAID配置方法選擇要加入RAID陣列的硬盤（四）RAID配置方法選擇RAID陣列的等量分割大?。ㄋ模㏑AID配置方法選擇創(chuàng)建磁盤卷（四）RAID配置方法mdadm工具RAID實驗磁盤陣列是大數(shù)據(jù)存儲底層支撐技術(shù)，本節(jié)任務(wù)將從物理磁盤結(jié)構(gòu)開始，系統(tǒng)剖析磁盤、陣列技術(shù)和RAID系統(tǒng)配置。包括如下內(nèi)容：1.硬盤物理結(jié)構(gòu)。2.各種硬盤參數(shù)。2.硬盤保護技術(shù)。任務(wù)小結(jié)課外研讀大數(shù)據(jù)標(biāo)準(zhǔn)獨立學(xué)習(xí)到今天，我們國家已經(jīng)有12項大數(shù)據(jù)國家標(biāo)準(zhǔn)正式獲批發(fā)布。我們可以通過研讀《GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南》標(biāo)準(zhǔn)來識別數(shù)據(jù)的類別，國家大數(shù)據(jù)標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化委員會組織專家進行撰寫更新。通過研讀《合作式智能交通系統(tǒng)車用通信系統(tǒng)應(yīng)用層及應(yīng)用數(shù)據(jù)交互標(biāo)準(zhǔn)》來研究5G+智慧交通應(yīng)用數(shù)據(jù)交互的格式。1.盤陣硬件樣式有哪三種？2.簡述RAID0磁盤陣列技術(shù)？3.簡述RAID5磁盤陣列技術(shù)？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目二淺析大數(shù)據(jù)存儲技術(shù)任務(wù)三

淺析數(shù)據(jù)安全大數(shù)據(jù)存儲架構(gòu)？嵌入式存儲架構(gòu)，應(yīng)用場景？云存儲架構(gòu)？大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用？回顧任務(wù)引入-數(shù)據(jù)丟失8月5日，前沿數(shù)控在微博上發(fā)表長文《騰訊云給一家創(chuàng)業(yè)公司帶來的災(zāi)難》，文章中表示，“2018年7月20日，我們近千萬元級的平臺數(shù)據(jù)全部丟失，包括經(jīng)過長期推廣導(dǎo)流積累起來的精準(zhǔn)注冊用戶以及內(nèi)容數(shù)據(jù)，這瞬間將一家創(chuàng)業(yè)公司摧毀”。任務(wù)描述:本節(jié)任務(wù)要求從備份策略入手，通過系統(tǒng)學(xué)習(xí)，對大數(shù)據(jù)時代的數(shù)據(jù)安全有一個初步的認識，為后續(xù)項目實踐打下基礎(chǔ)。任務(wù)教學(xué)目標(biāo)：了解文件系統(tǒng)的核心了解訪問文件的流程了解日志文件系統(tǒng)XFS文件系統(tǒng)任務(wù)概要教學(xué)內(nèi)容數(shù)據(jù)備份策略文件級備份與塊級備份Rsync介紹一二三快照技術(shù)四數(shù)據(jù)備份策略知識點一（一）為什么要備份計算機本身也是一個相當(dāng)不可靠的機器受到惡意攻擊人為操作失誤132（二）數(shù)據(jù)備份方式手動備份U盤光盤（二）數(shù)據(jù)備份方式使用備份程序下載一個備份程序。有免費提供的程序和要購買的程序，但都提供了許多相同的基本功能。使用購買的程序備份數(shù)據(jù)比手動備份好的其中一個優(yōu)點是定時和自動化選項。這使可以不用擔(dān)心數(shù)據(jù)備份工作。（三）備份的常見策略與關(guān)鍵技術(shù)全部備份即把硬盤或數(shù)據(jù)庫內(nèi)的所有文件、文件夾或數(shù)據(jù)作一次性的復(fù)制。0102指對上一次全部備份或增量備份后更新的數(shù)據(jù)進行備份。03差異備份提供運行完整備份后變更的文件的備份。增量備份差異備份（三）備份的常見策略與關(guān)鍵技術(shù)系統(tǒng)處于停機或維護狀態(tài)下的備份。這種情況下，備份的數(shù)據(jù)與系統(tǒng)中此時段的數(shù)據(jù)完全一致。系統(tǒng)處于正常運轉(zhuǎn)狀態(tài)下的備份。這種情況下，由于系統(tǒng)中的數(shù)據(jù)可能隨時在更新，備份的數(shù)據(jù)相對于系統(tǒng)的真實數(shù)據(jù)可有一定滯后。冷備份熱備份對系統(tǒng)的一部分進行備份選擇式備份文件級備份與塊級備份知識點二（一）文件級備份與塊備份概念塊級是指以扇區(qū)為基礎(chǔ)，一個或多個連續(xù)的扇區(qū)組成一個塊，也叫物理塊。它是在文件系統(tǒng)與塊設(shè)備（例如：磁盤驅(qū)動器）之間。塊級概念（一）文件級備份與塊備份概念物理塊（驅(qū)動層）磁盤驅(qū)動器（扇區(qū)）邏輯塊（文件系統(tǒng)如：NTFS，EXT4，XFS，JFS）132文件級概念：文件級是指文件系統(tǒng)，單個文件可由一個或多個邏輯塊組成，且邏輯塊之間是不連續(xù)分布。邏輯塊大于或等于物理塊整數(shù)倍。塊備份備份是以磁盤塊為基本單位將數(shù)據(jù)從主機復(fù)制到備機。也就是說每次備份數(shù)據(jù)都是以一個扇區(qū)(512B)為單位來進行備份。文件備份文件備份是以文件為基本單位將數(shù)據(jù)從主機復(fù)制到備機。同樣，我們是以一個完整的文件來做為備份單位的。而大小是由文件本身來決定。（二）備份模式的區(qū)別備份機制塊備份塊備份避免了當(dāng)文件出現(xiàn)一個小的改動的時候，就需要對整個文件做備份，只是會去做改動部分的備份，有效的提高了備份效率，節(jié)省了備份時間。文件備份文件備份模式下，文件即使一個很小的改變，也需將整個文件備份。這樣如果一個文件很大的情況下，就會大幅度的降低備份效率，增加磁盤開銷和備份時間。（二）備份模式的區(qū)別高效性塊備份塊備份可以做到高效的實時備份，這種寫入操作都是基于磁盤扇區(qū)的，所以，很快就能被識別。文件備份文件備份是很難做到實時備份的，因為它的每次修改都是基于文件的，而文件的哪部分被修改，系統(tǒng)很難實時捕獲到。（二）備份模式的區(qū)別實時性塊備份塊備份是在文件系統(tǒng)之下對數(shù)據(jù)進行復(fù)制，所以它不受文件系統(tǒng)限制，可以支持各種文件系統(tǒng)包括RAW分區(qū)。文件備份文件備份是以單個文件為單位對數(shù)據(jù)進行復(fù)制，所以它受文件系統(tǒng)限制，僅能對部分支持的文件系統(tǒng)做備份，不支持RAW分區(qū)。（二）備份模式的區(qū)別支持度Rsync介紹知識點三rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具——remotesync。一款快速增量備份工具RemoteSync，遠程同步支持本地復(fù)制，或者與其他SSH、rsync主機同步。sync概念（一）rsync介紹（二）sync特點可以鏡像保存整個目錄樹和文件系統(tǒng)?？梢院苋菀鬃龅奖３衷瓉砦募臋?quán)限、時間、軟硬鏈接等。無須特殊權(quán)限即可安裝。第一次同步時rsync會復(fù)制全部內(nèi)容，但在下一次只傳輸修改過的文件。rsync在傳輸數(shù)據(jù)的過程中可以實現(xiàn)壓縮及解壓縮操作，因此可以使用更少的帶寬?？梢允褂胹cp、ssh等方式來傳輸文件，當(dāng)然也可以通過直接的socket連接。支持匿名傳輸，以方便進行網(wǎng)站鏡象。（三）sync配置概述配置文件/etc/rsyncd.confpath=/home/backup///需要做鏡像的目錄readonly=yes//只讀hostsallow=192.168.1.1,10.10.10.10//允許主機hostsdeny=0.0.0.0/0//禁止主機logfile=/var/log/rsyncd.log//日志記錄文件的存放位置快照技術(shù)知識點四快照的作用主要是能夠進行在線數(shù)據(jù)恢復(fù)，當(dāng)存儲設(shè)備發(fā)生應(yīng)用故障或者文件損壞時可以進行及時數(shù)據(jù)恢復(fù)，將數(shù)據(jù)恢復(fù)成快照產(chǎn)生時間點的狀態(tài)?？煺盏淖饔茫ㄒ唬┛煺占夹g(shù)概念與作業(yè)基于文件系統(tǒng)式基于子系統(tǒng)式的基于卷管理器/虛擬化式（二）快照的三種基本形式即寫即拷貝即寫即拷快照可以在每次輸入新數(shù)據(jù)或已有數(shù)據(jù)被更新時生成對存儲數(shù)據(jù)改動的快照。分割鏡像快照分割鏡像快照引用鏡像硬盤組上所有數(shù)據(jù)。每次應(yīng)用運行時，都生成整個卷的快照，而不只是新數(shù)據(jù)或更新的數(shù)據(jù)。（三）快照的兩種類型進行冷快照拷貝是保證系統(tǒng)可以被完全恢復(fù)的最安全的方式。在進行任何大的配置變化或維護過程之前和之后，一般都需要進行冷拷貝，以保證完全的恢復(fù)原狀（rollback）。冷快照