大數(shù)據(jù)存儲(chǔ)-緒論

大數(shù)據(jù)存儲(chǔ)緒論隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計(jì)算等技術(shù)的快速興起，人類(lèi)社會(huì)中數(shù)據(jù)的增長(zhǎng)方式與以往任何時(shí)期都有了巨大的不同。不僅數(shù)據(jù)規(guī)模越來(lái)越大，數(shù)據(jù)形式越來(lái)越復(fù)雜，數(shù)據(jù)的更新速度越來(lái)越快，數(shù)據(jù)與人們生活的密切程度也越來(lái)越高。據(jù)美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心研究，僅僅互聯(lián)網(wǎng)上的數(shù)據(jù)每年就呈現(xiàn)50%左右的增長(zhǎng)。除此之外，全世界的工業(yè)設(shè)備、交通工具、生活電器、移動(dòng)終端，也都隨時(shí)測(cè)量和傳遞著有關(guān)震動(dòng)、位置、溫度、濕度乃至人類(lèi)之間相互聯(lián)系的變化情況，海量數(shù)據(jù)已成為目前數(shù)據(jù)信息最明顯的標(biāo)簽之一。人類(lèi)已經(jīng)進(jìn)入了一個(gè)“大數(shù)據(jù)”時(shí)代，數(shù)據(jù)的規(guī)模更加龐大，數(shù)據(jù)的種類(lèi)不再單一，快速查詢、定位并提供數(shù)據(jù)的要求也越來(lái)越高，與此緊密相關(guān)的數(shù)據(jù)存儲(chǔ)與傳統(tǒng)的數(shù)據(jù)存儲(chǔ)相比亦發(fā)生了巨大變化。項(xiàng)目描述項(xiàng)目背景為后續(xù)更好地學(xué)習(xí)大數(shù)據(jù)存儲(chǔ)的相關(guān)知識(shí)，本項(xiàng)目將通過(guò)大數(shù)據(jù)簡(jiǎn)介及大數(shù)據(jù)存儲(chǔ)技術(shù)的介紹，讓讀者對(duì)大數(shù)據(jù)技術(shù)體系及大數(shù)據(jù)存儲(chǔ)技術(shù)有一定的了解，為真正生產(chǎn)環(huán)境中的存儲(chǔ)技術(shù)選型奠定好架構(gòu)設(shè)計(jì)的基礎(chǔ)。項(xiàng)目描述項(xiàng)目目標(biāo)隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)及云計(jì)算等技術(shù)的快速興起，人類(lèi)社會(huì)中數(shù)據(jù)的增長(zhǎng)方式與以往任何時(shí)期都有了巨大的不同。不僅數(shù)據(jù)規(guī)模越來(lái)越大，數(shù)據(jù)形式越來(lái)越復(fù)雜，數(shù)據(jù)的更新速度越來(lái)越快，數(shù)據(jù)與人們生活的密切程度也越來(lái)越高。據(jù)美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心研究，僅僅互聯(lián)網(wǎng)上的數(shù)據(jù)每年就呈現(xiàn)50%左右的增長(zhǎng)。除此之外，全世界的工業(yè)設(shè)備、交通工具、生活電器、移動(dòng)終端，也都隨時(shí)測(cè)量和傳遞著有關(guān)震動(dòng)、位置、溫度、濕度乃至人類(lèi)之間相互聯(lián)系的變化情況，海量數(shù)據(jù)已成為目前數(shù)據(jù)信息最明顯的標(biāo)簽之一。人類(lèi)已經(jīng)進(jìn)入了一個(gè)“大數(shù)據(jù)”時(shí)代，數(shù)據(jù)的規(guī)模更加龐大，數(shù)據(jù)的種類(lèi)不再單一，快速查詢、定位并提供數(shù)據(jù)的要求也越來(lái)越高，與此緊密相關(guān)的數(shù)據(jù)存儲(chǔ)與傳統(tǒng)的數(shù)據(jù)存儲(chǔ)相比亦發(fā)生了巨大變化。項(xiàng)目描述項(xiàng)目分析1大數(shù)據(jù)的存儲(chǔ)技術(shù)目錄大數(shù)據(jù)簡(jiǎn)介2大數(shù)據(jù)存儲(chǔ)是大數(shù)據(jù)技術(shù)體系中的一部分。為此，了解大數(shù)據(jù)的概念、特征和應(yīng)用領(lǐng)域，熟悉大數(shù)據(jù)技術(shù)體系，是理解大數(shù)據(jù)存儲(chǔ)技術(shù)的前提和基礎(chǔ)。任務(wù)描述

“大數(shù)據(jù)”一詞早在上世紀(jì)80年代就已提出，并于2009年開(kāi)始成為IT行業(yè)的流行詞匯，但作為一個(gè)較為抽象的概念，至今業(yè)界還沒(méi)有對(duì)“大數(shù)據(jù)”給出一個(gè)確切、統(tǒng)一的定義。維基百科：在合理的時(shí)間內(nèi)，無(wú)法運(yùn)用傳統(tǒng)的數(shù)據(jù)庫(kù)管理工具或數(shù)據(jù)處理軟件，完成捕獲、管理和處理等功能的大型而復(fù)雜的數(shù)據(jù)集。麥肯錫：大數(shù)據(jù)是指在一定時(shí)間內(nèi)無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具采集、存儲(chǔ)、管理和分析其內(nèi)容的數(shù)據(jù)集合。Gartner：大數(shù)據(jù)是指需要借助新的處理模式才能擁有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的具有海量、多樣化和高增長(zhǎng)率等特點(diǎn)的信息資產(chǎn)。大數(shù)據(jù)的概念大數(shù)據(jù)的特征處理速度快數(shù)據(jù)價(jià)值密度低數(shù)據(jù)種類(lèi)多數(shù)據(jù)規(guī)模大目前，大數(shù)據(jù)已滲透到各行業(yè)和各業(yè)務(wù)職能領(lǐng)域。電商行業(yè)：通過(guò)海量的商品交易數(shù)據(jù)，不僅可以統(tǒng)計(jì)出消費(fèi)熱點(diǎn)、客戶的消費(fèi)習(xí)慣、消費(fèi)特點(diǎn)、影響消費(fèi)的因素等，還能預(yù)測(cè)出消費(fèi)趨勢(shì)、流行趨勢(shì)等。醫(yī)療行業(yè)：在疫情追蹤、溯源與預(yù)警、輔助醫(yī)療救治、助力資源合理配置及輔助決策中得到廣泛應(yīng)用，提升各地疫情防控工作效率。為防控“戰(zhàn)役”提供了重要支持。交通行業(yè)：通過(guò)提前預(yù)測(cè)道路交通情況，為出行提供優(yōu)化方案，在助力交通部門(mén)提高道路交通把控能力，防止和緩解交通擁堵等方面起到了極為重要的作用。大數(shù)據(jù)的應(yīng)用領(lǐng)域

大數(shù)據(jù)的技術(shù)體系，就是以從各種類(lèi)型海量數(shù)據(jù)中快速獲取有價(jià)值的信息為目的，由大量在大數(shù)據(jù)領(lǐng)域涌現(xiàn)出的數(shù)據(jù)采集、存儲(chǔ)、處理和呈現(xiàn)等相關(guān)技術(shù)所組成的相互聯(lián)系的技術(shù)整體。大數(shù)據(jù)的技術(shù)體系1大數(shù)據(jù)的存儲(chǔ)技術(shù)目錄大數(shù)據(jù)簡(jiǎn)介2數(shù)據(jù)可以存儲(chǔ)在文件、數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中。為此，首先解釋3種數(shù)據(jù)存儲(chǔ)的方式，然后對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)中常用的分布式數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)要介紹。任務(wù)描述數(shù)據(jù)存儲(chǔ)簡(jiǎn)介1.基于文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)分布式文件系統(tǒng)架構(gòu)圖文件系統(tǒng)是操作系統(tǒng)用于在分區(qū)上、存儲(chǔ)設(shè)備上負(fù)責(zé)組織、存取與管理文件的機(jī)構(gòu)，主要由3部分組成：與文件管理有關(guān)軟件、被管理的文件以及實(shí)施文件管理所需的數(shù)據(jù)結(jié)構(gòu)。其中，被管理的文件，即數(shù)據(jù)，是以文件的形式存儲(chǔ)在各存儲(chǔ)設(shè)備上，并由操作系統(tǒng)統(tǒng)一管理。數(shù)據(jù)存儲(chǔ)簡(jiǎn)介2.基于數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)（Database）就是按照一定的數(shù)據(jù)結(jié)構(gòu)（數(shù)據(jù)的組織形式或數(shù)據(jù)之間的聯(lián)系）進(jìn)行組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)。通過(guò)數(shù)據(jù)庫(kù)提供的多種方式可以方便地管理數(shù)據(jù)庫(kù)里的數(shù)據(jù)。T指采用了關(guān)系模型來(lái)組織數(shù)據(jù)的數(shù)據(jù)庫(kù)，以由行和列所組成的二維表格的形式存儲(chǔ)數(shù)據(jù)。指那些非嚴(yán)格關(guān)系型的、分布式的、不保證遵循ACID原則的數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)非關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)簡(jiǎn)介2.基于文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)關(guān)系型數(shù)據(jù)庫(kù)與非關(guān)系型數(shù)據(jù)庫(kù)是人類(lèi)社會(huì)在處理數(shù)據(jù)不同階段而出現(xiàn)的不同產(chǎn)物，分別適用于不同的場(chǎng)景。關(guān)系型數(shù)據(jù)庫(kù)非關(guān)系型數(shù)據(jù)庫(kù)優(yōu)勢(shì)易理解建表靈活易使用儲(chǔ)存靈活易維護(hù)處理數(shù)據(jù)量巨大不足海量數(shù)據(jù)處理效率低復(fù)雜查詢能力弱數(shù)據(jù)庫(kù)系統(tǒng)升級(jí)或擴(kuò)展時(shí)，需要停機(jī)事務(wù)處理能力弱數(shù)據(jù)存儲(chǔ)簡(jiǎn)介3.基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的主要是歷史數(shù)據(jù)，并通過(guò)維度表用于對(duì)數(shù)據(jù)的分析。數(shù)據(jù)倉(cāng)庫(kù)通過(guò)系統(tǒng)的分析、整理和組織大量的歷史數(shù)據(jù)，以聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘等各種方法，幫助決策者快速有效的從大量數(shù)據(jù)中，分析出有價(jià)值的信息，以實(shí)現(xiàn)輔助決策，構(gòu)建商業(yè)智能。0面向主題0集成0相對(duì)穩(wěn)定0反應(yīng)歷史變化分布式數(shù)據(jù)庫(kù)簡(jiǎn)介1.分布式數(shù)據(jù)庫(kù)及其管理系統(tǒng)分布式數(shù)據(jù)庫(kù)是在傳統(tǒng)集中式數(shù)據(jù)庫(kù)的基礎(chǔ)上發(fā)展而來(lái)的，是針對(duì)大數(shù)據(jù)存儲(chǔ)管理而快速發(fā)展起來(lái)的關(guān)鍵技術(shù)，是數(shù)據(jù)庫(kù)技術(shù)和網(wǎng)絡(luò)技術(shù)不斷發(fā)展、互相融合、互相促進(jìn)的結(jié)果。其基本思想是借助計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，將海量數(shù)據(jù)分散存儲(chǔ)在網(wǎng)絡(luò)中的不同存儲(chǔ)節(jié)點(diǎn)，并通過(guò)分布式計(jì)算技術(shù)，將這些分散的物理存儲(chǔ)單元連接起來(lái)組成一個(gè)邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)，從而在獲取更大存儲(chǔ)容量的同時(shí)，實(shí)現(xiàn)更高的并發(fā)訪問(wèn)量。分布式數(shù)據(jù)庫(kù)管理系統(tǒng)是一種專(zhuān)門(mén)為分布式數(shù)據(jù)庫(kù)所設(shè)計(jì)的，用于建立、使用和維護(hù)分布式數(shù)據(jù)庫(kù)的大型軟件，通過(guò)借助存儲(chǔ)引擎和計(jì)算引擎，對(duì)分布式數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)一的管理，以保證分布式數(shù)據(jù)庫(kù)的安全性和完整性。分布式數(shù)據(jù)庫(kù)2.NoSQL數(shù)據(jù)庫(kù)的特點(diǎn)靈活的數(shù)據(jù)模型可擴(kuò)展性強(qiáng)高可用性高并發(fā)性NoSQL（Not

Only

SQL，可意為“不僅僅是SQL”）數(shù)據(jù)庫(kù)，是對(duì)不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)的統(tǒng)稱。0000分布式數(shù)據(jù)庫(kù)3.NoSQL數(shù)據(jù)庫(kù)的分類(lèi)鍵值數(shù)據(jù)庫(kù)Redis、SimpleDB列族數(shù)據(jù)庫(kù)文檔數(shù)據(jù)庫(kù)圖形數(shù)據(jù)庫(kù)HBase、BigTableMongoDB、CruchDBNeo4J、GraphDB在大數(shù)據(jù)的儲(chǔ)存與處理上，NoSQL具備傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)無(wú)法比擬的性能優(yōu)勢(shì)。隨著人們對(duì)非關(guān)系型數(shù)據(jù)庫(kù)的日益重視，目前已開(kāi)發(fā)出眾多性能優(yōu)秀的NoSQL數(shù)據(jù)庫(kù)產(chǎn)品。人類(lèi)已經(jīng)進(jìn)入了一個(gè)“大數(shù)據(jù)”時(shí)代，數(shù)據(jù)的