MongoDB概述與存儲(chǔ)結(jié)構(gòu)

1、mongoDB的概述與存儲(chǔ)結(jié)構(gòu)匯報(bào)人：匯報(bào)人：2021-12-191第一章第一章 mongoDB概述概述第二章第二章 存儲(chǔ)體系結(jié)構(gòu)存儲(chǔ)體系結(jié)構(gòu)背后的故事背后的故事硬實(shí)力硬實(shí)力軟實(shí)力軟實(shí)力Contents目目錄錄崛起的法寶崛起的法寶2021-12-192背后的故事1崛起的法寶2第一章 mongoDB概述2021-12-193背后的故事Web2.0來(lái)襲1.互聯(lián)網(wǎng)應(yīng)用用戶量劇增互聯(lián)網(wǎng)應(yīng)用用戶量劇增2.數(shù)據(jù)量呈幾何級(jí)數(shù)增長(zhǎng)數(shù)據(jù)量呈幾何級(jí)數(shù)增長(zhǎng)3.高并發(fā)的讀寫(xiě)高并發(fā)的讀寫(xiě)2021-12-194背后的故事RDBMS的困境1.數(shù)據(jù)庫(kù)并發(fā)負(fù)載高數(shù)據(jù)庫(kù)并發(fā)負(fù)載高2.海量數(shù)據(jù)存儲(chǔ)和訪問(wèn)海量數(shù)據(jù)存儲(chǔ)和訪問(wèn)3.數(shù)據(jù)庫(kù)

2、數(shù)據(jù)越來(lái)越大數(shù)據(jù)庫(kù)數(shù)據(jù)越來(lái)越大4.事務(wù)管理的負(fù)擔(dān)事務(wù)管理的負(fù)擔(dān)5.對(duì)關(guān)系型數(shù)據(jù)庫(kù)讀對(duì)關(guān)系型數(shù)據(jù)庫(kù)讀/寫(xiě)實(shí)時(shí)性的忽略寫(xiě)實(shí)時(shí)性的忽略6.多表關(guān)聯(lián)查詢被弱化多表關(guān)聯(lián)查詢被弱化 2021-12-195背后的故事NoSQL的崛起NoSQL全稱是全稱是Not Only Sql，指的是非關(guān)系型的數(shù)據(jù)庫(kù)。，指的是非關(guān)系型的數(shù)據(jù)庫(kù)。NoSQL數(shù)據(jù)庫(kù)主要數(shù)據(jù)庫(kù)主要應(yīng)用于應(yīng)用于web2.0的大規(guī)模系統(tǒng)，具有模式靈活、最終一致性、面向海量數(shù)據(jù)、的大規(guī)模系統(tǒng)，具有模式靈活、最終一致性、面向海量數(shù)據(jù)、分布式、開(kāi)源、水平可擴(kuò)展、配置簡(jiǎn)單、非關(guān)系型等特點(diǎn)。分布式、開(kāi)源、水平可擴(kuò)展、配置簡(jiǎn)單、非關(guān)系型等特點(diǎn)。存儲(chǔ)類型存儲(chǔ)類型N

3、oSQL產(chǎn)品產(chǎn)品特性特性列式存儲(chǔ)Hbase、CassandraHypertable按列存儲(chǔ)數(shù)據(jù)，最大的特點(diǎn)是方便存儲(chǔ)結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，針對(duì)某一列或者某幾列的查詢有非常大的 I/O 優(yōu)勢(shì)鍵值存儲(chǔ)Redis、TokyoCabinetTokyo Tyrant、Flare可以通過(guò)鍵快速查詢到值。一般來(lái)說(shuō)，存儲(chǔ)不管值的格式，照單全收文檔式存儲(chǔ)MongoDB、CouchDB文 檔 存 儲(chǔ) 一 般 用 類 似JSON 格式存儲(chǔ)，存儲(chǔ)的內(nèi)容是文檔類型的，這樣也就有機(jī)會(huì)對(duì)某些字段建立索引，實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫(kù)的某些功能對(duì)象式存儲(chǔ)db4oVersant通過(guò)類似面向?qū)ο笳Z(yǔ)言的語(yǔ)法操作數(shù)據(jù)庫(kù)，通過(guò)對(duì)象的

4、方式存取數(shù)據(jù)2021-12-196背后的故事mongoDB的前世今生 2007年年10月，月，MongoDB由由10gen團(tuán)隊(duì)所發(fā)展，團(tuán)隊(duì)所發(fā)展，2009年年2月月首度推出首度推出 MongoDB是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品產(chǎn)品 MongoDB 是由是由C+語(yǔ)言編寫(xiě)的開(kāi)源數(shù)據(jù)庫(kù)系統(tǒng)語(yǔ)言編寫(xiě)的開(kāi)源數(shù)據(jù)庫(kù)系統(tǒng) MongoDB服務(wù)端可運(yùn)行在服務(wù)端可運(yùn)行在Linux、Windows或或OS X平臺(tái)，平臺(tái)，支持支持32位和位和64位應(yīng)用位應(yīng)用2021-12-197崛起的法寶vs RDBMS2021-12-198崛起的法寶數(shù)據(jù)模型MongoDB 數(shù)據(jù)

5、庫(kù)是一個(gè)面向集合且模式自由的文檔類型數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)是一個(gè)面向集合且模式自由的文檔類型數(shù)據(jù)庫(kù)。1. 面向集合面向集合面面 向向 集集 合合 是是 指指 數(shù)數(shù) 據(jù)據(jù) 被被 分分 組組 存存 在在 在在 數(shù)數(shù) 據(jù)據(jù) 集集 中中 ， 被被 稱稱 為為 一一 個(gè)個(gè) 集集 合合（Collencton=table）。集合類似于關(guān)系型數(shù)據(jù)庫(kù)的表（）。集合類似于關(guān)系型數(shù)據(jù)庫(kù)的表（table） ,不同于表的不同于表的是，集合不需要定義任何模式，集合在存儲(chǔ)文檔，一個(gè)文檔類似于關(guān)系型數(shù)是，集合不需要定義任何模式，集合在存儲(chǔ)文檔，一個(gè)文檔類似于關(guān)系型數(shù)據(jù)庫(kù)的一條記錄。在據(jù)庫(kù)的一條記錄。在 MongoDB 中，要操作一個(gè)

6、表并不需要?jiǎng)?chuàng)建它，可以直接中，要操作一個(gè)表并不需要?jiǎng)?chuàng)建它，可以直接往集合中插入數(shù)據(jù)，如果集合不存在，它會(huì)自動(dòng)創(chuàng)建這個(gè)集合。往集合中插入數(shù)據(jù)，如果集合不存在，它會(huì)自動(dòng)創(chuàng)建這個(gè)集合。2. 模式自由模式自由模式自由就是對(duì)存儲(chǔ)在模式自由就是對(duì)存儲(chǔ)在 MongoDB 數(shù)據(jù)庫(kù)中的數(shù)據(jù)，我們不需要知道它是什么數(shù)據(jù)庫(kù)中的數(shù)據(jù)，我們不需要知道它是什么結(jié)構(gòu)（可以是任何的文檔）。結(jié)構(gòu)（可以是任何的文檔）。3. 文檔型文檔型文檔型存儲(chǔ)的數(shù)據(jù)是鍵值對(duì)的集合，鍵是字符串，值可以是數(shù)據(jù)類型集合中文檔型存儲(chǔ)的數(shù)據(jù)是鍵值對(duì)的集合，鍵是字符串，值可以是數(shù)據(jù)類型集合中的任意類型，包括數(shù)組和文檔。我們把這個(gè)數(shù)據(jù)格式稱為的任意類型，包

7、括數(shù)組和文檔。我們把這個(gè)數(shù)據(jù)格式稱為 BSON （Binary Serialized Document Notation）2021-12-199崛起的法寶功能性1.完整的索引支持：可以對(duì)文檔創(chuàng)建索引，甚至還可以對(duì)內(nèi)嵌文檔以及數(shù)組完整的索引支持：可以對(duì)文檔創(chuàng)建索引，甚至還可以對(duì)內(nèi)嵌文檔以及數(shù)組創(chuàng)建索引。創(chuàng)建索引。MongoDB 的查詢優(yōu)化器會(huì)自動(dòng)分析查詢語(yǔ)句，然后生成一個(gè)高的查詢優(yōu)化器會(huì)自動(dòng)分析查詢語(yǔ)句，然后生成一個(gè)高效的查詢集合。效的查詢集合。2.動(dòng)態(tài)查詢：動(dòng)態(tài)查詢： MongoDB 的查詢指令使用的查詢指令使用 JSON 形式，使查詢表達(dá)式變得非常形式，使查詢表達(dá)式變得非常豐富，還可以非常容

8、易地查詢文檔中的內(nèi)嵌對(duì)象和數(shù)組。豐富，還可以非常容易地查詢文檔中的內(nèi)嵌對(duì)象和數(shù)組。3.查詢監(jiān)視：查詢監(jiān)視： MongoDB 提供了很多性能監(jiān)視工具，用于分析數(shù)據(jù)庫(kù)操作的提供了很多性能監(jiān)視工具，用于分析數(shù)據(jù)庫(kù)操作的性能。性能。 2021-12-1910崛起的法寶功能性（續(xù)）4.復(fù)制及自動(dòng)故障轉(zhuǎn)移：復(fù)制及自動(dòng)故障轉(zhuǎn)移：MongoDB 數(shù)據(jù)庫(kù)支持服務(wù)器之間的復(fù)制，從節(jié)點(diǎn)可以復(fù)數(shù)據(jù)庫(kù)支持服務(wù)器之間的復(fù)制，從節(jié)點(diǎn)可以復(fù)制主節(jié)點(diǎn)的數(shù)據(jù)，主節(jié)點(diǎn)的所有對(duì)數(shù)據(jù)的操作都會(huì)同步到從節(jié)點(diǎn)。從節(jié)點(diǎn)的數(shù)據(jù)制主節(jié)點(diǎn)的數(shù)據(jù)，主節(jié)點(diǎn)的所有對(duì)數(shù)據(jù)的操作都會(huì)同步到從節(jié)點(diǎn)。從節(jié)點(diǎn)的數(shù)據(jù)跟主節(jié)點(diǎn)的數(shù)據(jù)是完全一樣的，以作備份。主節(jié)點(diǎn)發(fā)生

9、故障之后，從節(jié)點(diǎn)可以升跟主節(jié)點(diǎn)的數(shù)據(jù)是完全一樣的，以作備份。主節(jié)點(diǎn)發(fā)生故障之后，從節(jié)點(diǎn)可以升級(jí)為主節(jié)點(diǎn)，也可以通過(guò)從節(jié)點(diǎn)對(duì)故障主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)恢復(fù)。級(jí)為主節(jié)點(diǎn)，也可以通過(guò)從節(jié)點(diǎn)對(duì)故障主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)恢復(fù)。5.高效地傳統(tǒng)存儲(chǔ)方式：支持二進(jìn)制數(shù)據(jù)及大型對(duì)象（如視頻），可以高效地傳統(tǒng)存儲(chǔ)方式：支持二進(jìn)制數(shù)據(jù)及大型對(duì)象（如視頻），可以將圖片文件甚至視頻轉(zhuǎn)換成二進(jìn)制的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中。將圖片文件甚至視頻轉(zhuǎn)換成二進(jìn)制的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中。6.自動(dòng)分片以支持云級(jí)別的伸縮性：自動(dòng)分片以支持云級(jí)別的伸縮性： 可以水平擴(kuò)展數(shù)據(jù)庫(kù)集群，動(dòng)態(tài)添可以水平擴(kuò)展數(shù)據(jù)庫(kù)集群，動(dòng)態(tài)添加片（服務(wù)器）。加片（服務(wù)器）。2021-12

10、-1911崛起的法寶其他招式1.拓展功能強(qiáng)大2.便于管理3.適用于多種場(chǎng)合2021-12-1912硬實(shí)力1軟實(shí)力2第二章 存儲(chǔ)結(jié)構(gòu)2021-12-1913HDDSSD隨機(jī)訪問(wèn)(IOPS)12512000 (100 x)順序讀寫(xiě)(Throughput)100MB/s200MB/s (2x)VS.硬實(shí)力磁盤(pán)數(shù)據(jù)的存儲(chǔ)總離不開(kāi)磁盤(pán)，因此數(shù)據(jù)的存儲(chǔ)總離不開(kāi)磁盤(pán)，因此mongodb的數(shù)據(jù)存儲(chǔ)設(shè)備當(dāng)然也只能是磁的數(shù)據(jù)存儲(chǔ)設(shè)備當(dāng)然也只能是磁盤(pán)。官方建議采用盤(pán)。官方建議采用SSD固態(tài)硬盤(pán)。固態(tài)硬盤(pán)。mongodData fileSSD Journal HDDLog HDD優(yōu)化的IO部署方案數(shù)據(jù)IO：隨機(jī)訪問(wèn)為

11、主 x: 12 DiskLoc: xxRead: DiscLoc: xxDisckLoc: xx123無(wú)冗余寫(xiě)性能一般寫(xiě)入速度慢條帶化+鏡像性能好 + 數(shù)據(jù)冗余建議的RAID Level硬實(shí)力存儲(chǔ)引擎存儲(chǔ)引擎是數(shù)據(jù)庫(kù)管理系統(tǒng)的一個(gè)重要組成部分。它的主要職責(zé)就是負(fù)責(zé)存儲(chǔ)引擎是數(shù)據(jù)庫(kù)管理系統(tǒng)的一個(gè)重要組成部分。它的主要職責(zé)就是負(fù)責(zé)把數(shù)據(jù)存儲(chǔ)到硬盤(pán)和把數(shù)據(jù)從硬盤(pán)檢索出來(lái)。把數(shù)據(jù)存儲(chǔ)到硬盤(pán)和把數(shù)據(jù)從硬盤(pán)檢索出來(lái)。MySQLMySQL和和RiakRiak均支持多個(gè)不均支持多個(gè)不同的存儲(chǔ)引擎。不同的存儲(chǔ)引擎對(duì)不同的應(yīng)用需求有特別的優(yōu)化。如某個(gè)同的存儲(chǔ)引擎。不同的存儲(chǔ)引擎對(duì)不同的應(yīng)用需求有特別的優(yōu)化。如某個(gè)

12、存儲(chǔ)引擎可以是專為高并發(fā)寫(xiě)設(shè)計(jì)的，而另一個(gè)則是為高壓縮率設(shè)計(jì)從而存儲(chǔ)引擎可以是專為高并發(fā)寫(xiě)設(shè)計(jì)的，而另一個(gè)則是為高壓縮率設(shè)計(jì)從而達(dá)到節(jié)省磁盤(pán)空間的目標(biāo)。達(dá)到節(jié)省磁盤(pán)空間的目標(biāo)。mongoDBmongoDB默認(rèn)采用的存儲(chǔ)引擎是操作系統(tǒng)底層提供的內(nèi)存映射文件（默認(rèn)采用的存儲(chǔ)引擎是操作系統(tǒng)底層提供的內(nèi)存映射文件（MMAPMMAP）（至今也只有一種）。（至今也只有一種）。2021-12-1918硬實(shí)力內(nèi)存映射物理內(nèi)存物理內(nèi)存010000硬盤(pán)硬盤(pán)480200480虛擬內(nèi)存虛擬內(nèi)存100000200 mmap()Page fault, 10ms頁(yè)面不在內(nèi)存，缺頁(yè)中斷 10ms頁(yè)面已在內(nèi)存, 50us123

13、4硬實(shí)力故障恢復(fù)u復(fù)制集一個(gè)典型的集群結(jié)構(gòu)如下：Shards每一個(gè)shard包括一個(gè)或多個(gè)服務(wù)和存儲(chǔ)數(shù)據(jù)的mongod進(jìn)程（mongod是MongoDB數(shù)據(jù)的核心進(jìn)程），典型的每個(gè)shard開(kāi)啟多個(gè)服務(wù)來(lái)提高服務(wù)的可用性。這些服務(wù)/mongod進(jìn)程在shard中組成一個(gè)復(fù)制集。硬實(shí)力負(fù)載均衡2021-12-1921軟實(shí)力數(shù)據(jù)類型null 布爾布爾 ture|false整數(shù)整數(shù) 123浮點(diǎn)浮點(diǎn) 12.3字符串字符串 “hello world”對(duì)象對(duì)象ID 用 new ObjectId（）來(lái)申明。 日期日期 用 new Date（）來(lái)申明時(shí)間戳?xí)r間戳數(shù)組數(shù)組 “apple”,”blanan”,”p

14、ear”內(nèi)嵌文檔內(nèi)嵌文檔 “username” : “jone”, “age”: 13, “contact” : “home”:”123”,”moblie”:”456”RegExp 正則表達(dá)式 /a-z/2021-12-1922數(shù)字型表示MongoDB對(duì)整型數(shù)字的存儲(chǔ)分兩個(gè)級(jí)別，一個(gè)32位的，一是64位的。浮點(diǎn)數(shù)MongoDB僅支持64位的雙精度浮點(diǎn)數(shù)。整數(shù)表示法：64位浮點(diǎn)數(shù)表示法：0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0001mongo內(nèi)部?jī)?nèi)部, 所有數(shù)字都是用所有數(shù)字都是用lo

15、ng存儲(chǔ)存儲(chǔ), 所以單個(gè)數(shù)字是所以單個(gè)數(shù)字是8字節(jié)字節(jié)2021-12-1923字符型表示MongoDB的所有字符均采用UTF-8編碼。UTF-8（8-bit Unicode Transformation Format）是一種針對(duì)Unicode的可變長(zhǎng)度字符編碼，又稱萬(wàn)國(guó)碼。由Ken Thompson于1992年創(chuàng)建?，F(xiàn)在已經(jīng)標(biāo)準(zhǔn)化為RFC 3629。UTF-8用1到6個(gè)字節(jié)編碼UNICODE字符。2021-12-1924日期表示日期類型存儲(chǔ)是從標(biāo)準(zhǔn)紀(jì)元開(kāi)始的毫秒數(shù)，不存儲(chǔ)時(shí)區(qū)。JavaScript中，Date對(duì)象用作MongoDB的日期類型，由于JavaScript本身的特性，創(chuàng)建一個(gè)Date

16、對(duì)象時(shí)，通常會(huì)調(diào)用new Date()而不是使用Date()。因?yàn)檎{(diào)用Date()實(shí)際返回的是對(duì)日期的字符串表示，而不是真正的Date對(duì)象。格式：“date”:new Date() 2021-12-1925ObjectID詳解不同的機(jī)器都能用全局唯一的同種方法方便的生成它。ObjectId使用12字節(jié)的存儲(chǔ)空間，其生成方式如下：4e931cb6edcd881e1900017f時(shí)間戳 機(jī)器ID PID 計(jì)數(shù)器時(shí)間戳保證秒級(jí)唯一，機(jī)器ID保證設(shè)計(jì)時(shí)考慮分布式，避免時(shí)鐘同步，PID保證同一臺(tái)服務(wù)器運(yùn)行多個(gè)mongod實(shí)例時(shí)的唯一性，最后的計(jì)數(shù)器保證同一秒內(nèi)的唯一性。2021-12-1926字符串表示

17、由于字符采用的UTF-8編碼，目的就是為了實(shí)現(xiàn)字符串的可變格式和可變長(zhǎng)度。0標(biāo)識(shí)字符 串長(zhǎng)度字符串內(nèi)容參考：http:/ = 長(zhǎng)度長(zhǎng)度(4字節(jié)字節(jié)) + 字符串字符串(n字節(jié)字節(jié)) + (1字節(jié)字節(jié))2021-12-1927BSON格式存儲(chǔ)例：a:12BSON結(jié)構(gòu)如下： Len | vtype |key|0| v | E 長(zhǎng)度 | value類型 | key |0 | value|結(jié)束符號(hào) 4| 1 | 1 |1| 2 |1 = 10字節(jié)2021-12-1928軟實(shí)力文件在MongoDB內(nèi)部，每個(gè)數(shù)據(jù)庫(kù)都包含一個(gè).ns文件和一些數(shù)據(jù)文件，而且這些數(shù)據(jù)文件會(huì)隨著數(shù)據(jù)量的增加而變得越來(lái)越多。所以如

18、果系統(tǒng)中有一個(gè)叫做test的數(shù)庫(kù)，那么構(gòu)成test這個(gè)數(shù)據(jù)庫(kù)的文件就會(huì)由test.ns，test.0，test.1等等組成。其中*.ns是包含命名空間的文件，保存該數(shù)據(jù)庫(kù)數(shù)據(jù)的相關(guān)信息。*.0和*.1是數(shù)據(jù)文件。32位系統(tǒng)的MongoDB服務(wù)器每一個(gè)Mongod實(shí)例只能使用2G的數(shù)據(jù)文件。這是由于地址指針只能支持32位。2021-12-1929命名空間在數(shù)據(jù)文件內(nèi)部，每個(gè)數(shù)據(jù)庫(kù)都是按照命名空間組織的，一種類別的數(shù)據(jù)與其他類別的分開(kāi)存放。每個(gè)集合的文檔都有自己的命名空間，索引也是。命名空間的元數(shù)據(jù)存放在數(shù)據(jù)庫(kù)的 .ns 文件中。每個(gè)命名空間的數(shù)據(jù)都被分成若干組，放到數(shù)據(jù)文件的某一區(qū)域內(nèi)，這個(gè)區(qū)域

19、稱為數(shù)據(jù)域。在圖 中可以看到數(shù)據(jù)庫(kù) foo 有 3 個(gè)數(shù)據(jù)文件，其中第 3 個(gè)是預(yù)分配的空文件。前兩個(gè)數(shù)據(jù)文件被分成幾個(gè)數(shù)據(jù)域，屬于幾個(gè)不同的命名空間。2021-12-1930軟實(shí)力存儲(chǔ)過(guò)程2021-12-1931下圖展示了數(shù)據(jù)庫(kù)是如何跟底層系統(tǒng)打交道的虛擬地址空間2021-12-1932內(nèi)部文件格式在名字空間文件中，保存了每個(gè)名字空間的存儲(chǔ)信息元數(shù)據(jù)，包括其大小，塊數(shù)，第一塊位置，最后一塊位置，被刪除的塊的鏈表以及索引信息2021-12-1933塊結(jié)構(gòu)各個(gè)Extent(塊)采用雙鏈表的形式連接2021-12-1934塊和記錄各個(gè)文檔數(shù)據(jù)也是采用雙鏈表的形式連接2021-12-1935塊相關(guān)特

20、性1.每一條記錄在塊內(nèi)從4的倍數(shù)的字節(jié)處開(kāi)始2.塊的大小不會(huì)動(dòng)態(tài)擴(kuò)增3.盡量數(shù)據(jù)不跨塊，但若記錄的大小大于一個(gè)塊的大小，必然會(huì)跨塊4.相似記錄計(jì)量保持在同一個(gè)塊中2021-12-1936軟實(shí)力選擇查詢MySQL: SELECT * FROM userMongo: db.user.find()MySQL: SELECT * FROM user WHERE name = foobarMongo: db.user.find(name : foobar)2021-12-1937MySQL: INSERT INTO user (name, age) values (foobar,25)Mongo: db

21、.user.insert(name : foobar, age : 25)if you want add a column email on MySQL,you must : ALTER TABLE user.But in Mongo,you can just: db.user.insert(name : foobar, age : 25, email : )軟實(shí)力插入2021-12-1938 MongoDB在執(zhí)行插入時(shí)，首先，會(huì)將插入的數(shù)據(jù)轉(zhuǎn)換成BSON格式；然后，MongoDB數(shù)據(jù)庫(kù)會(huì)對(duì)BSON進(jìn)行解析，并且檢查是否存在“_id”鍵（_id鍵在插入數(shù)據(jù)庫(kù)時(shí)MongoDB會(huì)自動(dòng)生成）。MongoDB還對(duì)文檔的大小做了限制。1.8之前的版本，文檔不能超