分布式表格系統(tǒng)

分布式表格系統(tǒng)一、分布式表格系統(tǒng)云計(jì)算的分布式表格系統(tǒng)依賴于下層的分布式文件系統(tǒng)(如Google的GFS)提供可靠和高效的數(shù)據(jù)存儲(chǔ)，也是分布式文件系統(tǒng)的主要使用者。以Google的Bigtable為例，其數(shù)據(jù)模型是：(row:string,column:string,time:int64)->value:string2一、分布式表格系統(tǒng)行(row)行(row)是二進(jìn)制串，最大長(zhǎng)度為64KB(實(shí)際應(yīng)用中，大部分行字符串為10~100字節(jié))。對(duì)統(tǒng)一行內(nèi)的數(shù)據(jù)的讀或?qū)懣偸窃拥?。分布式表格系統(tǒng)總是把整個(gè)表格按行(row)排序(字典序)，然后按整行動(dòng)態(tài)切分，每個(gè)切分后的塊稱為一個(gè)子表(tablet，在Google的Bigtable中，每個(gè)子表一般不超過(guò)256MB)，子表也是分布式表格系統(tǒng)的worker加載/卸載和負(fù)載平衡的基本單元。在網(wǎng)頁(yè)庫(kù)表格中，行(row)是網(wǎng)頁(yè)的URL，但其中的域名部分被顛倒了，例如/index.html變成了com.google.maps/index.html，這樣使得域名相似的網(wǎng)頁(yè)聚集在一起，由于域名相似的網(wǎng)頁(yè)在內(nèi)容上往往有一定的相似性，因此可以產(chǎn)生更高的壓縮倍率，并使得一些應(yīng)用程序更加高效。3一、分布式表格系統(tǒng)列(column)列按列族(columnfamily)分組，同一列族內(nèi)的單元格的內(nèi)容常常相同，并用修飾詞(qualifier)區(qū)分不同的單元格，即column=“family:qualifier”。一個(gè)表格內(nèi)的列族個(gè)數(shù)是有限的(例如最多上百個(gè))且一般由可打印字符組成，但修飾詞(qualifier)的個(gè)數(shù)沒(méi)有任何限制且可以是任意字符。例如，網(wǎng)頁(yè)庫(kù)表格中，content(網(wǎng)頁(yè)內(nèi)容)可以是一個(gè)列族，language(語(yǔ)言)可能是另外一個(gè)列族。出于進(jìn)一步的性能優(yōu)化的考慮，Bigtable還允許用戶把內(nèi)容相似或相關(guān)的列族組成局部群組(localitygroup)，同一局部群組內(nèi)的列族的數(shù)據(jù)常常存放在一起，這樣可以加快它們的訪問(wèn)速度；用戶還可以把某些局部群組設(shè)定為裝入內(nèi)存，這樣訪問(wèn)這些群組時(shí)就不需要訪問(wèn)磁盤(pán)。4一、分布式表格系統(tǒng)列族是權(quán)限控制的基本單元：有些用戶可以添加新數(shù)據(jù)、修改已經(jīng)存在的數(shù)據(jù)，有些用戶只能讀已經(jīng)存在的數(shù)據(jù)，還有一些用戶連已經(jīng)存在的數(shù)據(jù)都不能讀。局部群組則是數(shù)據(jù)壓縮的基本單元，用戶可以對(duì)不同的局部群組指定不同的壓縮算法或者同一壓縮算法的不同參數(shù)。5一、分布式表格系統(tǒng)時(shí)間戳?xí)r間戳是64位整數(shù)，可以用來(lái)表示真正的時(shí)間(例如網(wǎng)頁(yè)抓取的時(shí)間)，這時(shí)它的單位是微秒，時(shí)間戳也可以是用戶指定的任意值。Bigtable允許用戶(針對(duì)列族)指定保存最新的多少個(gè)時(shí)間戳版本或者從現(xiàn)在起多長(zhǎng)時(shí)間內(nèi)的版本(如一周以內(nèi)所有版本)，例如，在網(wǎng)頁(yè)庫(kù)表格中設(shè)置為保留最新的3個(gè)版本，超出的版本則被垃圾回收；6一、分布式表格系統(tǒng)Bigtable采用了3層B+樹(shù)結(jié)構(gòu)來(lái)存儲(chǔ)表格數(shù)據(jù)，第三層為用戶數(shù)據(jù)層(userdatatablets)，第二層為元數(shù)據(jù)索引層(metadatatablets)，用來(lái)索引用戶數(shù)據(jù)tablets，第一層為根索引層(roottablet)，用來(lái)索引第二層數(shù)據(jù)。根索引層和元數(shù)據(jù)索引層的主要數(shù)據(jù)被設(shè)置為裝入內(nèi)存，應(yīng)用程序需要訪問(wèn)用戶數(shù)據(jù)時(shí)，Bigtab