計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)專業(yè)1《Google云計(jì)算三大核心技術(shù)1》

Google三大核心技術(shù)之一:Mabiner函數(shù)被執(zhí)行一般的,相同的代碼被用函數(shù)的輸出被保存最終輸出文件里biner函數(shù)的輸出被寫(xiě)到中間文件里,然后被發(fā)送給reduce任務(wù)函數(shù)的例子輸入輸出類型Maaaaaaaaster動(dòng)態(tài)的分配工作給幾千臺(tái)機(jī)器為了簡(jiǎn)化調(diào)試和測(cè)試,我們開(kāi)發(fā)了一個(gè)可替換的實(shí)現(xiàn),這個(gè)實(shí)現(xiàn)在本地執(zhí)行所有的Maaaster運(yùn)行一個(gè)HTTaae,Stringcontents:

foreachwordwincontents:

ifIsCaent;

EmitIntermediatew,"1";來(lái)自不同worer機(jī)器上的計(jì)數(shù)器值被周期性的傳送給master在aster把來(lái)自成功的maaster狀態(tài)頁(yè)里,以便人們可以查看實(shí)際的計(jì)算進(jìn)度當(dāng)計(jì)算計(jì)數(shù)器值的時(shí)候消除重復(fù)執(zhí)行的影響,防止數(shù)據(jù)的累加在備用任務(wù)的使用,和由于出錯(cuò)的重新執(zhí)行,可以產(chǎn)生重復(fù)執(zhí)行有些計(jì)數(shù)器值被Ma2G2000Gar的最高紀(jì)錄1057秒差不多需要注意的事情是:因此位置優(yōu)化的原因,很多數(shù)據(jù)都是從本地磁盤(pán)讀取的而沒(méi)有通過(guò)我們有限帶寬的網(wǎng)絡(luò),所以輸入速度比排序速度和輸出速度都要快排序速度比輸出速度快的原因是輸出階段寫(xiě)兩個(gè)排序后數(shù)據(jù)的拷貝我們寫(xiě)兩個(gè)副本的原因是為了可靠性和可用性我們寫(xiě)兩份的原因是因?yàn)榈讓游募到y(tǒng)的可靠性和可用性的要求如果底層文件系統(tǒng)用類似容錯(cuò)編碼erasurecoding的方式,而不采用復(fù)制寫(xiě)的方式,在寫(xiě)盤(pán)階段可以降低網(wǎng)絡(luò)帶寬的要求。備用任務(wù)的影響在圖3b中,顯示我們不用備用任務(wù)的排序程序的執(zhí)行情況除了它有一個(gè)很長(zhǎng)的幾乎沒(méi)有寫(xiě)動(dòng)作發(fā)生的尾巴外,執(zhí)行流程和圖3a相似在960秒后,只有5個(gè)reduce任務(wù)沒(méi)有完成然而,就是這最后幾個(gè)落后者知道300秒后才完成全部的計(jì)算任務(wù)執(zhí)行了1283秒,多花了44%的時(shí)間機(jī)器失效在圖3c中,程序因?yàn)閮H僅程序被停止,而機(jī)器仍然在正常運(yùn)行因?yàn)橐呀?jīng)完成的maaming以及一些Mitives提供了更高級(jí)別的抽象,系統(tǒng)的不同之處在,Maaae,Shun-TaLeung,和JoshRedstone,LiangOlcanSercinogluBurrows,WilsonHsieh,JoshLevenberg,Sharona_tass100;

out->set_format"tet";

out->set_reducer_class"Adder";

果要支持更大的文件系統(tǒng)，那么增加一些內(nèi)存的方法對(duì)于我們將元數(shù)據(jù)〔metadata〕保存在內(nèi)存種所獲得的簡(jiǎn)單性、可靠性、高性能和靈活性來(lái)說(shuō)，這只是一個(gè)很小的代價(jià)。

B、塊位置：

master并不為chunserver所擁有的塊的副本的保存一個(gè)不變的記錄。它在啟動(dòng)時(shí)通過(guò)簡(jiǎn)單的查詢來(lái)獲得這些信息。Master可以保持這些信息的更新，因?yàn)樗刂扑袎K的放置并通過(guò)HeartBeat消息來(lái)監(jiān)控chunserver的狀態(tài)。

這樣做的好處：因?yàn)閏hunserver可能參加或離開(kāi)集群、改變路徑名、崩潰、重啟等，一個(gè)集群重有成百個(gè)server，這些事件經(jīng)常發(fā)生，這種方法就排除了master與chunserver之間的同步問(wèn)題。

另一個(gè)原因是：只有chunserver才能確定它自己到底有哪些塊，由于錯(cuò)誤，chunserver中的一些塊可能會(huì)很自然的消失，這樣在master中就沒(méi)有必要為此保存一個(gè)不變的記錄。

C、操作日志：

操作日志包含了對(duì)metadata所作的修改的歷史記錄。它作為邏輯時(shí)間線定義了并發(fā)操作的執(zhí)行順序。文件、塊以及它們的版本號(hào)都由它們被創(chuàng)立時(shí)的邏輯時(shí)間而唯一地、永久地被標(biāo)識(shí)。

操作日志是如此的重要，我們必須要將它可靠地保存起來(lái)，并且只有在metadata的改變固定下來(lái)之后才將變化呈現(xiàn)給用戶。所以我們將操作日志復(fù)制到數(shù)個(gè)遠(yuǎn)程的機(jī)器上，并且只有在將相應(yīng)的日志記錄寫(xiě)到本地和遠(yuǎn)程的磁盤(pán)上之后才答復(fù)用戶的請(qǐng)求。

Master可以用操作日志來(lái)恢復(fù)它的文件系統(tǒng)的狀態(tài)。為了將啟動(dòng)時(shí)間減至最小，日志就必須要比擬小。每當(dāng)日志的長(zhǎng)度增長(zhǎng)到超過(guò)一定的規(guī)模后，master就要檢查它的狀態(tài)，它可以從本地磁盤(pán)裝入最近的檢查點(diǎn)來(lái)恢復(fù)狀態(tài)。

創(chuàng)建一個(gè)檢查點(diǎn)比擬費(fèi)時(shí)，master的狀態(tài)是以一種在創(chuàng)立一個(gè)檢查點(diǎn)時(shí)并不耽誤即將到來(lái)的修改操作的方式來(lái)組織的。Master切換到一個(gè)新的日子文件并在一個(gè)單獨(dú)的線程中創(chuàng)立檢查點(diǎn)。這個(gè)新的檢查點(diǎn)記錄了切換前所有的修改。在一個(gè)有數(shù)十萬(wàn)文件的集群中用一分鐘左右就能完成。創(chuàng)立完后，將它寫(xiě)入本地和遠(yuǎn)程的磁盤(pán)。

〔7〕數(shù)據(jù)完整性

名字空間的修改必須是原子性的，它們只能有master處理：名字空間鎖保證了操作的原子性和正確性，而master的操作日志在全局范圍內(nèi)定義了這些操作的順序。

文件區(qū)間的狀態(tài)在修改之后依賴于修改的類型，不管操作成功還是失敗，也不管是不是并發(fā)操作。如果不管從哪個(gè)副本上讀，所有的客戶都看到同樣的數(shù)據(jù)，那么文件的這個(gè)區(qū)域就是一致的。如果文件的區(qū)域是一致的并且用戶可以看到修改操作所寫(xiě)的數(shù)據(jù)，那么它就是已定義的。如果修改是在沒(méi)有并發(fā)寫(xiě)操作的影響下完成的，那么受影響的區(qū)域是已定義的，所有的client都能看到寫(xiě)的內(nèi)容。成功的并發(fā)寫(xiě)操作是未定義但卻是一致的。失敗的修改將使區(qū)間處于不一致的狀態(tài)。

Write操作在應(yīng)用程序指定的偏移處寫(xiě)入數(shù)據(jù)，而recordaaster和chunserver間定期的handshae，借助校驗(yàn)和來(lái)檢測(cè)對(duì)數(shù)據(jù)的破壞。一旦檢測(cè)到，就從一個(gè)有效的副本盡快重新存儲(chǔ)。只有在GFS檢測(cè)前，所有的副本都失效，這個(gè)塊才會(huì)喪失。2、系統(tǒng)交互

〔1〕租約〔lease〕和修改順序：

〔2〕數(shù)據(jù)流

我們的目標(biāo)是充分利用每個(gè)機(jī)器的網(wǎng)絡(luò)帶寬，防止網(wǎng)絡(luò)瓶頸和延遲

為了有效的利用網(wǎng)絡(luò)，我們將數(shù)據(jù)流和控制流別離。數(shù)據(jù)是以流水線的方式在選定的chunerserver鏈上線性的傳遞的。每個(gè)機(jī)器的整個(gè)對(duì)外帶寬都被用作傳遞數(shù)據(jù)。為防止瓶頸，每個(gè)機(jī)器在收到數(shù)據(jù)后，將它收到數(shù)據(jù)盡快傳遞給離它最近的機(jī)器。

〔3〕原子性的recordAary上多了一些邏輯判斷。首先，client將數(shù)據(jù)發(fā)送到文件最后一塊的所有副本上。然后向ary發(fā)送請(qǐng)求。ary檢查添加操作是否會(huì)導(dǎo)致該塊超過(guò)最大的規(guī)模〔64M〕。如果這樣，它將該塊擴(kuò)充到最大規(guī)模，并告訴其它副本做同樣的事，同時(shí)通知client該操作需要在下一個(gè)塊上重新嘗試。如果記錄滿足最大規(guī)模的要求，ary就會(huì)將數(shù)據(jù)添加到它的副本上，并告訴其它的副本在在同樣的偏移處寫(xiě)數(shù)據(jù)，最后ary向client報(bào)告寫(xiě)操作成功。如果在任何一個(gè)副本上recordaary。根據(jù)一致性保證，成功的recordaaster受到一個(gè)snaaster交互以找到擁有l(wèi)ease的副本。這就給master一個(gè)創(chuàng)立這個(gè)塊的副本的機(jī)會(huì)。

副本被撤銷或終止后，master在磁盤(pán)上登記執(zhí)行的操作，然后復(fù)制源文件或目錄樹(shù)的metadata以對(duì)它的內(nèi)存狀態(tài)實(shí)施登記的操作。這個(gè)新創(chuàng)立的snaetadata〕指向相同的塊〔chun〕。

Snaaster以找到擁有l(wèi)ease的副本。Master注意到chunc的引用記數(shù)比1大，它延遲對(duì)用戶的響應(yīng)，選擇一個(gè)chunhandleC’,然后要求每一有chunc的副本的chunserver創(chuàng)立一個(gè)塊C’。每個(gè)chunserver在本地創(chuàng)立chunC’防止了網(wǎng)絡(luò)開(kāi)銷。從這以后和對(duì)別的塊的操作沒(méi)有什么區(qū)別。

3、MASTER操作

MASTER執(zhí)行所有名字空間的操作，除此之外，他還在系統(tǒng)范圍管理數(shù)據(jù)塊的復(fù)制：決定數(shù)據(jù)塊的放置方案，產(chǎn)生新數(shù)據(jù)塊并將其備份，和其他系統(tǒng)范圍的操作協(xié)同來(lái)確保數(shù)據(jù)備份的完整性，在所有的數(shù)據(jù)塊效勞器之間平衡負(fù)載并收回沒(méi)有使用的存儲(chǔ)空間。

名字空間管理和加鎖

與傳統(tǒng)文件系統(tǒng)不同的是，GFS沒(méi)有與每個(gè)目錄相關(guān)的能列出其所有文件的數(shù)據(jù)結(jié)構(gòu)，它也不支持別名〔uni中的硬連接或符號(hào)連接〕，不管是對(duì)文件或是目錄。GFS的名字空間邏輯上是從文件元數(shù)據(jù)到路徑名映射的一個(gè)查用表。

MASTER在執(zhí)行某個(gè)操作前都要獲得一系列鎖，例如，它要對(duì)/d1/d2…/dn/leaf執(zhí)行操作，那么它必須獲得/d1，/d1/d2，…，/d1/d2/…/dn的讀鎖，/d1/d2…/dn/leaf的讀鎖或?qū)戞i〔其中l(wèi)eaf可以使文件也可以是目錄〕。MASTER操作的并行性和數(shù)據(jù)的一致性就是通過(guò)這些鎖來(lái)實(shí)現(xiàn)的。

備份存儲(chǔ)放置策略

一個(gè)GFS集群文件系統(tǒng)可能是多層分布的。一般情況下是成千上萬(wàn)個(gè)文件塊效勞器分布于不同的機(jī)架上，而這些文件塊效勞器又被分布于不同機(jī)架上的客戶來(lái)訪問(wèn)。因此，不同機(jī)架上的兩臺(tái)機(jī)器之間的通信可能通過(guò)一個(gè)或多個(gè)交換機(jī)。數(shù)據(jù)塊冗余配置策略要到達(dá)連個(gè)目的：最大的數(shù)據(jù)可靠性和可用性，最大的網(wǎng)絡(luò)帶寬利用率。因此，如果僅僅把數(shù)據(jù)的拷貝置于不同的機(jī)器上很難滿足這兩個(gè)要求，必須在不同的機(jī)架上進(jìn)行數(shù)據(jù)備份。這樣即使整個(gè)機(jī)架被毀或是掉線，也能確保數(shù)據(jù)的正常使用。這也使數(shù)據(jù)傳輸，尤其是讀數(shù)據(jù)，可以充分利用帶寬，訪問(wèn)到多個(gè)機(jī)架，而寫(xiě)操作，那么不得不涉及到更多的機(jī)架。

產(chǎn)生、重復(fù)制、重平衡數(shù)據(jù)塊

當(dāng)MASTER產(chǎn)生新的數(shù)據(jù)塊時(shí)，如何放置新數(shù)據(jù)塊，要考慮如下幾個(gè)因素：〔1〕盡量放置在磁盤(pán)利用率低的數(shù)據(jù)塊效勞器上，這樣，慢慢地各效勞器的磁盤(pán)利用率就會(huì)到達(dá)平衡。〔2〕盡量控制在一個(gè)效勞器上的“新創(chuàng)立〞的次數(shù)。〔3〕由于上一小節(jié)討論的原因，我們需要把數(shù)據(jù)塊放置于不同的機(jī)架上。

MASTER在可用的數(shù)據(jù)塊備份低于用戶設(shè)定的數(shù)目時(shí)需要進(jìn)行重復(fù)制。這種情況源于多種原因：效勞器不可用，數(shù)據(jù)被破壞，磁盤(pán)被破壞，或者備份數(shù)目被修改。每個(gè)被需要重復(fù)制的數(shù)據(jù)塊的優(yōu)先級(jí)根據(jù)以下幾項(xiàng)確定：第一是現(xiàn)在的數(shù)目距目標(biāo)的距離，對(duì)于能阻塞用戶程序的數(shù)據(jù)塊，我們也提高它的優(yōu)先級(jí)。最后，MASTER按照產(chǎn)生數(shù)據(jù)塊的原那么復(fù)制數(shù)據(jù)塊，并把它們放到不同的機(jī)架內(nèi)的效勞器上。

MASTER周期性的平衡各效勞器上的負(fù)載：它檢查chun分布和負(fù)載平衡，通過(guò)這種方式來(lái)填充一個(gè)新的效勞器而不是把其他的內(nèi)容統(tǒng)統(tǒng)放置到它上面帶來(lái)大量的寫(xiě)數(shù)據(jù)。數(shù)據(jù)塊放置的原那么與上面討論的相同，此外，MASTER還決定那些數(shù)據(jù)塊要被移除，原那么上他會(huì)去除那些空閑空間低于平均值的那些效勞器。

垃圾收集

在一個(gè)文件被刪除之后，GFS并不立即收回磁盤(pán)空間，而是等到垃圾收集程序在文件和數(shù)據(jù)塊級(jí)的的檢查中收回。

當(dāng)一個(gè)文件被應(yīng)用程序刪除之后，MASTER會(huì)立即記錄下這些變化，但文件所占用的資源卻不會(huì)被立即收回，而是重新給文件命了一個(gè)隱藏的名字，并附上了刪除的時(shí)間戳。在MASTER定期檢查名字空間時(shí)，它刪除超過(guò)三天〔可以設(shè)定〕的隱藏的文件。在此之前，可以以一個(gè)新的名字來(lái)讀文件，還可以以前的名字恢復(fù)。當(dāng)隱藏的文件在名字空間中被刪除以后，它在內(nèi)存中的元數(shù)據(jù)即被擦除，這就有效地切斷了他和所有數(shù)據(jù)塊的聯(lián)系。

在一個(gè)相似的定期的名字空間檢查中，MASTER確認(rèn)孤兒數(shù)據(jù)塊〔不屬于任何文件〕并擦除他的元數(shù)據(jù)，在和MASTER的心跳信息交換中，每個(gè)效勞器報(bào)告他所擁有的數(shù)據(jù)塊，MASTER返回元數(shù)據(jù)不在內(nèi)存的數(shù)據(jù)塊，效勞器即可以刪除這些數(shù)據(jù)塊。

過(guò)時(shí)數(shù)據(jù)的探測(cè)

在數(shù)據(jù)更新時(shí)如果效勞器停機(jī)了，那么他所保存的數(shù)據(jù)備份就會(huì)過(guò)時(shí)。對(duì)每個(gè)數(shù)據(jù)塊，MASTER設(shè)置了一個(gè)版本號(hào)來(lái)區(qū)別更新過(guò)的數(shù)據(jù)塊和過(guò)時(shí)的數(shù)據(jù)塊。

當(dāng)MASTER一個(gè)新的lease時(shí)，他會(huì)增加數(shù)據(jù)塊的版本號(hào)并會(huì)通知更新數(shù)據(jù)備份。MASTER和備份都會(huì)記錄下當(dāng)前的版本號(hào)，如果一個(gè)備份當(dāng)時(shí)不可用，那么他的版本號(hào)不可能提高，當(dāng)ChunServer重新啟動(dòng)并向MASTER報(bào)告他的數(shù)據(jù)塊集時(shí)，MASTER就會(huì)發(fā)現(xiàn)過(guò)時(shí)的數(shù)據(jù)。

MASTER在定期的垃圾收集程序中去除過(guò)時(shí)的備份，在此以前，處于效率考慮，在各客戶及英大使，他會(huì)認(rèn)為根本不存在過(guò)時(shí)的數(shù)據(jù)。作為另一個(gè)平安措施，MASTER在給客戶及關(guān)于數(shù)據(jù)塊的應(yīng)答或是另外一個(gè)讀取數(shù)據(jù)的效勞器數(shù)據(jù)是都會(huì)帶上版本信息，在操作前客戶機(jī)和效勞器會(huì)驗(yàn)證版本信息以確保得到的是最新的數(shù)據(jù)。4、容錯(cuò)和診斷

高可靠性

快速恢復(fù)

不管如何終止效勞，MASTER和數(shù)據(jù)塊效勞器都會(huì)在幾秒鐘內(nèi)恢復(fù)狀態(tài)和運(yùn)行。實(shí)際上，我們不對(duì)正常終止和不正常終止進(jìn)行區(qū)分，效勞器進(jìn)程都會(huì)被切斷而終止?？蛻魴C(jī)和其他的效勞器會(huì)經(jīng)歷一個(gè)小小的中斷，然后它們的特定請(qǐng)求超時(shí)，重新連接重啟的效勞器，重新請(qǐng)求。

數(shù)據(jù)塊備份

如上文所討論的，每個(gè)數(shù)據(jù)塊都會(huì)被備份到放到不同機(jī)架上的不同效勞器上。對(duì)不同的名字空間，用戶可以設(shè)置不同的備份級(jí)別。在數(shù)據(jù)塊效勞器掉線或是數(shù)據(jù)被破壞時(shí)，MASTER會(huì)按照需要來(lái)復(fù)制數(shù)據(jù)塊。

MASTER備份

為確?？煽啃?，MASTER的狀態(tài)、操作記錄和檢查點(diǎn)都在多臺(tái)機(jī)器上進(jìn)行了備份。一個(gè)操作只有在數(shù)據(jù)塊效勞器硬盤(pán)上刷新并被記錄在MASTER和其備份的上之后才算是成功的。如果MASTER或是硬盤(pán)失敗，系統(tǒng)監(jiān)視器會(huì)發(fā)現(xiàn)并通過(guò)改變域名啟動(dòng)它的一個(gè)備份機(jī)，而客戶機(jī)那么僅僅是使用標(biāo)準(zhǔn)的名稱來(lái)訪問(wèn)，并不會(huì)發(fā)現(xiàn)MASTER的改變。

數(shù)據(jù)完整性

每個(gè)數(shù)據(jù)塊效勞器都利用校驗(yàn)和來(lái)檢驗(yàn)存儲(chǔ)數(shù)據(jù)的完整性。原因：每個(gè)效勞器隨時(shí)都有發(fā)生崩潰的可能性，并且在兩個(gè)效勞器間比擬數(shù)據(jù)塊也是不現(xiàn)實(shí)的，同時(shí)，在兩臺(tái)效勞器間拷貝數(shù)據(jù)并不能保證數(shù)據(jù)的一致性。

每個(gè)Chun按64B的大小分成塊，每個(gè)塊有32位的校驗(yàn)和，校驗(yàn)和和日志存儲(chǔ)在一起，和用戶數(shù)據(jù)分開(kāi)。

在讀數(shù)據(jù)時(shí)，效勞器首先檢查與被讀內(nèi)容相關(guān)局部的校驗(yàn)和，因此，效勞器不會(huì)傳播錯(cuò)誤的數(shù)據(jù)。如果所檢查的內(nèi)容和校驗(yàn)和不符，效勞器就會(huì)給數(shù)據(jù)請(qǐng)求者返回一個(gè)錯(cuò)誤的信息，并把這個(gè)情況報(bào)告給MASTER?？蛻魴C(jī)就會(huì)讀其他的效勞器來(lái)獲取數(shù)據(jù)，而MASTER那么會(huì)從其他的拷貝來(lái)復(fù)制數(shù)據(jù)，等到一個(gè)新的拷貝完成時(shí)，MASTER就會(huì)通知報(bào)告錯(cuò)誤的效勞器刪除出錯(cuò)的數(shù)據(jù)塊。

附加寫(xiě)數(shù)據(jù)時(shí)的校驗(yàn)和計(jì)算優(yōu)化了，因?yàn)檫@是主要的寫(xiě)操作。我們只是更新增加局部的校驗(yàn)和，即使末尾局部的校驗(yàn)和數(shù)據(jù)已被損壞而我們沒(méi)有檢查出來(lái)，新的校驗(yàn)和與數(shù)據(jù)會(huì)不相符，這種沖突在下次使用時(shí)將會(huì)被檢查出來(lái)。

相反，如果是覆蓋現(xiàn)有數(shù)據(jù)的寫(xiě)，在寫(xiě)以前，我們必須檢查第一和最后一個(gè)數(shù)據(jù)塊，然后才能執(zhí)行寫(xiě)操作，最后計(jì)算和記錄校驗(yàn)和。如果我們?cè)诟采w以前不先檢查首位數(shù)據(jù)塊，計(jì)算出的校驗(yàn)和那么會(huì)因?yàn)闆](méi)被覆蓋的數(shù)據(jù)而產(chǎn)生錯(cuò)誤。

在空閑時(shí)間，效勞器會(huì)檢查不活潑的數(shù)據(jù)塊的校驗(yàn)和，這樣可以檢查出不經(jīng)常讀的數(shù)據(jù)的錯(cuò)誤。一旦錯(cuò)誤被檢查出來(lái)，效勞器會(huì)拷貝一個(gè)正確的數(shù)據(jù)塊來(lái)代替錯(cuò)誤的。

診斷工具

廣泛而細(xì)致的診斷日志以微小的代價(jià)換取了在問(wèn)題隔離、診斷、性能分析方面起到了重大的作用。GFS效勞器用日志來(lái)記錄顯著的事件〔例如效勞器停機(jī)和啟動(dòng)〕和遠(yuǎn)程的應(yīng)答。遠(yuǎn)程日志記錄機(jī)器之間的請(qǐng)求和應(yīng)答，通過(guò)收集不同機(jī)器上的日志記錄，并對(duì)它們進(jìn)行分析恢復(fù)，我們可以完整地重現(xiàn)活動(dòng)的場(chǎng)景，并用此來(lái)進(jìn)行錯(cuò)誤分析。

6測(cè)量

測(cè)試環(huán)境

一臺(tái)主控機(jī)，兩臺(tái)主控機(jī)備份，16臺(tái)數(shù)據(jù)塊效勞器，16臺(tái)客戶機(jī)。

每臺(tái)機(jī)器：2塊1.4G2G80G的硬盤(pán)，1塊100Mb1G

首先，BigTable從2021年初就開(kāi)始研發(fā)了，到現(xiàn)在為止已經(jīng)用了將近8個(gè)月?！?021年2月〕目前大概有100個(gè)左右的效勞使用BigTable，比方：amutable的SSTables，一臺(tái)機(jī)器一個(gè)日志文件。當(dāng)系統(tǒng)的內(nèi)存滿后，系統(tǒng)會(huì)壓縮一些Tablets。由于Jeff在論述這點(diǎn)的時(shí)候說(shuō)的很快，所以我沒(méi)有時(shí)間把聽(tīng)到的都記錄下來(lái)，因此下面是一個(gè)大概的說(shuō)明：壓縮分為：主要和次要的兩局部。次要的壓縮僅僅包括幾個(gè)Tablets，而主要的壓縮時(shí)關(guān)于整個(gè)系統(tǒng)的壓縮。主壓縮有回收硬盤(pán)空間的功能。Tablets的位置實(shí)際上是存儲(chǔ)在幾個(gè)特殊的BigTable的存儲(chǔ)單元cell中?？雌饋?lái)這是一個(gè)三層的系統(tǒng)?？蛻舳擞幸粋€(gè)指向METAO的Tablets的指針。如果METAO的Tablets被頻繁使用，那個(gè)這臺(tái)機(jī)器就會(huì)放棄其他的tablets專門(mén)支持METAO這個(gè)Tablets。METAOtablets保持著所有的META1的tablets的記錄。這些tablets中包含著查找tablets的實(shí)際位置?！怖蠈?shí)說(shuō)翻譯到這里，我也不太明白?！吃谶@個(gè)系統(tǒng)中不存在大的瓶頸，因?yàn)楸活l繁調(diào)用的數(shù)據(jù)已經(jīng)被提前獲得并進(jìn)行了緩存?，F(xiàn)在我們返回到對(duì)列的說(shuō)明：列是類似下面的形式：family:ol頁(yè)面的代碼?！癮nchor:news〞中包含著相對(duì)應(yīng)的url，〞anchor:包含著鏈接的文字局部。列中包含著類型信息。翻譯到這里我