課程代碼剝絲抽繭說配置下

1、全量全量配置調(diào) 了解都有哪些重要模塊 了解模塊中 了解都有哪些重要模塊 了解模塊中默認(rèn)值為true。如果客戶端沒有設(shè)置此值，在region server默認(rèn)值為true。如果客戶端沒有設(shè)置此值，在region server默認(rèn)值為trueTracinginTracinginHBaseAppendixMEnablingDapper-master在處理regionserver啟動(dòng)時(shí)，會(huì)比較啟動(dòng)時(shí)間與master當(dāng)前時(shí)間差，用以確定兩時(shí)鐘差距超過此閾值時(shí)，拋出異常，異常會(huì)拋回region server注意：不要配置的過小，因?yàn)閺膔egionserver啟動(dòng)到master比較時(shí)鐘差之間本身也會(huì)有默認(rèn)值

2、master在處理regionserver啟動(dòng)時(shí)，會(huì)比較啟動(dòng)時(shí)間與master當(dāng)前時(shí)間差，用以確定兩時(shí)鐘差距超過此閾值時(shí)，拋出異常，異常會(huì)拋回region server注意：不要配置的過小，因?yàn)閺膔egionserver啟動(dòng)到master比較時(shí)鐘差之間本身也會(huì)有默認(rèn)值基于上個(gè)操作，如果時(shí)鐘差超過此閾值，會(huì)輸出警告日志，但是regionserver會(huì)正常啟默認(rèn)值當(dāng)regionserver掛掉后，region再重新分配前會(huì)進(jìn)行splitinglog，在splitinglog前，處regionsplit后，由master判斷父region默認(rèn)值為mergeregion分為兩步：第一步將兩個(gè)regio

3、n掛載到同一regionserver，第二步由region mergeregion分為兩步：第一步將兩個(gè)region掛載到同一regionserver，第二步由region 120000ms當(dāng)master啟動(dòng)或meta表所在regionserver掛掉后，等待meta表region信息寫入zookeeper的 當(dāng)master檢測(cè)到regionserver此配置表示是否使用表鎖，默認(rèn)值為true當(dāng)master檢測(cè)到regionserver此配置表示是否使用表鎖，默認(rèn)值為true 所有鎖的超時(shí)時(shí)間，hbcklogspliting后的無用文件會(huì)保存時(shí)間超過此閾值過后才會(huì)被刪除，默認(rèn)值為300000m

4、s更詳細(xì)的說明可以搜索“HFile和HLogBigdataBlog”apshot.periodlogspliting后的無用文件會(huì)保存時(shí)間超過此閾值過后才會(huì)被刪除，默認(rèn)值為300000ms更詳細(xì)的說明可以搜索“HFile和HLogBigdataBlog”apshot.period快照的相關(guān)請(qǐng)求，是通過這個(gè)機(jī)制實(shí)現(xiàn)的，功能類似master端的協(xié)Observe的region server結(jié)束時(shí)，會(huì)有一段時(shí)間處在等待regionserver態(tài)的regionserver，master 當(dāng)已匯報(bào)的region server的region server結(jié)束時(shí)，會(huì)有一段時(shí)間處在等待regionserver態(tài)

5、的regionserver，master 當(dāng)已匯報(bào)的region server 默認(rèn)值為當(dāng)匯報(bào)的region server未達(dá)到此閾值時(shí)，不退出等待，默認(rèn)值為1如果目前距上次有新region server負(fù)載均衡所使用的集群信息更新間隔，默認(rèn)值為默認(rèn)值為負(fù)載均衡所使用的集群信息更新間隔，默認(rèn)值為默認(rèn)值為在處理region分配時(shí)，如果目標(biāo)regionserver默認(rèn)值為批量分配region以及批量disableregion默認(rèn)值為 默認(rèn)值為批量分配region以及批量disableregion默認(rèn)值為 默認(rèn)值為默認(rèn)值為版本中應(yīng)該也會(huì)被設(shè)為版本中應(yīng)該也會(huì)被設(shè)為 負(fù)載均衡規(guī)劃時(shí)，是否為每個(gè)表分別規(guī)劃

6、，默認(rèn)值為false 負(fù)載均衡規(guī)劃時(shí)，是否為每個(gè)表分別規(guī)劃，默認(rèn)值為false情況、表加載情況、memstore大小以及store file大小，隨機(jī)提取兩個(gè)region server計(jì)算遷 負(fù)載均衡規(guī)劃時(shí)，是否為每個(gè)表分別規(guī)劃，默認(rèn)值為false情況、表加載情況、memstore大小以及store file大小，隨機(jī)提取兩個(gè)region server計(jì)算遷隨機(jī)選取遷移的源和目的regionserver，根據(jù)region數(shù)量以及隨機(jī)選取的規(guī)則(每次從三種 mastersplittingsplittinglog的過程中，對(duì)于zookeeper操作的重試次數(shù)，默認(rèn)值為3splittinglog任務(wù)

7、的最多重試次數(shù),默認(rèn)值為3當(dāng)splitinglog任務(wù)長(zhǎng)時(shí)間未結(jié)束后，會(huì)重試。重試前，如果發(fā)現(xiàn)執(zhí)行任務(wù)的region mastersplittingsplittinglog的過程中，對(duì)于zookeeper操作的重試次數(shù)，默認(rèn)值為3splittinglog任務(wù)的最多重試次數(shù),默認(rèn)值為3當(dāng)splitinglog任務(wù)長(zhǎng)時(shí)間未結(jié)束后，會(huì)重試。重試前，如果發(fā)現(xiàn)執(zhí)行任務(wù)的region 未完成splitinglog任務(wù)，也就是說重 檢測(cè)spliting log任務(wù)超時(shí)的時(shí)間間隔，默認(rèn)值為1000ms快照處理的線程池中的最大線程數(shù)，默認(rèn)值為快照處理的線程池中的最大線程數(shù)，默認(rèn)值為響應(yīng)快照操作線程池中的最大線程

8、數(shù)，默認(rèn)值為快照文件格式版本，默認(rèn)值為regionsplit和mergeregion的過程中，在加載region階段打印“Openingregion名”日志的時(shí) 當(dāng)需要對(duì)多個(gè)storefile進(jìn)行seek操作時(shí)，是否允許并行執(zhí)行。默認(rèn)值為regionsplit和mergeregion的過程中，在加載region階段打印“Openingregion名”日志的時(shí) 當(dāng)需要對(duì)多個(gè)storefile進(jìn)行seek操作時(shí)，是否允許并行執(zhí)行。默認(rèn)值為 處理器中曾用到的類實(shí)例)操作regionserver中的信息 mergeregion的線程池中的線程數(shù)，默認(rèn)值為region過濾器中所使用的hash值計(jì)算算法，

9、默認(rèn)值為murmur 可選值有jenkins、murmur3region過濾器中所使用的hash值計(jì)算算法，默認(rèn)值為murmur 可選值有jenkins、murmur3并發(fā)。獲取讀鎖的超時(shí)時(shí)間為min(hbase.busy.wait.duration * r.max, 行鎖數(shù)), hbase.ipc.cregion 客戶端請(qǐng)求時(shí)，等待行鎖的超時(shí)時(shí)間。默認(rèn)值為30000msregionserver會(huì)對(duì)用戶請(qǐng)求中的時(shí)間戳進(jìn)行比較，如果用戶時(shí)間戳大于當(dāng)前時(shí)間戳加此region 客戶端請(qǐng)求時(shí)，等待行鎖的超時(shí)時(shí)間。默認(rèn)值為30000msregionserver會(huì)對(duì)用戶請(qǐng)求中的時(shí)間戳進(jìn)行比較，如果用戶時(shí)間

10、戳大于當(dāng)前時(shí)間戳加此region默認(rèn)值為true 用戶increase和append的Nonce信息緩存時(shí)間，默認(rèn)值為1800000ms region默認(rèn)值為true 用戶increase和append的Nonce信息緩存時(shí)間，默認(rèn)值為1800000ms region server綁定到具體ip 是否在hbase一側(cè)驗(yàn)證數(shù)據(jù)完整性，默認(rèn)值為true，這會(huì)禁用hdfsregion)、closemeta(卸載meta region)region刪除標(biāo)記保留時(shí)間，默認(rèn)為0，第二次majorcompactionregion刪除標(biāo)記保留時(shí)間，默認(rèn)為0，第二次majorcompaction是否執(zhí)行進(jìn)程關(guān)閉

11、鉤子，默認(rèn)值為trueregionserverHLOG的spliting 當(dāng)重演HLOG重現(xiàn)異常時(shí)，是否忽略異常，默認(rèn)值為falseregionserverHLOG的spliting 當(dāng)重演HLOG重現(xiàn)異常時(shí)，是否忽略異常，默認(rèn)值為false 重演HLOG時(shí)，每隔多長(zhǎng)時(shí)間更新一次重演進(jìn)度，進(jìn)度信息可在WEBUIspliting log時(shí)，每隔多長(zhǎng)時(shí)間更新一次進(jìn)度，進(jìn)度信息可在WEB UIsplittinglog超時(shí)時(shí)間，默認(rèn)值為120000ms最多并行的splittinglog任務(wù)數(shù)，默認(rèn)值為regionserverHLOG的splitingregionserverHLOG的spliting默

12、認(rèn)值分別為HDFSblock大小和 HLOGregionserverHLOG的splitingregionserverHLOG的splitingsplittinglog的緩沖大小，默認(rèn)為128MBsplittinglog的寫入線程數(shù)，默認(rèn)為regionserverHLOG的spliting 在split false，異常會(huì)被拋出，split錯(cuò)誤。默認(rèn)設(shè)置為 trueregionserverHLOG的spliting 在split false，異常會(huì)被拋出，split錯(cuò)誤。默認(rèn)設(shè)置為 true每隔多少條HLOG更新一次splitinglog進(jìn)度，默認(rèn)值為當(dāng)寫入文件數(shù)大于此閾值時(shí)，開始更新進(jìn)度。默

13、認(rèn)值為splittinglog處理超時(shí)時(shí)間，默認(rèn)值為120000ms HLOG是否可以壓縮，默認(rèn)值為false如果上個(gè)配置為true。當(dāng)開啟了Celltag時(shí)，tag信息是否允許壓縮，默認(rèn)值為trueregionserverHLOG的spliting Cell內(nèi)容編碼值HLOGregionserverHLOG的spliting Cell內(nèi)容編碼值HLOG 可選值有regionserver 距上次memstoreflush后，多少個(gè)數(shù)據(jù)寫入操作后進(jìn)行flush 。hbase.hstore.flush.retries.number與默認(rèn)值分別為10和regionserver 距上次memstore

14、flush后，多少個(gè)數(shù)據(jù)寫入操作后進(jìn)行flush 。hbase.hstore.flush.retries.number與默認(rèn)值分別為10和 緩沖池初始化比例，默認(rèn)值為memstoreflush線程數(shù)，默認(rèn)值為regionserverhstoreio引擎，由于compaction策略、keyvalue比較器類型和storefile管理器類型互不regionserverhstoreio引擎，由于compaction策略、keyvalue比較器類型和storefile管理器類型互不策略的整合。傳統(tǒng)compaction機(jī)制和配置可搜索“深入分析HBaseCompaction機(jī)制，對(duì)其 的 region

15、server 使用DefaultStoreEngine時(shí)，compaction 默認(rèn)值為p該策略為搜索到的“深入分析HBaseCompaction regionserver 使用DefaultStoreEngine時(shí)，compaction 默認(rèn)值為p該策略為搜索到的“深入分析HBaseCompaction 默認(rèn)值為true regionserverregionserver regionserversplit split region的線程池中的線程數(shù)，默認(rèn)值為regionserversplit split region的線程池中的線程數(shù)，默認(rèn)值為 但修改了確定splitkey的方式。該策略中r

16、owkey中可以設(shè)置一個(gè)分隔符，如果splitkey中出現(xiàn)分隔符，則split key為分隔符前的部分。這樣可以使分隔符前的內(nèi)容作為前綴，且同一前綴的 regionserversplitregionserversplitsplitregionserversplitregionserversplit用于確定splitkey的閾值，當(dāng)規(guī)劃到的splitkey可以使兩部分文件總長(zhǎng)度比值(大:小)小于此閾值默認(rèn)值為regionserverervice和 replication replication狀態(tài)更新頻率，默認(rèn)值為300 replication目的集群中客戶端重試次數(shù)，默認(rèn)值為replicati

17、on目的集群中提供轉(zhuǎn)發(fā)服務(wù)的regionserver比例，默認(rèn)值為0.1，建議為regionserverervice和 replication replication狀態(tài)更新頻率，默認(rèn)值為300 replication目的集群中客戶端重試次數(shù)，默認(rèn)值為replication目的集群中提供轉(zhuǎn)發(fā)服務(wù)的regionserver比例，默認(rèn)值為0.1，建議為當(dāng)目的集群中的regionserver如果失敗次數(shù)超過此閾值，則從提供轉(zhuǎn)發(fā)服務(wù)的節(jié)點(diǎn)中移默認(rèn)值為 主集群每次像備集送的entry最大的個(gè)數(shù)，默認(rèn)值為regionserver 主集群每次像備集送的entry的包的最大值大小，默認(rèn)值為64MB repli

18、cation操作失敗重試前休眠的基礎(chǔ)時(shí)間。每次休眠時(shí)間為基礎(chǔ)時(shí)間*r replication操作最多休眠時(shí)間相對(duì)于基礎(chǔ)休眠時(shí)間的倍數(shù)。默認(rèn)值為r socket regionserver 主集群每次像備集送的entry的包的最大值大小，默認(rèn)值為64MB replication操作失敗重試前休眠的基礎(chǔ)時(shí)間。每次休眠時(shí)間為基礎(chǔ)時(shí)間*r replication操作最多休眠時(shí)間相對(duì)于基礎(chǔ)休眠時(shí)間的倍數(shù)。默認(rèn)值為r socket replication為字節(jié)每秒，默認(rèn)值為0 隊(duì)列中的HLOG文件數(shù)量超過此閾值時(shí)，打印警告日志。默認(rèn)值為 replicationrpc中Cell的編碼類，默認(rèn)值為nt.rpc.codecregionserver主集群在regionserver當(dāng)機(jī)后幾毫秒開始執(zhí)行replicat