2023學(xué)年完整公開課版hive數(shù)據(jù)傾斜

Hive數(shù)據(jù)傾斜2知識目標(biāo)數(shù)據(jù)傾斜的原因數(shù)據(jù)傾斜的情況數(shù)據(jù)傾斜的解決方案01能力目標(biāo)了解產(chǎn)生數(shù)據(jù)傾斜的原因掌握容易產(chǎn)生數(shù)據(jù)傾斜的情況掌握數(shù)據(jù)傾斜的解決方案02學(xué)習(xí)目標(biāo)1目錄01產(chǎn)生數(shù)據(jù)傾斜的原因02容易發(fā)生數(shù)據(jù)傾斜的情況03數(shù)據(jù)傾斜的解決方案數(shù)據(jù)傾斜產(chǎn)生原因2key分布不均勻或者某些key太集中業(yè)務(wù)數(shù)據(jù)本身的特性建表考慮不周全某些HQL語句本身就存在數(shù)據(jù)傾斜容易產(chǎn)生數(shù)據(jù)傾斜的情況3關(guān)鍵詞情形后果Join其中一個表較小，但key集中分發(fā)到某一個或幾個Reduce上的數(shù)據(jù)遠(yuǎn)高于平均值大表與大表，但是分桶的判斷字段0值或空值過多這些空值都由一個reduce處理，非常慢groupbygroupby維度過小，某值的數(shù)量過多處理某值的reduce非常耗時CountDistinc某特殊值過多處理此特殊值的reduce耗時4數(shù)據(jù)傾斜的解決方案-大表和小表關(guān)聯(lián)把重復(fù)關(guān)聯(lián)鍵少的表放在join前面做關(guān)聯(lián)可以提高join的效率?！?/p>

簡單來說，是把關(guān)聯(lián)鍵和標(biāo)記是在join左邊還是右邊的標(biāo)識位作為組合鍵(key)，把一條記錄以及標(biāo)記是在join左邊還是右邊的標(biāo)識位組合起來作為值(value)。在reduce的shuffle階段，按照組合鍵的關(guān)聯(lián)鍵進(jìn)行主排序，當(dāng)關(guān)聯(lián)鍵相同時，再按照標(biāo)識位進(jìn)行輔助排序。而在分區(qū)段時，只用關(guān)聯(lián)鍵中的關(guān)聯(lián)鍵進(jìn)行分區(qū)段，這樣關(guān)聯(lián)鍵相同的記錄就會放在同一個valuelist中，同時保證了join左邊的表的記錄在valuelist的前面，而join右邊的表的記錄在valuelist的后面。

數(shù)據(jù)傾斜的解決方案-大表和大表關(guān)聯(lián)5比如：大表與大表關(guān)聯(lián)，但是其中一張表的多是空值或者0比較多，容易shuffle給一個reduce，造成運(yùn)行慢。解決方式：這種情況可以對異常值賦一個隨機(jī)值來分散key,均勻分配給多個reduce去執(zhí)行當(dāng)key值都是有效值時，解決辦法為設(shè)置以下幾個參數(shù)sethive.exec.reducers.bytes.per.reducer=1000000000也就是每個節(jié)點(diǎn)的reduce默認(rèn)是處理1G大小的數(shù)據(jù)，如果你的join

操作也產(chǎn)生了數(shù)據(jù)傾斜，那么你可以在hive中設(shè)定sethive.optimize.skewjoin

=true;sethive.skewjoin.key=skew_key_threshold（default=100000）hive在運(yùn)行的時候沒有辦法判斷哪個key會產(chǎn)生多大的傾斜，所以使用這個參數(shù)控制傾斜的閾值，如果超過這個值，新的值會發(fā)送給那些還沒有達(dá)到的reduce,一般可以設(shè)置成你處理的總記錄數(shù)/reduce個數(shù)的2-4倍都可以接受。

數(shù)據(jù)傾斜的解決方案-groupby造成數(shù)據(jù)傾斜5使用Hive對數(shù)據(jù)做一些類型統(tǒng)計(jì)的時候遇到過某種類型的數(shù)據(jù)量特別多，而其他類型數(shù)據(jù)的數(shù)據(jù)量特別少。當(dāng)按照類型進(jìn)行g(shù)roupby的時候，會將相同的groupby字段的reduce任務(wù)需要的數(shù)據(jù)拉取到同一個節(jié)點(diǎn)進(jìn)行聚合，而當(dāng)其中每一組的數(shù)據(jù)量過大時，會出現(xiàn)其他組的計(jì)算已經(jīng)完成而這里還沒計(jì)算完成，其他節(jié)點(diǎn)的一直等待這個節(jié)點(diǎn)的任務(wù)執(zhí)行完成，所以會看到一直map100%

reduce99%的情況。解決方式：hive.map.aggr=true（默認(rèn)true）這個配置項(xiàng)代表是否在map端進(jìn)行聚合，相當(dāng)于Combinerhive.groupby.skewindata=true（默認(rèn)false）有數(shù)據(jù)傾斜的時候進(jìn)行負(fù)載均衡，當(dāng)選項(xiàng)設(shè)定為true，生成的查詢計(jì)劃會有兩個MRJob。第一個MRJob中，Map的輸出結(jié)果集合會隨機(jī)分布到Reduce中，每個Reduce做部分聚合操作，并輸出結(jié)果，這樣處理的結(jié)果是相同的GroupByKey有可能被分發(fā)到不同的Reduce中，從而達(dá)到負(fù)載均衡的目的；第二個MRJob再根據(jù)預(yù)處理的數(shù)據(jù)結(jié)果按照