2023學(xué)年完整公開課版HiveSQL調(diào)優(yōu)

HiveSQL調(diào)優(yōu)1.理解SQL調(diào)優(yōu)

2.具備SQL調(diào)優(yōu)能力1.

SQL調(diào)優(yōu)建議

2.SQL調(diào)優(yōu)總結(jié)

1.盡量盡早地過濾數(shù)據(jù)，減少每個(gè)階段的數(shù)據(jù)量,對(duì)于分區(qū)表要加分區(qū)，同時(shí)只選擇需要使用到的字段2.盡量原子化操作，盡量避免一個(gè)SQL包含復(fù)雜邏輯,可以使用中間表來(lái)完成復(fù)雜的邏輯3.小表要注意放在join的左邊（目前TCL里面很多都小表放在join的右邊。否則會(huì)引起磁盤和內(nèi)存的大量消耗4.如果unionall的部分個(gè)數(shù)大于2，或者每個(gè)union部分?jǐn)?shù)據(jù)量大，應(yīng)該拆成多個(gè)insertinto語(yǔ)句，實(shí)際測(cè)試過程中，執(zhí)行時(shí)間能提升50%5.寫SQL要先了解數(shù)據(jù)本身的特點(diǎn)，如果有join,group操作的話，要注意是否會(huì)有數(shù)據(jù)傾斜HiveSQL調(diào)優(yōu)的一些小建議使用分區(qū)剪裁、列剪裁

意思是，在select中，只拿需要的列，如果有，盡量使用分區(qū)過濾，少使用select*

另外在分區(qū)裁剪中，當(dāng)使用外關(guān)聯(lián)時(shí)，副表的過濾條件如果使用where就會(huì)導(dǎo)致先全表關(guān)聯(lián)在過濾，應(yīng)該改用on，或者之間使用子查詢少用count（distinct）count（distinct）是由一個(gè)reducetask來(lái)完成的，這一個(gè)reduce需要處理的數(shù)據(jù)量太大，就會(huì)導(dǎo)致整個(gè)job很難完成。count（distinct）可以使用先groupby再count的方式來(lái)替換HiveSQL調(diào)優(yōu)總結(jié)多對(duì)多的關(guān)聯(lián)

1.如果存在多對(duì)多關(guān)聯(lián)，起碼要保證有一個(gè)表或者結(jié)果集的關(guān)聯(lián)鍵不重復(fù) 2.如果某一個(gè)關(guān)聯(lián)鍵的記錄數(shù)非常多，那么分配到該reducetask的數(shù)據(jù)量將非常大，會(huì)導(dǎo)致整個(gè)job很難完成 3.避免笛卡爾集HiveSQL調(diào)優(yōu)總結(jié)合理使用UnionALL

1.對(duì)同一張表的unionall要比多重insert快得多。 2.原因是hive本身對(duì)這種unionall做過優(yōu)化，即只掃描依次源表，多重insert雖然也只掃描一次，但因?yàn)橐猧nsert到多個(gè)分區(qū)，所以做了很多其他的事情，導(dǎo)致消耗的時(shí)間非常長(zhǎng)。HiveSQL調(diào)優(yōu)總結(jié)合理使用動(dòng)態(tài)分區(qū)動(dòng)態(tài)分區(qū)可以優(yōu)化諸如需要往指定分區(qū)插入數(shù)據(jù)的這種操作。配置參數(shù)：hive.exec.dynamic.partition：是否開啟動(dòng)態(tài)分區(qū)，默認(rèn)為false，設(shè)置成truehive.exec.dynamic.partition.mode：默認(rèn)值表示必須指定至少一個(gè)靜態(tài)分區(qū)，默認(rèn)為strict，設(shè)置成nonstricthive.exec.max.dynamic.partitions.pernode：在每個(gè)執(zhí)行MR的節(jié)點(diǎn)上，最大可以創(chuàng)建多少個(gè)動(dòng)態(tài)分區(qū)，默認(rèn)100，按實(shí)際情況來(lái)定hive.exec.max.created.files：整個(gè)MRJob中，最大可以創(chuàng)建多少個(gè)HDFS文件，默認(rèn)值：100000，一般默認(rèn)值足夠了，除非你的數(shù)據(jù)量非常大，需要?jiǎng)?chuàng)建的文件數(shù)大于100000，可根據(jù)實(shí)際情況加以調(diào)整。hive.error.on.empty.partition：當(dāng)有空分區(qū)生成時(shí)，是否拋出異常，默認(rèn)值：false，一般不需要設(shè)置。HiveSQL調(diào)優(yōu)總結(jié)避免數(shù)據(jù)傾斜癥狀：任務(wù)進(jìn)度長(zhǎng)時(shí)間維持在99%（或100%）;查看任務(wù)監(jiān)控頁(yè)面，發(fā)現(xiàn)只有少量（1個(gè)或幾個(gè)）reduce子任務(wù)未完成。本地讀寫數(shù)據(jù)量