專15-4-DTCC2016Qunar李海龍專15-4-DTCC2016Qunar李海龍

李海龍hailong.li@shuhujiaolong@163.BasicKnowledgeOptimizeQuerySomeCasesAboutIndexSomeParametersBasicKnowledgeDBMS令DDL:DataDefinitionLanguage令DML:DataManipulationLanguage。數(shù)據(jù)更新又分成插入、刪除和修令DCL:DataControlLanguageBasicKnowledgeELECTINSERTDELETEUPDATE標準為SQL2011)的擴展，屬于DataTransactionLanguage,有些資料直接將DML.發(fā)給DBMS的所有的DDL,DML,DCL可統(tǒng)稱為Query,俗稱SQL語句.不是所有的Query都可以優(yōu)化，DCL基本不存在優(yōu)化的問題，我們探討優(yōu)化的重點是DML及DDL。注意:令SlowQuery優(yōu)化,包括但不限于我們?nèi)粘嵺`中優(yōu)化最多的SELECT語句令Query優(yōu)化,不都是單純的將query的運行時間提速,有時候需要在運行時間和lock粒度之間做出權衡個人以運維實踐的角度出發(fā),將query優(yōu)化分為2類:令1.保證DML返回的結果集(select)相同或更改的結果集(insertupdatedelete)相同的情況下,將query優(yōu)化使其運行的更快令2.保證DML或DDL操作結果相同的情況下,將lock的級別降低,lock的范圍變小,避免出現(xiàn)對DBCluster的大的峰值沖擊，提高DBMS的并發(fā)度，運行時間不一定有提升Case1CreateIndexDirectly令總結：此方法是最常用的方法，需要注意一個數(shù)據(jù)選擇比的問題，where是update_flag=false，那么效果就不會有這么明顯，因為update_flag字段值如果幾乎都是false，那么盡管有index，其實和SeqScan的時間也沒什么差別，或差別不大.ChangeConditionstoUseIndexpublicorderpaytimeindex，且是bigint類型，但是使用函數(shù)totimestamppaytimetimestamptzindex我們想辦法改變where條件，使用到indexCase2ChangeConditionstoUseIndexCase2ChangeConditionstoUseIndex用index.Case2ChangeConditionstoUseIndexCase2ChangeConditionstoUseIndex總結：靈活改變where中的Condition寫法，想辦法使用上index，提速Q(mào)ueryCase3RemovalUnnecessarySub-queryandOuterJoinCase3RemovalUnnecessarySub-queryandOuterJoin總結：不影響得到正確的結果集前提下，結合業(yè)務邏輯,少用OuterJoin；減的Sub-query層級數(shù)。Case4EliminatingRedundantColumnsCase5IndexesonExpressionsCase5IndexesonExpressionsCase5IndexesonExpressions總結：善于觀察字段數(shù)據(jù)類型的操作符及函數(shù)，結合wherecondition，研dexCase6PartialIndexesCase6PartialIndexes注意:不是所有的條件比較多的query都適合建PartialIndexes,主要適合場景為:where中的條件固定(有固定業(yè)務邏輯),且選擇比好的情況下。Case7DecomposeDDLCase8Comprehensiveoptimization一個既是Multicolumn又是Partial的index,且分解執(zhí)行的例子utIndex間開銷，掃描索引本身也有時間queryselect的執(zhí)行效率，但同時也可utIndexType令B-tree,Hash,GiST(GeneralizedSearchTree),SP-GiST(space-partitionedGiST),GIN(GeneralizedInvertedIndex)andBRIN(BlockRangeINdexes).各自適用范圍簡要說明:令B-tree:最常用的index,適合處理等值及范圍queries.HashqueriesHashindex入WAL,所以能需要reindex或重建,特別是有Primary/Standby結構的集禁止使用Hashindex.GiSTindex類型,而是一種架構,可以在這種架構上實現(xiàn)很多不stgreSQLGiSTSPGiSTGiSTindexGiST某些情況下的性能.GINindex廣義倒排index,它可以處理包括多個鍵的值,如數(shù)組等.令BRIN:索引適用于數(shù)據(jù)值分布和物理值分布相關性很好的情況.AboutIndexutIndexFindingtheindexneededtodroputIndexFindingtheduplicateindexutIndexFindingtheindexneededtomaintena