數(shù)據(jù)庫審核平臺架構(gòu)實踐課件

1、性能優(yōu)化利器 數(shù)據(jù)庫審核平臺實踐概況簡介面臨的挑戰(zhàn) 審核平臺選型 審核平臺實踐 不足及發(fā)展面 臨 的 挑 戰(zhàn)運維規(guī)模及種類人員: 7+數(shù)據(jù)庫: 40+系統(tǒng): 200+開發(fā): 1000+案例 結(jié)構(gòu)設(shè)計XXX表規(guī)模 xxG字段數(shù)121索引數(shù) 13未用索 引1字段重 復(fù)索引2記錄長 度5850 (398)字段異常328%72%某核心系統(tǒng)核心表XXX使用SQL占比 1061 / 3730案例 SQL語句SELECT /*+ INDEX (A1 xxxxx) */ SUM(A2.CRKSL), SUM(A2.CRKSL*A2.DJ) FROM xxxx A2, xxxx A1WHERE A2.CRKFL

2、AG=xxx AND A2.CDATE=xxx AND A2.CDA數(shù)據(jù)業(yè)務(wù)架構(gòu)數(shù)據(jù)建模數(shù)據(jù)治理數(shù)據(jù)整合數(shù)據(jù)邏輯架構(gòu)數(shù)據(jù)庫架構(gòu)數(shù)據(jù)庫結(jié)構(gòu)SQL質(zhì)量數(shù)據(jù)物理架構(gòu)數(shù)據(jù)庫數(shù)據(jù)存儲基礎(chǔ)架構(gòu)Data ArchitectApplicationDBAProductDBA重心轉(zhuǎn)移Data ArchitectApplicationDBAProductDBA多種不平衡重運維，輕架構(gòu)、優(yōu)化重商業(yè)產(chǎn)品，輕開源產(chǎn)品 重手工，輕平臺、工具重初級，輕中高級如何落地是個難題?Oracle結(jié)構(gòu)設(shè)計規(guī)范Oracle開發(fā)規(guī)范MySQL結(jié)構(gòu)設(shè)計規(guī)范MySQL開發(fā)規(guī)范出路在哪里平 臺 的 選 型業(yè)內(nèi)都是怎么做的代表做法特點優(yōu)點缺點智能

3、分析引擎自研SQL分析引擎，分析 語句成本，并自動實現(xiàn)審 核、分流、限流等操作。可自動審核擴展后可線上使 用，實現(xiàn)分流等技術(shù)難度大效率不高工具+人工 審核自研工具加后期人工審核 事后過濾、人工標(biāo)記，跟 蹤全流程，對SQL精細(xì)粒度 控制，靈活度大完成對SQL整個 生命周期的管理技術(shù)難度不大需要人工投。入。商業(yè)產(chǎn)品直接抽取SQL，自主分析 個別需要人工介入，功能強大，有技 術(shù)支持周期短，見效快費用較高擴展性差我們的選擇 自研轉(zhuǎn)變思想，全民動員，人人開發(fā)知識沉淀，做好標(biāo)準(zhǔn)，方便落地 小步快跑，落地實施，不斷修正 結(jié)合自身，定制目標(biāo)，學(xué)做減法 他山之石可以攻玉，大膽引進審 核 平 臺 實 踐背景介紹

4、DMP平臺背景介紹 大平臺功能數(shù)據(jù)變更平臺管理結(jié)構(gòu)元數(shù)據(jù)對象管理數(shù)據(jù)安全數(shù)據(jù)庫審核數(shù)據(jù)管理性能管理資源管理健康管理平臺元數(shù)據(jù)儀表盤12個子系統(tǒng)，36個模塊服務(wù)托管背景介紹 技術(shù)棧平臺設(shè)計 審核對象審核類別示例規(guī)則對象級大表未分區(qū)未創(chuàng)建主鍵語句級多表關(guān)聯(lián)標(biāo)量子查詢執(zhí)行計劃級大表全表掃描笛卡爾積執(zhí)行特征級掃描塊數(shù)與返回記錄比例過低子游標(biāo)數(shù)過多平臺設(shè)計 架構(gòu)設(shè)計簡圖數(shù)據(jù)采集OBJ/SQL存儲庫OracleMySQL審核引擎OBJ管理審核規(guī)則SQL管理優(yōu)化引擎系統(tǒng)管理（作業(yè)、空間、報告.）優(yōu)化規(guī)則平臺設(shè)計 信息抓取抓取項OracleMySQL對象統(tǒng)計信息*存儲特征*結(jié)構(gòu)信息訪問特征SQLSQL文本執(zhí)行

5、計劃游標(biāo)綁定變量執(zhí)行特征平臺設(shè)計 信息抓取平臺設(shè)計 信息存儲格式平臺功能 規(guī)則定義（對象級）規(guī)則類別規(guī)則說明表、分區(qū)大表過多超多指定規(guī)模沒有分區(qū)單表或單分區(qū)數(shù)據(jù)量過多存在并行屬性分區(qū)數(shù)量過多索引外鍵沒有索引字段重復(fù)索引聚簇因子多大索引字段重復(fù)索引字段字段數(shù)量過多記錄長度多長字段類型不匹配平臺功能 規(guī)則定義（執(zhí)行計劃級）規(guī)則類別規(guī)則說明訪問路徑大表掃描大索引掃描大索引快速全掃描索引跳躍掃描分區(qū)全掃描非連續(xù)分區(qū)掃描跨分區(qū)掃描表間關(guān)聯(lián)笛卡爾積多表關(guān)聯(lián)嵌套循環(huán)層次過多類型轉(zhuǎn)換存在隱式類型轉(zhuǎn)換綁定變量未使用綁定變量平臺功能 規(guī)則定義（執(zhí)行特征級）規(guī)則說明掃描塊數(shù)與返回記錄數(shù)比例過低子游標(biāo)過多elapse

6、d_timecpu_timebuffer_getsdisk_readsdirect_writesExecutions平臺功能 規(guī)則定義（語句級）規(guī)則說明select *嵌套select子句謂詞中出現(xiàn)反向操作符多個過濾條件通過or連接存在子查詢存在三個以上的多表關(guān)聯(lián)存在全連接或外連接delete中必須出現(xiàn)whereupdate中出現(xiàn)order by子句inlist元素過多重復(fù)查詢子句出現(xiàn)union集合操作平臺實現(xiàn) 規(guī)則實現(xiàn)示例db.sqlplan.find(SQL_ID:fzzxntg1g9u6r,OBJECT_TYPE:1,OBJECT_NAME:1,OPERATION_DISPLAY:1,O

7、PTIONS:1,_id:0) O : SELECT STATEMENT, OPTIONS : null, OBJECT_NAME : null O : TABLE ACCESS, OPTIONS : FULL, OBJECT_NAME : T_TEST 大表全表掃描規(guī)則 平臺實現(xiàn) 規(guī)則實現(xiàn)示例db.sql.find(OPERATION:TABLE ACCESS,OPTIONS:FULL,USERNAME:username, ETL_DATE:etl_date).forEach(function(x)if(db.obj_tab_info.findOne( TABLE_NAME:x.OBJECT_NAME,$or:NUM_ROWS:$gt:params1,PHY_SIZE(MB):$gt:params0)db.tmp.save(SQL_ID:x.SQL_ID, PLAN_HASH_VALUE:x.PLAN_HASH_VALUE, OBJECT_NAME:x.OBJECT_NAME);)過濾執(zhí)行計劃按統(tǒng)計信息篩選按存儲特征篩選獲得執(zhí)行計劃后臺存儲并計分匯總展示報告平臺界面 主菜單平臺界面 制