金融業(yè)研發(fā)中自動(dòng)和智能SQL質(zhì)量控制實(shí)踐

1、金融業(yè)研發(fā)中自動(dòng)和智能SQL質(zhì)量控制實(shí)踐04金融業(yè)研發(fā)中自動(dòng)和智能S Q L 質(zhì)量控制實(shí)踐金融業(yè)研發(fā)過(guò)程都離不開(kāi)平臺(tái)支撐（無(wú)論各家的DevOps平臺(tái)還是通用的Jenkins+N），實(shí)現(xiàn)研發(fā)過(guò)程自動(dòng)化 協(xié)同和控制，其中代碼的質(zhì)控可以通過(guò)集成Sonar、Checkstyle等很好的實(shí)現(xiàn)自動(dòng)化，但是SQL的質(zhì)控在自動(dòng) 化流程中卻長(zhǎng)期處于空白。如今，通過(guò)SQM研發(fā)的Jenkins插件、JVM探針，將SQL質(zhì)控的自動(dòng)化能力組裝 到DevOps流水線中，徹底填補(bǔ)了這個(gè)空白，必要時(shí)配以SQM的OpenAPI，能實(shí)現(xiàn)更強(qiáng)大的能力。PART01DevOps與金融企業(yè)研發(fā)PART02SQL質(zhì)控的挑戰(zhàn)和價(jià)值PART

2、03DevOps中的SQL質(zhì)控PART04案例解析與探討DevOps與金融企業(yè)研發(fā)今天，DevOps已經(jīng)成為一套越來(lái)越主流的實(shí) 踐方法集和文化價(jià)值觀，它可以幫助組織縮 短軟件發(fā)布周期，提升軟件質(zhì)量，安全快速 獲取產(chǎn)品開(kāi)發(fā)反饋的能力。傳統(tǒng)行業(yè)里，各大金融企業(yè)很早就開(kāi)始實(shí)踐 DevOps理念，并且落地比較到位，已取得很 好效。DevOps研究機(jī)構(gòu)發(fā)現(xiàn)，自動(dòng)化是帶來(lái)組織效 能差異的關(guān)鍵因素，也是DevOps 的關(guān)鍵點(diǎn)。DevOps模式下的常規(guī)研發(fā)過(guò)程DevOps模式下的常規(guī)交付流水線DevOps-開(kāi)源流派DevOps-商業(yè)或自研流派公有云DevOps服務(wù)成為中小企業(yè)和部分大型 企業(yè)快速實(shí)踐DevOp

3、s的優(yōu)先選擇。云廠商在 不斷吸引和轉(zhuǎn)化自身云平臺(tái)的用戶使用其DevOps服務(wù)，同時(shí)也在不斷加強(qiáng)對(duì)外的宣傳 教育工作進(jìn)行市場(chǎng)培育。金融企業(yè)出于安全性、穩(wěn)定性，自主可控等 因素，大多走自研或合作研發(fā)DevOps平臺(tái)的 路徑。核心大多都是對(duì)開(kāi)源工具鏈的封裝、擴(kuò)展、 增強(qiáng)，簡(jiǎn)化使用難度，實(shí)現(xiàn)DevOps目標(biāo)。DevOps中的質(zhì)量控制代碼的質(zhì)量控制SQL的質(zhì)量控制Jenkins+SonarQube人工低效質(zhì)量標(biāo)準(zhǔn)差異大工具嘗試簡(jiǎn)單的SQL判斷不能和DevOps融合不能自動(dòng)化PART01DevOps與金融企業(yè)研發(fā)PART02SQL質(zhì)控的挑戰(zhàn)和價(jià)值PART03DevOps中的SQL質(zhì)控PART04案例解析與

4、探討影響業(yè)務(wù)性能的6大因素影響業(yè)務(wù) 性能的6 大因素01硬件能力如：服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)0305020406系統(tǒng)規(guī)模如：并發(fā)用戶、數(shù)據(jù)量軟硬件環(huán)境如：操作系統(tǒng)版本及參數(shù)數(shù)據(jù)庫(kù)因素代碼設(shè)計(jì)如：索引、隱式轉(zhuǎn)換、統(tǒng)計(jì)信息等如：無(wú)主鍵、使用OR、表結(jié)構(gòu)、缺少 過(guò)濾條件、游標(biāo)使用等業(yè)務(wù)模型及架構(gòu)如：OLTP和OLAP操作混在一起和SQL有關(guān)業(yè)務(wù)爆發(fā)各種SQL性能及安全問(wèn)題，推動(dòng)SQL質(zhì)控業(yè)務(wù)表現(xiàn)系統(tǒng)資源數(shù)據(jù)庫(kù)性能緩慢 & 安全漏洞系統(tǒng)資源消耗高SQL執(zhí)行計(jì)劃錯(cuò)誤SQL不規(guī)范邏輯不合理非法調(diào)用資源非法SQL業(yè)務(wù)反 推系統(tǒng)穩(wěn)定反 推SQL質(zhì)控SQL質(zhì)量問(wèn)題，無(wú)處不在，前置解決才是根本SQM-SQL質(zhì)量管控平臺(tái)

5、，應(yīng)運(yùn)而生 兩大引擎，SQL解析引擎+專家引擎 覆蓋應(yīng)用全生命周期:開(kāi)發(fā)、測(cè)試、上 線發(fā)布、生產(chǎn)運(yùn)行 內(nèi)置的專家經(jīng)驗(yàn)規(guī)則+語(yǔ)法樹(shù)特征值、 文本正則匹配的靈活自定義規(guī)則能力， 全面覆蓋用戶SQL規(guī)范 支持各種開(kāi)發(fā)語(yǔ)言構(gòu)建的應(yīng)用 支持?jǐn)?shù)據(jù)庫(kù)Oracle、MySQL、DB2，即將 支持Microsoft SQL Server 、PostgreSQL、 OceanBase Jenkins插件、JVM插件，與DevOps 集成，自動(dòng)化SQL質(zhì)控 強(qiáng)大的OpenAPI，方便用戶快速將SQM能 力與其它用戶系統(tǒng)集成 支持不同規(guī)模、不同研發(fā)模式的十多種 場(chǎng)景化SQL質(zhì)量管控方案，適合的才是 最好的PART01

6、DevOps與金融企業(yè)研發(fā)PART02SQL質(zhì)控的挑戰(zhàn)和價(jià)值PART03DevOps中的SQL質(zhì)控PART04案例解析與探討DevOps中SQL質(zhì)控的思路兩手提升SQL質(zhì)控 前置在開(kāi)發(fā)交付給測(cè)試的環(huán)節(jié)前 引入SQL的質(zhì)量控制提升團(tuán)隊(duì)之間的協(xié)作效率 減少返工帶來(lái)的成本增加 在測(cè)試環(huán)節(jié)引入自動(dòng)的SQL 質(zhì)量復(fù)核能力，全面覆蓋SQL質(zhì)控前置到 開(kāi)發(fā)測(cè)試階段人員能力和質(zhì)量管控提升人員能力：可通過(guò)培訓(xùn)、專業(yè) 輔導(dǎo)、SQL代碼規(guī)范、借助專 業(yè)審核工具等方式進(jìn)行提升 質(zhì)量管控：借助專業(yè)工具作為 抓手進(jìn)行管控，對(duì)于極端復(fù)雜 問(wèn)題可借助專家支持優(yōu)化“運(yùn)維前置，兩手提升”是從流程制度建設(shè)、管 控手端建設(shè)、人員能力

7、提升三個(gè)維度綜合解決問(wèn)題。DevOps中SQL質(zhì)控的解決方案一般的DevOps流程可視為兩級(jí)流程。一級(jí)主流程是DevOps的整體過(guò)程，包括“任務(wù)管理、代碼管理、構(gòu)建 和發(fā)布、其他后續(xù)4個(gè)”?！皹?gòu)建&發(fā)布”的二級(jí)流程，包括了5個(gè)步驟：1、源代碼管理，2、代碼檢查，3、構(gòu)建，4、測(cè)試，5、部署。 二級(jí)流程下又包含了多項(xiàng)“操作”，比如“代碼檢查”包括了3項(xiàng)具體操作：規(guī)范性檢查，安全檢查，其他檢查。DevOps中SQL質(zhì)控的解決方案（續(xù)）SQM的J enkins插件、J VM插件將SQL質(zhì)控能力自動(dòng)化融入現(xiàn)代研發(fā)SQM研發(fā)的Jenkins插件、JVM插件，支持快速組裝到DevOps流水線中，在代碼檢查

8、環(huán)節(jié)，自 動(dòng)化進(jìn)行SQL的質(zhì)量檢查。在測(cè)試環(huán)節(jié)，自動(dòng)化進(jìn)行SQL的質(zhì)量檢查。DevOps中SQL質(zhì)控的解決方案（續(xù)）Jenkins+SQM Plug-inDevOps中SQL質(zhì)控的解決方案（續(xù)）Jenkins+JVM Plug-inPART01DevOps與金融企業(yè)研發(fā)PART02SQL質(zhì)控的挑戰(zhàn)和價(jià)值PART03DevOps中的SQL質(zhì)控PART04案例解析與探討X銀行SQM與開(kāi)發(fā)流程融合，在開(kāi)發(fā) 測(cè)試環(huán)節(jié)提供SQL審核服務(wù)。 在開(kāi)發(fā)階段處理大部分的SQL 質(zhì)量問(wèn)題，將運(yùn)維工作前置到 開(kāi)發(fā)階段，大大節(jié)約成本且提 高開(kāi)發(fā)效率。1SQM平臺(tái)實(shí)現(xiàn)與DevOps融合3復(fù)雜SQL可經(jīng)過(guò)SQM平臺(tái)由DB

9、A協(xié)助處理2SQM提供SQL腳本審核功能（實(shí)時(shí)審核）4提供SQL豁免處理流程解決方案（Jenkins插件+JVM插件+OpenAPI，分階段落地）X銀行成果降低或避免故障系統(tǒng)故障率降低，甚至可以避免 因SQL問(wèn)題導(dǎo)致的數(shù)據(jù)庫(kù)嚴(yán)重性 能問(wèn)題。特別是在MySQL數(shù)據(jù)庫(kù) 的應(yīng)用環(huán)境中的問(wèn)題影響提高開(kāi)發(fā)效率SQM與DevOps實(shí)現(xiàn)整合后開(kāi)發(fā)規(guī) 范有效落地，SQL質(zhì)量實(shí)時(shí)把控 可降低開(kāi)發(fā)返工率，降低測(cè)試和 上線故障處理的工作量建立應(yīng)用系統(tǒng)性能管控機(jī)制協(xié)助建立良好的需求管控、開(kāi)發(fā) 評(píng)估，應(yīng)用系統(tǒng)性能管控流程。 最終通過(guò)制度，形成長(zhǎng)效機(jī)制持 續(xù)進(jìn)行應(yīng)用性能管控專業(yè)化的內(nèi)部培訓(xùn)，提升開(kāi)發(fā)人員SQL書(shū)寫(xiě)技能及數(shù)

10、據(jù)庫(kù)技能水平，提 升開(kāi)發(fā)人員整體的SQL編寫(xiě)過(guò)程中的 性能意識(shí)，質(zhì)量意識(shí)形成開(kāi)發(fā)能掌控的技術(shù)能力TCO管控優(yōu)化系統(tǒng)資源占用減少，管理人員通 過(guò)容量報(bào)表趨勢(shì)變化統(tǒng)籌容量規(guī) 劃作為行業(yè)龍頭企業(yè)，為社會(huì)化服 務(wù)提供大量支撐，進(jìn)一步樹(shù)立良 好的企業(yè)社會(huì)形象項(xiàng)目成果 企業(yè)社會(huì)價(jià)值Y銀行SQL審核過(guò)程探索監(jiān)控生產(chǎn)庫(kù)的TOP SQL使 用 SQM 監(jiān)控測(cè)試環(huán)境開(kāi)發(fā)階段人工審核SQL腳本審核 嵌入流程審核工單流程審核 自動(dòng)嵌入流程審核Step 6Step 5Step 4Step 3監(jiān)控測(cè)試環(huán)境Step 2Step 1始終沒(méi)有解決開(kāi)發(fā)人員SQL規(guī)范的問(wèn)題SQM將審核SQL前置到開(kāi)發(fā)環(huán)節(jié)銀行解決方案（工單+Ope

11、nAPI+平臺(tái)）為了達(dá)成SQL質(zhì)量控制目標(biāo)，客 戶結(jié)合自身情況，從SQL質(zhì)量控制要 點(diǎn)出發(fā)，持續(xù)實(shí)踐迭代，利用SQM 審核工具覆蓋開(kāi)發(fā)環(huán)境和測(cè)試環(huán)境， 進(jìn)行SQL的審核與監(jiān)控。2016年SQM項(xiàng)目正式啟動(dòng)。SQM 從一開(kāi)始的調(diào)研實(shí)施，到后續(xù)不斷 的迭代完善，現(xiàn)在已經(jīng)在該銀行的 研發(fā)體系里扮演了重要的角色。確定合適的SQL質(zhì)控階段01.確定合適的SQL質(zhì)控流程和崗位分工02.確定項(xiàng)目SQL質(zhì)控的啟用規(guī)則清單03.04.應(yīng)小步快跑，迭代改進(jìn)，勿貪大求全 軟件+人工，必要的外部服務(wù)05.SQL質(zhì)量管控的要點(diǎn)銀行成果12SQM平臺(tái)用戶數(shù)SQM中項(xiàng)目數(shù)量34SQL審核的測(cè)試庫(kù)工單總數(shù) 數(shù)量截止2019年

12、7月，該客戶的SQM平臺(tái)的用戶有三千余人，配置的項(xiàng)目（子系統(tǒng)）有四百多個(gè)， 監(jiān)控五百多個(gè)測(cè)試庫(kù)，工單總數(shù)將近五千個(gè)，每天創(chuàng)建工單數(shù)有20個(gè)左右，工單當(dāng)天處理完成率 達(dá)80%自動(dòng)化的SQL審核減輕了測(cè)試和運(yùn)維的壓力，大大減少了人工的工作量統(tǒng)一了開(kāi)發(fā)規(guī)范流程，通過(guò)不斷探索，總結(jié)出了最佳實(shí)踐的工作流極大減少了應(yīng)用投產(chǎn)之后由于SQL性能引發(fā)的嚴(yán)重問(wèn)題助力該銀行打造數(shù)據(jù)中臺(tái)，以及DevOps開(kāi)發(fā)運(yùn)維一體化建設(shè)促使項(xiàng)目性能問(wèn)題統(tǒng)一歸檔、分類和追蹤，形成比較完善的處理閉環(huán)，并為項(xiàng)目組開(kāi)發(fā)質(zhì)量 評(píng)價(jià)提供量化指標(biāo)數(shù)據(jù)。銀行解決方案（OpenAPI+連庫(kù)捕獲+流程再造）Z銀行對(duì)SQL審核的期望目標(biāo)如下：n防止問(wèn)題SQL流入至生產(chǎn)環(huán)境n項(xiàng)目上線前SQL的檢測(cè)，對(duì)問(wèn)題SQL進(jìn)行 審核整改n設(shè)計(jì)的閉環(huán)審核流程，確保每個(gè)問(wèn)題SQL都完成整改對(duì)開(kāi)發(fā)測(cè)試流程進(jìn)行梳理，將SQM審核與開(kāi) 發(fā)流程融合在一起，見(jiàn)右圖Z銀行成果SQL規(guī)范報(bào)告SQL審核產(chǎn)生的優(yōu)化 數(shù)據(jù)完成自動(dòng)整理， 定時(shí)通告且生成SQL 治理效果