大規(guī)模檢索系統(tǒng)的DevOps實(shí)踐

1、大規(guī)模檢索系統(tǒng)的DevOps實(shí)踐技術(shù)創(chuàng)新 變革未來百度檢索系統(tǒng)的現(xiàn)狀鳳巢檢索系統(tǒng)的DevOps選型鳳巢檢索系統(tǒng)的DevOps實(shí)踐鳳巢檢索系統(tǒng)的DevOps應(yīng)用效果主要內(nèi)容百度檢索系統(tǒng)的現(xiàn)狀搜索：立足之本鳳巢：發(fā)展之匙手百：時(shí)代之趨業(yè)務(wù)復(fù)雜團(tuán)隊(duì)龐大迭代快速線上服務(wù)模塊200+ 代碼量10w+/周大商業(yè)團(tuán)隊(duì)400+人核心模塊要求每周2次上線具有緊急上線的能力鳳巢檢索系統(tǒng)的DevOps選型三大特性：Single Code Base產(chǎn)品源代碼，只保持最新的版本，每次編譯都基 于該最新版本，每次發(fā)布二進(jìn)制產(chǎn)品也基于該最 新版本。Continuous Build Verification對(duì)該base的源代

2、碼，維護(hù)一套自動(dòng)化測(cè)試的系統(tǒng)， 對(duì)該base上源代碼的質(zhì)量進(jìn)行持續(xù)編譯，測(cè)試， 再編譯，再測(cè)試的過程。Regular Release Process軟件產(chǎn)品的發(fā)布是定期的。該周期不依賴于某一 個(gè)特性是否研發(fā)完畢而決定的，只要到了時(shí)間， 就發(fā)布。合并代碼統(tǒng)一測(cè)試merge成本需求1需求2需求nBUG Meeting解決merge回主干困難，回歸成本高問題。解決隨著項(xiàng)目增多，分支增多，越來越難管理問題。修復(fù)bug，可以達(dá)到修改主干，多處都可以fix的效果。解決在實(shí)驗(yàn)過程中，難以比較兩個(gè)實(shí)驗(yàn)間的相互影響問題。解決QA只保證單上線分支質(zhì)量，忽視merge后質(zhì)量的問題。Single branch相對(duì)Mu

3、ti branch development之優(yōu)勢(shì)：分 支 開 發(fā)版本庫代碼其他開發(fā)人員的提交第一次本地驗(yàn)證第二次本地驗(yàn)證1234456提交構(gòu)建階段代碼流向代碼修改 |運(yùn)行測(cè)試 |圖例：構(gòu)建成功的版本 |將代碼從版本庫檢出到本地為新功能或者bug修改代碼，或開發(fā)測(cè)試代碼第一次運(yùn)行本地驗(yàn)證（localbuild）與版本庫中的代碼合并，再次執(zhí)行本地驗(yàn)證(localbuild)提交代碼到版本庫（提交前需要發(fā)起CodeReview，并通過）構(gòu)建任務(wù)被自動(dòng)觸發(fā)六步 走master/trunk上線模式A：主干上線上線上線上線？bugfix線上代碼獨(dú)立于主干之外上線模式B：分支上線master/trunk上線

4、上線bugfixbranch1branch2支持緊急上線鳳巢檢索系統(tǒng)的DevOps實(shí)踐線上質(zhì)量需求管理提交準(zhǔn)入構(gòu)建系統(tǒng)灰度發(fā)布靜態(tài)代碼檢查規(guī)則可定制監(jiān)控快速預(yù)警&止損需求流程管理 規(guī)范化、明確化持續(xù)集成 功能測(cè)試 系統(tǒng)測(cè)試部署測(cè)試仿真線上需求管理全流程內(nèi)部規(guī)則代碼分析函數(shù)調(diào)用關(guān)系代碼清理單測(cè)覆蓋率模塊編碼規(guī)則內(nèi)部lib使用規(guī)范前置測(cè)試：代碼提交準(zhǔn)入階段（綁定代碼庫hook）低成本：不需要case、不需要環(huán)境、不需要數(shù)據(jù)避免誤報(bào)常見工具存在誤報(bào)cppcheck規(guī)則可定制When？Why？Jenkins分級(jí)構(gòu)建調(diào)度層靜態(tài)檢查編譯功能測(cè)試系統(tǒng)測(cè)試覆蓋率cov統(tǒng)計(jì)灰度發(fā)布部署測(cè)試組件層cppcheck

5、并行集群?jiǎn)卧獪y(cè)試diff測(cè)試findbugs模塊測(cè)試性能測(cè)試local發(fā)起壓力測(cè)試資源層RD + QA運(yùn)行環(huán)境機(jī)器資源測(cè)試數(shù)據(jù)代碼提交后，進(jìn)行測(cè)試任務(wù)分級(jí)構(gòu)建check in功能測(cè)試：驗(yàn)證某功能點(diǎn)是否符合預(yù)期系統(tǒng)測(cè)試：本次升級(jí)對(duì)整個(gè)服務(wù)的影響（diff、性能、壓力）范圍單函數(shù)、單模塊整個(gè)系統(tǒng)：多模塊、多服務(wù)環(huán)境輕量級(jí)仿真線上數(shù)據(jù)單條、多條萬/十萬級(jí)別下游mock真實(shí)下游運(yùn)行時(shí)長(zhǎng)秒級(jí)別分鐘/小時(shí)級(jí)別功能測(cè)試和系統(tǒng)測(cè)試的對(duì)比系統(tǒng)測(cè)試：構(gòu)建系統(tǒng)中最復(fù)雜的環(huán)節(jié)1、環(huán)境仿真、數(shù)據(jù)量大、任務(wù)執(zhí)行時(shí)間長(zhǎng)2、涉及范圍廣：多模塊、多服務(wù)系統(tǒng)測(cè)試三大挑戰(zhàn)資源機(jī)器&數(shù)據(jù)需求效率環(huán)境&任務(wù)時(shí)間成本準(zhǔn)確百萬測(cè)試數(shù)據(jù)真實(shí)

6、性BDC云儲(chǔ)存offlineAeNBeNBeNBonlinetcpcopyredisredisredis多庫eNB回 放 服 務(wù)壓力數(shù)據(jù)管理ABVI PeNBeNBC壓 力 工 具測(cè)試任務(wù)測(cè)試平臺(tái)線上錄制數(shù)據(jù)運(yùn)維回放集群測(cè)試解耦線線上下錄回制放壓力數(shù)據(jù)通用dirverABCeNBeNBeNB0庫1庫n庫回放服務(wù)redis集群VIP協(xié)議測(cè)試解耦過程回放數(shù)據(jù)對(duì)應(yīng)關(guān)系：signB 9002A 9001C 9003支持動(dòng)態(tài)變更可擴(kuò)展&易維護(hù)ABCDECDEPTESTdriverABDEABDEONLINE北京 上海 深圳 杭州CC灰度發(fā)布：避免線上環(huán)境不一致&配置沖突導(dǎo)致的問題上線前的最后一道閘門：環(huán)境仿真&配置一致啟動(dòng)？ 崩潰？PASS不進(jìn)行業(yè)務(wù)邏輯檢查目的：對(duì)線上服務(wù)了如指掌磁盤內(nèi)存流量展現(xiàn)同環(huán)比絕對(duì)值基本數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)采集存儲(chǔ)監(jiān)控進(jìn)程core收入平響個(gè)性化redismysqlhdfs團(tuán)隊(duì)專題健康頁機(jī)器信息日志信息模塊采集數(shù)據(jù)聚合數(shù)據(jù)對(duì)比支持監(jiān)控圖表類型：趨勢(shì)圖：同環(huán)比、多維對(duì)比表格：報(bào)表展現(xiàn)等其他個(gè)性化圖表： 分布圖，健康頁等主要報(bào)警類型：同環(huán)比報(bào)警, 絕對(duì)值報(bào)警,小流量報(bào)警(支持指