研發(fā)效能提升最后一公里之編譯加速

InfoInfoQCon全球軟件開發(fā)大會(huì)研發(fā)效能提升最后一公里之編譯加速目錄目錄contents現(xiàn)有大型C++工程構(gòu)建的痛點(diǎn)打造“共享〃分布式編譯系統(tǒng)編譯過程度量與可視化編譯過程改進(jìn)案例

現(xiàn)有大型C++工程構(gòu)建的痛點(diǎn)“構(gòu)建容易失敗，且構(gòu)建過程耗時(shí)較

長(zhǎng)〃“構(gòu)建容易失敗，且構(gòu)建過程耗時(shí)較

長(zhǎng)〃“進(jìn)行構(gòu)建打包時(shí)，首次構(gòu)建經(jīng)常出錯(cuò)，且構(gòu)建耗時(shí)長(zhǎng)（2小時(shí)左右），構(gòu)

建過程不透明〃開發(fā)團(tuán)隊(duì)開發(fā)團(tuán)隊(duì)B開發(fā)團(tuán)隊(duì)A構(gòu)建耗時(shí)長(zhǎng)安全隔離差“可考慮按工作室隔離部署構(gòu)建系統(tǒng),以縮短構(gòu)建時(shí)間，且可提高代碼安全性〃“構(gòu)建系統(tǒng)的功能可滿足需要，但是其

更新頻繁且不太穩(wěn)定，影響構(gòu)建〃開發(fā)團(tuán)隊(duì)開發(fā)團(tuán)隊(duì)C開發(fā)團(tuán)隊(duì)DQCon全球軟件開發(fā)大會(huì)InfoQ現(xiàn)有大型C++工程構(gòu)建的痛點(diǎn)1、 構(gòu)建耗時(shí)長(zhǎng)2、 安全隔離差1、 構(gòu)建耗時(shí)長(zhǎng)2、 安全隔離差加好機(jī)器引入分布式編譯加機(jī)器每個(gè)業(yè)務(wù)部署一套，做到硬隔離，資源利用率低，需要不能聚焦于業(yè)務(wù)研發(fā)有沒有一種創(chuàng)新性的方案?QCon全球軟件開發(fā)大會(huì)InfoQInfoInfoInfoInfo目錄目錄contents現(xiàn)有大型C++工程構(gòu)建的痛點(diǎn)打造“共享〃分布式編譯系統(tǒng)編譯過程度量與可視化編譯過程改進(jìn)案例打造打造“共享”分布式編譯系統(tǒng)打造打造“共享”分布式編譯系統(tǒng)QCon全球軟件開發(fā)大會(huì)解決思路：打造軟件工程領(lǐng)域的“共享經(jīng)濟(jì)〃共享經(jīng)濟(jì)的關(guān)鍵點(diǎn)：共享載體：低成本承載用戶需求共享經(jīng)濟(jì)的核心要素 管理體系：對(duì)大批量共享載體的多租戶管理工廠：共享載體的批量化快速生產(chǎn)和維護(hù)能力生產(chǎn)資料：打通供應(yīng)鏈，獲取大量生成要素InfoQ共享經(jīng)濟(jì)的關(guān)鍵點(diǎn)：： 容器作為共享載體的好處:共享載體：容器共享載體：容器(docker)①容器能夠快速低成本創(chuàng)建和銷毀化不同場(chǎng)景，切換快速穩(wěn)定③技術(shù)上便于解決多租戶隔離問題QCon全球軟件開發(fā)大會(huì)InfoQ共享經(jīng)濟(jì)的共享分布式編譯服務(wù)管理體系：分布式編譯管理工廠：容器云平臺(tái)藍(lán)鯨容器平臺(tái)

［容器工廠］生產(chǎn)資料：空閑機(jī)（PM/VM）空閑物理機(jī)、VM資源InfoQTencent/bk-bcs:藍(lán)鯨智云容器X bft/Tencent/bk-bcs2.3.藍(lán)鯨容器平臺(tái)［容器工廠］藍(lán)鯨體系下原子平臺(tái)服務(wù)騰訊游戲的基礎(chǔ)平臺(tái)一個(gè)開源項(xiàng)目11可視化I配叡件代碼嗣I結(jié)合CI最4LICENSE.txt docs:fixlowcase,issue#305 11monthsago/Tencent/bk-bcsgo.mod Mergepullrequest#634fromDeveloperJim/go-micro 24daysagogo.sumreadme.mdreadme_en.mdreadme.mddocs:update1.19.x,issue#0docs:updatereleaseinfo,issue#0docs:1.18.8infoupdate,issue#017daysago17daysago19daysagoLanguages?Go98.1%Other1.9%藍(lán)鯨容器管理平臺(tái)licensemit[release11.18.9BKPipelinesrsucceededIPRswelcomeEnglishDocs重要提示：master分支在開發(fā)過程中可能處于不穩(wěn)定或者不可用吠態(tài)。請(qǐng)通過releases而非master去獲取穩(wěn)定的二進(jìn)制文件。藍(lán)鯨容器管理平臺(tái)(BluekingContainerService,簡(jiǎn)稱BCS)是藍(lán)鯨體系下，以容器技術(shù)為基礎(chǔ)，為各種架構(gòu)的應(yīng)用提供編排管理和治理服務(wù)的基礎(chǔ)平臺(tái)。BCS支持兩種不同的集群模式，分別為原生K8s模式和基于Mesos自研的模式；k8s模式緊跟社區(qū)發(fā)展，充分利用社區(qū)資源，避免過度修改導(dǎo)致版本碎片；mesos模式針對(duì)游戲等復(fù)雜應(yīng)用深度定制，解決這類應(yīng)用在微服務(wù)過渡階段容器化的后顧之憂。BCS在騰訊內(nèi)部已經(jīng)穩(wěn)定運(yùn)行三年以上，經(jīng)過幾十款不同架構(gòu)、不同規(guī)模的業(yè)務(wù)驗(yàn)證，其中規(guī)模最大的業(yè)務(wù)包含五個(gè)獨(dú)立的集群，共600+物理機(jī)資源(單機(jī)48核以上，128G以上內(nèi)存)，近7000POD,使用30多個(gè)命名空間進(jìn)行隔離。BCS作為藍(lán)鯨體系的一部分，其整體結(jié)構(gòu)按照藍(lán)鯨PaaS體系組織，本次開源的部分為BCS后臺(tái)部分，為藍(lán)鯨PaaS體系下的原子平臺(tái)，主要輸出服務(wù)編排和服務(wù)治理的能力。BCS的操作頁面部分通過藍(lán)鯨SaaS輕應(yīng)用的方式呈現(xiàn)，可以通過最新的藍(lán)鯨社區(qū)版或者企業(yè)版獲取該SaaS的版本；或者直接獲取SaaS幵源代碼自行安裝部署與集成。Overview藍(lán)鯨容器管理平臺(tái)InfoG騰訊Cl任務(wù)下單過程展示服務(wù)網(wǎng)關(guān)配置管理訪問權(quán)限管理任務(wù)數(shù)據(jù)查詢管理體系：分布式編譯服務(wù)工廠：藍(lán)鯨容器平臺(tái)資源申請(qǐng)任務(wù)管理分布式編譯服務(wù)空閑機(jī)共享載體：容器(docker)BuildBoosterToolKit bk-cmake

bk-make

bk-bazel

bk-blade

bk-ninjabk-booster隊(duì)列管理 資源調(diào)配 任務(wù)調(diào)度 任務(wù)跟蹤自研編譯加速

插件UE4

插件fastbuild插件Booster數(shù)據(jù)管理訪問控制配置任務(wù)控制數(shù)據(jù)資源數(shù)據(jù)任務(wù)動(dòng)態(tài)Booster監(jiān)控藍(lán)鯨容器服務(wù)(BCS)線上資源監(jiān)控資源歷史監(jiān)控深圳公共分區(qū)業(yè)務(wù)專有分區(qū)BCS集群天津公共分區(qū)業(yè)務(wù)專有分區(qū)上海公共分區(qū)業(yè)務(wù)專有分區(qū)任務(wù)實(shí)時(shí)監(jiān)控項(xiàng)目監(jiān)控InfoQ打造打造“共享”分布式編譯系統(tǒng)打造打造“共享”分布式編譯系統(tǒng)bk-booster-btcc-pSprojectid-a"make-j@BK_JOBSall"--hook分布式編譯服務(wù)①依據(jù)項(xiàng)目設(shè)定申請(qǐng)資源分布式資源管理k③回饋編譯容器節(jié)點(diǎn)狀態(tài)②創(chuàng)建指定image的deployment設(shè)定namespace④注冊(cè)任務(wù)和資源信息分布式

任務(wù)控制器⑦選擇輔助容器■⑤以hook方式執(zhí)行編譯指令make-J炒bKUb：⑥本地預(yù)處理Fgcc一o...Hlbk-dist-execgcc一o...gcc—o...HIbk-dist-execgcc—o...gcc—o…?bk-dist-execgcc一o...下發(fā)文件，藍(lán)鯨容器服務(wù)容器編排容器狀態(tài)管理Matic及日志管理網(wǎng)絡(luò)管理設(shè)定bridge網(wǎng)絡(luò)模式

設(shè)定隨機(jī)端口模式編譯加速專用集群fdocker)dockeru11nl11 1XA1 1 1?? 1 1\Vdockerf dockerCreatedeploymentMatric數(shù)據(jù)和

日志數(shù)據(jù)汗始采集dockerBk-dist-workerJBk-dist-workerdockerBk-dist-worker打造打造“共享”分布式編譯系統(tǒng)打造打造“共享”分布式編譯系統(tǒng)多租戶管理多租戶管理編譯資源共享-空閑機(jī)構(gòu)建編譯加速集群-快速創(chuàng)建、快速銷毀-資源重復(fù)利用跨OS支持-常規(guī)集群支持linux環(huán)境下編譯?windows容器集群支持windows環(huán)境下編譯?通過namespace隔離不同業(yè)務(wù)環(huán)境?容器網(wǎng)絡(luò)管理隔離不同業(yè)務(wù)編譯容器網(wǎng)絡(luò)?自定義image打造個(gè)性化編譯環(huán)境多場(chǎng)景擴(kuò)展?支持不同的編譯工具鏈和編譯器版本?支持框架集成式編譯場(chǎng)景QCon全球軟件開發(fā)大會(huì)InfoQ“共享〃分布式編譯在DevOps中的應(yīng)用編譯0引用變量。完整構(gòu)建子流水線■編譯加速&藍(lán)盾服務(wù)插件：幫助文檔。版本：報(bào)表配置號(hào)流水線>完整構(gòu)建子流水線一編譯加速>編輯Bash重選1.latest任務(wù)ID：54b58381f1e04c86a930d5be1487bc8b(系統(tǒng)自動(dòng)生成)創(chuàng)建時(shí)間:2018年12月10日10:12流水線通知權(quán)限基礎(chǔ)設(shè)置stage-12-1構(gòu)建stage-2QRevertSVN囹拉取SVN（命令行）囪環(huán)境變量E刪除刷檔數(shù)據(jù)E更新DBB精簡(jiǎn)Bin邕歸檔構(gòu)件s獲取部署機(jī)器用戶3—1部署邕解包邕重啟stage-3Q.企業(yè)微信機(jī)器人推員觸發(fā)生成數(shù)據(jù)檔差學(xué)54555657585960616263646566676869707172737475767?7<8(8：82838485868788fi#編譯協(xié)議makemakemakemakemakemake創(chuàng)建人:jjjjjj404040404040rank_protocol_srconline_protocol_srcallocate_protocol_srcfile_protocol_srcprotocol_srcbusiness_srcsleep1#使用藍(lán)盾cmake生成makefilebkcmakep${turbo.task.id}Ca"${BUILD_ARGS}"el《afisleep1#使用藍(lán)盾make幵始編譯JfturboTtasIcidj-echo"buildid:"${pipeline.build.id}bkmakep${turbo.task.id}b${pipeline.build.id}Cif[$?!=0]thenexit-1fi奇行節(jié)令運(yùn)行返回值耳冃零時(shí)，繼續(xù)執(zhí)行腳本啟用編譯加速完整構(gòu)建子流水線-編譯加速警告：關(guān)聯(lián)的編譯加速任務(wù)為C/C++語言，使用了distcc加速方案，需修改編譯腳本。修改如下:1、若你的makefile是由cmake自動(dòng)生成的，需先修改cmake并加上編譯加速任務(wù)ID參數(shù)。cmake改為bk-cmake-p$(turbo.task.id)-C2、使用bk-make來替代make,并加上編譯加速任務(wù)ID和流水線當(dāng)前構(gòu)建ID參數(shù)。make改為bk-make-p${turbo.task.id}-b${pipeline.build.id}-C其它情況請(qǐng)查看更多修改示例>>任務(wù)名稱：*構(gòu)建類型:構(gòu)建機(jī)系統(tǒng):項(xiàng)目語言:項(xiàng)目類型:構(gòu)建工具:加速方案:第三方構(gòu)建機(jī):構(gòu)建機(jī)地址:編譯器:軟件安裝包:流水線:構(gòu)建環(huán)境:編譯腳本:分布式編譯加速:其他參數(shù):完整構(gòu)建子流水線-編譯加速第三方構(gòu)建機(jī)tlinuxC/C++后臺(tái)服務(wù)make/cmakedistcc3深圳clangLD-Turbo安裝成功重新安裝完整構(gòu)建子流水線—編譯加速構(gòu)建2-1編譯18臺(tái)加速機(jī)器供144核）如需升級(jí)資源請(qǐng)聯(lián)系DevOps小助手□腳本返回非零時(shí)歸檔文件如遇到問題請(qǐng)聯(lián)系藍(lán)盾助手DevOps保存取消QCon全球軟件開發(fā)大會(huì)InfoQInfoGInfoGInfoGInfoG打造"共享”分布式編譯系統(tǒng)編譯加速:累計(jì)399個(gè)項(xiàng)目創(chuàng)建3893個(gè)任務(wù)，加速4.765.479次，節(jié)省編譯約66.047h，加速39.2%e皿創(chuàng)建任務(wù)月度創(chuàng)建趨勢(shì)(19^11月?2gno月)745219238478 570 482195145138214179177 16917214113419年Q420^Ql2呻J220^Q311月12月1月2月3月4月5月6月7月8月頁目累計(jì)加速后時(shí)間(h)13452134節(jié)省編譯時(shí)間(h)加速燦節(jié)約時(shí)間雄12744218448.6%16471632443.6%2782667043.3%24734702743.1%10802643.0%14776230528441.0%9835309140.8%16175226740.4%662311905740.2%r i64i6698638.5%匚 12337776238.1%F 25068153337.9%L 334331413937.0%342220475636.1%■ 251215778634.5%9月10月QCon全球軟件開發(fā)大會(huì)InfoInfoInfoInfo目錄目錄contents現(xiàn)有大型C++工程構(gòu)建的痛點(diǎn)打造“共享〃分布式編譯系統(tǒng)編譯過程度量與可視化編譯過程改進(jìn)案例編譯過程度量DevOps是對(duì)軟件交付流程的①自動(dòng)化是DevOps的先決條件②數(shù)據(jù)和是所有改進(jìn)的基礎(chǔ)過程改進(jìn)編譯過程QCon全球軟件開發(fā)大會(huì)InfoQInfoGInfoG編譯過程度量分布式編譯的4、低并發(fā)占用率3、最大并發(fā)率gcc-D..-I..-oxi.oxxi.c下發(fā)目標(biāo)和指令QCon全球軟件開發(fā)大會(huì)回收編譯結(jié)果回收編譯結(jié)果下發(fā)目標(biāo)和指令Bk-dist-workergcc-D..-I..-0x2.0xx2.cgcc-D..-I..-oxn.oxxn.c入口編譯機(jī)1、任務(wù)分發(fā)率2、任務(wù)等待率8cn6g編譯容器Bk-dist-worker5、分布式資源利用率gcc-D..-l..-oxi.oxxi.cgcc-D..-l..-oxn.oxxn.c8c:t6g編譯容器InfoQ編譯過程度量分布式編譯的0102分布式執(zhí)行任務(wù)總數(shù)與項(xiàng)目任務(wù)總數(shù)的比值度量編譯過程使用分布式資源的能力任務(wù)等待總時(shí)長(zhǎng)與任務(wù)執(zhí)行總時(shí)長(zhǎng)的比值度量編譯過程中文件分發(fā).鎖等待等低效因素的影響03最大并發(fā)峰值與任務(wù)總數(shù)的比值度量編譯過程中并發(fā)執(zhí)行的效率04。5低并發(fā)階段總時(shí)間與I項(xiàng)目分布式任務(wù)執(zhí)行總時(shí)長(zhǎng)與構(gòu)建總時(shí)間的比值度量編譯過程中受依賴阻塞,并發(fā)連貫性等因素度量編譯過程中分布式資源使用情況QCon全球軟件開發(fā)大會(huì)編譯過程可視化一藍(lán)盾（BK-CI）編譯耗時(shí)詳情并發(fā)數(shù)據(jù)曲線并發(fā)數(shù)據(jù)曲線圖353025基礎(chǔ)信息2015105070^ssssssssssssssszsssszss^505040302000編譯過程狀態(tài)任務(wù)總時(shí)長(zhǎng)統(tǒng)計(jì)右.X?.&,如七c'包’如?裕.如,如,如’包V.? ■J?%%%%%%為為■為程■遠(yuǎn)程處理成功任務(wù)數(shù)■本地處理成功任務(wù)數(shù)■本地預(yù)處理成功任務(wù)數(shù) 謳程處理失敗任務(wù)數(shù)■本地處理失敗任務(wù)數(shù)■本地預(yù)處理失敗任務(wù)數(shù)■分發(fā)任務(wù)數(shù)■接收任務(wù)數(shù)任務(wù)處理曲線成功編譯結(jié)果6m47.635s總時(shí)長(zhǎng)5.336s申請(qǐng)資源6m42.265s實(shí)際編譯19330280遠(yuǎn)程編譯任務(wù)遠(yuǎn)程失敗任務(wù)本地編譯任務(wù)本地失敗任務(wù)32144Shenzhen8本地CPU遠(yuǎn)程CPU加速集群地區(qū)發(fā)起機(jī)器ipvl4.6-20.07.31client版本bkwork_gcc8.4.0worker版本QCon全球軟件開發(fā)大會(huì)統(tǒng)計(jì)信息2.27s13.095s2.37s6.305s預(yù)處理持鎖預(yù)處理持鎖預(yù)處理預(yù)處理平均等待時(shí)間最長(zhǎng)等待時(shí)間平均耗時(shí)最長(zhǎng)耗時(shí)0.012s1.798s18.554s2m19.56s遠(yuǎn)程持鎖遠(yuǎn)程持鎖遠(yuǎn)程處理遠(yuǎn)程處理平均等待時(shí)間最長(zhǎng)等待時(shí)間平均耗時(shí)最長(zhǎng)耗時(shí)C0.078s0.706s5.247s20.912s「本地持鎖本地持鎖本地處理本地處理平均等待時(shí)間最長(zhǎng)等待時(shí)間平均耗時(shí)最長(zhǎng)耗時(shí)0.077s0.308sOs0.019s文件壓縮文件壓縮文件解壓文件解壓平均耗時(shí)最長(zhǎng)耗時(shí)平均耗時(shí)最長(zhǎng)耗時(shí)0.454s2.186s0.147s0.837s文件分發(fā)文件分發(fā)文件接收文件接收平均耗時(shí)最長(zhǎng)耗時(shí)平均耗時(shí)最長(zhǎng)耗時(shí)NaNsOsNaNs0s公共文件壓縮公共文件壓縮公共文件分發(fā)公共文件分發(fā)平均耗時(shí)最長(zhǎng)耗時(shí)平均耗時(shí)最長(zhǎng)耗時(shí)5278.07s35865.59s40301.77s任務(wù)等待分布式任務(wù)執(zhí)行所有任務(wù)執(zhí)行總時(shí)長(zhǎng)總時(shí)長(zhǎng)總時(shí)長(zhǎng)0.925s30.453s遠(yuǎn)程處理排隊(duì)遠(yuǎn)程處理排隊(duì)平均耗時(shí)最長(zhǎng)耗時(shí)%%勺,勺?&%?%電?氣■分布式處理■分發(fā)文件■遠(yuǎn)程實(shí)際處理■本地處理■本地預(yù)處理任務(wù)處理曲線InfoQInfoInfoInfoInfo目錄目錄contents現(xiàn)有大型C++工程構(gòu)建的痛點(diǎn)打造“共享〃分布式編譯系統(tǒng)編譯過程度量與可視化編譯過程改進(jìn)案例編譯過程改進(jìn)編譯過程改進(jìn)InfoGInfoG編譯過程改進(jìn)編譯過程改進(jìn)InfoGInfoG案例：某游戲接入后，編譯效率提升不足10%并發(fā)數(shù)據(jù)曲線并發(fā)數(shù)據(jù)曲線圖250200最大并發(fā)190150100并發(fā)數(shù)15,持續(xù)1.5分鐘并發(fā)數(shù)0,持續(xù)2.5分鐘并發(fā)數(shù)0,持續(xù)1分鐘500■分布式處理■分發(fā)文件■遠(yuǎn)程實(shí)際處理 本地處理?本地預(yù)處理最大并發(fā)率：190/(2593+20)=7.27% <10%經(jīng)驗(yàn)值低并發(fā)占用率：5/7.18=69.64% >40%經(jīng)驗(yàn)值基礎(chǔ)信息統(tǒng)由言息7m17.6