2024年騰訊云云原生提升增效實(shí)踐精-選集-騰訊云InfoQ研究中心-81正式版

2024騰訊云云原生提質(zhì)增效實(shí)踐精選集【版權(quán)聲明】本報告版權(quán)屬于騰訊云計算（北京）有限責(zé)任公司和極客傳媒，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其違反上述聲明者，將追究其相關(guān)法律責(zé)任?！緟⑴c編寫單位】騰訊云計算（北京）有限責(zé)任公司極客傳媒22024騰訊云云原生提質(zhì)增效實(shí)踐精選集卷首語在數(shù)字化浪潮洶涌澎湃的當(dāng)下，云原生技術(shù)正以前所未有的速度重塑著整個IT行業(yè)的格局。從微服務(wù)架構(gòu)的廣泛應(yīng)用，到容器化技術(shù)的深入人心，再到服務(wù)網(wǎng)格、不可變基礎(chǔ)設(shè)施等概念的興起，云原生憑借其卓越的靈活性、可擴(kuò)展性和高效性，成為推動企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵引擎。它不僅為數(shù)字原生企業(yè)提供了強(qiáng)大的技術(shù)支撐，更助力傳統(tǒng)企業(yè)突破既有束縛，實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新與升級。憑借自身在云計算領(lǐng)域的深厚積累與技術(shù)實(shí)力，騰訊云從大規(guī)模自研上云的實(shí)踐出發(fā)，逐步將云原生技術(shù)成果向行業(yè)輸出，取得了顯著的成效與收益。歷經(jīng)數(shù)年沉淀，騰訊自研業(yè)務(wù)如5000萬核，累計節(jié)省成本超30涌現(xiàn)出一大批提質(zhì)增效的最佳實(shí)踐案例。為了將這些珍貴的實(shí)踐經(jīng)驗(yàn)分享給行業(yè)，我們精心梳理、提煉并整理成這本《2024騰訊云原生提質(zhì)增效實(shí)踐精選集》。書中的每一個案例，都是企業(yè)在數(shù)字化轉(zhuǎn)型過程中真實(shí)經(jīng)歷的挑戰(zhàn)與突破，涵蓋了容器服務(wù)、中間件、云開發(fā)、低代碼、可觀測等多個云原生關(guān)鍵領(lǐng)域。我們希望通過這些詳實(shí)的案例，為廣大同行提供參考與借鑒，助力大家更好地理解云原生技術(shù)的應(yīng)用場景與價值，激發(fā)更多創(chuàng)新思維與靈感，攜手加速產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型的進(jìn)程！32024騰訊云云原生提質(zhì)增效實(shí)踐精選集目錄01容器服務(wù)更高效能來自更優(yōu)選擇，TKE助力貝殼提質(zhì)增效07維穩(wěn)降本，小鵝通容器集群計算資源的調(diào)控實(shí)踐10趣丸科技基于TKE集群的高效混部實(shí)踐1502中間件基于騰訊云消息隊列TDMQPulsar版在在線高并發(fā)場景的最佳實(shí)踐212.2騰訊云分布式消息隊列一站式搭建數(shù)據(jù)流轉(zhuǎn)鏈路，助力長城車聯(lián)網(wǎng)平臺降低運(yùn)維成本262.3業(yè)務(wù)高速增長，如祺出行如何用騰訊云消息隊列應(yīng)對挑戰(zhàn)3203云開發(fā)5天完成一個百萬級營銷活動？沃爾瑪、瑞幸咖啡、蒙牛都在用騰訊云開發(fā)！3942024騰訊云云原生提質(zhì)增效實(shí)踐精選集04低代碼揭秘智慧浦東機(jī)場的低代碼創(chuàng)新建設(shè)與落地經(jīng)驗(yàn)444.2實(shí)現(xiàn)銷售業(yè)績增長，他用騰訊云微搭低代碼做了個樓盤SCRM小程序4705可觀測騰訊云可觀測平臺如何為新能源車企緩解焦慮505.2騰訊云撥測助力頭部跨境電商平臺優(yōu)化用戶體驗(yàn)635.3騰訊云和APM幫助微購建設(shè)前后端一體化監(jiān)控平臺685.4騰訊云守護(hù)喜茶小程序75501容器服務(wù)2024騰訊云云原生提質(zhì)增效實(shí)踐精選集更高效能來自更優(yōu)選擇，騰訊云容器服務(wù)TKE

助力貝殼提質(zhì)增效>公司簡介貝殼找房是國內(nèi)領(lǐng)先的居住產(chǎn)業(yè)數(shù)字化服務(wù)平臺，致力于推進(jìn)居住服務(wù)的產(chǎn)業(yè)數(shù)字化、智能化進(jìn)程，通過聚合、助力優(yōu)質(zhì)服務(wù)者，為中國家庭提供包括二手房交易、新房交易、租賃、家裝、家居、家服等一站式、高品質(zhì)、高效率服務(wù)。作為國內(nèi)最大的房產(chǎn)中介平臺，貝殼一直對新的IT技術(shù)保持著非常高的熱情。相比于那些不敢用、不會用的企業(yè)，貝殼在做云原生技術(shù)架構(gòu)的改造前，內(nèi)部就已經(jīng)進(jìn)行了容器化改造，并且與騰訊云TKE有一些小規(guī)模合作。實(shí)際上，貝殼與騰訊云的合作最早可以追溯到2018年，在貝殼找房的前身，鏈家網(wǎng)在嘗試互聯(lián)網(wǎng)業(yè)務(wù)時，鏈家建立了自己層面，騰訊作為公有云供應(yīng)商，幫助鏈家網(wǎng)解決計算虛擬機(jī)、存儲和帶寬等問題。>業(yè)務(wù)挑戰(zhàn)貝殼找房成立后，公司業(yè)務(wù)實(shí)現(xiàn)了井噴式增長，這也帶來了研發(fā)人員的大幅增加。隨著公司上市，人員和流量的進(jìn)一步增長72024騰訊云云原生提質(zhì)增效實(shí)踐精選集給基礎(chǔ)設(shè)施帶來了諸多挑戰(zhàn)?！耙?yàn)槲覀冊诨A(chǔ)設(shè)施做建設(shè)的時候，其實(shí)是有些預(yù)判，比如我們做運(yùn)維的人經(jīng)常說我們公司如果增長3倍，我們的架構(gòu)應(yīng)該怎么去適配？如果增長10倍，又該怎么適配？我不能拍腦袋去考慮增長十倍甚至二十倍甚至一百倍的方式，因?yàn)檫@本身也是一種成本浪費(fèi)?；诖宋覀冮_始了跟騰訊云在容器化方面的合作?！必悮ぴ萍夹g(shù)中心系統(tǒng)研發(fā)部高級經(jīng)理楊菁偉提到。但一開始在容器化方面，貝殼用的是TKE普通節(jié)點(diǎn)，本質(zhì)上是在虛擬機(jī)上部署一些托管的K8s能力，效果并不明顯。>解決思路2023年初，貝殼打響了云原生攻堅戰(zhàn)，提出了“4321”的技術(shù)口號，其中4指的是計算集群利用率提升到40%?！叭萜骰驮圃?，是提升利用率，尤其是提升在線業(yè)務(wù)利用率的一個技術(shù)達(dá)成路徑?！睏钶紓ケ硎?。很快，貝殼接入了騰訊云TKE的原生節(jié)點(diǎn)，其核心還是怎么彈性擴(kuò)縮容，自動化部署以及提高已有資源的利用率。TKE原生節(jié)點(diǎn)幫助貝殼解決了三個核心問題：首先是配置。在創(chuàng)建K8s集群的工作負(fù)載時，通常需要配置合適的資源，Request是下限，指的是容器需要保留的最小資源量；limits是上限，一個容器使用的最大資源量。以前都是客戶根據(jù)經(jīng)驗(yàn)自己配置，很容易估不準(zhǔn)，大家習(xí)慣將申請量設(shè)置得較大，造成資源閑置，這是一個非常普遍的現(xiàn)象。騰訊云TKE原生節(jié)點(diǎn)的“成本大師”推出了智能推薦工具，可以通過分析客戶業(yè)務(wù)實(shí)際利用率和歷史數(shù)據(jù)，給客戶推薦最合適的配置，確保資源得到合理利用。其次，在節(jié)點(diǎn)放大之后，容易遇到穩(wěn)定性問題，考驗(yàn)TKE資源如何調(diào)度。比如K8S集群有時會出現(xiàn)調(diào)度不均，某些節(jié)點(diǎn)負(fù)載過高，而其他節(jié)點(diǎn)負(fù)載又很低。人工調(diào)度往往不及時，也很麻煩。騰訊云TKE原生節(jié)點(diǎn)，支持根據(jù)客戶節(jié)點(diǎn)的實(shí)際負(fù)載進(jìn)行智能調(diào)度。包括支持“節(jié)點(diǎn)動態(tài)放大”，根據(jù)實(shí)際需求，自動增加CPU和內(nèi)存資源。三是在線和離線業(yè)務(wù)能否混合部署。在線業(yè)務(wù)對資源的要求高，但變化會比較明顯，離線業(yè)務(wù)便靜態(tài)，及時性不高。要想集群24小時運(yùn)轉(zhuǎn)，就需要把在線和離線業(yè)務(wù)混在一起運(yùn)行。同時，騰訊云TKE在內(nèi)核層面實(shí)現(xiàn)資源隔離，允許高低優(yōu)任務(wù)共存，高優(yōu)任務(wù)可搶占低優(yōu)資源，確保在線業(yè)務(wù)不受影響。82024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望最終，在TKE原生節(jié)點(diǎn)的支持下，貝殼的資源利用率從23年年初的峰值不到25%，到年底提升到了40%?！叭萜鞑皇墙K點(diǎn)，它其實(shí)是一切的起點(diǎn)?！睏钶紓フf，容器化為貝殼真正邁向云原生打下了基礎(chǔ)，未來將推進(jìn)兩件事：一是讓自建的容器逐漸遷移到公有云的底座上，增加騰訊云TKE在貝殼的算力供給比重；二是針對應(yīng)用以外的組件進(jìn)行云原生的適配，實(shí)現(xiàn)數(shù)據(jù)的云原生和緩存的云原生等。92024騰訊云云原生提質(zhì)增效實(shí)踐精選集維穩(wěn)降本，小鵝通容器集群計算資源的

調(diào)控實(shí)踐>公司簡介小鵝通是一家以知識產(chǎn)品與用戶服務(wù)為核心的技術(shù)服務(wù)商，創(chuàng)始至今已服務(wù)逾百萬家客戶?，F(xiàn)如今，私域運(yùn)營正在逐漸成為數(shù)字化經(jīng)營的重要手段，并助推企業(yè)的業(yè)務(wù)升級和組織建設(shè)升級。小鵝通作為私域運(yùn)營的一站式工具，解決產(chǎn)品和服務(wù)交付、營銷獲客、用戶運(yùn)營、組織角色管理、品牌價值輸出等痛點(diǎn)并形成閉環(huán)，扎根多個行業(yè)與生態(tài)，可在企業(yè)經(jīng)營過程中發(fā)揮重要作用，成為企業(yè)數(shù)字化經(jīng)營的好幫手。>業(yè)務(wù)挑戰(zhàn)多模型、高體量的業(yè)務(wù)場景給小鵝通帶來了極大的并發(fā)挑戰(zhàn)，如何在完成資源保障的基礎(chǔ)上進(jìn)一步維穩(wěn)降本成為難題。102024騰訊云云原生提質(zhì)增效實(shí)踐精選集>解決思路集群資源調(diào)控：Serverless+常駐節(jié)點(diǎn)高效利用受業(yè)務(wù)場景(如直播)及龐大用戶量影響，小鵝通集群資源存在明顯規(guī)律的波峰波谷現(xiàn)象，集群資源差值達(dá)100%以上，集群閑時資源冗余明顯。為了解決這一問題，小鵝通開始嘗試與騰訊云合作?！耙?yàn)槲覀兊钠髽I(yè)價值觀是客戶第一，所以在做云產(chǎn)品選型時，我們會優(yōu)先選擇一些比較有實(shí)力的，之前有過相關(guān)場景落地的云廠商，這樣其實(shí)我們的接入成本會更低；另外一個考慮點(diǎn)是技術(shù)團(tuán)隊實(shí)力以及服務(wù)支持響應(yīng)的速度。像TKE它其實(shí)在業(yè)K8s版本在24年8月已經(jīng)更新到小鵝通容器負(fù)責(zé)人張安哲表示。選擇跟騰訊云合作之后，小鵝通開始衡量騰訊云TKE常駐節(jié)點(diǎn)和Serverless超級節(jié)點(diǎn)如何選擇。第一階段，小鵝通將TKE常駐節(jié)點(diǎn)與超級節(jié)點(diǎn)進(jìn)行了初步結(jié)合。CVM以上。后續(xù)就是基于騰訊這些的能力以及K8s能力在這個基礎(chǔ)上進(jìn)一步降低了20%進(jìn)行的，另外一部分能力是通過超級節(jié)點(diǎn)進(jìn)行的?！薄霸谌萜骼锩媸紫仁菢I(yè)務(wù)能穩(wěn)定的運(yùn)行，基于這個業(yè)務(wù)穩(wěn)定的條件，那我們在想能不能業(yè)務(wù)穩(wěn)定的情況下，我們能把云資源對應(yīng)的一個成本進(jìn)一步的壓縮。這其實(shí)是在我們完成容器化之后進(jìn)一步思考的問題?！睆埌舱鼙硎?。在對超級節(jié)點(diǎn)與常駐節(jié)點(diǎn)的計費(fèi)規(guī)則做了深入研究之后，小鵝通開始基于業(yè)務(wù)情況，尋找二者的黃金配比。Serverless核心計費(fèi)規(guī)則a.較大原則：max(max(containerLimit),sum(containerRequest))升格原則（CPU為例）：3C（使用）->4C（計費(fèi)），6C（使用）->8C（計費(fèi)）常駐節(jié)點(diǎn)核心計費(fèi)規(guī)則(節(jié)點(diǎn)核數(shù)放大系數(shù)-系統(tǒng)組件核數(shù))/CPURequest如何計算出二者的黃金配比”？112024騰訊云云原生提質(zhì)增效實(shí)踐精選集最終，通過對常駐階段與超級節(jié)點(diǎn)進(jìn)行黃金配比，想同用量之下，成本再降低12+%。調(diào)控解決成本問題場景1：直播帶貨?痛點(diǎn)：商家數(shù)字化轉(zhuǎn)型，將線下龐大流量帶到線上；直播間講解完商品后，發(fā)出商品鏈接搶購，都將導(dǎo)致瞬時間成百上千倍流量涌入系統(tǒng)，造成極大的壓力。?解決方案：通過固定HPC擴(kuò)容回收，實(shí)現(xiàn)高峰期整體資源保障。場景保障?在B客戶時間段不固定，因此需要對客戶進(jìn)行特殊保障，助力用戶體驗(yàn)順暢。122024騰訊云云原生提質(zhì)增效實(shí)踐精選集?解決方案：通過商家報備時間段HPC擴(kuò)容回收，實(shí)現(xiàn)閑時資源保障。云資源成本陡增等問題。小鵝通結(jié)合業(yè)界經(jīng)驗(yàn)與生產(chǎn)經(jīng)驗(yàn)，經(jīng)過大量背景搜集及多次試點(diǎn)后，最終落地容器計算資源標(biāo)準(zhǔn)并執(zhí)行。張安哲表示：“其實(shí)小鵝通的直播場景、體量問題，更多還是要通過集群資源保障去解決，比如你的超級節(jié)點(diǎn)以及對應(yīng)原生節(jié)點(diǎn)的配額能否滿足業(yè)務(wù)需求，另外就是底層DB是否支持。容器能支持到的能力，第一個是扛住它對應(yīng)的類似秒殺場景，帶來的突刺。這種場景，如果說是放在傳統(tǒng)的下，它其實(shí)是不太適用的，我們之前也計算過，超級節(jié)點(diǎn)對應(yīng)的一個擴(kuò)容30針對這個問題，行業(yè)內(nèi)通用做法是給它定時加對應(yīng)的HPC。但是，這么多的HPC你要如何進(jìn)行一個管理？因?yàn)槲覀儾煌臅r間段有不同的高峰，如果全天按最高的需求量先給它去囤對應(yīng)的資源，很明顯會帶來浪費(fèi)。后面基于業(yè)務(wù)穩(wěn)定的情況下，我們自研了一套能自動調(diào)控HPC對應(yīng)的算法程序。進(jìn)一步降低我們運(yùn)維成本?！?32024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望通過上述解決方案的落地與持續(xù)優(yōu)化，小鵝通最終實(shí)現(xiàn)：?復(fù)合容器資源云成本降低20%+?集群整體利用率較上限提升20%?日常容器資源維護(hù)人力成本降低50%?冗余容器資源維護(hù)人力成本降低90%面向未來，小鵝通將持續(xù)探索容器化在特定場景的應(yīng)用優(yōu)化，如精細(xì)化HPC時間段調(diào)控、精細(xì)化規(guī)格/配置調(diào)控、引入事件驅(qū)動擴(kuò)縮容、拓展更多實(shí)用場景等，以此更進(jìn)一步助力業(yè)務(wù)降本增效。142024騰訊云云原生提質(zhì)增效實(shí)踐精選集趣丸科技基于騰訊云容器服務(wù)TKE集群的

高效混部實(shí)踐>公司簡介趣丸科技成立于2014年，是中國領(lǐng)先的國家高新技術(shù)企業(yè)，形成了集興趣社交、人工智能、電子競技等業(yè)務(wù)于一體的多元業(yè)務(wù)矩陣。公司拳頭產(chǎn)品TT語音是國內(nèi)領(lǐng)先的興趣社交平臺，累計注冊用戶已超2王者榮耀職業(yè)聯(lián)賽（KPL）、和平精英職業(yè)聯(lián)賽（PEL）等五大頭部電競職業(yè)賽事官方合作伙伴。趣丸科技堅持創(chuàng)新驅(qū)動，已構(gòu)建全棧式AI交互技術(shù)產(chǎn)業(yè)生態(tài)，在數(shù)智人、智能視聽、三維生成、AI音樂等領(lǐng)域均有落地應(yīng)用。聚焦興趣社交領(lǐng)域的深厚積累為核心優(yōu)勢，積極瞄準(zhǔn)全球數(shù)字技術(shù)基礎(chǔ)前沿領(lǐng)域和關(guān)鍵核心技術(shù)的研發(fā)和創(chuàng)新。>業(yè)務(wù)挑戰(zhàn)問題：趣丸科技全網(wǎng)主機(jī)CPU利用率不到10%。一方面，公司業(yè)務(wù)誕生于云且在云環(huán)境中發(fā)展，這使得底層能力的實(shí)現(xiàn)受到一定限制；同時，其直播業(yè)務(wù)對穩(wěn)定性有著極高要求，與之對應(yīng)的是，在這種情況下，系統(tǒng)的隔離能力必須足夠強(qiáng)大，以保障直播業(yè)務(wù)的穩(wěn)定運(yùn)行。另一方面，公司離線業(yè)務(wù)擁有獨(dú)立的Spark集群，這就需要在混部技術(shù)中兼容離線業(yè)務(wù)原有的模式，從而更好地優(yōu)化整體資源利用，提升全網(wǎng)主機(jī)CPU利用率。>解決思路?依托于云，擁抱社區(qū)?調(diào)度優(yōu)先、隔離為輔助的總體方案；?集群級調(diào)度優(yōu)：TTSet混部調(diào)度系統(tǒng)?Server圖片：趣丸科技的混部三層架構(gòu)152024騰訊云云原生提質(zhì)增效實(shí)踐精選集TTSet架構(gòu)tt-agent：以的方式部署到每一個Node節(jié)點(diǎn)上，主要功能有采集數(shù)據(jù)、上報數(shù)據(jù)、干預(yù)Pod。tt-scheduler：基于scheduler-framework開發(fā)，實(shí)現(xiàn)多種調(diào)度策略。tt-webhook：admissionwebhook，主要在Pod創(chuàng)建前修改參數(shù)，如資源壓縮、節(jié)流參數(shù)注入等TTSet資源模型調(diào)度策略基于真實(shí)負(fù)載感知的調(diào)度2.離線資源壓縮3.資源熱點(diǎn)遷移與過載干預(yù)4.基于優(yōu)先級的驅(qū)逐算法5.基于最晚運(yùn)行時間的調(diào)度162024騰訊云云原生提質(zhì)增效實(shí)踐精選集黃金補(bǔ)充表示：“基于直播場景，我們其實(shí)遇到最多的就是流量峰值問題，很多時候做活動它可能在一瞬間就會把整個的用戶量涌進(jìn)來，所以我們最開始選型的時候要考慮到極致的伸縮性能，我們會有一堆的伸縮策略，基于定時的或者基于消息隊列的、基于具體的信號的，比如在開播之前我能夠迅速的利用TKE集群直接彈出四五臺機(jī)器，這樣在結(jié)束之后我能迅速的去回收掉。這個里面就會遇到一些問題，除了我們在資源層做準(zhǔn)備，其實(shí)如果你擴(kuò)容了就意味著你的整個應(yīng)用的面向DB中間件的這個連接池會大量的增長，對應(yīng)的中間件和DB能不能扛?。窟@也是在做架構(gòu)的時候或者是做這種伸縮的時候都要考慮的問題，有可能你把應(yīng)用層彈起來了，但是整個DB層都崩了?！备綦x能力“因?yàn)槲覀兪侵辈I(yè)務(wù)，直播對這種時間、故障會比較敏感，尤其是在業(yè)務(wù)高峰期，很多業(yè)務(wù)，如果你告訴他你要做混部，他可能第一時間提的就是你會不會影響我，所以在這里你首要解決的就是你怎么保證好隔離性。”黃金表示。針對這一需求，趣丸科技基于騰訊云TKE原生節(jié)點(diǎn)與Server構(gòu)建了強(qiáng)大的隔離能力：云原生節(jié)點(diǎn)是騰訊云TKE容器服務(wù)團(tuán)隊面向?yàn)橛脩籼峁┰?、高穩(wěn)定、快響應(yīng)的K8s節(jié)點(diǎn)管理能力。Server是騰訊云針對云的場景研發(fā)的Linux操作系統(tǒng)，提供特定的功能及性能優(yōu)化，為云服務(wù)器實(shí)例中的應(yīng)用程序提供更高的性能及更加安全可靠的運(yùn)行環(huán)境172024騰訊云云原生提質(zhì)增效實(shí)踐精選集超級節(jié)點(diǎn)超級節(jié)點(diǎn)是騰訊云全新升級的節(jié)點(diǎn)產(chǎn)品形態(tài)，向用戶提供可用區(qū)級別的、支持自定義規(guī)格的節(jié)點(diǎn)能力。相比節(jié)點(diǎn)池及伸縮組，按量計費(fèi)的超級節(jié)點(diǎn)超級節(jié)點(diǎn)簡化了擴(kuò)容和縮容流程提高了彈性效率：?擴(kuò)容：按量計費(fèi)超級節(jié)點(diǎn)將常規(guī)擴(kuò)容流程縮短至秒級，擴(kuò)容流程更高效。?縮容：按量計費(fèi)超級節(jié)點(diǎn)的縮容流程短規(guī)避了CA流程、封鎖流程及Pod驅(qū)逐流程，完全做到了無損縮容，瞬時縮容。182024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望通過基于TKE集群的混部實(shí)踐，趣丸科技將全網(wǎng)主機(jī)CPU利用率從8%提升到50%以上，并且實(shí)現(xiàn)了離線集群完全復(fù)用在線資源。未來，趣丸科技將堅持“立足業(yè)務(wù)、依托于云、合作共贏”的技術(shù)路線，持續(xù)探索云原生在社交娛樂場景的創(chuàng)新應(yīng)用。1902中間件2024騰訊云云原生提質(zhì)增效實(shí)踐精選集基于騰訊云消息隊列TDMQPulsar版在

在線高并發(fā)場景的最佳實(shí)踐>關(guān)于FinancialTechnology）是騰訊公司提供移動支付與金融服務(wù)的綜合業(yè)務(wù)平臺。業(yè)務(wù)領(lǐng)域包括移動QQ錢包等移動支付產(chǎn)品中持續(xù)進(jìn)行功能和服務(wù)創(chuàng)新。>業(yè)務(wù)挑戰(zhàn)過濾、延遲推送等場景。同時由于均是交易類場景，對消息產(chǎn)品的高并發(fā)、容災(zāi)有非常高的要求。比如，在可預(yù)期的業(yè)務(wù)高峰期時，對消息隊列集群進(jìn)行快速擴(kuò)容；在非預(yù)期的可用區(qū)故障時，其余可用區(qū)可以正常提供服務(wù)，保障交易業(yè)務(wù)的流暢性。于是TDMQPulsar版進(jìn)入了的消息隊列技術(shù)選型范疇。212024騰訊云云原生提質(zhì)增效實(shí)踐精選集>解決思路騰訊云TDMQPulsar版是基于ApachePulsar自研的消息中間件，具備極好的云原生和Serverless特性，計算存儲分離的架構(gòu)使其在擴(kuò)縮容方面具備良好的底層優(yōu)勢。在完全兼容社區(qū)版的基礎(chǔ)上，TDMQPulsar版還提供了重試&死信隊列、消息標(biāo)簽過濾、消息軌跡等高級特性。TDMQPulsar版由于其存算分離的架構(gòu)，對于計算密集型的業(yè)務(wù)場景，僅需要添加計算層，自動進(jìn)行Rebalance；BKPulsar專業(yè)集群支持3AZ跨可用區(qū)部署，以確保發(fā)生可用區(qū)故障時，也能正常提供服務(wù)；同時還提供了跨地域冷備功能，支持快速切換接入點(diǎn)解析，實(shí)現(xiàn)無需客戶端修改接入點(diǎn)地址，而實(shí)現(xiàn)跨地域的容災(zāi)方案，保障業(yè)務(wù)的延續(xù)性。在場景支撐方面，TDMQPulsar版承載了騰訊計費(fèi)、中國銀行等金融場景下的核心交易鏈路。從各方面來說，都非常匹配的需求?；赑ulsar的消息中間件的具體實(shí)踐如下：標(biāo)準(zhǔn)模型-發(fā)布訂閱第一類使用場景，是標(biāo)準(zhǔn)的pub-sub模式，生產(chǎn)者生產(chǎn)一條消息，任意一個消費(fèi)者成功消費(fèi)即可。在部署方面，客戶端的生產(chǎn)者和消費(fèi)者均解耦部署。222024騰訊云云原生提質(zhì)增效實(shí)踐精選集限定模型-消息標(biāo)簽過濾+自動創(chuàng)建訂閱第二類場景，限定模型，是使用了消息過濾的方式，限定消息只能在某一個客戶端消費(fèi)。采用單元化（SET）架構(gòu)。在該場景中的業(yè)務(wù)消息，會按照一定的規(guī)則（如UIN等）進(jìn)行分片，并要求消息限定在某個目標(biāo)SET中消費(fèi)。如上圖所示，SET1中生產(chǎn)者生產(chǎn)消息時，給消息打上「SET1」的的消息。另外，Pulsar可以支持自動創(chuàng)建訂閱，F(xiàn)iT使用該能力實(shí)現(xiàn)了一套插件，將SET做為環(huán)境變量注入到啟動容器中，這樣實(shí)現(xiàn)方式極大的方便了業(yè)務(wù)自定義配置要消費(fèi)的消息，僅需要調(diào)整環(huán)境變量即可，而不需要改動業(yè)務(wù)代碼。擴(kuò)散模型232024騰訊云云原生提質(zhì)增效實(shí)踐精選集消息（跨集群）復(fù)制在消息容災(zāi)場景下，F(xiàn)iT基于消息復(fù)制組件，配置消息復(fù)制關(guān)系，自動將消息復(fù)制到對端的Pulsar集群。同一個復(fù)制對象，在不同地域的兩個集群中名稱需要保持一致，包括名稱、角色名稱及相應(yīng)的密鑰等。如此，可保障當(dāng)其中一個地域發(fā)生故障時，通過接入層的流量調(diào)度，將流量調(diào)度至另外一個集群。242024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望得益于TDMQPulsar版高吞吐、低延遲的能力，F(xiàn)iT金融產(chǎn)品業(yè)務(wù)遷移到TDMQPulsar版后，消息從生產(chǎn)者到消費(fèi)者的耗時縮短了大約80%，消息積壓情況大大緩解，積壓數(shù)量減少了70%。TDMQPulsar版延遲消息作用于消息維度，方便業(yè)務(wù)根據(jù)自身場景對每條消息設(shè)置不同的延時時間，如延遲通知、延遲核對等。TDMQPulsar運(yùn)維簡單，業(yè)務(wù)高峰期需要集群擴(kuò)容時，在控制臺一鍵點(diǎn)擊升配即可，業(yè)務(wù)層無感。TDMQPulsar技術(shù)支持專業(yè)迅速，及時響應(yīng)業(yè)務(wù)需求解決業(yè)務(wù)場景的痛點(diǎn)，如支持接入外部監(jiān)控、支持靈活的消息過濾功能，較好地支撐了業(yè)務(wù)。下一步，F(xiàn)iT金融產(chǎn)品業(yè)務(wù)將繼續(xù)切量至TDMQPulsar，預(yù)計2024年基本完成遷移。并且由于承載了微信支付、銀行等國民級支付產(chǎn)品，計劃在未來實(shí)現(xiàn)多個自建機(jī)房的條帶化部署，屆時TDMQPulsar也將屬地化部署（私有化部署），并作為其交易業(yè)務(wù)的核心鏈路。同時，TDMQPulsar版將繼續(xù)打磨產(chǎn)品能力，服務(wù)好包含在內(nèi)的廣大用戶，近期我們將推出以下新功能：?接入外部監(jiān)控Prometheus：支持將專業(yè)集群的監(jiān)控數(shù)據(jù)，接入自建的Prometheus，利于用戶觀測的同時，可以通過監(jiān)控數(shù)據(jù)對業(yè)務(wù)?消息標(biāo)簽過濾支持更靈活的表達(dá)式：提供更加靈活的消息標(biāo)簽過濾表達(dá)式配置，簡化業(yè)務(wù)側(cè)的架構(gòu)設(shè)計和數(shù)據(jù)鏈路。?更加豐富的應(yīng)用觀測指標(biāo)：提供更多更豐富的集群性能觀測指標(biāo)，便于客戶及時排除業(yè)務(wù)鏈路風(fēng)險，準(zhǔn)確定位異常位置。252024騰訊云云原生提質(zhì)增效實(shí)踐精選集騰訊云分布式消息隊列一站式搭建數(shù)據(jù)

流轉(zhuǎn)鏈路，助力長城車聯(lián)網(wǎng)平臺降低運(yùn)維成本>企業(yè)簡介長城汽車是一家全球化智能科技公司，業(yè)務(wù)包括汽車及零部件設(shè)計、研發(fā)、生產(chǎn)、銷售和服務(wù)，旗下?lián)碛泄?、魏牌、歐拉、7年銷量超100綠色出行服務(wù)，加速向全球化智能科技公司進(jìn)階，智能化車型滲透率達(dá)86.17%，車聯(lián)網(wǎng)作為智能化兩大應(yīng)用方向之一，在這個過程中快速發(fā)展。長城車聯(lián)網(wǎng)平臺涵蓋車內(nèi)總線數(shù)據(jù)上報、遠(yuǎn)程、車機(jī)配置下發(fā)、推送文件、推送消息、運(yùn)營關(guān)懷等全新車聯(lián)網(wǎng)業(yè)務(wù)，實(shí)現(xiàn)車機(jī)端和業(yè)務(wù)平臺解耦并高效完成業(yè)務(wù)對接整合。主要場景包括：?車端數(shù)據(jù)上報——電機(jī)、位置、發(fā)動機(jī)、整車數(shù)據(jù)、電池，報警等，通過上報車聯(lián)網(wǎng)平臺，針對上報數(shù)據(jù)進(jìn)行實(shí)時數(shù)據(jù)處理、計算、推理，以便提供車況查詢、告警等智能化服務(wù)。?遠(yuǎn)程控制——手機(jī)APP/智能設(shè)備集成車聯(lián)網(wǎng)平臺能力，實(shí)現(xiàn)遠(yuǎn)控、診斷。以下是車聯(lián)網(wǎng)平臺架構(gòu)圖（示意）。262024騰訊云云原生提質(zhì)增效實(shí)踐精選集>業(yè)務(wù)挑戰(zhàn)車聯(lián)網(wǎng)平臺目前已接入數(shù)百萬輛車，峰值在線達(dá)百萬輛。車端上報信號數(shù)據(jù)量大、上傳頻率高，數(shù)據(jù)呈爆炸式增長，海量數(shù)據(jù)實(shí)時處理與分析面臨嚴(yán)重挑戰(zhàn)。對系統(tǒng)提出以下要求：1）處理時效要求高查詢時效性、分析決策、監(jiān)控告警2）數(shù)據(jù)量大，穩(wěn)定分布式、平行擴(kuò)展、低耦合、高可用性、數(shù)據(jù)安全來去做消息的傳輸。但存在以下缺點(diǎn)：?只是排隊，而不是流處理?無法處理使用量激增(沒有緩沖)?大多數(shù)代理不支持高可伸縮性?異步處理(通常脫機(jī)很長時間)?缺乏與企業(yè)其他部分的良好集成?單一基礎(chǔ)設(shè)施(通常位于邊緣)?不能對事件進(jìn)行再處理只有數(shù)據(jù)有可能來不及處理就被丟掉，同時也滿足不了海量數(shù)據(jù)實(shí)時處理與分析帶來的挑戰(zhàn)。>解決思路作為分布式消息隊列的Kafka，因多分區(qū)、零拷貝、批處理、順序讀寫等設(shè)計和特性能夠?qū)崿F(xiàn)高吞吐量的數(shù)據(jù)處理。同時作為一個事件流平臺，它結(jié)合消息傳遞、存儲和數(shù)據(jù)處理來構(gòu)建高度可伸縮、可靠、安全和實(shí)時的基礎(chǔ)設(shè)施。從車聯(lián)網(wǎng)的角度來看具有以下優(yōu)點(diǎn)：272024騰訊云云原生提質(zhì)增效實(shí)踐精選集?流處理，不僅僅是排隊?高吞吐量?大規(guī)模的?高可用性?長期存儲和緩沖?再處理的事件?與企業(yè)的其他部分良好集成和的結(jié)合是構(gòu)建可伸縮、可靠和安全的車聯(lián)網(wǎng)基礎(chǔ)設(shè)施的天成之選，因此長城車聯(lián)網(wǎng)平臺選擇作為數(shù)據(jù)處理核心組件。的集群后對接集群，先通過從設(shè)備采集數(shù)據(jù)，采集后再轉(zhuǎn)儲到Kafka，供后續(xù)引擎分析處理。即使處理的速度沒有采集的速度快，數(shù)據(jù)也不會丟失，因?yàn)橐艳D(zhuǎn)儲到Kafka。長城正是用這種方式實(shí)現(xiàn)了車聯(lián)網(wǎng)設(shè)備狀態(tài)的持續(xù)監(jiān)控和分析。但自建帶來日益加重的研發(fā)和運(yùn)維成本：首先，解決問題的研發(fā)運(yùn)維人員需要具備扎實(shí)的計算機(jī)功底（熟悉計算機(jī)網(wǎng)絡(luò)、IO等），需對的底層原理、各種配置參數(shù)項等具有深刻理解，可以進(jìn)行集群參數(shù)調(diào)優(yōu)，快速處理突發(fā)故障、恢復(fù)集群抖動和動態(tài)進(jìn)行集群擴(kuò)縮容等。最后，自建消息隊列在擴(kuò)展性、可維護(hù)性能方面存在不足，當(dāng)業(yè)務(wù)的消息數(shù)據(jù)量到達(dá)一定程度后，自建的消息隊列集群就會引發(fā)各種各樣的問題，問題的解決又帶來很大的挑戰(zhàn)。舉幾個簡單例子：?集群發(fā)生異常時，因?yàn)楸O(jiān)控指標(biāo)不全，日志輸出不合理等原因，排查定位問題困難，只能靠暫停業(yè)務(wù)、重啟集群解決問題，對業(yè)務(wù)影響較大。?的集群擴(kuò)容復(fù)雜度高，在業(yè)務(wù)高峰進(jìn)行遷移的時候，出現(xiàn)分區(qū)遷移卡死。?自建集群的ZK運(yùn)維難度大，ZK負(fù)載高，導(dǎo)致ZK頻繁斷連。282024騰訊云云原生提質(zhì)增效實(shí)踐精選集與騰訊云技術(shù)團(tuán)隊溝通，CKafka（Cloud擴(kuò)展性、業(yè)務(wù)安全保障、運(yùn)維等方面具有很強(qiáng)優(yōu)勢，可以在享受低成本、高性能、豐富功能的同時，免除繁瑣運(yùn)維工作。車聯(lián)網(wǎng)平臺利用高性能、高吞吐、可拓展的分布式消息隊列引擎CKafka，實(shí)現(xiàn)業(yè)務(wù)解耦、削峰填谷、數(shù)據(jù)的異步處理，達(dá)到業(yè)務(wù)的高可靠性。數(shù)據(jù)上報場景車輛產(chǎn)生的實(shí)時數(shù)據(jù)（如GPS位置、速度、油耗等）通過進(jìn)行收集、傳輸、分發(fā)，實(shí)現(xiàn)一份數(shù)據(jù)多個流向滿足多個場景需求。實(shí)時計算部分通過Flink提供的連接器，流數(shù)據(jù)經(jīng)過Flink算子進(jìn)行處理落入高性能列式數(shù)據(jù)庫Clickhouse，用于實(shí)時更新數(shù)據(jù)的分析。該流程可提供一次精確的處理語義，同時多分區(qū)提供更高的吞吐量，減少數(shù)據(jù)傾斜和熱點(diǎn)。車輛故障、異常行為等車輛的狀態(tài)數(shù)據(jù)，通過實(shí)時分析可以快速發(fā)現(xiàn)并處理車輛的問題。離線分析部分通過Flume等日志收集系統(tǒng)，可將中海量日志數(shù)據(jù)進(jìn)行高效收集、聚合、移動，最后存儲到HDFS或者Hbase。結(jié)構(gòu)以及采用Append追加數(shù)據(jù)，292024騰訊云云原生提質(zhì)增效實(shí)踐精選集使具有優(yōu)秀的吞吐能力；同時其擁有Replication結(jié)構(gòu)，使具有很高的容錯性。車輛數(shù)據(jù)經(jīng)過離線分析和挖掘，分析結(jié)果可以用于優(yōu)化車輛性能、提高駕駛安全、降低能耗等。指令下發(fā)場景在指令下發(fā)場景中，CKafka承接遠(yuǎn)程指令和響應(yīng)結(jié)果，為上下游多個系統(tǒng)提供異步接耦、削峰填谷的能力，同時消息持久化及可回溯的產(chǎn)品特性能保障指令狀態(tài)的最終一致性。>落地效果及未來展望與自建有完善的監(jiān)控告警系統(tǒng)和運(yùn)維工單系統(tǒng)，CKafka研發(fā)專家隨時答疑解惑，迅速解決客戶問題，省心省力。當(dāng)集群的流量和磁盤容量超過告警閾值，后端會及時擴(kuò)容設(shè)備，對客戶端無感知。解決開源長期以來遷移數(shù)據(jù)的痛點(diǎn)，配置升級無感知，輕松應(yīng)對業(yè)務(wù)高峰。支持同地域自定義多可用區(qū)部署，跨地域?yàn)?zāi)備，提升業(yè)務(wù)容災(zāi)能力。302024騰訊云云原生提質(zhì)增效實(shí)踐精選集針對降低存儲成本、快速應(yīng)對突發(fā)流量峰值的兩個核心訴求，CKafka將演進(jìn)按量存儲形態(tài)，并推出彈性帶寬能力。按量存儲按照實(shí)際使用存儲空間彈性計費(fèi)，無需考慮預(yù)留存儲空間，更加靈活易運(yùn)維，且成本更低。彈性帶寬在既定帶寬規(guī)格上，提供一定范圍的上浮空間（即彈性能力）。若遇到突發(fā)的流量毛刺，集群不會觸發(fā)限流，而是在規(guī)定范圍內(nèi)彈性擴(kuò)縮容，超出原有帶寬部分的流量按量計費(fèi)。通過合理的架構(gòu)設(shè)計和靈活的產(chǎn)品能力，CKafka幫助用戶在云上以更低成本托管高吞吐、高可用、易用免運(yùn)維的消息隊列服務(wù)，一站式搭建數(shù)據(jù)流轉(zhuǎn)鏈路。未來也期待與更多出行行業(yè)客戶展開深度合作，分享更多云上最佳實(shí)踐。312024騰訊云云原生提質(zhì)增效實(shí)踐精選集業(yè)務(wù)高速增長，如祺出行如何用騰訊云消息

隊列應(yīng)對挑戰(zhàn)>企業(yè)簡介如祺出行是廣汽集團(tuán)旗下智慧出行平臺，致力于搭建全方位、立體化的出行科技解決方案與服務(wù)體系，提供出行服務(wù)（主要為網(wǎng)約車及服務(wù)）、技術(shù)服務(wù)（主要是人工智能數(shù)據(jù)及模型解決方案以及高精地圖）和生態(tài)服務(wù)（主要為司機(jī)及加盟商提供全套支持）。如祺出行上線四年時間，用戶規(guī)模和訂單量保持高速增長。在過去的2022年，如祺出行平臺累計注冊用戶突破1800萬，同比增長64%，年度訂單總量超7000萬，同比增長52%。>業(yè)務(wù)挑戰(zhàn)高速增長的用戶規(guī)模和訂單量，對技術(shù)平臺提出更高要求。隨著專快車業(yè)務(wù)的快速增長，越來越多業(yè)務(wù)需求與業(yè)務(wù)主流程耦合，導(dǎo)致調(diào)用鏈過長，接口延遲增加了數(shù)倍，整體架構(gòu)無論是性能還是擴(kuò)展性，都存在很大的風(fēng)險，遇到節(jié)假日高峰，隨時都有崩潰的風(fēng)險。>解決思路為了提升架構(gòu)的穩(wěn)定性，保障用戶體驗(yàn)，如祺出行于2021年啟動架構(gòu)升級。其中，引入消息隊列做異步化是整個分布式架構(gòu)設(shè)計的核心手段之一。消息隊列是一種異步通信機(jī)制，可以將消息從發(fā)送方發(fā)送到接收方，而不需要立即處理。這種機(jī)制可以帶來以下好處：?異步化處理：消息隊列可以將不同組件或服務(wù)之間的通信異步化，使得用戶下單速度更快，體驗(yàn)更好，提高系統(tǒng)的響應(yīng)速度和吞吐量。?冗余處理：消息隊列可以將消息復(fù)制到多個副本中，確保即使某個節(jié)點(diǎn)出現(xiàn)故障，消息也不會丟失。322024騰訊云云原生提質(zhì)增效實(shí)踐精選集?解耦合：消息隊列可以將不同組件或業(yè)務(wù)之間的通信解耦合，每個業(yè)務(wù)只需要關(guān)注自己訂閱的消息，從而將下單主流程跟其它業(yè)務(wù)流程解耦，保障了主流程的穩(wěn)定和提升了運(yùn)維的可觀測性。?流量控制：消息隊列可以對消息進(jìn)行緩沖和限流，防止消息發(fā)送方發(fā)送過多的請求導(dǎo)致接收方處理不過來，從而提高系統(tǒng)的穩(wěn)定性。>消息隊列選型2019CMQ高吞吐量、海量存儲和高并發(fā)能力等特點(diǎn)，可以幫助用戶在分布式系統(tǒng)中進(jìn)行異步通信，提高應(yīng)用程序的可用性和可擴(kuò)展性，但由于CMQ協(xié)議和功能簡單，不支持事務(wù)消息，順序消息和大規(guī)模延遲消息等局限性，研發(fā)團(tuán)隊決定采用作為升級方案，滿足日益復(fù)雜的訂單業(yè)務(wù)場景。介紹Apache是一個開源的分布式消息中間件，因其架構(gòu)簡單、業(yè)務(wù)功能豐富、具備極強(qiáng)可擴(kuò)展性等特點(diǎn)被眾多企業(yè)開發(fā)者以及云廠商采用，它具有高性能、高可用性、高可靠性和易于使用等優(yōu)勢，尤其在互聯(lián)網(wǎng)、大數(shù)據(jù)、企業(yè)應(yīng)用、金融交易等在線業(yè)務(wù)場景成為開發(fā)者首選的消息隊列產(chǎn)品。可以幫助業(yè)務(wù)實(shí)現(xiàn)異步通信、流量削峰、數(shù)據(jù)同步和日志處理等應(yīng)用場景，還提供了豐富的高級特性，比如事務(wù)消息、定時消息、重試消息和死信消息等特色功能，騰訊云針對做了大量的優(yōu)化增強(qiáng)，在完全兼容社區(qū)版的基礎(chǔ)上，提供了秒級定時消息、命名空間，消息軌跡和豐富的監(jiān)控告警指標(biāo)等企業(yè)級特性，可以很好地滿足如祺訂單系統(tǒng)等各種復(fù)雜的消息處理需求。如祺打車業(yè)務(wù)流程介紹332024騰訊云云原生提質(zhì)增效實(shí)踐精選集在整個下單流程中，從預(yù)估到下單，再從派單到開始服務(wù)，最后到費(fèi)用結(jié)算，一共要經(jīng)過20+流程環(huán)節(jié)，其中計費(fèi)訂單系統(tǒng)是所有系統(tǒng)的核心，從用戶輸入上下車地點(diǎn)，背后的業(yè)務(wù)系統(tǒng)就開始工作，比如營銷系統(tǒng)查詢用戶折扣和優(yōu)惠、地圖系統(tǒng)開始做路徑規(guī)劃、安全監(jiān)控系統(tǒng)做分控計算、預(yù)派單系統(tǒng)提前做派單分析等，業(yè)務(wù)系統(tǒng)需要完成大量的計算任務(wù)，對數(shù)據(jù)的實(shí)時性、準(zhǔn)確性和一致性要求非常高，并且涉及大量的系統(tǒng)交互，這對整個系統(tǒng)的穩(wěn)定性要求提出很大的挑戰(zhàn)。通過做異步化改造在沒有通過處理之前，各個系統(tǒng)之間的耦合度非常高，系統(tǒng)穩(wěn)定性風(fēng)險高，引入完成了下單異步化改造，大量任務(wù)異步通信處理，大大提升了訂單業(yè)務(wù)系統(tǒng)的可擴(kuò)展性和可靠性，其主要體現(xiàn)在以下幾個方面:1）下單速度3-5(在運(yùn)力充足的前提下，大約就能完成接單流程)。2）業(yè)務(wù)的擴(kuò)展性風(fēng)控、安全、營銷、派單有非常多復(fù)雜的業(yè)務(wù)邏輯，例如發(fā)券、動態(tài)折扣等，如果沒有用消息隊列做消息共享，就需要做342024騰訊云云原生提質(zhì)增效實(shí)踐精選集N*N的遠(yuǎn)程調(diào)用，增加了系統(tǒng)復(fù)雜度，現(xiàn)在只需要增加一個下游訂閱，就可以擴(kuò)展新業(yè)務(wù)邏輯。3）業(yè)務(wù)可靠性由于業(yè)務(wù)的鏈條很長，因此需要做好各個環(huán)節(jié)的兜底處理，下單異步化后，可以做到關(guān)注點(diǎn)分離，下單主流程不會因?yàn)槟硞€:就可以直接使用，保證了系統(tǒng)的可靠。>在訂單系統(tǒng)的應(yīng)用定時消息場景定時消息是指消息發(fā)送方將消息發(fā)送到時，消息不是立即可以被下游訂閱者消費(fèi)，而是指定消息在將來一段時間才可以被消費(fèi)。開源社區(qū)版(4.x版本)沒有支持秒級精度的定時消息方案，只能指定幾個固定的延遲級別，騰訊云在社區(qū)版的基礎(chǔ)上，通過基于時間輪的調(diào)度引擎，先將定時消息暫存在內(nèi)部定時消息隊列，再通過調(diào)度引擎按指定的定時時間，將消息調(diào)度到普通消息隊列，下游消費(fèi)方才可以正常消費(fèi)消息，默認(rèn)最長可以支持40天的定時范圍（如果購買了專業(yè)版的客戶，可以通過工單申請更長的定時范圍）。在打車業(yè)務(wù)中，有大量的定時消息場景，比如訂單完成超過一定時間后其狀態(tài)自動流轉(zhuǎn)，訂單超過一定時間未接單自動提醒等業(yè)務(wù)場景，在未接入之前，要依賴輪詢數(shù)據(jù)庫來實(shí)現(xiàn)，對數(shù)據(jù)庫壓力非常大，接入后，不僅大大緩解了數(shù)據(jù)庫壓力，系統(tǒng)的依賴關(guān)系也大量簡化。352024騰訊云云原生提質(zhì)增效實(shí)踐精選集事務(wù)消息場景事務(wù)消息是Apache提供的一種高級消息類型，支持在分布式場景下保障消息生產(chǎn)和本地事務(wù)的最終一致性，尤其是在對數(shù)據(jù)一致性要求高的交易場景有廣泛的應(yīng)用，主要核心過程如下。生產(chǎn)者發(fā)送消息到中。2.服務(wù)端收到消息后將消息存儲到半消息中。3.當(dāng)本地事務(wù)執(zhí)行完成。4.生產(chǎn)者主動將事務(wù)執(zhí)行結(jié)果發(fā)送到中。5.若本地事務(wù)執(zhí)行結(jié)果超過一定期限還沒反饋，RocketMQ將執(zhí)行回查邏輯。6.生產(chǎn)者收到消息回查后，需要檢查對應(yīng)消息的本地事務(wù)執(zhí)行的最終結(jié)果，并反饋事務(wù)狀態(tài)，有以下三種情況：?提交事務(wù)，消費(fèi)者可以消費(fèi)到該消息。?回滾事務(wù)，消息被丟棄，消費(fèi)者不會消費(fèi)到該消息。?無法判斷狀態(tài)，等待再次發(fā)送回查。7當(dāng)事務(wù)執(zhí)行成功，RocketMQ將事務(wù)消息提交到打車業(yè)務(wù)中，有多個業(yè)務(wù)系統(tǒng)涉及交易數(shù)據(jù)的一致性，通過事務(wù)消息和本地數(shù)據(jù)庫事務(wù)結(jié)合，確保了系統(tǒng)之間數(shù)據(jù)的一致性，并且簡化了業(yè)務(wù)開發(fā)的復(fù)雜度。順序消息場景順序消息可以保證同一分區(qū)順序的消息的消費(fèi)順序和發(fā)送順序一致，常用于訂單交易，金融，電商等業(yè)務(wù)場景，將同一用戶或訂單的不同消息按照時序進(jìn)行處理，避免處理消息亂序帶來的補(bǔ)償操作等復(fù)雜度。362024騰訊云云原生提質(zhì)增效實(shí)踐精選集在如祺訂單系統(tǒng)中，上游將訂單ID作為ShardKey，同一個訂單的系統(tǒng)都會被發(fā)送到同一個分區(qū)中，下游系統(tǒng)訂閱消息時，>落地效果及未來展望當(dāng)前已經(jīng)完全兼容社區(qū)版本4.x系列版本，并且已經(jīng)支持虛擬集群和專享集群等產(chǎn)品形態(tài)，滿足用戶的不同使用場景。2022年9社區(qū)已經(jīng)發(fā)布了5.x5.x引入了全新的彈性無狀態(tài)代理模式，基于gRPC協(xié)議提供了新的更簡潔易用的SDK，并將當(dāng)前的職責(zé)進(jìn)行拆分，對于客戶端協(xié)議適配、權(quán)限管理、消費(fèi)管理等計算邏輯進(jìn)行抽離，獨(dú)立無狀態(tài)的代理角色提供服務(wù)，Broker則繼續(xù)專注于存儲能力的持續(xù)優(yōu)化。2023年6月，騰訊云基于社區(qū)5.x版本推出新的Serverless產(chǎn)品形態(tài)，在以下幾個方面持續(xù)發(fā)力：?彈性計算和分層存儲帶來更低的使用成本。?新的SDK帶來更好的開發(fā)體驗(yàn)和多語言生態(tài)支持。?大數(shù)據(jù)生態(tài)更好的對接，更好的支持實(shí)時和流計算的體驗(yàn)。未來期待能夠充分利用云原生帶來的資源利用率的紅利，以更低的成本，為客戶帶來全新的產(chǎn)品體驗(yàn)。3703云開發(fā)2024騰訊云云原生提質(zhì)增效實(shí)踐精選集5天完成一個百萬級營銷活動？沃爾瑪、瑞

幸咖啡、蒙牛都在用騰訊云開發(fā)！>企業(yè)簡介票代碼2319.HK）。蒙牛專注于為中國和全球消費(fèi)者提供營養(yǎng)、健康、美味的乳制品，形成了包括液態(tài)奶、冰淇淋、奶粉、奶酪等品類在內(nèi)的豐富產(chǎn)品矩陣。>業(yè)務(wù)挑戰(zhàn)天來運(yùn)動」?fàn)I銷活動中，開發(fā)團(tuán)隊只有短短2周的時間來完成從啟動到上線的全過程，首先快速整合釘釘用戶體系，此外還要對三方小程序進(jìn)行快速改造，由于活動規(guī)劃了高達(dá)數(shù)百萬的獎金池和10萬QPS的并發(fā)訪問量，安全上還要防范黑產(chǎn)和黃牛的侵?jǐn)_。>解決思路上線后，技術(shù)團(tuán)隊順利成功應(yīng)對此次緊迫挑戰(zhàn)，在回顧開發(fā)過程，技術(shù)團(tuán)隊認(rèn)為他們做對了以下四件關(guān)鍵事項的選擇：導(dǎo)入外部身份源用戶，加速用戶體系對接本次活動是蒙牛集團(tuán)的內(nèi)部員工活動，需要對接企業(yè)內(nèi)部使用的釘釘用戶數(shù)據(jù)。借助云開發(fā)平臺導(dǎo)入外部標(biāo)準(zhǔn)身份源能力，開發(fā)者無需自行編寫復(fù)雜的鑒權(quán)代碼，更先進(jìn)的安全標(biāo)準(zhǔn)協(xié)議也確保了用戶數(shù)據(jù)的安全性。在支持多端同步和社交賬號登錄基礎(chǔ)上，提升了用戶體驗(yàn)，同時降低了應(yīng)用的維護(hù)成本。392024騰訊云云原生提質(zhì)增效實(shí)踐精選集靈活選用云模板，加速前端開發(fā)效率云開發(fā)的云模板功能提供了快速啟動的基礎(chǔ)，讓開發(fā)者能夠迅速部署各種模板示例項目，而無需從零開始。支持根據(jù)特定品牌風(fēng)格進(jìn)行個性化定制。技術(shù)門檻和開發(fā)成本被大幅降低，一名前端開發(fā)+非專業(yè)開發(fā)者制作出抽獎、排行榜頁面。402024騰訊云云原生提質(zhì)增效實(shí)踐精選集借助云數(shù)據(jù)庫實(shí)時推送能力，快速實(shí)現(xiàn)互動玩法活動過程中，需要支持直播和彈幕等各類創(chuàng)新互動玩法，云開發(fā)實(shí)時推送產(chǎn)品能力，幫助技術(shù)團(tuán)隊大大簡化了開發(fā)流程，在確保狀態(tài)變更和數(shù)據(jù)管理的即時性與準(zhǔn)確性同時，讓開發(fā)過程更加高效。借助云開發(fā)網(wǎng)關(guān)的優(yōu)勢，應(yīng)對高并發(fā)，防黑產(chǎn)借助云開發(fā)網(wǎng)關(guān)強(qiáng)大的安全防護(hù)能力，實(shí)時安全監(jiān)控。自動化防御機(jī)制，數(shù)據(jù)加密和安全存儲，有效防止黑產(chǎn)和黃牛的侵?jǐn)_，同時支持超高并發(fā)，能夠快速響應(yīng)10萬+的并發(fā)實(shí)例，確?；顒釉谒矔r超高流量涌入時的系統(tǒng)穩(wěn)定性，安全省心，數(shù)據(jù)安全無憂。412024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果萬QPS的并發(fā)訪問也未造成系統(tǒng)卡頓，獎金發(fā)放準(zhǔn)確，吸引大量全國用戶參與。從業(yè)務(wù)上看，活動提升了蒙牛品牌知名度與用戶好感，通過數(shù)據(jù)分析為后續(xù)業(yè)務(wù)提供依據(jù)。技術(shù)團(tuán)隊?wèi)?yīng)對復(fù)雜挑戰(zhàn)更加從容，積累經(jīng)驗(yàn)、提升能力，為創(chuàng)新業(yè)務(wù)筑牢技術(shù)根基，助力蒙牛在乳業(yè)競爭中憑技術(shù)創(chuàng)新占得先機(jī)，加速數(shù)字化轉(zhuǎn)型。云開發(fā)ALLINONE一站式解決方案，在新零售營銷領(lǐng)域顯著提升了開發(fā)效能和運(yùn)營效率。不僅幫助技術(shù)團(tuán)隊快速響應(yīng)市場變化，還保障了用戶體驗(yàn)的流暢性和安全性。通過云開發(fā)，開發(fā)人員也能夠?qū)Ｗ⒂趧?chuàng)新和優(yōu)化用戶體驗(yàn)，同時確保應(yīng)用的穩(wěn)定性和擴(kuò)展性，為業(yè)務(wù)的快速發(fā)展提供強(qiáng)有力的技術(shù)支撐。4204低代碼2024騰訊云云原生提質(zhì)增效實(shí)踐精選集揭秘智慧浦東機(jī)場的低代碼創(chuàng)新建設(shè)與

落地經(jīng)驗(yàn)>企業(yè)簡介上海浦東國際機(jī)場公司成立于1995年06月20日，經(jīng)營范圍包括機(jī)場建設(shè)、施工、運(yùn)營管理和航空運(yùn)輸有關(guān)的場面服務(wù)，與機(jī)場建設(shè)相關(guān)的房地產(chǎn)開發(fā)經(jīng)營業(yè)務(wù)，航空運(yùn)輸業(yè)務(wù)代理、碼頭、倉儲、物資轉(zhuǎn)銷，提供航空運(yùn)輸有關(guān)的技術(shù)合作、咨詢、服務(wù)。>業(yè)務(wù)挑戰(zhàn)上海浦東國際機(jī)場公司，作為國際航空樞紐，日常的信息化建設(shè)任務(wù)繁重，涉及業(yè)務(wù)范圍廣，包含設(shè)備運(yùn)行管理、業(yè)務(wù)保障、人力外包等上百個業(yè)務(wù)合同項目。在缺少有效軟件系統(tǒng)監(jiān)管的情況下，機(jī)場的四級監(jiān)管體系大多依靠手工方式進(jìn)行管理，效率低且容易出錯，并且機(jī)場日常生產(chǎn)作業(yè)的數(shù)字化需求與有限的信息化資源供給之間存在突出矛盾。機(jī)場已經(jīng)處于非建設(shè)期，業(yè)務(wù)部門不會專門招聘技術(shù)開發(fā)團(tuán)隊開發(fā)和維護(hù)應(yīng)用，但是機(jī)場業(yè)務(wù)繁雜，部門差異大，核算下來改造設(shè)計的表單應(yīng)用的數(shù)千個，外包時間長，成本不低。然后，技術(shù)局限，通用SaaS軟件和零代碼平臺無法支持機(jī)場特有的個性化應(yīng)用開發(fā)，如路線導(dǎo)航、飛機(jī)零件倉儲等，無法解決部門間的開發(fā)數(shù)據(jù)隔離問題。浦東機(jī)場高層經(jīng)過討論整理后，內(nèi)部發(fā)布《上海機(jī)場集團(tuán)有限公司關(guān)于開展降本增效專項工作的實(shí)施意見》，其中提到『避免多頭開發(fā)重復(fù)建設(shè)，防止相關(guān)系統(tǒng)無法互聯(lián)互通』，面對著機(jī)場內(nèi)部30+部門的復(fù)雜業(yè)務(wù)流程，業(yè)務(wù)部門希望能夠建設(shè)統(tǒng)一的臺賬平臺，如何找到一條路徑，能夠快速實(shí)施，快速部署業(yè)務(wù)應(yīng)用，多種不同業(yè)務(wù)共享同一個平臺能力，成為了浦東機(jī)場數(shù)字化轉(zhuǎn)型新的探索路線。>解決思路利用微搭平臺，浦東機(jī)場聯(lián)合合作伙伴開啟了創(chuàng)新迭代，合作伙伴開發(fā)人力2名，集團(tuán)內(nèi)30+個部門，每個業(yè)務(wù)部門抽調(diào)1~240442024騰訊云云原生提質(zhì)增效實(shí)踐精選集業(yè)務(wù)填充內(nèi)容”的新生產(chǎn)模式，將專業(yè)的技術(shù)標(biāo)準(zhǔn)和業(yè)務(wù)對接工作交給合作伙伴進(jìn)行規(guī)劃搭建，構(gòu)建下層統(tǒng)一管理平臺。業(yè)這些應(yīng)用的上線過程中，浦東機(jī)場公司科技環(huán)保部作為主導(dǎo)部門，采取了以下步驟：與業(yè)務(wù)部門合作，明確應(yīng)用的功能需求和業(yè)務(wù)流程。2.使用微搭的可視化設(shè)計工具，快速構(gòu)建應(yīng)用原型。3.將新應(yīng)用與機(jī)場現(xiàn)有的IT系統(tǒng)進(jìn)行數(shù)據(jù)對接，確保數(shù)據(jù)的一致性和準(zhǔn)確性。4.在業(yè)務(wù)部門中進(jìn)行用戶測試，收集反饋并優(yōu)化應(yīng)用。5.在測試通過后，將應(yīng)用部署到生產(chǎn)環(huán)境，正式投入使用。6.為業(yè)務(wù)部門提供必要的培訓(xùn)和技術(shù)支持，確保用戶能夠高效使用新應(yīng)用。在三個月時間內(nèi)，成功構(gòu)建并上線了包含數(shù)百個電子臺賬類應(yīng)用，實(shí)現(xiàn)了數(shù)據(jù)電子化管理，一鍵生成臺賬，無需開發(fā)能力。其中比較典型的應(yīng)用有：進(jìn)銷存類應(yīng)用，支持機(jī)場內(nèi)部的物流和庫存管理，內(nèi)部導(dǎo)航小程序，提供機(jī)場內(nèi)部路線導(dǎo)航，支持飛機(jī)零件倉儲管理。門戶應(yīng)用，作為機(jī)場內(nèi)部信息的統(tǒng)一入口。452024騰訊云云原生提質(zhì)增效實(shí)踐精選集>落地效果及未來展望這些應(yīng)用不僅實(shí)現(xiàn)了數(shù)據(jù)和應(yīng)用的線上化，還使得各部門能夠自主快速響應(yīng)需求變化，實(shí)現(xiàn)了業(yè)務(wù)的高效閉環(huán)管理。成本效益：相比傳統(tǒng)的外包開發(fā)，使用微搭平臺節(jié)省了百萬級的成本投入。效率提升：通過低代碼工具，交付時間縮短了50%，實(shí)現(xiàn)了快速部署和迭代。自主可控：各部門可以自主實(shí)現(xiàn)數(shù)據(jù)和應(yīng)用的線上化，提高了對業(yè)務(wù)變化的響應(yīng)速度。隨著我們AI能力的上線，后續(xù)浦東機(jī)場的業(yè)務(wù)人員在構(gòu)建表單時可以依賴文字描述的方式快速生成電子臺賬應(yīng)用，進(jìn)一步提升開發(fā)效率。浦東機(jī)場公司計劃繼續(xù)使用微搭進(jìn)行應(yīng)用迭代，更加充分的使用微搭平臺，預(yù)計到2025年使用構(gòu)建總應(yīng)用數(shù)超過千級大關(guān)，實(shí)現(xiàn)業(yè)務(wù)和IT更加充分的融合，需求確認(rèn)和迭代實(shí)現(xiàn)更加快速敏捷的閉環(huán)，進(jìn)一步推動機(jī)場業(yè)務(wù)的數(shù)字化轉(zhuǎn)型，實(shí)現(xiàn)更高效的業(yè)務(wù)管理和服務(wù)創(chuàng)新。462024騰訊云云原生提質(zhì)增效實(shí)踐精選集實(shí)現(xiàn)銷售業(yè)績增長，他用騰訊云微搭低代碼

做了個樓盤SCRM小程序>企業(yè)簡介六居地產(chǎn)，一家無錫專業(yè)的房地產(chǎn)中介公司，主要提供二手房買賣交易信息、房屋出租等服務(wù)，在房產(chǎn)銷售領(lǐng)域，團(tuán)隊成員一直還在傳統(tǒng)的微信筆記分享方式傳遞房產(chǎn)資料。>業(yè)務(wù)挑戰(zhàn)隨著房地產(chǎn)銷售業(yè)績下滑，六居地產(chǎn)銷售團(tuán)隊面臨著如何更有效地分發(fā)房產(chǎn)資源和持續(xù)運(yùn)營客戶的挑戰(zhàn)，急需能夠豐富資源展示并獲取客戶聯(lián)系方式的解決方案。>解決思路六居公司以業(yè)務(wù)為重，客戶體量大，找開發(fā)預(yù)算太高。從事銷售運(yùn)營人員的朱同學(xué)看到重重困難后，并沒有輕言放棄，把目光聚焦在了低代碼和無代碼開發(fā)工具。自學(xué)了一點(diǎn)前端，也不太精通css和代碼，對小程序開發(fā)流程的不熟悉，朱同學(xué)之前使用簡道云，氚云等產(chǎn)品制作h5的客戶需求問卷，但客戶留資轉(zhuǎn)化率只有10%~20%，而小程序的形態(tài)對于客戶端的轉(zhuǎn)發(fā)分享和信息留資有天然優(yōu)勢，留資率保守統(tǒng)計可達(dá)到40%以上，而微搭是唯一能用低代碼方式開發(fā)原生小程序的工具，所以選擇了微搭。H5和的多端發(fā)布，更以其可視化搭建的簡便性，讓非技術(shù)人員也能輕松上手。微搭的云原生一體化服務(wù)，更確保了應(yīng)用的高性能和高可用性，為六居地產(chǎn)的數(shù)字化轉(zhuǎn)型提供了堅實(shí)的技術(shù)支持。為公司銷售增長發(fā)展帶來了新的活力。目前，六居的所有銷售團(tuán)隊和他們的人客戶都在使用這個小程序過程中，產(chǎn)生了更多連接互動。通過展示最新的樓盤情況、472024騰訊云云原生提質(zhì)增效實(shí)踐精選集VR查看用戶的看房瀏覽記錄，并能夠發(fā)送消息提醒給到客戶。>落地效果及未來展望業(yè)務(wù)價值：資源展示：通過小程序豐富了房產(chǎn)資源的展示方式，提升了用戶體驗(yàn)。客戶留存：獲取客戶聯(lián)系方式，玩轉(zhuǎn)私域流量，為幾千看房用戶提供了更好的服務(wù)。開發(fā)效率：不到一個月，自學(xué)完成了小程序的開發(fā)迭代。未來展望：展望未來，朱同學(xué)計劃繼續(xù)使用微搭進(jìn)行應(yīng)用迭代，也打算豐富后臺管理系統(tǒng)，以進(jìn)一步提升業(yè)務(wù)效率。同時，銷售團(tuán)隊也對微搭的AI能力表示出了濃厚的興趣，六居地產(chǎn)小程序?qū)⒃谖磥磉M(jìn)一步智能化，實(shí)現(xiàn)更快的客戶響應(yīng)和更高效的服務(wù)。4805可觀測2024騰訊云云原生提質(zhì)增效實(shí)踐精選集騰訊云可觀測平臺如何為新能源車企

緩解焦慮>導(dǎo)語在新能源汽車行業(yè)的快速發(fā)展中，企業(yè)面臨著日益復(fù)雜的運(yùn)維挑戰(zhàn)?？捎^測性技術(shù)的引入，不僅提供了更先進(jìn)的監(jiān)控工具，更成為現(xiàn)代互聯(lián)網(wǎng)軟件基礎(chǔ)設(shè)施的重要組成部分，幫助企業(yè)迅速識別潛在問題、優(yōu)化資源配置，并降低運(yùn)維成本和風(fēng)險。云上業(yè)務(wù)在IT外呼平臺和線上簽約等。在這些業(yè)務(wù)中，大數(shù)據(jù)驅(qū)動，尤其是實(shí)時分析場景，是客戶使用騰訊云的核心——相關(guān)云產(chǎn)品的消耗量占總體的30%以上EMR大數(shù)據(jù)平臺（基于云原生和泛Hadoop生態(tài)構(gòu)建的彈性MapReduce），它承載著客戶的智能營銷等關(guān)鍵業(yè)務(wù)，幫助客戶從海量數(shù)據(jù)中提取有價值的洞察，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的實(shí)時決策。監(jiān)控體系為了提升對上述系統(tǒng)的可觀測性，客戶在本地數(shù)據(jù)中心構(gòu)建了統(tǒng)一監(jiān)控平臺，該平臺基于開源技術(shù)Prometheus和實(shí)現(xiàn)。針對關(guān)鍵業(yè)務(wù)的有效監(jiān)控，客戶還依托騰訊云的可觀測平臺，采集EMR、TKE、CLB等云產(chǎn)品的監(jiān)控指標(biāo)，并在云上配置相應(yīng)的告警策略。這些監(jiān)控指標(biāo)將通過騰訊云的Prometheus遠(yuǎn)程寫入客戶本地的Prometheus，從而支持客戶大盤的統(tǒng)一展示。>業(yè)務(wù)挑戰(zhàn)1）如何高效構(gòu)建大數(shù)據(jù)平臺的可觀測性？?現(xiàn)在客戶接入騰訊云EMREMRHadoop具眾多、數(shù)據(jù)異構(gòu)、實(shí)時性要求高），導(dǎo)致構(gòu)建可觀測性的技術(shù)難度大、實(shí)踐案例稀缺、運(yùn)維成本高昂。?風(fēng)EMR?挑戰(zhàn)：既要高效率、又要低成本，如何實(shí)現(xiàn)全面、實(shí)時的EMR可觀測性體系？502024騰訊云云原生提質(zhì)增效實(shí)踐精選集2）在新車直播發(fā)布、或雙十一大促這類流量高峰時，如何保障對業(yè)務(wù)系統(tǒng)的有效監(jiān)控？?現(xiàn)狀：車企的業(yè)務(wù)流量和數(shù)據(jù)處理存在明顯的波峰時段，例如新車發(fā)布或大促期間。在這種波動性影響下，不僅業(yè)務(wù)系統(tǒng)要能彈性擴(kuò)縮容，可觀測系統(tǒng)作為業(yè)務(wù)系統(tǒng)的“千里眼”和“順風(fēng)耳”，自身也必須具備彈性擴(kuò)縮容的能力，以確保監(jiān)控和預(yù)警的實(shí)時性和有效性。?風(fēng)險：客戶自建的Prometheus是開源版本，但其最常被詬病的問題是單機(jī)存儲擴(kuò)展性差。當(dāng)海量并發(fā)到來，很可能監(jiān)控系統(tǒng)自身先被沖垮，則對業(yè)務(wù)系統(tǒng)的監(jiān)控和預(yù)警更是無從談起。?挑戰(zhàn)：為了實(shí)現(xiàn)波峰擴(kuò)容（應(yīng)對洪峰）和波谷縮容（節(jié)約資源），在各種垂直/水平擴(kuò)縮和遠(yuǎn)端存儲等技術(shù)方案當(dāng)中，該如何決策和實(shí)施，才能應(yīng)對架構(gòu)復(fù)雜度增加、運(yùn)維成本陡增的問題？3）如何基于垂直領(lǐng)域知識，合理配置監(jiān)控大盤和告警策略？?現(xiàn)狀:術(shù)業(yè)有專攻、領(lǐng)域有壁壘。運(yùn)維人員若要橫跨多個業(yè)務(wù)領(lǐng)域、有效監(jiān)控不同對象，往往需先惡補(bǔ)相關(guān)背景知識。以EMR平臺為例，運(yùn)維人員在實(shí)施監(jiān)控前，首先需要梳理泛Hadoop生態(tài)20+個組件的關(guān)鍵指標(biāo)及其監(jiān)控意義；其次需要熟知Prometheus生態(tài)語言及各類面板的制作。?風(fēng)險:缺乏相關(guān)經(jīng)驗(yàn)可能導(dǎo)致可視化效果不佳、數(shù)據(jù)匯總不合理，或面板維護(hù)和擴(kuò)展困難。此外，告警指標(biāo)、閾值或聚合方式的設(shè)定不當(dāng)，可能引發(fā)告警過多或漏報現(xiàn)象。?挑戰(zhàn):面對復(fù)雜業(yè)務(wù)的監(jiān)控場景，如何基于垂直領(lǐng)域知識，方便、合理地配置監(jiān)控大盤和告警策略？>解決思路為了解決客戶的上述痛點(diǎn)，騰訊云可觀測平臺結(jié)合了Prometheus開源生態(tài)、騰訊云基礎(chǔ)設(shè)施、和團(tuán)隊的自研創(chuàng)新能力，設(shè)計的解決方案概要如下:1）EMR監(jiān)控，一鍵集成。?目標(biāo):EMR?實(shí)現(xiàn):將Prometheus開源社區(qū)針對泛Hadoop生態(tài)的27個核心組件的exporter全部集成到騰訊云Prometheus；與其同時，基于不同組件的特性，根據(jù)最佳實(shí)踐為其設(shè)計合適的采集模式，避免指標(biāo)漏采、同時保證秒級實(shí)時性。2）彈性擴(kuò)容，無懼洪峰。512024騰訊云云原生提質(zhì)增效實(shí)踐精選集?目標(biāo):客戶監(jiān)控能力平滑擴(kuò)展上云，在業(yè)務(wù)波峰到來、訪問量級飆升時，借力騰訊云可觀測平臺，保證客戶統(tǒng)一監(jiān)控平臺的可用性。?實(shí)現(xiàn):一方面，騰訊云Prometheus+100%兼容開源版本，為客戶保證監(jiān)控協(xié)議和監(jiān)控體驗(yàn)的一致性；另一方面，騰訊云可觀測平臺依托騰訊云底層海量算力及存儲，并且借助云原生技術(shù)的容器化和彈性伸縮等能力，自研了分布式、集群化、存算分離的高可用架構(gòu)，以輕松應(yīng)對流量波峰、合理適配流量波谷。3）專家知識，預(yù)設(shè)提供。?目標(biāo):高效的監(jiān)控。?實(shí)現(xiàn):騰訊云Prometheus為所監(jiān)控對象提供了預(yù)設(shè)的大盤、和預(yù)設(shè)的告警策略，這些是基于各個垂直領(lǐng)域的專家知識和行業(yè)經(jīng)驗(yàn)沉淀而成，以預(yù)設(shè)模板、開箱即用的形式，內(nèi)置提供給客戶參考和使用。>方案詳述1）EMR監(jiān)控，一鍵集成在騰訊云Prometheus實(shí)現(xiàn)對EMR的一鍵監(jiān)控集成之前，若要滿足對云上EMR對實(shí)時監(jiān)控的需求，需由客戶自行實(shí)現(xiàn)對泛Hadoop生態(tài)的大數(shù)據(jù)組件的指標(biāo)采集和獲?。涸诿總€EMR節(jié)點(diǎn)上，手工部署agent、jmx-exporter等工具，再針對各個組件進(jìn)行繁瑣的采集配置，后續(xù)還要持續(xù)投入對這批組件的維護(hù)和更新。而如今，騰訊云Prometheus已經(jīng)實(shí)現(xiàn)了對EMR平臺的監(jiān)控集成，只需控制臺幾次點(diǎn)擊，即可免去上述所有運(yùn)維負(fù)擔(dān)，直接開啟對EMR組件的監(jiān)控。針對同樣的EMR組件采集，兩種方案的運(yùn)維工作量對比如下：所需組件/配置自建Prometheus騰訊云Prometheusjmx-exporter客戶自行搭建和維護(hù)已內(nèi)置配置HDFS以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Zookeeper以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置HBase以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置以暴露指標(biāo)客戶自行配置和管理已內(nèi)置522024騰訊云云原生提質(zhì)增效實(shí)踐精選集所需組件/配置自建Prometheus騰訊云Prometheus配置Flink以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Ranger以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Oozie以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Spark以暴露指標(biāo)客戶自行配置和管理已內(nèi)置配置Impala以暴露指標(biāo)客戶自行配置和管理已內(nèi)置添加Prometheus抓取任務(wù)客戶自行配置和管理自動批量配置創(chuàng)建大盤客戶自行配置和管理內(nèi)置基于行業(yè)實(shí)踐和專家知識的

儀表盤創(chuàng)建告警策略客戶自行配置和管理內(nèi)置基于行業(yè)實(shí)踐和專家知識的

告警模板Prometheus彈性擴(kuò)縮容客戶自行選型和實(shí)現(xiàn)已內(nèi)置鑒權(quán)管理客戶自行選型和實(shí)現(xiàn)騰訊云鑒權(quán)體系在騰訊云Prometheus一鍵集成EMR監(jiān)控的背后，究竟托管了哪些監(jiān)控組件，隱藏了哪些運(yùn)維動作？下面將詳解借助Prometheus社區(qū)提供的開源方案，自行構(gòu)建對EMR這類泛Hadoop大數(shù)據(jù)平臺的可觀測性——這也正是騰訊云Prometheus已替客戶“大包大攬”、從而節(jié)約客戶運(yùn)維精力的核心所在。大數(shù)據(jù)組件的開源監(jiān)控方案從下面EMR的架構(gòu)圖可以看出，一個EMR集群建立在底層基礎(chǔ)設(shè)施之上，包含了多種數(shù)據(jù)接入和計算引擎組件，可與多種數(shù)據(jù)源交互吞吐數(shù)據(jù)，最終形成大數(shù)據(jù)驅(qū)動的分析決策。532024騰訊云云原生提質(zhì)增效實(shí)踐精選集構(gòu)建EMR這類泛Hadoop大數(shù)據(jù)平臺的可觀測性，旨在了解構(gòu)成集群的全棧設(shè)施和組件的健康和性能狀況，手段是通過對下至基礎(chǔ)設(shè)施層、上至中間件和應(yīng)用程序?qū)拥目捎^測數(shù)據(jù)進(jìn)行收集、關(guān)聯(lián)、聚合和分析，以探知系統(tǒng)的運(yùn)行狀況和健康趨勢。542024騰訊云云原生提質(zhì)增效實(shí)踐精選集基于Prometheus+這組開源可觀測領(lǐng)域的“最強(qiáng)cp”、結(jié)合豐富的社區(qū)生態(tài)組件，則能很好地為泛Hadoop大數(shù)據(jù)平臺提供立體全面的可觀測性解決方案。通過Prometheus相關(guān)組件將待監(jiān)控的大數(shù)據(jù)組件的指標(biāo)采集并存儲后，用戶就可以通過等可視化工具，對Prometheus中的指標(biāo)數(shù)據(jù)進(jìn)行查詢和展示；用戶還可通過設(shè)置告警規(guī)則，適時發(fā)送告警消息，以及時響應(yīng)系統(tǒng)異常、減少故障恢復(fù)時間。指標(biāo)暴露由于泛Hadoop生態(tài)各層設(shè)施和組件與Prometheus實(shí)現(xiàn)對各層次組件的指標(biāo)采集。552024騰訊云云原生提質(zhì)增效實(shí)踐精選集原生支持對于底層算力基礎(chǔ)設(shè)施中的TKE來說，作為容器平臺，它對Prometheus的支持力度是最高的，體現(xiàn)在其內(nèi)置的服務(wù)發(fā)現(xiàn)、直接暴露指標(biāo)的能力，以及與生態(tài)系統(tǒng)中其他組件（如kube-state-metrics和node-exporter）的良好集成。因此，使用TKE作為底層算力資源，用戶可以減少對額外exporter組件的依賴，大大簡化了監(jiān)控的配置和管理過程。exporter方式exporter是Prometheus開源生態(tài)中一個非常強(qiáng)大的功能，它可用于將第三方系統(tǒng)中現(xiàn)有的指標(biāo)導(dǎo)出為Prometheus指標(biāo)。這在無法直接使用Prometheus指標(biāo)監(jiān)控特定系統(tǒng)的情況下，是非常有用的。例如：CVMexporter是一個用于收集和暴露CVM（CloudVirtualMachine，云虛擬機(jī)）相關(guān)指標(biāo)的工具，它可以從云虛擬機(jī)中提取性能數(shù)據(jù)和狀態(tài)信息，并將這些數(shù)據(jù)轉(zhuǎn)換為Prometheus可以理解的格式，從而使用戶能夠監(jiān)控云虛擬機(jī)的運(yùn)行狀況和性能。562024騰訊云云原生提質(zhì)增效實(shí)踐精選集Prometheus官方以及Github上開源的exporter非常豐富，可參考：https://prometheus.io/docs/instrumenting/exporters/騰訊云可觀測也集成了諸多exporter，可供客戶一鍵開啟對各類組件和云服務(wù)的集成。仍以CVM為例，只需一鍵，即可集成，免去服務(wù)發(fā)現(xiàn)和安裝exporter的負(fù)擔(dān)：agent+exporterManagementExtensions）是用來管理和監(jiān)控應(yīng)用程序和系統(tǒng)的一種標(biāo)準(zhǔn)方式，而Hadoop生態(tài)系統(tǒng)中的許多組件都支持通過JMX來采集指標(biāo)，例如：HDFS：NameNode和都可通過JMX暴露其性能和狀態(tài)指標(biāo)，如存儲使用情況、塊管理、請求處理等。2.ResourceManager和NodeManager也支持JMX3.作業(yè)的和可通過JMX應(yīng)用。此外，還有一些基于平臺的中間件，也支持通過JMX暴露監(jiān)控指標(biāo)：支持JMX，提供有關(guān)主題、分區(qū)、消費(fèi)者和生產(chǎn)者的性能指標(biāo)。2.作為分布式協(xié)調(diào)服務(wù)，支持JMX監(jiān)控其連接、會話、請求和節(jié)點(diǎn)狀態(tài)等指標(biāo)。572024騰訊云云原生提質(zhì)增效實(shí)踐精選集針對JMX，Prometheus開源社區(qū)提供了jmx-exporter，用于將JMX暴露的指標(biāo)轉(zhuǎn)換成可通過JMX監(jiān)控作業(yè)執(zhí)行情況、任務(wù)狀態(tài)和資源使用。在最佳實(shí)踐中，我們可將jmx-exporter以agent模式運(yùn)行在EMR的每個節(jié)點(diǎn)，暴露HTTP服務(wù)器，以提供本地JVM的指標(biāo)。更多詳情可參考jmx-exporter文檔：直接暴露在Spark3.0之前，它也需通過上述agent暴露指標(biāo)；但是Spark3.0之后，其節(jié)點(diǎn)能在現(xiàn)有端口以Prometheus格式暴露指標(biāo)，而無需再像上述agent那樣，使用額外開放端口的代理方法。此外，業(yè)務(wù)應(yīng)用也能以類似的方式，自行定義指標(biāo)埋點(diǎn)，并以Prometheus協(xié)議暴露出去。指標(biāo)獲取眾所周知，Promethes獲取指標(biāo)，有推/拉兩種模式，其中又以拉模式最為常用：582024騰訊云云原生提質(zhì)增效實(shí)踐精選集在EMRPull模式來收集的，即PrometheusNameNode、DataNode、ResourceManager、NodeManager等）拉取指標(biāo)。然而，在某些特殊情況下，使用Push模式推送指標(biāo)是有必要的。例如：某些Flink作業(yè)的生命周期可能非常短、在下一次拉取指標(biāo)的間隔到來之前，任務(wù)就已經(jīng)完成。這種情況下，使用Push模式，作業(yè)就可以先將其指標(biāo)推送到組件，再由Prometheus從該組件拉取，以確保Prometheus能獲取到這些數(shù)據(jù)。2）彈性擴(kuò)容，無懼洪峰如下圖所示的高可用架構(gòu)，是騰訊云Prometheus的一大核心優(yōu)勢:實(shí)現(xiàn)方式是在騰訊云底層的海量算力和存儲能力之上，又基于TKE的容器化、彈性伸縮等云原生能力，自研落地了一套分布式、集群化、存算分離的技術(shù)架構(gòu)，以及高可用、高效率的采集節(jié)點(diǎn)調(diào)度方案和存儲節(jié)點(diǎn)分片方案?？蓴U(kuò)展性優(yōu)化?采集和存儲集群化，解決開源Prometheus單機(jī)大實(shí)例無法擴(kuò)展的問題。?支持agent模式及自建Prometheus上報數(shù)據(jù)；支持Write和協(xié)議。?存儲后端基于分片機(jī)制寫入數(shù)據(jù)。?查詢組件對多個存儲節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行聚合計算，將最終結(jié)果返回給用戶。高可用優(yōu)化592024騰訊云云原生提質(zhì)增效實(shí)踐精選集?集群多節(jié)點(diǎn)，避免單點(diǎn)故障問題，且支持彈性擴(kuò)縮容。?冗余和故障轉(zhuǎn)移：分布式和集群化的輕量采集器，可以在多個節(jié)點(diǎn)上運(yùn)行，確保即使某個節(jié)點(diǎn)發(fā)生故障，其他節(jié)點(diǎn)仍然可以繼續(xù)采集數(shù)據(jù)，避免單點(diǎn)故障。?對采集target的負(fù)載均衡，基于一致性哈希實(shí)現(xiàn)分發(fā)targets分片至各個采集agents。存儲優(yōu)化?落盤云存儲，可支持存儲15天/30天/45天/90天/180天/1年/2年存儲周期。?基于用量大小，支持獨(dú)占或共享集群，以滿足不同需求。正是借助上述彈性伸縮等高可用能力，客戶在新車發(fā)布直播、雙十一大促等流量高峰期，使用自建Prometheus+和云上Prometheus+進(jìn)行雙重保障，大大降低了在重大活動時的運(yùn)維風(fēng)險。3）專家知識，預(yù)設(shè)提供通過預(yù)設(shè)的大盤和基于業(yè)務(wù)場景的告警模板，騰訊云可觀測平臺不僅簡化了客戶的監(jiān)控配置流程，還確保了關(guān)鍵指標(biāo)的精準(zhǔn)覆蓋。預(yù)設(shè)大盤騰訊云除了兼容開源外，還提供了對常見云產(chǎn)品及組件的開箱即用、一鍵集成的監(jiān)控功能。此外，針對不同業(yè)務(wù)場景，騰訊云預(yù)設(shè)了多種大盤模板。借助這些集成能力和預(yù)設(shè)大盤，客戶可以快速實(shí)現(xiàn)從基礎(chǔ)設(shè)施到應(yīng)用和服務(wù)的監(jiān)控可視化，顯著減少指標(biāo)梳理和面板制作的工作量。如下圖所示，在騰訊云Prometheus的集成中心，當(dāng)客戶一鍵安裝EMR監(jiān)控集成后，即可開箱即用相關(guān)EMR組件的大盤：602024騰訊云云原生提質(zhì)增效實(shí)踐精選集預(yù)設(shè)告警模板騰訊云可觀測平臺提供了強(qiáng)大的告警能力，預(yù)設(shè)了針對不同產(chǎn)品和組件的業(yè)務(wù)場景告警模板。這些模板幫助客戶快速配置告此外，預(yù)設(shè)的告警模板降低了客戶在告警配置上的復(fù)雜性，使得即使是缺乏專業(yè)知識的用戶也能輕松上手，從而顯著提高了運(yùn)維效率和決策能力。如下圖所示，當(dāng)客戶想要新建一條告警策略，可以直接從列表里選中某個云產(chǎn)品例如EMR，則系統(tǒng)會自動彈出針對EMR各個組件所預(yù)設(shè)的各種告警規(guī)則，供客戶直接使用，或在此基礎(chǔ)上自主修改：612024騰訊云云原生提質(zhì)增效實(shí)踐精選集沉淀專家知識仍以客戶對EMR的監(jiān)控為例，預(yù)設(shè)告警策略不僅基于行業(yè)實(shí)踐提供通用模板，還結(jié)合騰訊云EMR+騰訊云Prometheus雙方的專家知識，共同定制升級了一些告警策略，以提高告警效率，幫助客戶“避坑”。例如：EMR原生指標(biāo)service_status在服務(wù)異?；蛘哂脩羰謩油Ｖ惯@兩種情況下，都會顯示,因此無法針對異常服務(wù)精準(zhǔn)告警。于是，騰訊云Prometheus在預(yù)設(shè)告警模板時，新增了輔助指標(biāo)emr_additional_service_status來代表用戶手動停止服務(wù)的信息，以跟原生指標(biāo)組合，實(shí)現(xiàn)對異常服務(wù)的精確告警。servicePrometheus提原生指標(biāo)輔助指標(biāo)是否告警service狀態(tài)異常是用戶手動停止的否service狀態(tài)異常不是用戶手動停止的是由上表很容易看出，結(jié)合輔助指標(biāo)后，該告警模板能過濾掉手動停止造成狀態(tài)異常所導(dǎo)致的無效告警，大大節(jié)約了客戶對EMR的運(yùn)維精力。>落地效果EMR監(jiān)控，一鍵集成：騰訊云Prometheus對EMR大數(shù)據(jù)平臺的一鍵集成，大大提升了為大數(shù)據(jù)平臺構(gòu)建可觀測性的效率，從天級接入降為分鐘級接入。且全托管、一站式，徹底免去為27個EMR組件搭建和運(yùn)維采集代理的成本。2.彈性擴(kuò)容，無懼洪峰：在客戶的新車發(fā)布直播和雙十一大促時，流量比平時高出數(shù)倍。而借力騰訊云Prometheus+的彈性擴(kuò)容能力，就能避免自建的Prometheus+觸及性能瓶頸，從而保證重大活動期間監(jiān)控的流暢性，保證在流量洪峰下極大降低運(yùn)維風(fēng)險。3.開箱即用預(yù)設(shè)的提高關(guān)鍵指標(biāo)的覆蓋率、降低系統(tǒng)異常的誤報漏報，尤其是針對服務(wù)狀態(tài)異常的告警，為客戶降低了約50%的誤報率?？蛻舯O(jiān)控平臺依托騰訊云可觀測平臺的及告警功能，不僅實(shí)現(xiàn)了對EMR大數(shù)據(jù)平臺等云產(chǎn)品和組件的高效監(jiān)控，還落地了應(yīng)對流量洪峰的云上云下一體化方案，并借力各領(lǐng)域?qū)＜抑R優(yōu)化了可視化大盤和告警策略。這一系列舉措顯著提升了監(jiān)控效率、節(jié)約了運(yùn)維成本、降低了系統(tǒng)風(fēng)險，為客戶的業(yè)務(wù)穩(wěn)定性提供了堅實(shí)保障。騰訊云可觀測平臺已覆蓋出行行業(yè)幾乎所有頭部車企，積累了豐富的行業(yè)案例和最佳實(shí)踐，為客戶提供Prometheus+指標(biāo)監(jiān)控、APM分布式鏈路追蹤、前端/終端性能監(jiān)控，以及云撥測、云壓測等全棧多維度可觀測能力。622024騰訊云云原生提質(zhì)增效實(shí)踐精選集騰訊云撥測助力頭部跨境電商平臺優(yōu)化

用戶體驗(yàn)>導(dǎo)語平臺的使用體驗(yàn)在競爭激烈的電商行業(yè)中是影響客戶粘性的一個非常重要的因素。如何讓后端服務(wù)保障可用，使得電商平臺上的文字，圖片，視頻等資源都能夠正確且低延遲的呈現(xiàn)給其終端用戶，讓用戶在平臺上的操作順暢，是每一個電商平臺面對的挑戰(zhàn)。通過騰訊云撥測產(chǎn)品，電商平臺對于網(wǎng)絡(luò)質(zhì)量、文件傳輸、頁面性能、端口協(xié)議等方面都可以進(jìn)行指標(biāo)量化，從而做出優(yōu)化，達(dá)到提升全球各個區(qū)域C端用戶體驗(yàn)，增強(qiáng)用戶粘性的目的。>公司簡介客戶是在世界范圍內(nèi)領(lǐng)航跨境購物的電商平臺，近年在世界多個地區(qū)獲得購物類App年度總下載量、平均月活數(shù)、安卓用戶使用總時長上獲得冠軍。如今業(yè)務(wù)覆蓋了十余個國家，在中國地區(qū)的深圳、上海等地亦設(shè)立了跨境業(yè)務(wù)辦公室。為了保障業(yè)務(wù)平穩(wěn)流暢，拓展更多的全球市場，客戶接觸騰訊云撥測之前已經(jīng)自行購買了友商的主動撥測產(chǎn)品，但是因?yàn)閾軠y點(diǎn)覆蓋不足以及服務(wù)響應(yīng)不及時，一些問題排查緩慢。>業(yè)務(wù)挑戰(zhàn)平臺的使用體驗(yàn)在競爭激烈的電商行業(yè)中是影響客戶粘性的一個非常重要的因素。如何讓后端服務(wù)保障可用，使得電商平臺上的文字，圖片，視頻等資源都能夠正確且低延遲的呈現(xiàn)給其終端用戶，讓用戶在平臺上的操作順暢，是每一個電商平臺面對的挑戰(zhàn)。作為跨境電商，客戶的業(yè)務(wù)大量布置于海外，對于客戶端海外可用性的檢測擁有強(qiáng)需求，而他們的痛點(diǎn)也十分明晰：撥測點(diǎn)覆蓋不夠客戶計劃在印度擴(kuò)展業(yè)務(wù)，對于印度的撥測需求非常強(qiáng)烈?，F(xiàn)有撥測供應(yīng)商海外撥測點(diǎn)不足以覆蓋客戶的需求。632024騰訊云云原生提質(zhì)增效實(shí)踐精選集CDN選型難電商業(yè)務(wù)對于CDN強(qiáng)依賴，需要測試不同CDN服務(wù)商在使用中的加速效果，支撐業(yè)務(wù)對CDN服務(wù)商選型。深度撥測使用指引需求客戶對于友商的撥測使用不深入，對撥測場景理解不全，希望可以有全流程的輔佐讓團(tuán)隊的產(chǎn)品使用都有據(jù)可依。>解決思路數(shù)量龐大的撥測點(diǎn)資源云撥測擁有遍布全球200+城市的近2000機(jī)房資源及C端設(shè)備，覆蓋不同終端，不同網(wǎng)絡(luò)條件，不同IP類型的撥測點(diǎn)。其中包括東南亞、歐洲、美洲等地，補(bǔ)齊了對于客戶當(dāng)前業(yè)務(wù)發(fā)展階段所急需的印度及歐洲的撥測需求。僅僅是在印度的C端測試點(diǎn)就有50+，遍布主要城市及主要運(yùn)營商，實(shí)現(xiàn)廣闊的數(shù)據(jù)覆蓋。豐富的多維分析指標(biāo)詳細(xì)數(shù)據(jù)可下載做二次分析。642024騰訊云云原生提質(zhì)增效實(shí)踐精選集[報告中對客戶所使用的兩家廠商CDN各種性能，以及真實(shí)用戶訪問頁面的信息進(jìn)行了呈現(xiàn)]在向用戶展現(xiàn)報告之后，針對客戶對撥測使用理解不深的困境，團(tuán)隊亦對產(chǎn)品能力進(jìn)行了詳細(xì)的闡述：?散點(diǎn)圖、地圖等多種方式的BI分析，給客戶提供了各種維度的數(shù)據(jù)呈現(xiàn)方式。?下鉆到每一個撥測任務(wù)的指標(biāo)呈現(xiàn)，讓客戶對于測試點(diǎn)的操作系統(tǒng)、版本、IP地址等一覽無余，精確把握問題原因。經(jīng)過了深入的產(chǎn)品交流，客戶很快決定全量使用騰訊云為其制定的撥測方案，為他們的業(yè)務(wù)做啟動前的質(zhì)量檢測、日常維護(hù)，以及cdn選型及后續(xù)監(jiān)控的保障。>落地效果在使用騰訊云撥測平臺之后，客戶不僅解決了之前存在的痛點(diǎn)，還在團(tuán)隊的幫助下意外發(fā)現(xiàn)了一些之前沒有預(yù)料到的問題，其中包括：解決了不同維度的量化監(jiān)測業(yè)務(wù)搭建上，客戶可以對CDN性能、運(yùn)營商、頁面性能、流媒體等不同維度進(jìn)行量化監(jiān)測；地理上，印度各個區(qū)域的訪問情況有更全面的了解；對于電商平臺新興起的直播，視頻等流媒體內(nèi)容的播放指標(biāo)，通過云撥測均擁有了更好的量化。652024騰訊云云原生提質(zhì)增效實(shí)踐精選集海外撥測點(diǎn)運(yùn)行測試伊始，就發(fā)現(xiàn)了數(shù)據(jù)的異常情況，通過騰訊云撥測，客戶：發(fā)現(xiàn)路由錯誤，避免上線后的大規(guī)模影響對印度撥測下發(fā)客戶新加坡站撥測任務(wù)后，發(fā)現(xiàn)在孟買測試點(diǎn)無法成功訪問目標(biāo)頁面。通過多維分析，觀察到訪問失敗的點(diǎn)都集中于孟買的一個網(wǎng)絡(luò)運(yùn)營商；通過指標(biāo)下鉆，可以清晰看到出現(xiàn)了網(wǎng)絡(luò)不可達(dá)的節(jié)點(diǎn)信息。經(jīng)過CDN及其他網(wǎng)絡(luò)設(shè)置的排查，很快發(fā)現(xiàn)是路由配置會導(dǎo)致對該區(qū)域部分用戶產(chǎn)生影響。發(fā)現(xiàn)節(jié)點(diǎn)繞行，降低訪問延遲通過數(shù)據(jù)在橫向（印度不同城市）、縱向（同個城市不同時間段）的分析，發(fā)現(xiàn)孟買在訪問加拿大站點(diǎn)時延不穩(wěn)定的狀況，有時會時延明顯高于均值。經(jīng)排查，發(fā)現(xiàn)一些其內(nèi)部的網(wǎng)絡(luò)調(diào)度策略導(dǎo)致了數(shù)據(jù)繞行。經(jīng)過分析，一定情況下孟買到加拿大的訪問竟