基于大模型驅(qū)動的云網(wǎng)全景可觀測系統(tǒng)建設(shè)實踐

基于大模型驅(qū)動的云網(wǎng)全景可觀測系統(tǒng)建設(shè)實踐IOE技術(shù)體系(集中式架構(gòu))集中式平臺SQL

server/Oracle強(qiáng)一致性（交易+批量計算）OS、x86硬件平臺分鐘級備切換，最低99.99%可靠性云化技術(shù)體系(云原生、分布式架構(gòu))云化、分布式架構(gòu)IaaS云底座證券新核心業(yè)務(wù)融合分析大數(shù)據(jù)平臺分布式交易數(shù)據(jù)庫DC1DC2DCnIaaS云底座云原生容器基礎(chǔ)設(shè)施微服務(wù)框架中間件（消息、事務(wù)、緩存、調(diào)用鏈等）業(yè)務(wù)應(yīng)用重構(gòu)業(yè)務(wù)系統(tǒng)云原生化傳統(tǒng)數(shù)據(jù)庫分布化基礎(chǔ)設(shè)施全面云化業(yè)務(wù)系統(tǒng)<應(yīng)用邏輯>(java/C++)快速軟、硬故障定界定位（一般問題閉環(huán)

<

30min）中間件KXCP/KCBP/REDIS/Ngnix業(yè)務(wù)系統(tǒng)平滑遷移、應(yīng)用多活、高性能、超大規(guī)模分布式云原生架構(gòu)中間件(消息、事務(wù)、緩存、調(diào)用鏈等)微服務(wù)框架云原生容器云原生技術(shù)體系3類云化，6大技術(shù)點基礎(chǔ)設(shè)施全面云化傳統(tǒng)數(shù)據(jù)庫分布化分布式交易數(shù)據(jù)庫融合分析大數(shù)據(jù)平臺業(yè)務(wù)系統(tǒng)云原生化承載各類業(yè)務(wù)系統(tǒng)生產(chǎn)、同城及異地災(zāi)備環(huán)境基于CloudStack上線開發(fā)測試云，實現(xiàn)計算和分布式存儲統(tǒng)一管控金融云發(fā)展時間軸完成國家云平臺課題驗收，發(fā)布CMP1.0，實現(xiàn)IAAS資源自服務(wù)基于Openstack上線開發(fā)測試云2.0，發(fā)布CMP2.0，實現(xiàn)對異構(gòu)資源的統(tǒng)一納管上線生產(chǎn)云、開發(fā)測試容器云平臺上線開發(fā)測試信創(chuàng)云，并發(fā)布基礎(chǔ)資源服務(wù)平臺1.0上線生產(chǎn)信創(chuàng)云，托管云，發(fā)布基礎(chǔ)資源服務(wù)平臺2.0，實現(xiàn)一云多芯管理建設(shè)開發(fā)測試云、生產(chǎn)云、集團(tuán)協(xié)作云、開放生態(tài)云四朵云努力打造全行業(yè)領(lǐng)先的自主開發(fā)、自主掌控的國泰君安金融全棧云云總體布局2013年2014年2015年2017年2019年2020年規(guī)劃路線2023年

加速云原生基礎(chǔ)設(shè)施建設(shè)加速云原生建設(shè)，完成“一云多芯”信創(chuàng)、非信創(chuàng)多元算力，資源統(tǒng)一管理，實現(xiàn)云邊協(xié)同，資源敏捷交付2024年

云原生應(yīng)用敏捷開發(fā)夯實數(shù)字基礎(chǔ)設(shè)施升級，擴(kuò)大云資源規(guī)模，推進(jìn)高效敏捷開發(fā)向以應(yīng)用為中心的架構(gòu)演進(jìn)，實現(xiàn)應(yīng)用敏捷開發(fā)，提升應(yīng)用迭代速度2025年

全棧能力全覆蓋實現(xiàn)兩地多中心全棧云原生服務(wù)能力全覆蓋，完成存量系統(tǒng)整體遷移到全棧云。承載各類業(yè)務(wù)系統(tǒng)開發(fā)測試環(huán)境承載資產(chǎn)管理、期貨、創(chuàng)投等各子公司的業(yè)務(wù)系統(tǒng)承載量化私募、PB等外部客戶的業(yè)務(wù)系統(tǒng)生產(chǎn)云開發(fā)測試云集團(tuán)協(xié)作云開放生態(tài)云聚焦云原生底座資源部署，加速云原生體系與平臺建設(shè)，完善和提升云原生服務(wù)能力，以科技服務(wù)云平臺為載體，面向集團(tuán)提供全面、易用、自主可控的云原生服務(wù)，提升資源交付質(zhì)效，高效支撐業(yè)務(wù)敏捷創(chuàng)新。結(jié)合公司基礎(chǔ)架構(gòu)特點，為每個云服務(wù)設(shè)立獨立的業(yè)務(wù)資源模型，通過該抽象模型，能夠?qū)崿F(xiàn)多區(qū)域、異構(gòu)資源池的統(tǒng)一納管，從而滿足鯤鵬、飛騰、海光等國產(chǎn)信創(chuàng)芯片的云資源，實現(xiàn)了“一云多芯”的統(tǒng)一管理。正是借助此架構(gòu)的優(yōu)越性，使用戶在無感知的情況下自助申請、創(chuàng)建云資源。作為云平臺核心的組件，該應(yīng)用集權(quán)限管理、配額管理、計費和事務(wù)管理于一體，通過權(quán)限校驗與配額分配，確保云資源的合理分配，實現(xiàn)了整個云平臺內(nèi)部統(tǒng)一、協(xié)調(diào)運轉(zhuǎn)。智慧中臺一云多芯、多云部署自研云應(yīng)用，提升云服務(wù)質(zhì)量云平臺通過標(biāo)準(zhǔn)的接入規(guī)范和部署規(guī)劃，最大程度的減少其他云應(yīng)用開發(fā)周期和難度，能夠?qū)崿F(xiàn)快速SaaS應(yīng)用的上線交付。依托于此，國泰君安云計算團(tuán)隊，自研開發(fā)了云監(jiān)控系統(tǒng)、云網(wǎng)流量分析、彈性文件系統(tǒng)、對象文件系統(tǒng)、文檔中心、鏡像站等云應(yīng)用，為用戶提供了更加便捷的云資源交付與服務(wù)。隨著越來越多的核心業(yè)務(wù)系統(tǒng)遷移上云，云上業(yè)務(wù)的穩(wěn)定直接影響著用戶體驗與服務(wù)質(zhì)量，從應(yīng)用服務(wù)可視化、應(yīng)用調(diào)用追蹤、故障診斷、業(yè)務(wù)保障、安全、審計、運營分析、調(diào)度等維度，針對云資源池業(yè)務(wù)分析及消費的需求越發(fā)突出。缺少云資源池上的應(yīng)用服務(wù)可視化能力核

心

設(shè)

備

南

北

向

的

流

量

鏡

像

采

集

點

無

法

覆

蓋

資源

池

內(nèi)

流

量

采

集

，

缺

乏

資

源

池

內(nèi)

應(yīng)

用

服

務(wù)

流

量數(shù)

據(jù)

包

的

全

量

采

集

手

段

，

使

得

業(yè)

務(wù)

運

行

處

在

黑盒

狀

態(tài)

，

缺

少

資

源

池

內(nèi)

的

應(yīng)

用

服

務(wù)

可

視

化

能

力01缺乏零侵?jǐn)_的全鏈路分布式追蹤針對關(guān)鍵業(yè)務(wù)嵌入SDK或者插碼打樁的方式，對

業(yè)

務(wù)

開

發(fā)

語

言

、

框

架

有

著

嚴(yán)

格

的

要

求

，

需

要消

耗

大

量

時

間

維

護(hù)

嵌

入

式

S

D

K

代

碼

，

對

于

邊

緣組

件

疲

于

應(yīng)

對

，

使

得

精

準(zhǔn)

的

業(yè)

務(wù)

保

障

成

為

難

題

。03缺乏歷史故障問題回溯分析能力關(guān)

鍵

業(yè)

務(wù)

系

統(tǒng)

訪

問

出

現(xiàn)

某

一

時

刻

或

單

次

請

求

故障

時

，

因

無

法

記

錄

單

次

請

求

或

瞬

時

的

網(wǎng)

絡(luò)

及

應(yīng)用

請

求

狀

態(tài)

及

性

能

指

標(biāo)

，

所

以

不

能

對

故

障

問

題提

供

責(zé)

任

舉

證

，

使

得

業(yè)

務(wù)

網(wǎng)

絡(luò)

依

舊

帶

病

運

行

，存在隱

患04現(xiàn)有監(jiān)控手段不能滿足復(fù)雜環(huán)境中的業(yè)務(wù)運維排障要求資

源

池

內(nèi)

業(yè)

務(wù)

動

態(tài)

性

高

，

覆

蓋

范

圍

廣

，

業(yè)

務(wù)

覆蓋

的

資

源

范

圍

可

能

實

時

動

態(tài)

伸

縮

，

目

前

監(jiān)

控

手段

無

法

動

態(tài)

獲

知

復(fù)

雜

的

業(yè)

務(wù)

訪

問

調(diào)

用

關(guān)

系

，

無法

自

動

呈

現(xiàn)

業(yè)

務(wù)

的

端

到

端

全

鏈

路

流

量

拓

撲

圖02解決云網(wǎng)絡(luò)的“黑盒在一云多芯環(huán)境建立云網(wǎng)絡(luò)內(nèi)的流量全景視圖和運維、運營、安全管理機(jī)制，具備網(wǎng)絡(luò)性能分析、網(wǎng)絡(luò)回溯、資源回收、統(tǒng)計報表、網(wǎng)絡(luò)全景拓?fù)淙溌贩治瞿芰档涂捎^測運維復(fù)雜度在云原生環(huán)境中建設(shè)面向云內(nèi)所有系統(tǒng)的高度自動化的可觀測性平臺，為云內(nèi)應(yīng)用提供量身打造的全棧、全鏈路、高性能數(shù)據(jù)完善公司金融云的管理為云上應(yīng)用提供更優(yōu)質(zhì)的服務(wù)，提供面向業(yè)務(wù)系統(tǒng)在云內(nèi)的自助分析能力，保障業(yè)務(wù)穩(wěn)定運行，加速故障分析效率，快速定界，提升系統(tǒng)穩(wěn)定性和運營效率在復(fù)雜的云基礎(chǔ)設(shè)施及云原生環(huán)境下保障應(yīng)用系統(tǒng)可靠穩(wěn)定運行、減少故障修復(fù)時間，實現(xiàn)全鏈路數(shù)據(jù)監(jiān)控、性能分析及故障快速定位，提升系統(tǒng)穩(wěn)定性與運營效率虛擬化環(huán)境云原生環(huán)境云原生應(yīng)用各

資

源

類

型

宿

主

機(jī)

、

虛擬機(jī)環(huán)

境容

器

環(huán)

境

，

包

括

信

創(chuàng)

、非信創(chuàng)環(huán)

境云

原

生

中

間

件

、

云

原

生數(shù)

據(jù)

庫

等

云

內(nèi)

應(yīng)

用覆蓋數(shù)據(jù)中心云基礎(chǔ)資源層

按功能區(qū)部署數(shù)據(jù)分析層云原生數(shù)據(jù)分析節(jié)點云網(wǎng)觀測系統(tǒng)觀測應(yīng)用觀測......分析監(jiān)控數(shù)據(jù)虛流擬量化數(shù)數(shù)據(jù)據(jù)云流原量生數(shù)數(shù)據(jù)據(jù)eBPF數(shù)據(jù) 云環(huán)境數(shù)據(jù)......運維場景云網(wǎng)絡(luò)故障診斷云網(wǎng)絡(luò)歷史回溯云網(wǎng)絡(luò)流量拓?fù)湓凭W(wǎng)絡(luò)調(diào)用鏈跟蹤......云網(wǎng)絡(luò)數(shù)據(jù)服務(wù)覆蓋虛擬化、云原生、云中間件、云數(shù)據(jù)庫等云內(nèi)應(yīng)用，實現(xiàn)對云網(wǎng)絡(luò)的可觀測能力覆蓋；結(jié)合CMDB等多源數(shù)據(jù)，實現(xiàn)對海量數(shù)據(jù)深入挖掘和分析；依托AI中心和多平臺聯(lián)動，提供不同運維場景的數(shù)據(jù)服務(wù)；從流量引取、流量采集、數(shù)據(jù)存儲等多個細(xì)分環(huán)節(jié)，實現(xiàn)由用戶自主掌控的能力，并可以對云網(wǎng)內(nèi)不同類型的可作為云網(wǎng)環(huán)境大數(shù)據(jù)平臺，經(jīng)過全網(wǎng)流量的采集，通過標(biāo)準(zhǔn)數(shù)據(jù)API，企業(yè)可以自行對底層數(shù)據(jù)進(jìn)行查詢、業(yè)務(wù)邏輯處理、封裝，自主開發(fā)數(shù)據(jù)應(yīng)用滿足云數(shù)據(jù)中心流量規(guī)模日益增長的需求，分析器、采集器軟件可靈活橫向擴(kuò)展，支撐云網(wǎng)全景流量數(shù)據(jù)服務(wù)系統(tǒng)穩(wěn)定運行以租戶、業(yè)務(wù)為核心與公司一云多芯的異構(gòu)云平臺可以進(jìn)行對接聯(lián)動，調(diào)用不同異構(gòu)云平臺的數(shù)據(jù)接口，自動感知各環(huán)境內(nèi)租戶內(nèi)的業(yè)務(wù)，實現(xiàn)以租戶為核心的網(wǎng)絡(luò)流量分析。流量進(jìn)行精細(xì)化的采集和管理精細(xì)化數(shù)據(jù)采集和控制運維排障分析針對精細(xì)化采集的數(shù)據(jù)流量，支持用戶對其可以進(jìn)行離線數(shù)據(jù)的回溯，對常見網(wǎng)絡(luò)流量和應(yīng)用特征類型進(jìn)行提取，并可以進(jìn)行直觀的展示，完成從物理網(wǎng)絡(luò)到虛擬網(wǎng)絡(luò)的端到端全棧調(diào)用鏈追蹤和診斷針對企業(yè)內(nèi)部的個性化需求，如一體化監(jiān)控等，可以實現(xiàn)靈活的對接，按需將流量分發(fā)給不同的數(shù)據(jù)需求部門以及對應(yīng)的分析工具，實現(xiàn)云網(wǎng)的統(tǒng)一監(jiān)控統(tǒng)一對外接口數(shù)據(jù)可量化可以多維度、數(shù)據(jù)化、可視化展現(xiàn)網(wǎng)絡(luò)中的不同指標(biāo)，實現(xiàn)了對異常網(wǎng)絡(luò)事件的量化功能；同時，結(jié)合歷史數(shù)據(jù)，分析不同層次的運行情況數(shù)據(jù)PAAS平臺組件靈活擴(kuò)展客戶端服務(wù)端宿主機(jī)服務(wù)端客戶端宿主機(jī)下鉆基于云網(wǎng)的流量采集數(shù)據(jù)，自動生成多中心多資源池的可視化拓?fù)溽槍δ硞€業(yè)務(wù)，進(jìn)行數(shù)據(jù)下鉆，分析業(yè)務(wù)的調(diào)用拓?fù)潢P(guān)系，并根據(jù)業(yè)務(wù)網(wǎng)絡(luò)情況，進(jìn)行具體的性能分析業(yè)務(wù)指標(biāo)分析多中心云資源池全局視圖端到端路徑追蹤詳情基于端到端的數(shù)據(jù)鏈路情況，結(jié)合采集的性能指標(biāo)，分析鏈路每一個路徑的網(wǎng)絡(luò)性能情況云資源自動學(xué)習(xí)和無侵入采集節(jié)點資源維度工作負(fù)載資源維度POD資源維度實現(xiàn)多云資源池流量無侵入、零干擾地全量采集針對不同的云資源，自動標(biāo)記端到端數(shù)據(jù)標(biāo)簽userid:529794,docid:173903,date:2024-09-15,云網(wǎng)分析標(biāo)準(zhǔn)化回收周期內(nèi)流量數(shù)據(jù)較小的列表資源精細(xì)化管理結(jié)合資源的使用情況，建立開發(fā)測試環(huán)境資源回收的機(jī)制，采用留指標(biāo)數(shù)據(jù)，判斷云主機(jī)的使用情況，并結(jié)合云網(wǎng)流量分析服務(wù)和云備份服務(wù)，實現(xiàn)資源回收的流程01

健全云網(wǎng)指標(biāo)體系容量指標(biāo)系統(tǒng)流量吞吐、數(shù)據(jù)傳輸包數(shù)、活躍連接數(shù)可用性指標(biāo)TCP重傳

、HTTP異常、DNS異常時延指標(biāo)建連時延、系統(tǒng)時延、應(yīng)用時延02

標(biāo)準(zhǔn)化排查流程通過建立不同問題的排障樹，標(biāo)準(zhǔn)化分析和排查流程，加速問題排查過程建立云網(wǎng)的自動化巡檢流程，系統(tǒng)性識別網(wǎng)絡(luò)中潛在風(fēng)險，從而對環(huán)境進(jìn)行優(yōu)化配置，減少故障風(fēng)險可以快速了解業(yè)務(wù)系統(tǒng)的網(wǎng)絡(luò)狀況，通過定制化的視圖，結(jié)合RED指標(biāo)，發(fā)現(xiàn)訪問管理中需要加強(qiáng)關(guān)注的部分，降低問題定界的時間通過對網(wǎng)絡(luò)流量的細(xì)致分析，可視化監(jiān)控有助于優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和配置，提升網(wǎng)絡(luò)性能，保證云服務(wù)的高效穩(wěn)定運行基于云門戶的云監(jiān)控分析服務(wù)云上應(yīng)用關(guān)聯(lián)性分析支持對系統(tǒng)內(nèi)某個業(yè)務(wù)組件的指標(biāo)查看支持對性能指標(biāo)的關(guān)聯(lián)性分析。通過關(guān)聯(lián)基礎(chǔ)資源的指標(biāo)，加速問題排查效率云監(jiān)控服務(wù)提供了一套基于租戶的網(wǎng)絡(luò)流量可視化方案建設(shè)背景eBPF技術(shù)eBPF可實現(xiàn)無侵入式訂閱網(wǎng)絡(luò)流量等各種內(nèi)核事件建設(shè)情況告警應(yīng)用本身下游上游已完成制定應(yīng)用故障排查手冊,為解決應(yīng)用故障提供參考和指導(dǎo)。針對生產(chǎn)集群現(xiàn)有應(yīng)用，積極推廣鏈路排查方案，協(xié)助業(yè)務(wù)系統(tǒng)進(jìn)行改造。針對測試環(huán)境，加快測試環(huán)境eBPF系統(tǒng)建設(shè)，未來將完善應(yīng)用上線準(zhǔn)則。積極采納業(yè)務(wù)系統(tǒng)使用過程中的修改建議，提高系統(tǒng)易用性。加快云監(jiān)控工具的統(tǒng)一入口建設(shè)，從而簡化監(jiān)控流程，提高管理效率。后續(xù)應(yīng)用接入規(guī)劃無法確定特定服務(wù)的上下游依賴服務(wù)流量是否正常無法回答應(yīng)用的

DNS

請求解析是否正常；無法回答應(yīng)用之間的連通性是否正確；業(yè)務(wù)應(yīng)用具備微服務(wù)眾多、多語言開發(fā)、多通信協(xié)議特點，觀測工具繁多1234急需一種立足于容器底座，關(guān)聯(lián)應(yīng)用性能觀測，打通端到端可觀測性的解決方案。黃金指標(biāo)可視化展示，直觀表達(dá)系統(tǒng)是否正常對外服務(wù)。全局視角的應(yīng)用拓補，實現(xiàn)系統(tǒng)架構(gòu)感知、服務(wù)依賴分析等能力。支持多種協(xié)議Trace方便根因定位。開箱即用的告警功能，支持用戶多種配置方式。豐富的上下文關(guān)聯(lián)元信息。使用計算能力去復(fù)制方法和知識，更高效的完成對可觀測數(shù)據(jù)的處理、加工、分析?，F(xiàn)狀專家經(jīng)驗問題排查依賴經(jīng)驗的積累，無法快速復(fù)制，對初級工程師仍需長時間學(xué)習(xí)專業(yè)知識廣全棧可觀測性涉及到從應(yīng)用調(diào)用到底層基礎(chǔ)設(shè)施的各個環(huán)節(jié)，包括應(yīng)用性能指標(biāo)、分布式追蹤、網(wǎng)絡(luò)性能指標(biāo)、資源變更事件、函數(shù)性能剖析等。這些數(shù)據(jù)量龐大且復(fù)雜，需要綜合多個維度進(jìn)行分析和關(guān)聯(lián)題排查依賴經(jīng)驗的積累解決思路基于大模型的數(shù)據(jù)處理與分析利用先進(jìn)的大模型技術(shù)，對云網(wǎng)環(huán)境中的海量數(shù)據(jù)進(jìn)行高效的處理和分析。通過引入數(shù)據(jù)特征提取等預(yù)處理機(jī)制，提升數(shù)據(jù)處理的效率，從而實現(xiàn)更加實時的可觀測性多源異構(gòu)數(shù)據(jù)的整合與融合高效的數(shù)據(jù)整合與融合框架，能夠關(guān)聯(lián)來自不同來源的觀測數(shù)據(jù)，使得智能體可以基于大模型進(jìn)行統(tǒng)一的分析。通過異構(gòu)數(shù)據(jù)的關(guān)聯(lián)算法，提升數(shù)據(jù)的分析價值零侵?jǐn)_的大模型應(yīng)用持續(xù)剖析能力利用

eBPF

等新興技術(shù)，在不修改大模型應(yīng)用代碼、不重啟大模型應(yīng)用進(jìn)程的情況下，實現(xiàn)零侵?jǐn)_的大模型訓(xùn)練和推理過程的持續(xù)剖析能力可擴(kuò)展的系統(tǒng)架構(gòu)設(shè)計適應(yīng)云網(wǎng)環(huán)境的不斷變化。通過引入微服務(wù)架構(gòu)和容器化技術(shù)，提升系統(tǒng)的可擴(kuò)展性和靈活性，確保系統(tǒng)能夠隨著需求的變化進(jìn)行平滑擴(kuò)展和調(diào)整云網(wǎng)分析智能體LLM剖析診斷智能分析關(guān)聯(lián)場景數(shù)據(jù)，包括全棧指標(biāo)、調(diào)用日志、指標(biāo)數(shù)據(jù)等，將數(shù)據(jù)匯總給大模型進(jìn)行分析和下鉆，簡化云網(wǎng)層故障異常排查的難度Otel標(biāo)準(zhǔn)化統(tǒng)一云網(wǎng)數(shù)據(jù)格式，采用opentelemetry的標(biāo)準(zhǔn)定義，對不同數(shù)據(jù)源進(jìn)行合并匯總，提供統(tǒng)一的云網(wǎng)分析智能體細(xì)粒度跟蹤深入剖析、診斷LLM的預(yù)訓(xùn)練過程，是提高大模型訓(xùn)練高效性和可靠性的有效手段。實時性能監(jiān)控低開銷高安全大模型LLM應(yīng)用快速發(fā)展，但是缺乏統(tǒng)一的監(jiān)控標(biāo)準(zhǔn)，從CUDA、開發(fā)語言（Python）等維度進(jìn)行細(xì)粒度跟蹤深入剖析和診斷整個模型訓(xùn)練過程，識別和解決訓(xùn)練過程中的性能瓶頸和資源爭用問題，提高訓(xùn)練效率內(nèi)核空間執(zhí)行，更低的開銷，降低對LLM訓(xùn)練的影響，更安全、更穩(wěn)定的運行，避免對系統(tǒng)造成影響實時

拓?fù)浞治鲎詣訖z索云環(huán)境日常