算法創(chuàng)新賦能證券業(yè)智能運(yùn)維轉(zhuǎn)型_第1頁
算法創(chuàng)新賦能證券業(yè)智能運(yùn)維轉(zhuǎn)型_第2頁
算法創(chuàng)新賦能證券業(yè)智能運(yùn)維轉(zhuǎn)型_第3頁
算法創(chuàng)新賦能證券業(yè)智能運(yùn)維轉(zhuǎn)型_第4頁
算法創(chuàng)新賦能證券業(yè)智能運(yùn)維轉(zhuǎn)型_第5頁
已閱讀5頁,還剩4頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

當(dāng)前,證券業(yè)正處于快速發(fā)展的歷史機(jī)遇期,資本市場(chǎng)改革知金融體系開放在

為各家券商帶來業(yè)務(wù)增量的同時(shí),也對(duì)其金融科技水平和抗風(fēng)險(xiǎn)能力提出了更

高要求,而證券交易系統(tǒng)的平穩(wěn)、健康運(yùn)行不僅與廣大投資者的合法權(quán)益密切

相關(guān),更是涉及金融安全、社會(huì)穩(wěn)定的重要課題。實(shí)際場(chǎng)景中,證券業(yè)務(wù)具有

交易時(shí)段集中、交易規(guī)模巨大等顯著特點(diǎn),對(duì)IT系統(tǒng)的可用性和響應(yīng)效率均有

著非常嚴(yán)苛的要求,給系統(tǒng)運(yùn)維工作帶來了巨大壓力。在此背景下,證券業(yè)運(yùn)

維工作急需開展智能化轉(zhuǎn)型,以更為高效地支撐業(yè)務(wù)發(fā)展。

一、證券業(yè)運(yùn)維轉(zhuǎn)型面臨的算法挑戰(zhàn)

現(xiàn)階段,智能運(yùn)維的主流方案一般基于“大數(shù)據(jù)+機(jī)器學(xué)習(xí)”技術(shù)實(shí)現(xiàn),即應(yīng)用

統(tǒng)計(jì)學(xué)方法來分析告警、事件、指標(biāo)、日志等大數(shù)據(jù)樣本,并結(jié)合機(jī)器學(xué)習(xí)算

法進(jìn)一步預(yù)測(cè)系統(tǒng)行為,這一模式的主要特點(diǎn)是應(yīng)用驅(qū)動(dòng)、事后分析、數(shù)據(jù)擬

合。然而,伴隨智能化運(yùn)維需求的持續(xù)提升,智能算法出現(xiàn)了一些難以解決的

問題,并導(dǎo)致其在復(fù)雜系統(tǒng)全維度監(jiān)控、故障定位等工作中面臨著諸多挑戰(zhàn)。

1.盲人摸象式算法無法洞見系統(tǒng)整體運(yùn)行情況

在傳統(tǒng)的監(jiān)控系統(tǒng)中,運(yùn)維人員通常更關(guān)注基礎(chǔ)監(jiān)控、應(yīng)用服務(wù)的接口請(qǐng)求量

等指標(biāo),但在復(fù)雜系統(tǒng)中,僅僅關(guān)注單點(diǎn)日志或者單個(gè)維度指標(biāo)并不足以幫助

其掌握系統(tǒng)的整體運(yùn)行狀況。例如,當(dāng)行情火爆時(shí),單指標(biāo)異常檢測(cè)算法可能

會(huì)基于訪問并發(fā)數(shù)產(chǎn)生CPU告警,但通過分析日志可以發(fā)現(xiàn),這一情況在證券

業(yè)屬于正?,F(xiàn)象。

2.數(shù)據(jù)缺陷無法得到有效補(bǔ)償

在運(yùn)維領(lǐng)域,故障數(shù)據(jù)的稀疏性會(huì)導(dǎo)致算法沒有足夠的樣本,使其只能在有限

的數(shù)據(jù)范疇內(nèi)進(jìn)行建模、擬合、預(yù)測(cè),從而影響智能算法的實(shí)際效果。但在實(shí)

際工作中,由于證券行業(yè)對(duì)后臺(tái)服務(wù)運(yùn)行的穩(wěn)定性和安全性要求極高,系統(tǒng)故

障本身是一個(gè)小概率、低頻事件,而算法需要基于大量歷史數(shù)據(jù)來學(xué)習(xí)規(guī)律,

并借此實(shí)現(xiàn)優(yōu)化提升,如果之前發(fā)現(xiàn)的故障后來不再出現(xiàn)了,那么實(shí)際上是形

成了一個(gè)悖論。

3.算法適應(yīng)性不足

由于運(yùn)維系統(tǒng)架構(gòu)復(fù)雜,關(guān)聯(lián)關(guān)系呈網(wǎng)狀發(fā)展,數(shù)據(jù)驅(qū)動(dòng)的算法很難做到適應(yīng)

性演進(jìn)。與此同時(shí),如果使用一個(gè)缺乏觀測(cè)、分析系統(tǒng)內(nèi)部運(yùn)行機(jī)制的結(jié)構(gòu)化

模型,意味著必須開展大量的數(shù)據(jù)采集、模型適配、參數(shù)調(diào)優(yōu)等工作來確保分

析準(zhǔn)確性,而一旦過分依賴大數(shù)據(jù),會(huì)導(dǎo)致模型對(duì)黑天鵝事件等難以形成有效

預(yù)測(cè)。此外,證券業(yè)系統(tǒng)變更頻繁,基于歷史大數(shù)據(jù)樣本得到的經(jīng)驗(yàn)規(guī)律和特

征模型經(jīng)常難以再復(fù)用,也無法準(zhǔn)確分析和預(yù)測(cè)當(dāng)前系統(tǒng)行為,而針對(duì)不同類

型的問題場(chǎng)景定制專門的分析解決方案,將大幅提升運(yùn)維人員的技能學(xué)習(xí)成

本。

4.算法缺乏有效的反饋和修正機(jī)制

在實(shí)際應(yīng)用中,智能運(yùn)維算法并非“開箱即用”,而是需要與運(yùn)維數(shù)據(jù)、業(yè)務(wù)

特點(diǎn)、運(yùn)維目標(biāo)等深度融合,不斷進(jìn)行打磨和適配。但是,目前大多數(shù)算法缺

乏基于反饋的模板調(diào)整能力,難以應(yīng)對(duì)“這種模板應(yīng)該根據(jù)這個(gè)變量拆

分,,,,這個(gè)變量應(yīng)該被泛化”等個(gè)性化需求。此外,運(yùn)維專家與算法設(shè)計(jì)人員

對(duì)于“故障”的理解也不盡相同,從而導(dǎo)致算法可能進(jìn)行了無效學(xué)習(xí)或是錯(cuò)誤

學(xué)習(xí),并直接影響了算法的有效性。

二、數(shù)字學(xué)生系統(tǒng)分析體系建設(shè)路徑

針對(duì)上述難點(diǎn),證券業(yè)急需以實(shí)現(xiàn)復(fù)雜IT平臺(tái)可觀、可測(cè)、可控為目標(biāo),從實(shí)

時(shí)、在線維度還原系統(tǒng)工作機(jī)制并構(gòu)建系統(tǒng)分析模型,研究、設(shè)計(jì)和驗(yàn)證具有

系統(tǒng)性、魯棒性、自適應(yīng)、自學(xué)習(xí)的智能運(yùn)維新算法,以更好滿足復(fù)雜系統(tǒng)潛

在故障檢測(cè)以及系統(tǒng)穩(wěn)定性分析等運(yùn)維需求。

1.總體規(guī)劃

圍繞上述目標(biāo),筆者團(tuán)隊(duì)以實(shí)現(xiàn)復(fù)雜系統(tǒng)的整體可觀測(cè)性為核心,從系統(tǒng)內(nèi)部

的白盒化思路出發(fā),提出了數(shù)字李生系統(tǒng)分析體系建設(shè)規(guī)劃,并進(jìn)一步細(xì)分為

兩個(gè)階段:

第一階段是自上而下建立多層次指標(biāo)體系,即通過描述系統(tǒng)內(nèi)不同組件、模塊

之間的依賴關(guān)系,構(gòu)建系統(tǒng)內(nèi)各指標(biāo)間的非線性影響權(quán)重量化模型,以更為準(zhǔn)

確地展現(xiàn)IT系統(tǒng)運(yùn)行狀態(tài),同時(shí)為數(shù)據(jù)管理、數(shù)據(jù)分析、智能運(yùn)維等場(chǎng)景提供

基礎(chǔ)數(shù)據(jù);并在此基礎(chǔ)上,結(jié)合數(shù)據(jù)融合、特征工程、智能分析等手段,全面、

準(zhǔn)確、及時(shí)把握高維復(fù)雜狀態(tài)空間,滿足IT平臺(tái)的全維度觀測(cè)需求。

第二階段是自下而上構(gòu)建數(shù)字?jǐn)伾R像模型,通過降低數(shù)據(jù)依賴性、提升算法

適應(yīng)性,使得在系統(tǒng)結(jié)構(gòu)或業(yè)務(wù)環(huán)境發(fā)生改變時(shí),可基于數(shù)據(jù)動(dòng)態(tài)輸入、算法

動(dòng)態(tài)調(diào)整,讓數(shù)字李生鏡像模型快速適應(yīng)系統(tǒng)變化,最終在整體保持系統(tǒng)穩(wěn)定

性與可靠性的同時(shí),高效解決大規(guī)模、多尺度時(shí)變平臺(tái)的實(shí)時(shí)調(diào)控問題,實(shí)現(xiàn)

對(duì)IT平臺(tái)能力的量化評(píng)估。

2.算法設(shè)計(jì)

TT系統(tǒng)中各類資源構(gòu)成的參數(shù)空間具有數(shù)量龐大、參數(shù)間存在復(fù)雜的非線性交

互影響等特點(diǎn)。為分析IT系統(tǒng)不同模塊之間的關(guān)聯(lián)交互作正,首先需要量化分

析不同模塊相關(guān)參數(shù)對(duì)相鄰模塊以及服務(wù)質(zhì)量關(guān)鍵指標(biāo)(QualityofService,

QoS)的貢獻(xiàn)程度,從而建立模塊之間的量化交互模型。為此,筆者團(tuán)隊(duì)將平臺(tái)

中不同層級(jí)的功能模塊抽象為不同的邏輯功能節(jié)點(diǎn),并構(gòu)建了分層影響作用樹

(如圖1所示)。其中,每個(gè)節(jié)點(diǎn)根據(jù)不同的模型類型,均可以代表系統(tǒng)轉(zhuǎn)移函

數(shù)、特定性能指標(biāo)等具體含義,節(jié)點(diǎn)間的連線則可用于表示模塊間接口變量、

指標(biāo)之間的非線性影響權(quán)重。

在此基礎(chǔ)上,筆者團(tuán)隊(duì)搭建了一種非線性影響權(quán)重量化模型,該模型能夠通過

多個(gè)源指標(biāo)構(gòu)成的某集元素這目標(biāo)指標(biāo)的影響程度來描述IT系統(tǒng)的基礎(chǔ)特性。

同時(shí),結(jié)合非線性疊加測(cè)度理論,筆者團(tuán)隊(duì)在模型中引入了全新方法來量化模

塊間參數(shù)的相互作用,即通過分析各個(gè)參數(shù)相互作用下的影響重要性,以此來

定量表征模型參數(shù)間的相互作用,該模型的突出特點(diǎn)是能夠用廣義非線性非可

加積分(Choquet積分)來定量評(píng)測(cè)模型變量之間的相互作用對(duì)QoS的貢獻(xiàn)度。

例如,當(dāng)給定一組觀測(cè)數(shù)據(jù),模型可以通過評(píng)估系統(tǒng)變量的非疊加測(cè)度來發(fā)掘

變量之間的復(fù)雜依賴關(guān)系,并量化單一變量及變量組合對(duì)目標(biāo)函數(shù)(系統(tǒng)性能)

的貢獻(xiàn)大小。

此外,考慮IT系統(tǒng)本身具有復(fù)雜行為模式、冗余設(shè)計(jì)、反饋和滯后響應(yīng)機(jī)制、

臨界點(diǎn)行為、系統(tǒng)持續(xù)演進(jìn)等特點(diǎn),而上述因素都會(huì)對(duì)準(zhǔn)確評(píng)估IT系統(tǒng)健康度

產(chǎn)生影響,筆者團(tuán)隊(duì)針對(duì)性建立了基于馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率模型,用于

探索IT系統(tǒng)內(nèi)在可辨識(shí)的隱結(jié)構(gòu)。具體而言,隱結(jié)構(gòu)具有一定的穩(wěn)定性,可反

映出IT系統(tǒng)特有的工作模式、運(yùn)動(dòng)規(guī)律,同時(shí)還具有足夠的靈敏性,可在系統(tǒng)

出現(xiàn)異常時(shí)實(shí)現(xiàn)及時(shí)感知。

最后,筆者團(tuán)隊(duì)通過記錄節(jié)點(diǎn)在狀態(tài)遷移過程中的性能指標(biāo),基于節(jié)點(diǎn)的正

常、異常狀態(tài)比例,根據(jù)特定標(biāo)準(zhǔn)實(shí)現(xiàn)了對(duì)節(jié)點(diǎn)健康度的統(tǒng)計(jì)評(píng)分。該健康度

評(píng)分方法基于節(jié)點(diǎn)不同狀態(tài)下的期望輸出指標(biāo),能夠有效區(qū)分節(jié)點(diǎn)在不同輸入

激勵(lì)條件下的實(shí)際工作能力,為全面評(píng)估節(jié)點(diǎn)在復(fù)雜系統(tǒng)中的復(fù)雜行為提供了

一種新的視角。在此模式下,基于輸入特征和輸出特征的統(tǒng)計(jì)建模規(guī)律,將能

夠準(zhǔn)確反映出節(jié)點(diǎn)在較長(zhǎng)時(shí)間跨度以及不同業(yè)務(wù)模型輸入條件下的服務(wù)能力和

水平。

綜上,前述算法主要具有以下三大特點(diǎn):一是訓(xùn)練樣本僅需準(zhǔn)備一定量的測(cè)量

指標(biāo)、日志等數(shù)據(jù),無需與歷史數(shù)據(jù)強(qiáng)耦合,即可以構(gòu)建相對(duì)穩(wěn)定的量化模

型;二是通過指標(biāo)間非線性交互影響量化模型,可提供輸入?yún)s輸出的相互影響

權(quán)重,使模型比基于AI的黑盒模型具備更好的可解釋性;三是在泛化和可遷移

性方面,由于構(gòu)建了量化相互影響權(quán)重模型,模型比純數(shù)據(jù)方法具備更好的泛

化和遷移能力。

3.數(shù)據(jù)底座建設(shè)

為打破數(shù)據(jù)孤島,實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一采集、統(tǒng)一存儲(chǔ)、統(tǒng)一管理與統(tǒng)一視圖展示,

筆者團(tuán)隊(duì)從能感知、會(huì)表述、自執(zhí)行等維度入手,創(chuàng)新搭建了綜合性智能化數(shù)

據(jù)底座(如圖2所示),以進(jìn)一步拓展數(shù)據(jù)應(yīng)用的深度和空間,充分發(fā)揮數(shù)據(jù)價(jià)

值。

在能感知(可觀)方面,筆者團(tuán)隊(duì)?wèi)?yīng)用數(shù)字?jǐn)伾夹g(shù),針對(duì)運(yùn)維對(duì)象構(gòu)建了數(shù)字

攣生可視化界面,并引入系統(tǒng)健康度評(píng)估體系和方法論,實(shí)現(xiàn)了系統(tǒng)健康度可

視化管理,使運(yùn)維人員通過該界面能夠直觀了解系統(tǒng)健康度以及關(guān)聯(lián)影響。同

時(shí),監(jiān)控平臺(tái)覆蓋運(yùn)維全領(lǐng)域,擁有維度豐富的各類數(shù)據(jù),并結(jié)合智能運(yùn)維算

法支持快速發(fā)現(xiàn)故障,從而可實(shí)現(xiàn)對(duì)數(shù)據(jù)中心所有運(yùn)行組件的全感知。

數(shù)據(jù)底座

采集■存儲(chǔ)■管理■展示

圖2智能化數(shù)據(jù)底座

在會(huì)描述(可測(cè))方面,智能化數(shù)據(jù)底座基于數(shù)字?jǐn)伾夹g(shù)中的數(shù)字虛體,可細(xì)

致描述物理實(shí)體的可視化模型和內(nèi)在機(jī)理,并對(duì)物理實(shí)體的狀態(tài)數(shù)據(jù)進(jìn)行監(jiān)

測(cè)、分析,進(jìn)而通過不斷優(yōu)化模型參數(shù),提供智能化的決策輔助功能。

在自執(zhí)行(可控)方面,“知其然,并知其所以然”是數(shù)字李生的核心理念?;?/p>

于智能化數(shù)據(jù)底座,運(yùn)維人員可詳細(xì)了解系統(tǒng)內(nèi)部的各種影響及互動(dòng)關(guān)聯(lián)機(jī)

制,進(jìn)而有目的地快速解決問題,實(shí)現(xiàn)真正的安全可控。

三、后續(xù)研究展望

當(dāng)前,智能運(yùn)維領(lǐng)域存在算法黑箱、算法同質(zhì)化、模型缺陷等多種潛在風(fēng)險(xiǎn),

但業(yè)界尚未針對(duì)智能運(yùn)維算法的規(guī)范性、可靠性、可遷移性、有效性等制定統(tǒng)

一的評(píng)估方法,從而在一定程度上影響了智能運(yùn)維技術(shù)的應(yīng)用和發(fā)展。國(guó)泰君

安作為智能運(yùn)維國(guó)家標(biāo)準(zhǔn)編訂單位之一,己連續(xù)多年參與智能運(yùn)維領(lǐng)域的研究

與實(shí)踐,積極為智能運(yùn)維國(guó)標(biāo)編制建言獻(xiàn)策。未來,國(guó)泰君安將繼續(xù)作為牽頭

單位研制智能運(yùn)維算法的治理標(biāo)準(zhǔn),推動(dòng)智能運(yùn)維系列標(biāo)準(zhǔn)推廣落地。在此基

礎(chǔ)上,國(guó)泰君安將攜手業(yè)內(nèi)同仁共同探索智能運(yùn)維體系的落地路徑,深入推進(jìn)

各項(xiàng)運(yùn)維能力建設(shè)和場(chǎng)景應(yīng)用:

一是不斷提升感知能力的時(shí)效性,在運(yùn)維對(duì)象全生命周期的初始環(huán)節(jié),就將其

納入數(shù)據(jù)中心感知體系中進(jìn)行管理。

二是持續(xù)構(gòu)建“白盒”模型,運(yùn)用數(shù)字季生方法論實(shí)時(shí)還原復(fù)雜系統(tǒng)的運(yùn)行狀

態(tài),使核心業(yè)務(wù)在業(yè)務(wù)組件中的流動(dòng)過程更加清晰可

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論