版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
當(dāng)前,證券業(yè)正處于快速發(fā)展的歷史機(jī)遇期,資本市場(chǎng)改革知金融體系開放在
為各家券商帶來業(yè)務(wù)增量的同時(shí),也對(duì)其金融科技水平和抗風(fēng)險(xiǎn)能力提出了更
高要求,而證券交易系統(tǒng)的平穩(wěn)、健康運(yùn)行不僅與廣大投資者的合法權(quán)益密切
相關(guān),更是涉及金融安全、社會(huì)穩(wěn)定的重要課題。實(shí)際場(chǎng)景中,證券業(yè)務(wù)具有
交易時(shí)段集中、交易規(guī)模巨大等顯著特點(diǎn),對(duì)IT系統(tǒng)的可用性和響應(yīng)效率均有
著非常嚴(yán)苛的要求,給系統(tǒng)運(yùn)維工作帶來了巨大壓力。在此背景下,證券業(yè)運(yùn)
維工作急需開展智能化轉(zhuǎn)型,以更為高效地支撐業(yè)務(wù)發(fā)展。
一、證券業(yè)運(yùn)維轉(zhuǎn)型面臨的算法挑戰(zhàn)
現(xiàn)階段,智能運(yùn)維的主流方案一般基于“大數(shù)據(jù)+機(jī)器學(xué)習(xí)”技術(shù)實(shí)現(xiàn),即應(yīng)用
統(tǒng)計(jì)學(xué)方法來分析告警、事件、指標(biāo)、日志等大數(shù)據(jù)樣本,并結(jié)合機(jī)器學(xué)習(xí)算
法進(jìn)一步預(yù)測(cè)系統(tǒng)行為,這一模式的主要特點(diǎn)是應(yīng)用驅(qū)動(dòng)、事后分析、數(shù)據(jù)擬
合。然而,伴隨智能化運(yùn)維需求的持續(xù)提升,智能算法出現(xiàn)了一些難以解決的
問題,并導(dǎo)致其在復(fù)雜系統(tǒng)全維度監(jiān)控、故障定位等工作中面臨著諸多挑戰(zhàn)。
1.盲人摸象式算法無法洞見系統(tǒng)整體運(yùn)行情況
在傳統(tǒng)的監(jiān)控系統(tǒng)中,運(yùn)維人員通常更關(guān)注基礎(chǔ)監(jiān)控、應(yīng)用服務(wù)的接口請(qǐng)求量
等指標(biāo),但在復(fù)雜系統(tǒng)中,僅僅關(guān)注單點(diǎn)日志或者單個(gè)維度指標(biāo)并不足以幫助
其掌握系統(tǒng)的整體運(yùn)行狀況。例如,當(dāng)行情火爆時(shí),單指標(biāo)異常檢測(cè)算法可能
會(huì)基于訪問并發(fā)數(shù)產(chǎn)生CPU告警,但通過分析日志可以發(fā)現(xiàn),這一情況在證券
業(yè)屬于正?,F(xiàn)象。
2.數(shù)據(jù)缺陷無法得到有效補(bǔ)償
在運(yùn)維領(lǐng)域,故障數(shù)據(jù)的稀疏性會(huì)導(dǎo)致算法沒有足夠的樣本,使其只能在有限
的數(shù)據(jù)范疇內(nèi)進(jìn)行建模、擬合、預(yù)測(cè),從而影響智能算法的實(shí)際效果。但在實(shí)
際工作中,由于證券行業(yè)對(duì)后臺(tái)服務(wù)運(yùn)行的穩(wěn)定性和安全性要求極高,系統(tǒng)故
障本身是一個(gè)小概率、低頻事件,而算法需要基于大量歷史數(shù)據(jù)來學(xué)習(xí)規(guī)律,
并借此實(shí)現(xiàn)優(yōu)化提升,如果之前發(fā)現(xiàn)的故障后來不再出現(xiàn)了,那么實(shí)際上是形
成了一個(gè)悖論。
3.算法適應(yīng)性不足
由于運(yùn)維系統(tǒng)架構(gòu)復(fù)雜,關(guān)聯(lián)關(guān)系呈網(wǎng)狀發(fā)展,數(shù)據(jù)驅(qū)動(dòng)的算法很難做到適應(yīng)
性演進(jìn)。與此同時(shí),如果使用一個(gè)缺乏觀測(cè)、分析系統(tǒng)內(nèi)部運(yùn)行機(jī)制的結(jié)構(gòu)化
模型,意味著必須開展大量的數(shù)據(jù)采集、模型適配、參數(shù)調(diào)優(yōu)等工作來確保分
析準(zhǔn)確性,而一旦過分依賴大數(shù)據(jù),會(huì)導(dǎo)致模型對(duì)黑天鵝事件等難以形成有效
預(yù)測(cè)。此外,證券業(yè)系統(tǒng)變更頻繁,基于歷史大數(shù)據(jù)樣本得到的經(jīng)驗(yàn)規(guī)律和特
征模型經(jīng)常難以再復(fù)用,也無法準(zhǔn)確分析和預(yù)測(cè)當(dāng)前系統(tǒng)行為,而針對(duì)不同類
型的問題場(chǎng)景定制專門的分析解決方案,將大幅提升運(yùn)維人員的技能學(xué)習(xí)成
本。
4.算法缺乏有效的反饋和修正機(jī)制
在實(shí)際應(yīng)用中,智能運(yùn)維算法并非“開箱即用”,而是需要與運(yùn)維數(shù)據(jù)、業(yè)務(wù)
特點(diǎn)、運(yùn)維目標(biāo)等深度融合,不斷進(jìn)行打磨和適配。但是,目前大多數(shù)算法缺
乏基于反饋的模板調(diào)整能力,難以應(yīng)對(duì)“這種模板應(yīng)該根據(jù)這個(gè)變量拆
分,,,,這個(gè)變量應(yīng)該被泛化”等個(gè)性化需求。此外,運(yùn)維專家與算法設(shè)計(jì)人員
對(duì)于“故障”的理解也不盡相同,從而導(dǎo)致算法可能進(jìn)行了無效學(xué)習(xí)或是錯(cuò)誤
學(xué)習(xí),并直接影響了算法的有效性。
二、數(shù)字學(xué)生系統(tǒng)分析體系建設(shè)路徑
針對(duì)上述難點(diǎn),證券業(yè)急需以實(shí)現(xiàn)復(fù)雜IT平臺(tái)可觀、可測(cè)、可控為目標(biāo),從實(shí)
時(shí)、在線維度還原系統(tǒng)工作機(jī)制并構(gòu)建系統(tǒng)分析模型,研究、設(shè)計(jì)和驗(yàn)證具有
系統(tǒng)性、魯棒性、自適應(yīng)、自學(xué)習(xí)的智能運(yùn)維新算法,以更好滿足復(fù)雜系統(tǒng)潛
在故障檢測(cè)以及系統(tǒng)穩(wěn)定性分析等運(yùn)維需求。
1.總體規(guī)劃
圍繞上述目標(biāo),筆者團(tuán)隊(duì)以實(shí)現(xiàn)復(fù)雜系統(tǒng)的整體可觀測(cè)性為核心,從系統(tǒng)內(nèi)部
的白盒化思路出發(fā),提出了數(shù)字李生系統(tǒng)分析體系建設(shè)規(guī)劃,并進(jìn)一步細(xì)分為
兩個(gè)階段:
第一階段是自上而下建立多層次指標(biāo)體系,即通過描述系統(tǒng)內(nèi)不同組件、模塊
之間的依賴關(guān)系,構(gòu)建系統(tǒng)內(nèi)各指標(biāo)間的非線性影響權(quán)重量化模型,以更為準(zhǔn)
確地展現(xiàn)IT系統(tǒng)運(yùn)行狀態(tài),同時(shí)為數(shù)據(jù)管理、數(shù)據(jù)分析、智能運(yùn)維等場(chǎng)景提供
基礎(chǔ)數(shù)據(jù);并在此基礎(chǔ)上,結(jié)合數(shù)據(jù)融合、特征工程、智能分析等手段,全面、
準(zhǔn)確、及時(shí)把握高維復(fù)雜狀態(tài)空間,滿足IT平臺(tái)的全維度觀測(cè)需求。
第二階段是自下而上構(gòu)建數(shù)字?jǐn)伾R像模型,通過降低數(shù)據(jù)依賴性、提升算法
適應(yīng)性,使得在系統(tǒng)結(jié)構(gòu)或業(yè)務(wù)環(huán)境發(fā)生改變時(shí),可基于數(shù)據(jù)動(dòng)態(tài)輸入、算法
動(dòng)態(tài)調(diào)整,讓數(shù)字李生鏡像模型快速適應(yīng)系統(tǒng)變化,最終在整體保持系統(tǒng)穩(wěn)定
性與可靠性的同時(shí),高效解決大規(guī)模、多尺度時(shí)變平臺(tái)的實(shí)時(shí)調(diào)控問題,實(shí)現(xiàn)
對(duì)IT平臺(tái)能力的量化評(píng)估。
2.算法設(shè)計(jì)
TT系統(tǒng)中各類資源構(gòu)成的參數(shù)空間具有數(shù)量龐大、參數(shù)間存在復(fù)雜的非線性交
互影響等特點(diǎn)。為分析IT系統(tǒng)不同模塊之間的關(guān)聯(lián)交互作正,首先需要量化分
析不同模塊相關(guān)參數(shù)對(duì)相鄰模塊以及服務(wù)質(zhì)量關(guān)鍵指標(biāo)(QualityofService,
QoS)的貢獻(xiàn)程度,從而建立模塊之間的量化交互模型。為此,筆者團(tuán)隊(duì)將平臺(tái)
中不同層級(jí)的功能模塊抽象為不同的邏輯功能節(jié)點(diǎn),并構(gòu)建了分層影響作用樹
(如圖1所示)。其中,每個(gè)節(jié)點(diǎn)根據(jù)不同的模型類型,均可以代表系統(tǒng)轉(zhuǎn)移函
數(shù)、特定性能指標(biāo)等具體含義,節(jié)點(diǎn)間的連線則可用于表示模塊間接口變量、
指標(biāo)之間的非線性影響權(quán)重。
在此基礎(chǔ)上,筆者團(tuán)隊(duì)搭建了一種非線性影響權(quán)重量化模型,該模型能夠通過
多個(gè)源指標(biāo)構(gòu)成的某集元素這目標(biāo)指標(biāo)的影響程度來描述IT系統(tǒng)的基礎(chǔ)特性。
同時(shí),結(jié)合非線性疊加測(cè)度理論,筆者團(tuán)隊(duì)在模型中引入了全新方法來量化模
塊間參數(shù)的相互作用,即通過分析各個(gè)參數(shù)相互作用下的影響重要性,以此來
定量表征模型參數(shù)間的相互作用,該模型的突出特點(diǎn)是能夠用廣義非線性非可
加積分(Choquet積分)來定量評(píng)測(cè)模型變量之間的相互作用對(duì)QoS的貢獻(xiàn)度。
例如,當(dāng)給定一組觀測(cè)數(shù)據(jù),模型可以通過評(píng)估系統(tǒng)變量的非疊加測(cè)度來發(fā)掘
變量之間的復(fù)雜依賴關(guān)系,并量化單一變量及變量組合對(duì)目標(biāo)函數(shù)(系統(tǒng)性能)
的貢獻(xiàn)大小。
此外,考慮IT系統(tǒng)本身具有復(fù)雜行為模式、冗余設(shè)計(jì)、反饋和滯后響應(yīng)機(jī)制、
臨界點(diǎn)行為、系統(tǒng)持續(xù)演進(jìn)等特點(diǎn),而上述因素都會(huì)對(duì)準(zhǔn)確評(píng)估IT系統(tǒng)健康度
產(chǎn)生影響,筆者團(tuán)隊(duì)針對(duì)性建立了基于馬爾科夫鏈的狀態(tài)轉(zhuǎn)移概率模型,用于
探索IT系統(tǒng)內(nèi)在可辨識(shí)的隱結(jié)構(gòu)。具體而言,隱結(jié)構(gòu)具有一定的穩(wěn)定性,可反
映出IT系統(tǒng)特有的工作模式、運(yùn)動(dòng)規(guī)律,同時(shí)還具有足夠的靈敏性,可在系統(tǒng)
出現(xiàn)異常時(shí)實(shí)現(xiàn)及時(shí)感知。
最后,筆者團(tuán)隊(duì)通過記錄節(jié)點(diǎn)在狀態(tài)遷移過程中的性能指標(biāo),基于節(jié)點(diǎn)的正
常、異常狀態(tài)比例,根據(jù)特定標(biāo)準(zhǔn)實(shí)現(xiàn)了對(duì)節(jié)點(diǎn)健康度的統(tǒng)計(jì)評(píng)分。該健康度
評(píng)分方法基于節(jié)點(diǎn)不同狀態(tài)下的期望輸出指標(biāo),能夠有效區(qū)分節(jié)點(diǎn)在不同輸入
激勵(lì)條件下的實(shí)際工作能力,為全面評(píng)估節(jié)點(diǎn)在復(fù)雜系統(tǒng)中的復(fù)雜行為提供了
一種新的視角。在此模式下,基于輸入特征和輸出特征的統(tǒng)計(jì)建模規(guī)律,將能
夠準(zhǔn)確反映出節(jié)點(diǎn)在較長(zhǎng)時(shí)間跨度以及不同業(yè)務(wù)模型輸入條件下的服務(wù)能力和
水平。
綜上,前述算法主要具有以下三大特點(diǎn):一是訓(xùn)練樣本僅需準(zhǔn)備一定量的測(cè)量
指標(biāo)、日志等數(shù)據(jù),無需與歷史數(shù)據(jù)強(qiáng)耦合,即可以構(gòu)建相對(duì)穩(wěn)定的量化模
型;二是通過指標(biāo)間非線性交互影響量化模型,可提供輸入?yún)s輸出的相互影響
權(quán)重,使模型比基于AI的黑盒模型具備更好的可解釋性;三是在泛化和可遷移
性方面,由于構(gòu)建了量化相互影響權(quán)重模型,模型比純數(shù)據(jù)方法具備更好的泛
化和遷移能力。
3.數(shù)據(jù)底座建設(shè)
為打破數(shù)據(jù)孤島,實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一采集、統(tǒng)一存儲(chǔ)、統(tǒng)一管理與統(tǒng)一視圖展示,
筆者團(tuán)隊(duì)從能感知、會(huì)表述、自執(zhí)行等維度入手,創(chuàng)新搭建了綜合性智能化數(shù)
據(jù)底座(如圖2所示),以進(jìn)一步拓展數(shù)據(jù)應(yīng)用的深度和空間,充分發(fā)揮數(shù)據(jù)價(jià)
值。
在能感知(可觀)方面,筆者團(tuán)隊(duì)?wèi)?yīng)用數(shù)字?jǐn)伾夹g(shù),針對(duì)運(yùn)維對(duì)象構(gòu)建了數(shù)字
攣生可視化界面,并引入系統(tǒng)健康度評(píng)估體系和方法論,實(shí)現(xiàn)了系統(tǒng)健康度可
視化管理,使運(yùn)維人員通過該界面能夠直觀了解系統(tǒng)健康度以及關(guān)聯(lián)影響。同
時(shí),監(jiān)控平臺(tái)覆蓋運(yùn)維全領(lǐng)域,擁有維度豐富的各類數(shù)據(jù),并結(jié)合智能運(yùn)維算
法支持快速發(fā)現(xiàn)故障,從而可實(shí)現(xiàn)對(duì)數(shù)據(jù)中心所有運(yùn)行組件的全感知。
數(shù)據(jù)底座
采集■存儲(chǔ)■管理■展示
圖2智能化數(shù)據(jù)底座
在會(huì)描述(可測(cè))方面,智能化數(shù)據(jù)底座基于數(shù)字?jǐn)伾夹g(shù)中的數(shù)字虛體,可細(xì)
致描述物理實(shí)體的可視化模型和內(nèi)在機(jī)理,并對(duì)物理實(shí)體的狀態(tài)數(shù)據(jù)進(jìn)行監(jiān)
測(cè)、分析,進(jìn)而通過不斷優(yōu)化模型參數(shù),提供智能化的決策輔助功能。
在自執(zhí)行(可控)方面,“知其然,并知其所以然”是數(shù)字李生的核心理念?;?/p>
于智能化數(shù)據(jù)底座,運(yùn)維人員可詳細(xì)了解系統(tǒng)內(nèi)部的各種影響及互動(dòng)關(guān)聯(lián)機(jī)
制,進(jìn)而有目的地快速解決問題,實(shí)現(xiàn)真正的安全可控。
三、后續(xù)研究展望
當(dāng)前,智能運(yùn)維領(lǐng)域存在算法黑箱、算法同質(zhì)化、模型缺陷等多種潛在風(fēng)險(xiǎn),
但業(yè)界尚未針對(duì)智能運(yùn)維算法的規(guī)范性、可靠性、可遷移性、有效性等制定統(tǒng)
一的評(píng)估方法,從而在一定程度上影響了智能運(yùn)維技術(shù)的應(yīng)用和發(fā)展。國(guó)泰君
安作為智能運(yùn)維國(guó)家標(biāo)準(zhǔn)編訂單位之一,己連續(xù)多年參與智能運(yùn)維領(lǐng)域的研究
與實(shí)踐,積極為智能運(yùn)維國(guó)標(biāo)編制建言獻(xiàn)策。未來,國(guó)泰君安將繼續(xù)作為牽頭
單位研制智能運(yùn)維算法的治理標(biāo)準(zhǔn),推動(dòng)智能運(yùn)維系列標(biāo)準(zhǔn)推廣落地。在此基
礎(chǔ)上,國(guó)泰君安將攜手業(yè)內(nèi)同仁共同探索智能運(yùn)維體系的落地路徑,深入推進(jìn)
各項(xiàng)運(yùn)維能力建設(shè)和場(chǎng)景應(yīng)用:
一是不斷提升感知能力的時(shí)效性,在運(yùn)維對(duì)象全生命周期的初始環(huán)節(jié),就將其
納入數(shù)據(jù)中心感知體系中進(jìn)行管理。
二是持續(xù)構(gòu)建“白盒”模型,運(yùn)用數(shù)字季生方法論實(shí)時(shí)還原復(fù)雜系統(tǒng)的運(yùn)行狀
態(tài),使核心業(yè)務(wù)在業(yè)務(wù)組件中的流動(dòng)過程更加清晰可
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年廣東省華附等四校高三語文1月聯(lián)考試卷附答案解析
- 課題申報(bào)參考:家庭結(jié)構(gòu)轉(zhuǎn)變視域下城市青少年體育參與的家庭代際支持網(wǎng)絡(luò)構(gòu)建研究
- 2025版房地產(chǎn)營(yíng)銷投標(biāo)文件招標(biāo)合同樣本3篇
- 2025版彩禮退還與婚姻解除補(bǔ)償協(xié)議書范本3篇
- 2025年度個(gè)人消費(fèi)借款合同范本全新修訂版4篇
- 2025年通遼從業(yè)資格證應(yīng)用能力考些啥
- 電梯安裝工程2025年度環(huán)保要求合同3篇
- 二零二五年度城市共享車牌租賃經(jīng)營(yíng)許可合同4篇
- 二零二五版煤礦井巷工程地質(zhì)災(zāi)害防治與監(jiān)測(cè)承包合同范本4篇
- 2025年度門窗安裝施工與綠色施工管理合同4篇
- 電纜擠塑操作手冊(cè)
- 浙江寧波鄞州區(qū)市級(jí)名校2025屆中考生物全真模擬試卷含解析
- 2024-2025學(xué)年廣東省深圳市南山區(qū)監(jiān)測(cè)數(shù)學(xué)三年級(jí)第一學(xué)期期末學(xué)業(yè)水平測(cè)試試題含解析
- IATF16949基礎(chǔ)知識(shí)培訓(xùn)教材
- 【MOOC】大學(xué)生創(chuàng)新創(chuàng)業(yè)知能訓(xùn)練與指導(dǎo)-西北農(nóng)林科技大學(xué) 中國(guó)大學(xué)慕課MOOC答案
- 勞務(wù)派遣公司員工考核方案
- 基礎(chǔ)生態(tài)學(xué)-7種內(nèi)種間關(guān)系
- 2024年光伏農(nóng)田出租合同范本
- 《阻燃材料與技術(shù)》課件 第3講 阻燃基本理論
- 2024-2030年中國(guó)黃鱔市市場(chǎng)供需現(xiàn)狀與營(yíng)銷渠道分析報(bào)告
- 新人教版九年級(jí)化學(xué)第三單元復(fù)習(xí)課件
評(píng)論
0/150
提交評(píng)論