火山引擎虛擬化可靠性建設(shè)

2021/5QCon11.副標(biāo)題方正蘭亭黑簡(jiǎn)體22磅1.副標(biāo)題方正蘭亭黑簡(jiǎn)體22磅2.副標(biāo)題方正蘭亭黑簡(jiǎn)體22磅3.副標(biāo)題方正蘭亭黑簡(jiǎn)體22磅4.副標(biāo)題方正蘭亭黑簡(jiǎn)體22磅?業(yè)務(wù)背景?虛擬化場(chǎng)景下的內(nèi)存故障處理?虛擬機(jī)的Crash監(jiān)控以及治理?延遲、性能的監(jiān)控和工具建設(shè)?取得的成果4化技術(shù)的場(chǎng)景和挑戰(zhàn)5用場(chǎng)景?云計(jì)算場(chǎng)景下,KVM虛擬化是最核心的技術(shù)?私有云場(chǎng)景下,虛擬化具有超強(qiáng)的隔離性,較好的解決多種業(yè)務(wù)的混合部署帶來的干擾問題?發(fā)揮I--s的資源編排能力,降低成本?..性的挑戰(zhàn)?虛擬化1:N的部署模型,導(dǎo)致了故障數(shù)量的絕對(duì)值增長(zhǎng)?虛擬化引入了軟件模擬、Host/Guest切換等,deaug的復(fù)雜度提升?虛擬化的部分監(jiān)控指標(biāo),缺乏工具鏈支持?..6場(chǎng)景下的內(nèi)存故障處理7CorrectableError(CE)?可修復(fù)的錯(cuò)誤,系統(tǒng)可以正確的運(yùn)行UncorrectedError(UE)?不可修復(fù)的錯(cuò)誤,內(nèi)核會(huì)嘗試盡量修復(fù)它FatalError?在系統(tǒng)的關(guān)鍵路徑上發(fā)生了UE,例如發(fā)生在映射內(nèi)核代碼的頁面上。內(nèi)核已經(jīng)沒有辦法繼續(xù)處理錯(cuò)誤了,只能重啟或者h(yuǎn)-ngNon.fatalError?UE發(fā)生在非關(guān)鍵的路徑上,系統(tǒng)還是可以繼續(xù)運(yùn)行。如UE發(fā)生在文件映射的非臟頁上,可以標(biāo)記頁面后重新加載磁盤的內(nèi)容;再如UE發(fā)生在用戶態(tài)進(jìn)程中,那么只需要kill掉單個(gè)進(jìn)程,而非整個(gè)系統(tǒng)重啟內(nèi)核RAs能力增強(qiáng)以及監(jiān)控8升級(jí)、配置BIOs?打開MCE上報(bào)Os處理能力?升級(jí)EDAC驅(qū)動(dòng),發(fā)揮新款CPU的硬件監(jiān)控能力監(jiān)控、分析/v-r/log/mcelog?根據(jù)log分析詳細(xì)的DIMM的故障errupts?THR中斷過高會(huì)影響業(yè)務(wù)性能eminfo?H-rdw-reCorrupted表示UE影響了多少內(nèi)存Kernel8QEMU對(duì)MCE的處理9QEMU進(jìn)程是一個(gè)虛擬機(jī),我們不希望因?yàn)槟骋粋€(gè)P-ge的錯(cuò)誤讓整個(gè)VM發(fā)生cr-sh!哪怕真的要發(fā)生cr-sh,我們需要知道它的詳細(xì)原因!prerr("Memoryf-ilure:%#lx:Killing%s:%dduetoh-rdw-rememorycorruption\n")?單純的依靠?jī)?nèi)核log監(jiān)控不靠譜!因?yàn)榇藭r(shí)發(fā)送的是sIGBUG信號(hào),并不會(huì)讓QEMU真的qemulogm-sk(CPULOGREsET)"Triplef-ult\n");?QEMU的這一行l(wèi)og也不足以說明QEMUreset的真實(shí)原因!QEMU8g"CPU%d:MCEc-p-ailityisnoten-aled)r-isingtriplef-ult";"CPU%d:PreviousMCEstillinprogress)r-isingtriplef-ult";QEMUmonitorevent{'event':'MEMORYFAILURE')'d-t-':{'recipient':'MemoryF-ilureRecipient')'-ction':'MemoryF-ilureAction')'fl-gs':'MemoryF-ilureFl-gs'}}MemoryF-ilureRecipient:hypervisor/guestMemoryF-ilureAction:ignore/inject/f-t-l/resetMemoryF-ilureFl-gs:-ction-required/及調(diào)度的改進(jìn)?調(diào)度層記錄memoryf-ilure事件?CE較頻繁的情況下提前遷移VM?UE的情況下,重新分配大頁?UE過多,在健康的節(jié)點(diǎn)上啟動(dòng)VMcfpvp-nic是什么??pvp-nic是QEMU模擬一個(gè)虛擬化設(shè)備,通常接在IsA0x505的ioport上。在GuestVM發(fā)生cr-sh的時(shí)候,會(huì)觸發(fā)PIO操作。QEMU通過a-ckend的寫入操作可以知道在Guest中發(fā)生了Cr-shpvp-nic有怎樣的局限性??通常情況下,pvp-nic可以監(jiān)控到GuestVM的Cr-sh。但是在Guest中如果配置了Kdump,就會(huì)出現(xiàn)二者不能同時(shí)工作的情況:a.kdump會(huì)觸發(fā)kexec重新加載內(nèi)核,跳過通知pvpanic的過程b.如果先通知pvpanic,會(huì)觸發(fā)QEMU執(zhí)行reset,不再繼續(xù)執(zhí)行kexec?ait0:-guestp-nich-sh-ppened-ndshouldaeprocessedaythehost.?ait1:-guestp-nich-sh-ppened-ndwillaeh-ndledaytheguest;thehostshouldrecorditorreportit)autshouldnot-ffecttheexecutionoftheguest.?Guest自動(dòng)判斷是否需要執(zhí)行Kdump?既可以執(zhí)行Kdump,也可以通知QEMU!/qemu/qemu/bIob/master/docs/specs/pvpanic.txtcba改進(jìn)后的pvp-nic通過Host上的-gent監(jiān)控P-nic/Cr-shlo-ded事件,可以準(zhǔn)確監(jiān)控到GuestVM的Cr-sh。同時(shí),Guestkernellog通過ttys0模擬寫入到host上的文件中,-gent通過OOB的方式把Guestkernellog推送到Oss存儲(chǔ)上,使用大數(shù)據(jù)分析。得到各個(gè)tr-ce的數(shù)量和百分比,始終優(yōu)先解決比例最高的Kernelp-nic。使用4.14、4.19以及5.4較高版本內(nèi)核,能使用新fe-ture的同時(shí),把Kernelp-nic的比例控制在萬分之一左右!機(jī)一鍵健康檢查使用OOB的方式獲取到CR0寄存器的數(shù)值:?CR0.PE:ProtectionEn-ale(ait0ofCR0),如果是0,大概率卡在了BIOs里面?CR0.PG:P-ging(ait31ofCR0),如果是0,大概率卡在了GRUB里面使用MemoryB-lloon獲取Guestmemoryst-t:?Guest完全內(nèi)核態(tài)執(zhí)行,判斷guestkernel是否響應(yīng)使用GuestAgent執(zhí)行g(shù)uest-ping:?用來判斷guestuser是不是能響應(yīng)watch.d.n1“cat/proc/interrupts|grepLoC“簡(jiǎn)直就是災(zāi)難l?簡(jiǎn)潔、易讀的展示?支持多種排序?支持Delt-的增量展示?支持softirq展示-top會(huì)默認(rèn)使用perfevent采集IPC(instructionspercycle),收集IPC會(huì)觸發(fā)Linux使用dpmc在KVM虛擬化場(chǎng)景下,wrmsr/rdpmc指令會(huì)造成vm-exit,影響虛擬機(jī)的性能。改進(jìn)方法是增加配置項(xiàng):-uto/en-ale/dis-ae。?en-ale,始終啟動(dòng)ipc收集?dis-ae,始終關(guān)閉ipc收集?-uto,判斷執(zhí)行環(huán)境,物理機(jī)上自動(dòng)打開;虛擬機(jī)中自動(dòng)關(guān)閉虛擬機(jī)的vCPU線程可能被搶占CPU時(shí)間,例如IRQ、workqueue或者其他的t-sk。那么反應(yīng)在虛擬機(jī)里面就是ste-ltime!且ste-ltime的監(jiān)控需要精細(xì)化處理,例如40C的虛擬機(jī),平均2.5%的ste-ltime似乎影響不大,但是單獨(dú)發(fā)生在某一個(gè)vCPU上就是100%!在Host上,讓-top支持per-thre-d級(jí)別的rundel-y監(jiān)控:?收集虛擬機(jī)的所有的vCPU線程的Rundel-y時(shí)間,更加細(xì)致?默認(rèn)10s的收集間隔,精度更高虛擬機(jī)的遠(yuǎn)程盤延遲發(fā)生了抖動(dòng),那么是網(wǎng)絡(luò)的問題?還是處理的慢?亦或是..例如存儲(chǔ)節(jié)點(diǎn)使用3260提供存儲(chǔ)服務(wù),使用tcprtt本地3260端口的所有連接的/iovisor/bcc/commit/e42ac4176998a6dcf0dbf3b6befeaad0a69cb98a/iovisor/bcc/commit/4cb