從1到100混沌工程實(shí)踐的可視化與平臺(tái)

1亞馬遜AWS專業(yè)服務(wù)部資深云架構(gòu)顧自我介紹自我介紹HenryHuangAWSre:Invent20172018AWS 2019QConBeijing2019講 小聽(tīng)過(guò)混沌工程的(請(qǐng)舉手有在實(shí)踐混沌工程的(請(qǐng)舉手聽(tīng)過(guò) 專題的(請(qǐng)舉手故障簡(jiǎn)史– 1 登“Everythingfails,allthtime--Werner,Vogels(CTO) [1970年阿 13號(hào)]2號(hào)氧氣罐的爆 自我介自我介最早提出軟件工程的概念，在阿登月計(jì)劃中負(fù)有一次，女兒在模擬艙玩的時(shí)候不按錯(cuò)了 十年演進(jìn)，重塑混十年前，混沌工程的先驅(qū)遇到自我介紹由于施導(dǎo)致光纖被切自我介紹 導(dǎo)致光纖被損軟件可以用新技術(shù)實(shí)Stageof再

隨之 殆傳統(tǒng)的故障防治軟件變得分布式無(wú)狀態(tài)迭代演快速變非常復(fù)項(xiàng)

基

卸技術(shù)欠時(shí)

混沌工程的時(shí)機(jī)與機(jī) 系統(tǒng)架構(gòu)的本質(zhì)演的應(yīng)用程序，成本非常高，但是由于它韌性系統(tǒng)在設(shè)計(jì)時(shí)考慮到壓力和適應(yīng)混沌工程的目性 性Netflix混沌工程的投資回報(bào)率模型過(guò)去一年中，混沌工程提前發(fā)現(xiàn)了2次大故障和8次小故障，避免了整個(gè)組織大約70萬(wàn)美金的損失?；煦绻こ虉F(tuán)隊(duì)，總共3個(gè)成員，薪水支出15萬(wàn)美金/人。開(kāi)展混沌工程實(shí)驗(yàn)，本身需要1萬(wàn)美金的成本。請(qǐng)問(wèn)，投資回報(bào)率是多少？

= Netflix報(bào)告：TheBusinessCaseforChaosEngineering

分鐘IT故 的損Gartner混沌工程從0到1：持續(xù)迭代的閉環(huán)體1到混沌工程的實(shí)驗(yàn)場(chǎng)景：從1個(gè)增加到100實(shí)施混沌工程的業(yè)務(wù)應(yīng)用數(shù)量：從1個(gè)增加到100實(shí)施混沌工程的人員數(shù)量：從1位增加到1001到混沌工程的實(shí)驗(yàn)場(chǎng)景：從1個(gè)增加到100實(shí)施混沌工程的業(yè)務(wù)應(yīng)用數(shù)量：從1個(gè)增加到100實(shí)施混沌工程的人員數(shù)量：從1位增加到100 ：混沌工程實(shí)驗(yàn)場(chǎng)景的管

解決方案：混沌工程實(shí)驗(yàn)場(chǎng)景的模版模版類別（分類合并同+（實(shí)驗(yàn)場(chǎng)景模版+（運(yùn)行時(shí)配置模版?zhèn)}庫(kù)

模版類實(shí)驗(yàn)場(chǎng)景模板運(yùn)行時(shí)配常見(jiàn)的混沌工程實(shí)驗(yàn)場(chǎng)景模AWS托管服務(wù)異常：ELB／S3/DynamoDB／LambdaEC2實(shí)例異常終止，EC2實(shí)例異常關(guān)閉，EBS磁盤卷異常卸載，RDS數(shù)據(jù)庫(kù)實(shí)例故障切換，ElastiCache實(shí)例故障切換，容器異常終止，容器異常關(guān)CPU、內(nèi)存、磁盤空間、IOPS占滿或突發(fā)過(guò)高占用，大文件，只讀系統(tǒng)，網(wǎng)絡(luò)延遲，網(wǎng)絡(luò)丟包，DNS解析故障，DNS緩存毒化，VIP轉(zhuǎn)移，網(wǎng)絡(luò)黑 ：混沌工程實(shí)驗(yàn)數(shù)量級(jí)增混沌工程實(shí)驗(yàn)總數(shù)用數(shù)量X個(gè)應(yīng)用的實(shí)驗(yàn)數(shù)實(shí)驗(yàn)的資源實(shí)驗(yàn)的資源開(kāi)實(shí)驗(yàn)總數(shù)的增加會(huì)????解決方案：混沌工程的平臺(tái)混沌工程平臺(tái)化的功能（Goblin實(shí)驗(yàn)平臺(tái)Goblin紀(jì) 從1到100：混沌工程的平臺(tái) Goblin實(shí)驗(yàn)平臺(tái)*基本要能運(yùn)行實(shí)能觀測(cè)指標(biāo)失敗能警報(bào)可暫停實(shí)業(yè)務(wù)指標(biāo)觀測(cè)服觀測(cè)指標(biāo)的設(shè)流量生成服使用真實(shí)的用戶流量（或分支使用脫敏的用戶流量（鏡像故障注入服HostGuestOS的無(wú)（SSH，APICallAWS上故障注入的簡(jiǎn)單示

AmazonElasticsearch

Chaos

AWSSystem

Amazon護(hù)欄服 暫停服改進(jìn)方案推薦服（流水線服自動(dòng)定期透明 權(quán)限管理服混沌工程的 限管理范 +（…GoblinDev

Monitoring

ytics

LoadGenerator

NotificationApplication

InjectionService

GuardianService

GoblinGoblin

PipelineInterface

GlobalPermissionMgmtServiceAssessmentService

PipelineService1到混沌工程的實(shí)驗(yàn)場(chǎng)景：從1個(gè)增加到100實(shí)施混沌工程的業(yè)務(wù)應(yīng)用數(shù)量：從1個(gè)增加到100實(shí)施混沌工程的人員數(shù)量：從1位增加到100 ：混沌工程效果評(píng)估的復(fù)雜 實(shí)驗(yàn)結(jié)果數(shù)的增加會(huì)實(shí)驗(yàn)效果評(píng)估的復(fù)雜解決方案：混沌工程的可視化要Goblin紀(jì) 混沌工程可行性評(píng)估?；煦绻こ虒?shí)驗(yàn)成熟度等成熟度等12345架構(gòu)抵御故障的能無(wú)抵御故障的能一定的冗余冗余且可擴(kuò)已使用可避免級(jí)聯(lián)故的技已實(shí)現(xiàn)韌性實(shí)驗(yàn)指標(biāo)設(shè)無(wú)系統(tǒng)指實(shí)驗(yàn)結(jié)果只反映系統(tǒng)態(tài)指實(shí)驗(yàn)結(jié)果反映應(yīng)用的康狀況指實(shí)驗(yàn)結(jié)果反映聚合的務(wù)指可在實(shí)驗(yàn)組和控制間比較業(yè)務(wù)指標(biāo)的實(shí)驗(yàn)環(huán)境選制的生產(chǎn)流量來(lái)運(yùn)行驗(yàn)在生產(chǎn)環(huán)境中運(yùn)行實(shí)實(shí)驗(yàn)自動(dòng)化能全人工流運(yùn)行實(shí)驗(yàn)，但需要和停止實(shí)實(shí)驗(yàn)工具使無(wú)實(shí)驗(yàn)工采用實(shí)驗(yàn)工使用實(shí)驗(yàn)框?qū)嶒?yàn)框架和持續(xù)發(fā)布具集工具支持交互式的實(shí)驗(yàn)組和控故障注入場(chǎng)只對(duì)實(shí)驗(yàn)對(duì)象注入一對(duì)實(shí)驗(yàn)對(duì)象注入較高對(duì)實(shí)驗(yàn)組引入如服別的影響和組合式簡(jiǎn)，如突發(fā)半徑范的，如網(wǎng)絡(luò)CPU高內(nèi)存障環(huán)境恢復(fù)能無(wú)法恢復(fù)正常環(huán)可手動(dòng)恢復(fù)環(huán)可半自動(dòng)恢復(fù)環(huán)部分可自動(dòng)恢復(fù)環(huán)韌性架構(gòu)自動(dòng)實(shí)驗(yàn)結(jié)果整混沌工程實(shí)驗(yàn)接納指接納1

描混沌工程實(shí)驗(yàn)獲得正 2 公司內(nèi)部有多個(gè)項(xiàng)目 3 34 4韌性分混混沌工程實(shí)驗(yàn)成熟度等級(jí)混沌工程成熟度等級(jí)-量化蜘蛛常見(jiàn)的混沌工程實(shí)驗(yàn)場(chǎng)景模AWS托管服務(wù)異常：ELB／S3/DynamoDB／LambdaEC2實(shí)例異常終止，EC2實(shí)例異常關(guān)閉，EBS磁盤卷異常卸載，RDS數(shù)據(jù)庫(kù)實(shí)例故障切換，ElastiCache實(shí)例故障切換，容器異常終止，容器異常關(guān)CPU、內(nèi)存、磁盤空間、IOPS占滿或突發(fā)過(guò)高占用，大文件，只讀系統(tǒng)，網(wǎng)絡(luò)延遲，網(wǎng)絡(luò)丟包，DNS解析故障，DNS緩存毒化，VIP轉(zhuǎn)移，網(wǎng)絡(luò)黑混沌工程可視化示1到混沌工程的實(shí)驗(yàn)場(chǎng)景：從1個(gè)增加到100實(shí)施混沌工程的業(yè)務(wù)應(yīng)用數(shù)量：從1個(gè)增加到100實(shí)施混沌工程的人員數(shù)量：從1位增加到100 ：混沌工程技能和流程培游戲日計(jì)劃（Game旨在測(cè)試系統(tǒng)中模擬各種響應(yīng)的流建立如何應(yīng)對(duì)的“肌肉”。AWS總結(jié)混沌工程的時(shí)機(jī)和機(jī) 從1到100：混沌工程的模版AWS托管服務(wù)異常：ELBAWS托管服務(wù)異常：ELB／S3/DynamoDB／Lambda…EC2實(shí)例異常終止，EC2實(shí)例異常關(guān)閉，EBS磁盤卷異常卸載，RDS數(shù)據(jù)庫(kù)實(shí)例故障切換，ElastiCache實(shí)例故障切換，網(wǎng)