互聯(lián)網(wǎng)下的災(zāi)備體系探討

1、國內(nèi)重大事故國內(nèi)重大事故1234565.28攜程與藝龍官網(wǎng)癱瘓12小時(shí)恢復(fù)6.6青云機(jī)房雷擊事件3小時(shí)后恢復(fù)9.1阿里云盾事件5.1網(wǎng)易大火事件（骨干網(wǎng)攻擊）2014.3.30騰訊深圳數(shù)據(jù)中心主供電線路中斷無中斷5.27支付寶光纖挖斷事情2小時(shí)恢復(fù)影響 *W/天天費(fèi)費(fèi)用用無法評估無法評估形形象象無法評估無法評估數(shù)數(shù)據(jù)據(jù)無法評估無法評估體體驗(yàn)驗(yàn)項(xiàng)目分類高可用性關(guān)鍵因素級別級別SLA年當(dāng)機(jī)年當(dāng)機(jī) 天當(dāng)機(jī)天當(dāng)機(jī)能力集能力集190.0000%36.5天2.4時(shí)流程299.0000%3.65天14分運(yùn)氣399.9000%8.76時(shí)86秒運(yùn)氣+堆人（3班倒）499.9900%52.6分8.6秒服務(wù)自愈59

2、9.9990%5.25分0.86秒架構(gòu)的容災(zāi)、容錯(cuò)、災(zāi)備系統(tǒng)699.9999%31.5秒 8.6毫秒自治高可用性關(guān)鍵因素MTBF故障發(fā)生機(jī)率MTTR故障恢復(fù)時(shí)間高可用性關(guān)鍵因素業(yè)務(wù)層業(yè)務(wù)層高可用性業(yè)務(wù)層降級服務(wù)降級服務(wù)客戶分級客戶分級功能分級功能分級高可用性服務(wù)層服務(wù)層服務(wù)層MTBF服務(wù)狀態(tài)可用性7級表級別級別名稱名稱解決辦法解決辦法第一級數(shù)據(jù)完全崩潰損壞數(shù)據(jù)存放在內(nèi)存中的服務(wù)，內(nèi)存數(shù)據(jù)庫，第二級新增加的數(shù)據(jù)損壞正常服務(wù)第三級數(shù)據(jù)沒有丟失系統(tǒng)與硬件各種Cache.第四級沒有數(shù)據(jù)丟失，服務(wù)能力降低異常數(shù)據(jù)處理與高級流控系統(tǒng)。第五級有部分服務(wù)，服務(wù)質(zhì)量不降多業(yè)務(wù)跑在一個(gè)實(shí)例上。第六級故障轉(zhuǎn)移時(shí)，用

3、戶有感知業(yè)務(wù)能恢復(fù)，恢復(fù)比較慢第七級故障轉(zhuǎn)移，用戶無感知業(yè)務(wù)完全無影響服務(wù)模塊服務(wù)模塊SLA等級等級平臺架構(gòu)平臺架構(gòu)數(shù)據(jù)落地?cái)?shù)據(jù)落地文件流控系統(tǒng)高可用性資源層資源層資源層高可用性資源層資源硬件機(jī)房帶寬多運(yùn)營商多地同城網(wǎng)絡(luò)設(shè)備光纖服務(wù)器品牌機(jī)安全設(shè)備軟件第三方服務(wù)域名證書基礎(chǔ)組件DOCKERKVM輔助分析服務(wù)OMMELK支付寶的災(zāi)備進(jìn)程支付寶的災(zāi)備進(jìn)程多活數(shù)據(jù)中心-失敗同城多活+異地?cái)?shù)據(jù)災(zāi)備異地多活-2013同城多活同城多活+異地災(zāi)備要點(diǎn)異地災(zāi)備要點(diǎn)1. 同城數(shù)據(jù)中心：同城數(shù)據(jù)中心之間用裸纖連接，之間距離不大于40KM，延時(shí)在一個(gè)局域網(wǎng)內(nèi)。2. 數(shù)據(jù)庫分庫分表，數(shù)據(jù)保護(hù)模式由集中存儲變成“三副本

4、”，每個(gè)副本分布在不同的數(shù)據(jù)中心，一主二從，由應(yīng)用進(jìn)行數(shù)據(jù)的復(fù)制和一致性的保證。3. 應(yīng)用層面實(shí)現(xiàn)的同城多活：數(shù)據(jù)庫實(shí)現(xiàn)分布式，同城應(yīng)用可以跨機(jī)房寫數(shù)據(jù)庫，應(yīng)用層的多活就實(shí)現(xiàn)了。在強(qiáng)化應(yīng)用層面的容錯(cuò)和故障處置手段之后，在主數(shù)據(jù)庫故障時(shí)，應(yīng)用可快速把主數(shù)據(jù)庫切換至其他機(jī)房的從數(shù)據(jù)庫。這種機(jī)制下，不單可以實(shí)現(xiàn)數(shù)據(jù)庫的多活，而且進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)中心層面的同城多活，理論上任何一個(gè)數(shù)據(jù)中心中斷都不會導(dǎo)致業(yè)務(wù)中斷，切換過程也非常簡單。4. 異地遠(yuǎn)程數(shù)據(jù)備份：在相隔1000公里的遠(yuǎn)程機(jī)房，由應(yīng)用程序進(jìn)行數(shù)據(jù)的備份，通常只需要把關(guān)鍵的賬務(wù)數(shù)據(jù)增量同步過去，由于不用備份應(yīng)用系統(tǒng)，實(shí)現(xiàn)起來較為簡單。支付寶支付寶異地

5、多活探索異地多活探索 異地多活的難點(diǎn) 跨中心數(shù)據(jù)交互 網(wǎng)絡(luò)延時(shí) 解決辦法 單元化：保障每個(gè)單元之中的基礎(chǔ)設(shè)施、應(yīng)用系統(tǒng)、數(shù)據(jù)庫都齊備，大部分業(yè)務(wù)處理都可以在本單元之中完成； 服務(wù)治理：梳理業(yè)務(wù)之間的耦合關(guān)系，盡量減少和降低跨單元之間的數(shù)據(jù)交互； 異地?cái)?shù)據(jù)交互優(yōu)化：則是降低異地?cái)?shù)據(jù)交互的頻率、提高異地之間數(shù)據(jù)交互的效率，使業(yè)務(wù)系統(tǒng)可以適應(yīng)異地的網(wǎng)絡(luò)延時(shí)?；A(chǔ)級基礎(chǔ)級邏輯示意圖邏輯示意圖設(shè)備級設(shè)備級核心節(jié)點(diǎn)核心節(jié)點(diǎn)-同城雙活同城雙活 平時(shí)狀態(tài)同等集群運(yùn)行 費(fèi)用 涉及模塊 網(wǎng)絡(luò)互聯(lián)費(fèi)用 廠商選擇*區(qū)域內(nèi)的機(jī)房均可 解決問題1. 機(jī)房級故障，例機(jī)房或機(jī)柜掉電、核心設(shè)備出問題，服務(wù)器硬件故障。2. 機(jī)房

6、級IDC設(shè)備故障。3. 省網(wǎng)以下網(wǎng)絡(luò)故障。 不能解決的問題1.骨干網(wǎng)波動與故障。2.城市級電力中斷。3.省網(wǎng)出口問題。 開發(fā)支持1.用戶請求調(diào)度的切換速度與后端狀態(tài)感知。（可以使用DNSPOD的后端監(jiān)控功能實(shí)現(xiàn)） 風(fēng)險(xiǎn)點(diǎn)1.互聯(lián)光纖中斷造成的數(shù)據(jù)不同步。 切換時(shí)間分鐘級 切換時(shí)影響范圍2分之1 項(xiàng)目預(yù)計(jì)時(shí)間 100工作日執(zhí)行計(jì)劃執(zhí)行計(jì)劃類型類型項(xiàng)目名稱項(xiàng)目名稱目標(biāo)目標(biāo)故障機(jī)率故障機(jī)率執(zhí)行時(shí)間執(zhí)行時(shí)間 總結(jié)改進(jìn)總結(jié)改進(jìn)備注備注業(yè)務(wù)層業(yè)務(wù)層任意容量失效服務(wù)模塊服務(wù)能力驗(yàn)證高任意區(qū)域失效業(yè)務(wù)架構(gòu)容錯(cuò)能力驗(yàn)證低任意人員失效人員架構(gòu)容錯(cuò)能力驗(yàn)證中任意客戶失效客戶架構(gòu)容錯(cuò)能力驗(yàn)證中任意資質(zhì)失效政策容錯(cuò)能力驗(yàn)證中服務(wù)層服務(wù)層任意服務(wù)失效演練（單/組）業(yè)務(wù)架構(gòu)容錯(cuò)能力驗(yàn)證低任意組件失效演練（單/組）業(yè)務(wù)架構(gòu)容錯(cuò)能力驗(yàn)證低任意數(shù)據(jù)失效演練（單/組）災(zāi)備服務(wù)容錯(cuò)能力驗(yàn)