系統(tǒng)高可用技術(shù)架構(gòu)設(shè)計(jì)

1、系統(tǒng)高可用技術(shù)架構(gòu)設(shè)計(jì)技術(shù)創(chuàng)新，變革未來(lái)16/11/2提綱1云平臺(tái)的高可用需求基礎(chǔ)組件的高可用實(shí)踐2平臺(tái)監(jiān)控系統(tǒng)升級(jí)系統(tǒng)未來(lái)工作展望5云平臺(tái)的高可用需求1如何保證基礎(chǔ)平臺(tái)的穩(wěn)定性如何監(jiān)控業(yè)務(wù)和快速恢復(fù)在升級(jí)過(guò)程中如何保證業(yè)務(wù)的連續(xù)性云平臺(tái)的高可用需求116/11/2云計(jì)算可用性的新需求2基礎(chǔ)組件的高可用設(shè)計(jì)整體架構(gòu)2基礎(chǔ)組件的高可用設(shè)計(jì)控制服務(wù)層之集群高可用 去中心化設(shè)計(jì) 集群基礎(chǔ)配置使用集群文件系 統(tǒng)存放； 使用corosync維護(hù)成員關(guān)系； 集群leader故障，自動(dòng)推選； 配置集群IP，跟隨leader；2基礎(chǔ)組件的高可用設(shè)計(jì)Failover（故障切換）： 業(yè)務(wù)恢復(fù)時(shí)間（RTO）：系統(tǒng)+

2、 APP + 探測(cè)時(shí)間（可配置）； 需要共享存儲(chǔ)（外置存儲(chǔ)或者分布式存儲(chǔ)）； 網(wǎng)絡(luò)可達(dá)，網(wǎng)絡(luò)的配置和防火墻策略跟隨；虛擬機(jī)高可用（1）2基礎(chǔ)組件的高可用設(shè)計(jì)虛擬機(jī)高可用（2）FT(Fault Tolerance)技術(shù)： 基于coarse-grained lock-steping 需要萬(wàn)兆網(wǎng)絡(luò)進(jìn)行狀態(tài)同步 需禁用虛擬化高級(jí)特性（如熱遷移）基礎(chǔ)組件的高可用設(shè)計(jì)2應(yīng)用層協(xié)議棧/轉(zhuǎn)發(fā)面 網(wǎng)絡(luò)故障不會(huì)導(dǎo)致主 機(jī)宕機(jī) 利用DPDK實(shí)現(xiàn)高性 能報(bào)文處理 應(yīng)用層支持主備切換 確保業(yè)務(wù)連續(xù)性虛擬網(wǎng)絡(luò)高可用（1）2基礎(chǔ)組件的高可用設(shè)計(jì)邊界集中路由（南北向） 虛擬路由器之間使用keeplive的方式 虛擬路由器SE

3、SSION同步 備選節(jié)點(diǎn)重選擇虛擬網(wǎng)絡(luò)高可用（2）2基礎(chǔ)組件的高可用設(shè)計(jì)分布式路由（東西向） 避免網(wǎng)絡(luò)節(jié)點(diǎn)宕機(jī)導(dǎo)致網(wǎng)絡(luò)中斷 節(jié)省網(wǎng)絡(luò)流量，避免網(wǎng)絡(luò)節(jié)點(diǎn)成為瓶頸虛擬網(wǎng)絡(luò)高可用（3）2基礎(chǔ)組件的高可用設(shè)計(jì)支持?jǐn)?shù)據(jù)的多副本防止物理故障導(dǎo)致數(shù)據(jù)丟失支持快速修復(fù)只修復(fù)副本間差異數(shù)據(jù)磁盤檢測(cè)SSD壽命預(yù)測(cè)壞道告警無(wú)元數(shù)據(jù)中心避免存在單點(diǎn)故障虛擬存儲(chǔ)高可用（1）2基礎(chǔ)組件的高可用設(shè)計(jì)防止腦裂：仲裁機(jī)制 增加元數(shù)據(jù)副本，作為仲裁者 只有在超過(guò)1/2副本數(shù)在線，才允許 讀寫端到端數(shù)據(jù)校驗(yàn) 解決靜默錯(cuò)誤的數(shù)據(jù)損壞 解決軟件異常導(dǎo)致的數(shù)據(jù)損壞數(shù)據(jù)自愈 第一時(shí)間修復(fù)可能的數(shù)據(jù)異常虛擬存儲(chǔ)高可用（2）2基礎(chǔ)組件的高可用

4、設(shè)計(jì)2基礎(chǔ)組件的高可用設(shè)計(jì)承載業(yè)務(wù)的高可用基于負(fù)載均衡的雙活技術(shù) 技術(shù)成熟度高 4-7層的負(fù)載均衡 可以支持兩中心雙活虛擬機(jī)備份（1）基于虛擬機(jī)的備份 每次備份僅僅只是增量數(shù)據(jù)； 支持緩存文件過(guò)濾； 支持定時(shí)備份；2基礎(chǔ)組件的高可用設(shè)計(jì)虛擬機(jī)備份的兩種方式 通過(guò)快照方式，記錄兩次快照的差異，實(shí)現(xiàn)文件增量備份 通過(guò)位圖方式，記錄數(shù)據(jù)變化，實(shí)現(xiàn)增量備份 快照方式會(huì)造成性能的持續(xù)降低；位圖方式只在備份過(guò)程中短暫性能損失虛擬機(jī)備份（2）2基礎(chǔ)組件的高可用設(shè)計(jì)16/11/23 監(jiān)控系統(tǒng)16/11/2監(jiān)控系統(tǒng)3物理主機(jī)監(jiān)控虛擬機(jī)監(jiān)控虛擬網(wǎng)絡(luò)監(jiān)控虛擬存儲(chǔ)監(jiān)控主機(jī)級(jí)別的監(jiān)控 主機(jī)的keepalive，保證主機(jī)

5、宕機(jī)及時(shí)發(fā)現(xiàn)； 對(duì)主機(jī)的CPU，內(nèi)存，網(wǎng)絡(luò)，磁盤監(jiān)控； 對(duì)外置存儲(chǔ)和分布式存儲(chǔ)狀態(tài)監(jiān)控。node nameCPUmemorymanager networksotrage networkbusiness networkFC stoargeserver sannode198%13%node280%84%node350%64%物理主機(jī)監(jiān)控監(jiān)控系統(tǒng)3虛擬機(jī)監(jiān)控虛擬機(jī)級(jí)別的監(jiān)控 虛擬機(jī)內(nèi)部CPU，內(nèi)存和磁盤占用； 實(shí)時(shí)IO，網(wǎng)絡(luò)流量； hypervisor層異常。監(jiān)控系統(tǒng)3虛擬網(wǎng)絡(luò)監(jiān)控（1）網(wǎng)絡(luò)監(jiān)控的問(wèn)題： 虛擬網(wǎng)絡(luò)拓?fù)浜臀锢硗負(fù)湎嗖畲螅?網(wǎng)絡(luò)流量在虛擬平臺(tái)內(nèi)部流轉(zhuǎn)，流量不可見(jiàn)； 網(wǎng)絡(luò)排障無(wú)法使用傳統(tǒng)手

6、段；監(jiān)控系統(tǒng)3網(wǎng)絡(luò)監(jiān)控功能： 可以在任意網(wǎng)絡(luò)節(jié)點(diǎn)或者虛擬機(jī)發(fā)送數(shù)據(jù)包模擬業(yè)務(wù)； 數(shù)據(jù)包經(jīng)過(guò)的所有網(wǎng)絡(luò)設(shè)備和物理設(shè)備都返回顯示； 數(shù)據(jù)包由于ACL或者路由不可達(dá)等錯(cuò)誤而丟棄，明確上報(bào)； 可以在任意網(wǎng)絡(luò)節(jié)點(diǎn)上進(jìn)行抓取分析； 數(shù)據(jù)包途徑路徑展現(xiàn)； 異常點(diǎn)精確定位； 配置錯(cuò)誤反饋；虛擬網(wǎng)絡(luò)監(jiān)控（2）監(jiān)控系統(tǒng)3虛擬存儲(chǔ)監(jiān)控 存儲(chǔ)吞吐能力，展現(xiàn)集群整體的吞吐； 磁盤健康狀態(tài)，檢測(cè)是否磁盤離線； SSD壽命預(yù)測(cè)，計(jì)劃替換SSD； 緩存命中率，方便排查性能問(wèn)題； 存儲(chǔ)網(wǎng)絡(luò)的鏈路檢測(cè)與切換； 慢盤檢測(cè)，及時(shí)發(fā)現(xiàn)加入硬件性能問(wèn)題；監(jiān)控系統(tǒng)316/11/24 升級(jí)系統(tǒng)的改進(jìn)升級(jí)系統(tǒng)的設(shè)計(jì)模塊化設(shè)計(jì)，使得每個(gè)模塊可以獨(dú)立升級(jí)升級(jí)過(guò)程允許新舊兩個(gè)模塊同時(shí)工作、平滑替換 虛擬機(jī)可以在不同版本的hypervisor之間熱升級(jí)4升級(jí)系統(tǒng)的改進(jìn)當(dāng)前熱升級(jí)最常用的方式為跨主機(jī)的熱遷移；優(yōu)點(diǎn)：業(yè)務(wù)基本無(wú)感知；缺點(diǎn)：跟虛擬機(jī)更新內(nèi)存速度有關(guān)，可能會(huì)導(dǎo) 致遷移時(shí)間過(guò)長(zhǎng)，甚至遷移失?。贿w移過(guò)程依賴網(wǎng)絡(luò)的穩(wěn)定性和性能，如 果網(wǎng)絡(luò)不穩(wěn)定可能會(huì)導(dǎo)致遷移失??；升級(jí)改進(jìn) - 熱升級(jí)4升級(jí)系統(tǒng)的改進(jìn)升級(jí)改進(jìn) - 熱升級(jí)熱升級(jí)改進(jìn)：本地遷移，內(nèi)存共享無(wú)需拷貝；遷移時(shí)間短，跟虛擬機(jī)業(yè)務(wù)沒(méi)有關(guān)系；提高并發(fā)遷移速度，縮減升級(jí)時(shí)間；4升級(jí)系統(tǒng)的改進(jìn)16/11/2云計(jì)算可用性的