暢捷通多租戶多數(shù)據(jù)中心的架構(gòu)演進(jìn)

鄭蕓暢捷通總架構(gòu)師?暢捷通多數(shù)據(jù)中心多活改造的背景?暢捷通多數(shù)據(jù)中心多活架構(gòu)的演進(jìn)歷程?兼顧灰度方案的多租戶多數(shù)據(jù)中心的應(yīng)用多活?高可用保障方案公司介紹–中國(guó)領(lǐng)先的小微企業(yè)財(cái)稅及業(yè)務(wù)云服務(wù)提供商暢捷通是用友旗下成員企業(yè),提供以數(shù)智財(cái)稅、數(shù)智商業(yè)為核心,以生態(tài)服務(wù)為延展的小微企業(yè)云服務(wù)。公司專注中國(guó)一億多小微企業(yè),幫助海量小微企業(yè)實(shí)現(xiàn)人員在線、業(yè)務(wù)在線、客戶在線、管理在線,改變傳統(tǒng)的經(jīng)營(yíng)業(yè)態(tài),更快適應(yīng)當(dāng)前數(shù)智化轉(zhuǎn)型需求。客戶客戶在線業(yè)務(wù)在線人員在線管理在線數(shù)智化解決方案我們的客戶與產(chǎn)品特點(diǎn)0云服務(wù)累計(jì)付費(fèi)企業(yè)數(shù)(萬(wàn))39.783%1.783%1.720202021新制造、新商貿(mào)、新零售、新服務(wù)、新財(cái)稅特點(diǎn)全場(chǎng)景移動(dòng)化服務(wù)全移動(dòng);僅移動(dòng)設(shè)備可完成全部業(yè)務(wù)業(yè)務(wù)實(shí)時(shí)在線;分利用云服務(wù)廠商提供的云原生技術(shù)多租戶模式ToB應(yīng)用,租戶間數(shù)據(jù)隔離;所有租戶統(tǒng)一入口;享云上的計(jì)算、存儲(chǔ)資源oud高可用是“打造精品”的前提基礎(chǔ)持續(xù)為客戶提供44558888注:數(shù)據(jù)來(lái)源于壹零智庫(kù)代價(jià)代價(jià)影響業(yè)務(wù)連續(xù)性的可能因素變變更操作失誤配置錯(cuò)誤、環(huán)境搬運(yùn)、應(yīng)用發(fā)布等服務(wù)集成服務(wù)集成訪訪問(wèn)激增熱點(diǎn)、業(yè)務(wù)大促、批量操作等中間件故障中間件故障DDOS等網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)配置硬件故障硬件故障網(wǎng)卡故障,供電故障、制冷設(shè)備突突發(fā)災(zāi)害地震、洪災(zāi)等自然災(zāi)害務(wù)故障損失術(shù)投入業(yè)務(wù)規(guī)模2020年以后多數(shù)據(jù)中心多活?基于云原生技術(shù)體系構(gòu)建2017-2019年2020年以后多數(shù)據(jù)中心多活?基于云原生技術(shù)體系構(gòu)建2017-2019年技術(shù)架構(gòu)的演進(jìn)–持續(xù)進(jìn)化、發(fā)展、成長(zhǎng)云云服務(wù):數(shù)智財(cái)稅和數(shù)智商業(yè)件服務(wù)單租戶架構(gòu)?基于Dubbo?基于Dubbo的微服務(wù)架構(gòu)戶模式部署?支撐好生意、好會(huì)計(jì)、易代賬等產(chǎn)品線2013-2017單租戶虛機(jī)?基于CloudFoundry自主研發(fā)的運(yùn)行平臺(tái)?每個(gè)租戶單獨(dú)虛機(jī)部署2012之前?中間件、數(shù)據(jù)?中間件、數(shù)據(jù)存儲(chǔ)等使用云廠商提供的云服務(wù)?B/S架構(gòu),部署在客戶側(cè)?所有業(yè)務(wù)放在中心服務(wù)器里高可用多活架構(gòu)改造的目標(biāo)成本可控業(yè)務(wù)連續(xù)目標(biāo):一級(jí)一類核心功能數(shù)據(jù)不丟,服務(wù)不停(SLA,RPO=0,RTO<20m)高高低能保證控?避免人為變更的影響?故障爆炸半徑小?核心一級(jí)一類應(yīng)用連續(xù)?避免多AZ的網(wǎng)絡(luò)延遲增加業(yè)務(wù)的耗時(shí)?避免同租戶跨可用區(qū)訪問(wèn)?避免資源閑置?用戶規(guī)模帶來(lái)的成本可分?jǐn)偟蕉鄠€(gè)中心思路 指導(dǎo)原則思路 指導(dǎo)原則業(yè)務(wù)驅(qū)動(dòng)階段適用周期演練動(dòng)態(tài)調(diào)整根據(jù)根據(jù)影響業(yè)務(wù)連續(xù)性的因素類型不同制定不同的架構(gòu)改造策略環(huán)境根根據(jù)業(yè)務(wù)屬性設(shè)置多中心的拆分依據(jù)(應(yīng)用、數(shù)據(jù)庫(kù))通過(guò)多端不同策略的路由尋址實(shí)現(xiàn)流量轉(zhuǎn)發(fā)針對(duì)不同故障進(jìn)行流量切換?；畈饘で衱chanjetcom跳轉(zhuǎn)頁(yè)容器集群基礎(chǔ)設(shè)施(網(wǎng)絡(luò)/計(jì)算/存儲(chǔ))通用服務(wù)微信公眾服務(wù)數(shù)據(jù)庫(kù)容器集群數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施(網(wǎng)絡(luò)/計(jì)算/存儲(chǔ))3wchanjetcom跳轉(zhuǎn)頁(yè)容器集群基礎(chǔ)設(shè)施(網(wǎng)絡(luò)/計(jì)算/存儲(chǔ))通用服務(wù)微信公眾服務(wù)數(shù)據(jù)庫(kù)容器集群數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施(網(wǎng)絡(luò)/計(jì)算/存儲(chǔ))3業(yè)務(wù)服務(wù)(好會(huì)計(jì))業(yè)務(wù)服務(wù)(好業(yè)財(cái))2微服務(wù)集群微服務(wù)集群微服務(wù)集群正式2微服務(wù)集群微服務(wù)集群微服務(wù)集群正式原有的單中心部署架構(gòu)監(jiān)監(jiān)控系統(tǒng)租戶ID租戶ID租戶ID租戶ID租戶ID租戶ID租戶ID租戶ID業(yè)務(wù)服務(wù)–基于多租戶的微服務(wù)架構(gòu)設(shè)計(jì)微服務(wù)框微服務(wù)框架數(shù)數(shù)據(jù)庫(kù)中間件?按業(yè)務(wù)劃為微服務(wù),高內(nèi)聚低耦合?弊端:服務(wù)間調(diào)用關(guān)系變復(fù)雜,變更影響點(diǎn)難評(píng)估?支持共享數(shù)據(jù)表,通過(guò)表的租戶id,實(shí)現(xiàn)隔離?也支持按租戶水平分庫(kù);?弊端:腳本的變更影響所有租戶灰度策略名單34灰度環(huán)境微灰度策略名單34灰度環(huán)境微服務(wù)n元數(shù)據(jù)Redis微服務(wù)n微服務(wù)1微服務(wù)1ZK配置中心元數(shù)據(jù)RedisZK配置中心正式環(huán)境租戶DB2 灰度網(wǎng)關(guān)度方案Mobile小程序指指標(biāo)上報(bào)定時(shí)任務(wù)持久緩存消息隊(duì)列登錄緩存微服務(wù)架構(gòu)線上和灰度共用一套數(shù)據(jù)存儲(chǔ);DDL向下兼容;元數(shù)據(jù)、系統(tǒng)預(yù)微服務(wù)架構(gòu)線上和灰度共用一套數(shù)據(jù)存儲(chǔ);DDL向下兼容;元數(shù)據(jù)、系統(tǒng)預(yù)暢捷通四位一體的全鏈路灰度發(fā)布方案OSS按OSS按Object區(qū)分灰度/正式靜態(tài)資源,由請(qǐng)求路徑確定訪問(wèn)流量網(wǎng)關(guān)使用使用Nginx+Lua腳本,按URI內(nèi)容解析,在流量入口進(jìn)行灰度租戶分流,實(shí)現(xiàn)REST接口灰度。調(diào)度任務(wù)調(diào)度任務(wù)消息;根據(jù)環(huán)境變量進(jìn)行生產(chǎn)過(guò)環(huán)境變量過(guò)濾租戶名單應(yīng)用服務(wù)–中心劃分的業(yè)務(wù)屬性 通用服務(wù)?為所有產(chǎn)品提供身份認(rèn)證的全局業(yè)務(wù),讀多寫(xiě)少;?數(shù)據(jù)強(qiáng)一致全量存儲(chǔ);?不同租戶數(shù)據(jù)邏輯隔離且支持水平分庫(kù);?不同應(yīng)用使用不同的云服務(wù)集群;上下游協(xié)同業(yè)務(wù);?以租戶購(gòu)買(mǎi)的應(yīng)用為劃分依據(jù);?被核心業(yè)務(wù)弱依賴;可降級(jí)使用*墨菲定律:如果事情有變壞的可能,不管這種可能性有多小,它總會(huì)發(fā)生靜態(tài)資源CDN(按可用區(qū)劃分目錄)同城距離,專線延遲1ms左右靜態(tài)資源CDN(按可用區(qū)劃分目錄)同城距離,專線延遲1ms左右?guī)Щ叶确桨傅亩嘧鈶舳嘀行牟渴饒D獨(dú)立獨(dú)立ISV支付回調(diào)第三方對(duì)接開(kāi)放平臺(tái)網(wǎng)關(guān)開(kāi)放平臺(tái)網(wǎng)關(guān)多可用區(qū)網(wǎng)關(guān)yaccounting/ydzeey接入層接入層灰度網(wǎng)關(guān)正正式NodeSSKKMasterMasterDBTenantDB持久Redis登錄Redis灰度網(wǎng)關(guān)SSKK登錄登錄RedisMasterMasterDBTenantTenantDB持持久RediscketMQ可用區(qū)可用區(qū)1可用區(qū)2雙可用區(qū)多數(shù)據(jù)中心-<應(yīng)用,企業(yè)>好業(yè)財(cái)好會(huì)計(jì)好業(yè)財(cái)好業(yè)財(cái)好業(yè)財(cái)公共區(qū)好業(yè)財(cái)好會(huì)計(jì)好業(yè)財(cái)好業(yè)財(cái)好業(yè)財(cái)公共區(qū)CCloud2.chanjet.IDC2好好會(huì)計(jì)灰度網(wǎng)關(guān):實(shí)現(xiàn)應(yīng)用、灰度集群的路由轉(zhuǎn)多可用區(qū)網(wǎng)關(guān):對(duì)外屏蔽多中心,降低調(diào)開(kāi)放平臺(tái)網(wǎng)關(guān):ISV調(diào)用OpenAPI的入口{租戶,中心}{用戶,租戶,應(yīng)用}{域名}{中心一域名}{中心二域名}多中心管理系統(tǒng) namespace環(huán)境1用{租戶,應(yīng)用{租戶,中心}{用戶,租戶,應(yīng)用}{域名}{中心一域名}{中心二域名}多中心管理系統(tǒng) namespace環(huán)境1用{租戶,應(yīng)用}{租戶a,dcluster}tenantstertenant{租戶a,dcluster}stertenanttenantnamespace環(huán)境2環(huán)境Default尋址前端尋址前端尋址數(shù)數(shù)據(jù)源尋址中心透明中心易擴(kuò)充多域名支持水平分庫(kù)配置統(tǒng)一動(dòng)態(tài)尋址增加新中心只需要更改配置即可域名更換不影響正常使用戶水平分庫(kù)配置分層存儲(chǔ),各中心一致動(dòng)態(tài)數(shù)據(jù)源服務(wù),流量糾偏多租戶存儲(chǔ)熱備1存儲(chǔ)熱備2多租戶存儲(chǔ)熱備1存儲(chǔ)熱備2集群多租戶數(shù)據(jù)高可用–復(fù)用RDS跨區(qū)特性策略:數(shù)據(jù)庫(kù)跨區(qū)互備份數(shù)據(jù)高可用由云服務(wù)保障,簡(jiǎn)單、可靠讀讀借助云原生數(shù)據(jù)庫(kù)的跨可用區(qū)熱備能力微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)微微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)微服務(wù)RDSRDS多租戶租戶群1租戶群2多租戶租戶群1租戶群2RDSRDS一套代碼、一套多租戶策略數(shù)據(jù)中心-IDC1微服務(wù)微服務(wù)數(shù)據(jù)中心-IDC2wchanjetcom數(shù)據(jù)中心-IDC3微服務(wù)微服務(wù)多租戶租戶群1RDRDSRDRDS租戶群2統(tǒng)一技術(shù)平臺(tái)-流水線(DevOps)統(tǒng)一發(fā)布一套代碼,一套流水線,統(tǒng)一監(jiān)控統(tǒng)一監(jiān)控,統(tǒng)一告警數(shù)據(jù)隔離心熱備③③②②分中心逐步更新五步法Hotfix2.中心1灰度驗(yàn)證,持續(xù)多天3.中心1正式發(fā)布4.更新中心2灰度(間隔1天)5.中心2上線完畢價(jià)值1.將變更帶來(lái)的影響半徑控制在單個(gè)中心以內(nèi)2.通過(guò)在構(gòu)建流水線時(shí)指定中心,實(shí)現(xiàn)中心灰度的輪轉(zhuǎn)驗(yàn)證3.部署進(jìn)度可視,事件驅(qū)動(dòng),釘釘群可視化展示,減少人工溝通成本監(jiān)控告警監(jiān)控程序③CLB2①RocketMQRedisServiceAServiceBsPgSQL 可用區(qū)2接入層應(yīng)用層數(shù)據(jù)層PgSQL接入層RedisServiceAServiceBsRocketMQ 可用區(qū)1應(yīng)用層數(shù)據(jù)層監(jiān)控告警監(jiān)控程序③CLB2①RocketMQRedisServiceAServiceBsPgSQL 可用區(qū)2接入層應(yīng)用層數(shù)據(jù)層PgSQL接入層RedisServiceAServiceBsRocketMQ 可用區(qū)1應(yīng)用層數(shù)據(jù)層接入層故障切換用戶訪問(wèn)求進(jìn)行分流修改路由策略②②專線換步驟通過(guò)監(jiān)控服務(wù),檢查接入層健康程度,出現(xiàn)故障后②修改ZK中多中心開(kāi)關(guān)配置為multi,關(guān)閉流量糾偏功能,完成數(shù)據(jù)庫(kù)的跨可用區(qū)訪問(wèn)③修改路由配置,切換受損流量至另一個(gè)可用區(qū)修改路由配置,切回流量;用戶訪問(wèn)可用區(qū)2接入層ServiceAServiceB應(yīng)用層sRocketMQ①主備可用區(qū)切換RedisPgSQL數(shù)據(jù)層用戶訪問(wèn)可用區(qū)2接入層ServiceAServiceB應(yīng)用層sRocketMQ①主備可用區(qū)切換RedisPgSQL數(shù)據(jù)層–可用區(qū)故障切換監(jiān)控告監(jiān)控告警 監(jiān)控程監(jiān)控程序求進(jìn)行分流應(yīng)用求進(jìn)行分流流量切換③流量切換 可用區(qū)1接入層接入層應(yīng)用層SServiceASServiceBsRoRocketMQ數(shù)據(jù)層數(shù)據(jù)層PgSQLRedis換步驟通過(guò)監(jiān)控服務(wù),檢查數(shù)據(jù)庫(kù)層健康程度,出現(xiàn)故障后,應(yīng)用網(wǎng)關(guān)求進(jìn)行分流應(yīng)用層數(shù)據(jù)層4應(yīng)用層數(shù)據(jù)層12可用區(qū)應(yīng)用網(wǎng)關(guān)求進(jìn)行分流應(yīng)用層數(shù)據(jù)層4應(yīng)用層數(shù)據(jù)層12可用區(qū)1可用區(qū)2接入層接入層用戶訪問(wèn)區(qū)1區(qū)2容災(zāi)操作1.修改路由到可用區(qū)2.數(shù)據(jù)庫(kù)跨區(qū)訪問(wèn)2.修改路由到可用區(qū)1.數(shù)據(jù)庫(kù)跨區(qū)訪問(wèn)3.回滾、限流、灰度切換等,不切換可用區(qū),本中心解決4.數(shù)據(jù)庫(kù)跨區(qū)主備切換1+3+4.K8S,Redis等擴(kuò)容.數(shù)據(jù)庫(kù)跨區(qū)主備切換.修改路由到可用區(qū)2系統(tǒng)高可用總結(jié)–不確定性中找確定服務(wù)拆分服務(wù)治理通過(guò)微服務(wù)限流、降級(jí)、熔斷技術(shù),在故障發(fā)生時(shí)快速隔離故障,保證通過(guò)微服務(wù)限流、降級(jí)、熔斷技術(shù),在故障發(fā)生時(shí)快速隔離故障,保證核心應(yīng)用不受影響,不間斷訪問(wèn)。全鏈路灰度發(fā)布為了有效預(yù)防產(chǎn)品上線可能帶來(lái)的風(fēng)險(xiǎn),我們通過(guò)全鏈路灰度方案,來(lái)為了有效預(yù)防產(chǎn)品上線可能帶來(lái)的風(fēng)險(xiǎn),我們通過(guò)全鏈路灰度方案,來(lái)實(shí)現(xiàn)新特性的小范圍體驗(yàn),來(lái)避免由于系統(tǒng)變更可能帶來(lái)的風(fēng)險(xiǎn)。數(shù)據(jù)分片、業(yè)務(wù)分級(jí)數(shù)據(jù)分片、業(yè)務(wù)分級(jí)數(shù)據(jù)按業(yè)務(wù)屬性進(jìn)行分片,每個(gè)中心只有部分?jǐn)?shù)據(jù),支持水平擴(kuò)展;產(chǎn)品通過(guò)數(shù)據(jù)分片進(jìn)行多活部署,實(shí)現(xiàn)應(yīng)用的多活容災(zāi),來(lái)規(guī)避網(wǎng)絡(luò)、服務(wù)器等重大故障對(duì)系統(tǒng)的影響。核心問(wèn)題可用區(qū)差異上線借助統(tǒng)一流水線分中心逐步更新五步法可用區(qū)差異上線借助統(tǒng)一流水線分中心逐步更新五步法,通過(guò)迭代流水線動(dòng)態(tài)指定上線中心,支持了灰度中心按季度進(jìn)行輪轉(zhuǎn),避免灰度樣單可用區(qū)接入故障,可利用多中心數(shù)據(jù)源動(dòng)態(tài)路由的機(jī)制,實(shí)現(xiàn)2-5-10的故障修復(fù)實(shí)現(xiàn)可用區(qū)分階段上線,當(dāng)前一個(gè)可用區(qū)充分驗(yàn)證后,才推包到其他可用區(qū)。多可用區(qū)多可用區(qū)最多1天的差異,一旦出現(xiàn)故障,可快速切換請(qǐng)求到正?？捎脜^(qū)。極端情況存在1天差異,通過(guò)新庫(kù)老代碼的方案支持,仍可以切換借助開(kāi)放平臺(tái)網(wǎng)關(guān)+多可用區(qū)網(wǎng)關(guān)技術(shù),客戶價(jià)值提升最終實(shí)現(xiàn)了多可用區(qū)對(duì)ISV客戶價(jià)值提升透明。單可用區(qū)故障只影響當(dāng)前可用區(qū)用戶;減少受影響用戶范圍產(chǎn)品整體通過(guò)擴(kuò)容、升配,路由切換,可用區(qū)故障可在20分鐘內(nèi)完成逃逸單可用區(qū)故障只影響當(dāng)前可用區(qū)用戶;減少受影響用戶范圍產(chǎn)品整體穩(wěn)定