ServiceMesh在騰訊云的最佳實踐

1、技術創(chuàng)新，變革未來ServiceMesh在騰訊云的最佳實踐目錄騰訊云實踐ServiceMesh的背景騰訊云ServiceMesh的演進及生產(chǎn)實踐展望總結騰訊內部的服務化現(xiàn)狀67000注冊服務數(shù)2190000服務節(jié)點數(shù)160000億服務調用數(shù)99.9945%成功率騰訊名字服務CL5功能架構監(jiān)控統(tǒng)計配置OSS服務發(fā)現(xiàn)故障隔離負載均衡異地容災過載保護就近訪問功能矩陣同步DNS接入方式異步業(yè)務形態(tài)StandaloneMicroServiceRouter老板說，我們要支持產(chǎn)業(yè)互聯(lián)網(wǎng)!一切看來很美好，直到。存在較多遺留系統(tǒng)單點故障比較敏感 要求高效的開發(fā)體驗 業(yè)務定制化場景較多 對開源存在執(zhí)念To B用戶

2、特點代碼侵入性服務治理能力不全 存在技術門檻可定制性較弱 未外部開源原有架構的問題新的解決方案-ServiceMesh本質：服務之間，通過Sidecar進行透明的RPC通信ServiceMesh的開源發(fā)展史2017.6Willian Morgan初次定義Service Mesh2018.7istio發(fā)布production ready的1.0版本概念階段群雄逐鹿可生產(chǎn)用戶代碼無侵入，遺留系統(tǒng)易接入FullStack Governance，服務故障一目了然 標準協(xié)議接入，開箱即用覆蓋方方面面的配置功能社 區(qū)強大，求助途徑多樣化ServiceMesh能帶來的收益聽起來很厲害的樣子那應該怎么去落地S

3、erviceMesh呢？目錄騰訊云實踐ServiceMesh的背景騰訊云ServiceMesh的演進及落地實踐展望總結騰訊云微服務平臺TSF基礎設施層邏輯層接入層Service Mesh生產(chǎn)架構ServiceMesh產(chǎn)品化挑戰(zhàn)之一 面向異構計算平臺容器化程度低PaaS環(huán)境多樣化 業(yè)務隔離性要求高私有云客戶場景核心能力依賴kubernetes只能支持接管容器下的微服務單一租戶，配置/服務不隔離開源istio的約束要做到靈活，必須與kubernetes解耦面向異構計算平臺- 技術架構架構：獨立名字服務/配置中心部署：全功能Pilot-agent 調用：分布式DNS容錯：上報式健康檢查 隔離：多租戶

4、容災：分布式一致性、配置持久化Pilot-agent配置靈活變更提前預判失敗 數(shù)據(jù)面大管家上報式健康檢查- HDS解耦數(shù)據(jù)面與服務注冊中心配置靈活不占用業(yè)務線程多租戶的支持租戶管理中心租戶數(shù)據(jù)隔離存儲控制面緩存增加租戶索引ServiceMesh產(chǎn)品化挑戰(zhàn)之二 坎坷的域名解釋無法支持支撐大批量服務并發(fā)寫入沖突容器下sed寫入失敗靜態(tài)表解析Naming Servicepilot-agentservices events/etc/hostsNodeclientserverquery不合適首節(jié)點nameserver配置沖突配置不生效 (GLIBC低版本的坑） 配置還原DHCPkubernetesNam

5、ing Servicepilot-agentservices events/etc/resolv.confNodeclientserverdns-agent不合適DNS流量攔截NodeNaming Servicepilot-agentservices eventsclientserverdns-agentiptablesEscalate DNS Serversnon-service domainPilotconfig需要做流量接管需代理其他的nameserver需感知系統(tǒng)配置更新合適ServiceMesh產(chǎn)品化挑戰(zhàn)之二 遙感與控制工作在控制面Report接口用于調用統(tǒng)計上報Check接口用于檢

6、查請求合法性mixer工作模式Config Serviceredismixerenvoymixer.filtercheckreportappverified requestsrequests with attributes統(tǒng)計上報策略檢查配置同步本地緩存三件套角色ruleHowhandlerWhatInstanceWho資源損耗緩存穿透緩存穿透問題request.header.app#test1, request.header.version#2.0, request.path#/consume,request.header.app#test2,request.header.version#1

7、.0, request.path#/produce,request.header.app#test1, request.header.version#3.0, request.path#/consume,OKABORTEDOKMutableBagCheckResultmixerDimensions預拉取的偏差問題envoymixercheck (prefectch)quotas時間周期請求配額本地剩余預分配預拉取返回模式分配結果周期110110OPENPASS1100/OPENPASS.0.OPEN.1400CLOSEPASS周期210010CLOSEFAIL1100/OPENPASS控制面容

8、災問題Config Serviceredismixercheckreportadapter/rule/handlerupdate quotaenvoymixer.filterappverified requestsrequests with attributes本地緩存Expiredenvoy數(shù)據(jù)面直接請求原始配置mixer周期推送配置策略檢查邏輯移入數(shù)據(jù)面解決方案Config Serviceredismixermixer.filteradapter/rule/handlerappverified requests統(tǒng)計上報策略檢查配置同步本地緩存requests with attributesfetchreportcheck配額推送模式envoymixerreportquotas時間周期請求配額本地剩余分配上報/推送模式分配結果周期111011/0OPENPASS1911/0OPENPASS.1.OPEN.1311/10OPENPASS11211/0OPENPASS周期211011/0OPENPASS11011/0OPENPASS目錄騰訊云實踐ServiceMesh的背景騰訊云ServiceMesh的演進及落地實踐展望總結未來要解決的問題配置全量下發(fā)流量接管時延 自定義協(xié)議。展望未來總結演進騰訊名字服務 騰訊微服務平臺