京東微服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)

1、京東微服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)平臺(tái)初心微服務(wù)組件平臺(tái)是承載京東集團(tuán)所有業(yè)務(wù)的服務(wù)調(diào)用、消息通知的底層架構(gòu)平臺(tái)、運(yùn)維管理平臺(tái)、知識(shí)分享平臺(tái)、溝通協(xié)作平臺(tái)和服務(wù)評(píng)價(jià)及診斷平臺(tái)。底層架構(gòu)平臺(tái)由JSFRPC調(diào)用、JMQ消息服務(wù)及服務(wù)網(wǎng)格這三大基礎(chǔ)通信技術(shù)構(gòu)成，既能完成同步 調(diào)用，又能完成異步消息通知，或者兩者混合進(jìn)行，兼容各種流行通信協(xié)議，并且支持跨語(yǔ)言，適 用于各種線上及線下應(yīng)用場(chǎng)景，滿足了業(yè)務(wù)各式各樣的通信要求，多年來(lái)包攬了集團(tuán)幾乎所有后臺(tái) 業(yè)務(wù)系統(tǒng)的通信流量，確保了集團(tuán)各項(xiàng)業(yè)務(wù)的高效、平穩(wěn)進(jìn)行。隨著集團(tuán)對(duì)外賦能及組件化積木理論的提出，僅僅滿足于“以底層架構(gòu)平臺(tái)充當(dāng)通信管道”已經(jīng)遠(yuǎn) 遠(yuǎn)不能適應(yīng)當(dāng)前形勢(shì)的發(fā)

2、展。在對(duì)外賦能的過(guò)程中，不僅僅需要研發(fā)人員埋頭苦干，還需要他們抬 起頭來(lái)站在全局角度來(lái)積極溝通、認(rèn)真梳理業(yè)務(wù)領(lǐng)域知識(shí)，更需要產(chǎn)品經(jīng)理、項(xiàng)目經(jīng)理及各級(jí)決策 者們跨體系、跨部門、跨業(yè)務(wù)的高效互動(dòng)和協(xié)作，才能贏得對(duì)外賦能戰(zhàn)略的真正成功。由此，微服務(wù)組件平臺(tái)應(yīng)運(yùn)而生，它不僅連接了研發(fā)人員，而且還連接了廣大產(chǎn)品經(jīng)理、項(xiàng)目經(jīng)理 以及所有決策者們；它不僅提供了應(yīng)用程序的通信管道，而且還提供了服務(wù)知識(shí)、信息交流的溝通 管道；它不僅連接了京東內(nèi)部團(tuán)隊(duì)，而且還連接了京東外部第三方；它不再“偏于底層技術(shù)建 設(shè)”，而是不斷向上延伸，發(fā)展到通過(guò)提供各種上層功能模塊充分與應(yīng)用場(chǎng)景、應(yīng)用架構(gòu)以及人相 連接的“平臺(tái)生態(tài)建設(shè)”

3、上來(lái)。微服務(wù)組件平臺(tái)的技術(shù)愿景：成為京東業(yè)務(wù)組件化及對(duì)外賦能的基石！平臺(tái)組成微服務(wù)組件平臺(tái)作為一個(gè)生態(tài)系統(tǒng)，采用分層的設(shè)計(jì)模式，由許多相互支撐的模塊共同組成。總體上說(shuō)，微服務(wù)組件平臺(tái)由三大部分組成：核心部分、生態(tài)工具鏈部分和基礎(chǔ)數(shù)據(jù)服務(wù)部分。目前,平臺(tái)正在按照計(jì)劃有條不紊地推進(jìn)，首期功能已經(jīng)陸續(xù)上線。應(yīng)用層系統(tǒng)擴(kuò)展底層架構(gòu)基維設(shè)施JDOSF Registryrim.生態(tài)工具鏈核心部分?基礎(chǔ)設(shè)施層微服務(wù)架構(gòu)大行其道的重要技術(shù)因素就是容器及容器編排系統(tǒng)的出現(xiàn)，JDOS作為京東容器集群平臺(tái)，理所應(yīng)當(dāng)成為JSF最重要的基礎(chǔ)設(shè)施；目前 JSF所有的功能模塊全部運(yùn)行在容器上，而且還跟 JDOS2.0進(jìn)行了

4、若干功能集成；未來(lái) JSF還將與JDOS進(jìn)行更多、更深入的合作，為 JSF打造一個(gè) 堅(jiān)實(shí)、穩(wěn)定的技術(shù)底座。當(dāng)然，我們也會(huì)和J-ONE/CAP這對(duì)基礎(chǔ)設(shè)施組合進(jìn)行合作，拓展平臺(tái)的適應(yīng)范圍。? 底層框架層該層是平臺(tái)的基礎(chǔ)層，包括了JSF SDK、京東服務(wù)網(wǎng)格(ContainerMesh )、服務(wù)發(fā)現(xiàn)機(jī)制(JSFRegistry )和JMQ ；另外，我們接下來(lái)將著力打造全新的安全體系，全方位提升系統(tǒng)的安全 性。? 系統(tǒng)擴(kuò)展層該層基于底層框架層，提供了更多的擴(kuò)展功能，是下層功能的自然延伸，包括微服務(wù)調(diào)用圖譜（解決“微服務(wù)大爆炸”后可觀察性差的問(wèn)題）、微服務(wù)流控（提供了各種流量控制切換的機(jī)制）以及微服務(wù)

5、監(jiān)控（我們將和 UMP合作，提供更加強(qiáng)大的性能監(jiān)控服務(wù)）。? 應(yīng)用層該層基于下層提供的基礎(chǔ)功能，打造了兩個(gè)全新應(yīng)用，一個(gè)叫“服務(wù)集市”，另一個(gè)叫“開放平臺(tái)”。其中，在服務(wù)集市里可以進(jìn)行服務(wù)知識(shí)的搜索、用戶自定義標(biāo)簽、圍繞服務(wù)的評(píng)論互動(dòng)、服務(wù)知識(shí)的協(xié)同編輯、服務(wù)的調(diào)用圖譜、服務(wù)評(píng)價(jià)（重要性、健康度、架構(gòu)合理性），甚至包括服務(wù)使用資源上的評(píng)估等等。我們希望服務(wù)集市能夠?qū)SF和業(yè)務(wù)更加緊密的結(jié)合，提供貼近使用場(chǎng)景和應(yīng)用架構(gòu)的功能服務(wù)，同時(shí)除了連接開發(fā)人員之外，還可以連接產(chǎn)品經(jīng)理、項(xiàng)目經(jīng)理及各級(jí)負(fù)責(zé)人。而在開放平臺(tái)中，我們除了提供強(qiáng)大的網(wǎng)關(guān)服務(wù)外，還將為業(yè)務(wù)梳理、發(fā)現(xiàn)和發(fā)布服務(wù)提供一站式的解決方案，

6、幫助京東內(nèi)部業(yè)務(wù)能力快速向外輸出，提高對(duì)外賦能的效率。生態(tài)工具鏈雖然微服務(wù)架構(gòu)給我們帶來(lái)了巨大的好處，但是采用微服務(wù)架構(gòu)的應(yīng)用存在“單體應(yīng)用”所沒(méi)有的復(fù)雜性，因此需要一系列的工具鏈分別從各個(gè)角度來(lái)解決這些復(fù)雜性。? 可視化設(shè)計(jì)采用微服務(wù)架構(gòu)的應(yīng)用，其設(shè)計(jì)具有一定難度，如何進(jìn)行業(yè)務(wù)邏輯拆分和數(shù)據(jù)Schema的拆分需要仔細(xì)考量，這些對(duì)于剛?cè)腴T的人員來(lái)說(shuō)比較頭疼。為此，平臺(tái)將推出針對(duì)微服務(wù)的可視化設(shè)計(jì)工具，該工具利用DDD （領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)）理論來(lái)干預(yù)和指導(dǎo)開發(fā)人員進(jìn)行設(shè)計(jì)，希望在提高設(shè)計(jì)效率的同時(shí)，也能保證設(shè)計(jì)與實(shí)現(xiàn)的一致性。? 開發(fā)調(diào)試當(dāng)應(yīng)用依賴的微服務(wù)比較多時(shí)，在開發(fā)調(diào)試階段能否快速搭建一套完整

7、的測(cè)試環(huán)境是非常關(guān)鍵的，否則將只能進(jìn)行局部功能測(cè)試，而這和反映完整業(yè)務(wù)流程的測(cè)試是有差距的。為此，平臺(tái)將推出快速搭建開發(fā)調(diào)試環(huán)境的解決方案來(lái)解決這個(gè)問(wèn)題。? 在線聯(lián)調(diào)在充分微服務(wù)化的情況下，一個(gè)應(yīng)用會(huì)調(diào)用另外一個(gè)應(yīng)用的服務(wù)，以此類推，會(huì)形成所謂的“調(diào)用鏈”。當(dāng)調(diào)用鏈的某個(gè)應(yīng)用出問(wèn)題時(shí)，往往需要挨個(gè)詢問(wèn)多個(gè)彼此依賴的服務(wù)的執(zhí)行情況來(lái)排查問(wèn)題，這會(huì)涉及到多個(gè)研發(fā)人員的聯(lián)動(dòng)，過(guò)程非常繁瑣和費(fèi)力。為此，平臺(tái)將推出支持多方在線聯(lián)調(diào)的工具，來(lái)簡(jiǎn)化在線聯(lián)調(diào)的過(guò)程。? 配置中心為服務(wù)提供動(dòng)態(tài)修改配置的功能，從而避免了先下線-> 修改配置-> 再重新上線的麻煩。? 分布式鎖對(duì)共享資源的互斥訪問(wèn)提供分

8、布式鎖的解決方案。?分布式事務(wù)為需要事務(wù)的地方提供了分布式事務(wù)的解決方案。? API網(wǎng)關(guān)提供類似Zuul/Kong 的API網(wǎng)關(guān)的功能?；A(chǔ)數(shù)據(jù)服務(wù)微服務(wù)組件平臺(tái)的很多功能都需要IP、IP和機(jī)房的映射、機(jī)房、系統(tǒng)、應(yīng)用及應(yīng)用分組等這些基礎(chǔ)信息，但是目前集團(tuán)還沒(méi)有提供這樣的完整、一致的基礎(chǔ)數(shù)據(jù)服務(wù)，這些基礎(chǔ)數(shù)據(jù)分散在多個(gè)獨(dú)立系統(tǒng)中。微服務(wù)組件平臺(tái)在完成這些基礎(chǔ)數(shù)據(jù)的校驗(yàn)、整理為我所用后，也將以服務(wù)的形式把這些基礎(chǔ)數(shù)據(jù)共享出去，造福廣大的研發(fā)人員。重點(diǎn)介紹應(yīng)用層-服務(wù)集市由于缺乏集中管理機(jī)制，開發(fā)人員只能把提供的服務(wù)的知識(shí)放在cf或者jpcloud上，造成信息過(guò)于分散，極大增加了相關(guān)人員的找尋與溝

9、通成本，急需專門的管理中心來(lái)解決集中存放和查詢的問(wèn)題，由此服務(wù)集市應(yīng)運(yùn)而生。服務(wù)集市提供的功能如下所示：? 搜索功能除了支持按基本屬性（erp、接口名、方法名等）查詢外，還支持按自定義屬性（自定義標(biāo)簽）查詢；除了支持模糊查詢外，還支持按類目查詢，比如按“交易類”、“商家類”、“金融類”、“物流類”等類目進(jìn)行查詢。另外還支持多種搜索選項(xiàng)，比如排他選項(xiàng)等。? 知識(shí)庫(kù)提供全方位、多維度的服務(wù)知識(shí)，除了提供基本的出/入?yún)?shù)詳情、負(fù)責(zé)人等信息外，還提供調(diào)用圖譜信息，包括來(lái)源、去向及入口等；還提供服務(wù)歷史，包括版本變化及各版本對(duì)應(yīng)的接口服務(wù)詳細(xì)信息，以及變更事件通知；提供服務(wù)快照功能，方便把服務(wù)在某個(gè)時(shí)刻

10、的狀態(tài)記錄下來(lái)，比如大促時(shí)刻的狀態(tài)。? 權(quán)限認(rèn)證提供相關(guān)的流程控制，比如調(diào)用申請(qǐng)、服務(wù)終止申請(qǐng)、服務(wù)訪問(wèn)授權(quán)等；? 質(zhì)量跟蹤提供服務(wù)重要性評(píng)估、服務(wù)健康度評(píng)估、服務(wù)架構(gòu)合理性評(píng)估，并提出相應(yīng)建議；? 調(diào)用關(guān)系結(jié)合微服務(wù)調(diào)用圖譜，提供服務(wù)的調(diào)用鏈信息，以便了解服務(wù)的相關(guān)依賴關(guān)系及鏈路屬性； ?用戶自定義標(biāo)簽 提供應(yīng)用和接口兩個(gè)維度上的自定義標(biāo)簽功能，幫助業(yè)務(wù)梳理、發(fā)現(xiàn)業(yè)務(wù)組件。另外根據(jù)用戶自定 義標(biāo)簽，可以完成更加符合用戶使用場(chǎng)景的操控及控制。? 評(píng)論互動(dòng)提供服務(wù)輸出者和使用者的互動(dòng)功能；整合相關(guān)系統(tǒng)上對(duì)服務(wù)的評(píng)價(jià)信息，給服務(wù)使用者更加全面 的知識(shí)。? 協(xié)同編輯為了更好地完善服務(wù)知識(shí)，平臺(tái)允許大

11、家可以編輯絕大多數(shù)的服務(wù)知識(shí)點(diǎn)，并且提供了變更歷史以 供追溯。系統(tǒng)擴(kuò)展層微服務(wù)調(diào)用圖譜隨著微服務(wù)數(shù)量的急劇增加，跨應(yīng)用、跨系統(tǒng)的調(diào)用越來(lái)越多，調(diào)用關(guān)系和依賴關(guān)系日益復(fù)雜，出 現(xiàn)了所謂的“微服務(wù)大爆炸”。微服務(wù)調(diào)用圖譜通過(guò)提供跨網(wǎng)絡(luò)的調(diào)用堆棧分析，使我們既能從宏 觀上俯瞰紛繁的業(yè)務(wù)關(guān)系及調(diào)用鏈整體特質(zhì)，又能從微觀上觀察和審視調(diào)用鏈上各環(huán)節(jié)的細(xì)節(jié)，通 過(guò)多種分析手段，給應(yīng)用全方位畫像，形成一系列的圖譜，徹底解決“微服務(wù)大爆炸”后帶來(lái)的可 觀察性差的問(wèn)題。該系統(tǒng)提供了如下的分析：?來(lái)源分析-分析某服務(wù)的直接調(diào)用者的情況? 入口分析-分析某服務(wù)的最初調(diào)用者（入口）的情況? 路徑分析-分析一條完整調(diào)用鏈

12、的情況? 耗時(shí)分析-分析一條調(diào)用鏈中的各個(gè)環(huán)節(jié)的耗時(shí)情況? 瓶頸分析-分析一條調(diào)用鏈中的瓶頸點(diǎn)的情況? 依賴度分析-分析一條調(diào)用鏈中的強(qiáng)依賴、若依賴等的情況目前該系統(tǒng)支持JSF/JMQ/JIMDB/各種數(shù)據(jù)庫(kù)連接池等中間件，接入應(yīng)用超過(guò) 2200個(gè)，涉及IP數(shù)超過(guò)46000個(gè)。下圖是由該系統(tǒng)生成的全局調(diào)用關(guān)系圖:rj 出 yi.”叫心中，:HE I：naljcic(-mobile映淋3Mt。L*L*r：» H i4ucain心附%郵i.1 U3Q1國(guó)值中汩企14f以,鱉艇I cloud 皿立斑®。酎向電gjpj網(wǎng)上方由卜面這張是某個(gè)調(diào)用鏈的圖:=-三-三一二三三卜面這張是某

13、個(gè)應(yīng)用的上下游關(guān)系圖:微服務(wù)流控在JSF的使用過(guò)程中，業(yè)務(wù)給我們提出了許多跟流控及運(yùn)維相關(guān)的需求，我們將在微服務(wù)組件平臺(tái)中給予集中的解決，它們包括如下：? 流量控制中要支持“版本”的概念（比如在一個(gè)分組中有兩個(gè)版本，現(xiàn)在需要對(duì)其中一個(gè)版本的實(shí)例進(jìn)行操作）；? 提供平滑的灰度升級(jí)和回退手段，支持 A/B測(cè)試、金絲雀部署等；? 支持動(dòng)態(tài)配置（不需要反復(fù)修改程序 -打包-重新上線），這些動(dòng)態(tài)配置的取值往往不可預(yù)測(cè)，需要根據(jù)實(shí)際情況隨時(shí)調(diào)整，比如流量的閾值、服務(wù)超時(shí)時(shí)間等；? 服務(wù)永久下線的全流程支持（經(jīng)常有業(yè)務(wù)為了下線一個(gè)即將廢棄的服務(wù)，而一遍遍的發(fā)郵件確認(rèn)是否有人還在調(diào)用該服務(wù)）；? 臨界條件下的

14、強(qiáng)制降級(jí)、限流和熔斷等；?廢棄接口的治理，將長(zhǎng)期沒(méi)有調(diào)用量的接口，定期給相關(guān)人發(fā)通告，讓他們下線。必要時(shí)，可以主動(dòng)將它們下線，然后回收相應(yīng)的資源。配置中心配置信息是軟件的重要一環(huán)，幾乎每個(gè)服務(wù)都有自己特殊的配置，比如各種控制開關(guān)、降級(jí)開關(guān)、K-V信息等等。微服務(wù)配置中心支持普通字符串、json、properties 等的配置格式，并且提供了Restful的K-V的API ,實(shí)現(xiàn)了跨語(yǔ)言、跨平臺(tái)。通過(guò)該系統(tǒng)，用戶可以實(shí)現(xiàn)服務(wù)功能的動(dòng)態(tài)配 置，從而避免了先下線-> 修改配置-> 再重新上線的麻煩。服務(wù)框架層JSFSDKJSF SDK是微服務(wù)組件平臺(tái)最早的核心模塊，目前已經(jīng)運(yùn)行在幾乎所有

15、的京東容器上，負(fù)責(zé)完成所 有的服務(wù)通信工作。但隨著京東業(yè)務(wù)不斷發(fā)展，JSF SDK也遇到了挑戰(zhàn)，突出表現(xiàn)為：擴(kuò)展性和靈活性不夠。對(duì)此，我們重點(diǎn)將從以下幾方面進(jìn)行解決。? 增加更多的探針在通信過(guò)程的各個(gè)環(huán)節(jié)（編解碼、序列化等）加入探針邏輯，并通過(guò)開關(guān)控制，當(dāng)出現(xiàn)諸如性能問(wèn) 題時(shí)，可以打開開關(guān)，通過(guò)探針邏輯輸出的日志來(lái)定位瓶頸點(diǎn)；沒(méi)有問(wèn)題時(shí)，將開關(guān)關(guān)閉，避免影 響性能。? 增加更多的擴(kuò)展點(diǎn)在諸如序列化、路由決策等地方，提供擴(kuò)展點(diǎn)，允許用戶提供定制的功能實(shí)現(xiàn)，來(lái)滿足他們的個(gè)性化需求。?開發(fā)新通信協(xié)議 開發(fā)新一代的TCP通信協(xié)議，加強(qiáng)協(xié)議頭部的能力，并加入握手階段，解決很多控制方面的短板, 比如安全認(rèn)

16、證、路由等。?增加相關(guān)注解提供跟服務(wù)接口相關(guān)的注解，自動(dòng)收集服務(wù)接口信息，為微服務(wù)集市收集數(shù)據(jù)，以降低手動(dòng)錄入的工作量 ?支持服務(wù)擴(kuò)展屬性當(dāng)前JSF服務(wù)的屬性是固定的，不允許用戶擴(kuò)展屬性，由此引發(fā)了一個(gè)深層次問(wèn)題：業(yè)務(wù)只能按照J(rèn)SF的規(guī)則來(lái)組織服務(wù)關(guān)系，而不能自定義服務(wù)關(guān)系，帶來(lái)的后果就是一旦業(yè)務(wù)場(chǎng)景或業(yè)務(wù)架構(gòu)跟JSF組織的服務(wù)關(guān)系不匹配，就會(huì)出現(xiàn)本來(lái)彼此相關(guān)的一系列服務(wù)被割裂的現(xiàn)象，業(yè)務(wù)只能逐個(gè)處 理，而不能整體處理，就像下圖所示的那樣：左邊是個(gè)單體應(yīng)用，一共由 4個(gè)彼此依賴的服務(wù)構(gòu)成，當(dāng)該應(yīng)用需要下線時(shí)，4個(gè)服務(wù)會(huì)同時(shí)下線（因?yàn)樗鼈冊(cè)谕贿M(jìn)程空間中）；而在右邊，它們被微服務(wù)化，由不同開發(fā)小

17、組來(lái)維護(hù)，當(dāng)一個(gè)服務(wù)需要下線時(shí)，實(shí)際上需要其他服務(wù)一起下線，從而構(gòu)成一個(gè)“有機(jī)的微服務(wù)集”，此時(shí)只能靠擴(kuò)展屬性，將它們“邏輯”地綁定在一起，進(jìn)行整體下線，否則只能一個(gè)個(gè)下線，非常麻煩，效率低還易出錯(cuò)。通過(guò)該功能特性，使得用戶能自由、靈活地按照實(shí)際的業(yè)務(wù)場(chǎng)景或架構(gòu)來(lái)組合形成“有機(jī)的微服務(wù)集”，進(jìn)行整體操作，從而提高效率。服務(wù)網(wǎng)格JSF SDK以jar包的形式提供給Java開發(fā)者，這種基于“語(yǔ)言庫(kù)”的交付方式現(xiàn)在受到了越來(lái)越多的詬病。隨著集團(tuán)業(yè)務(wù)領(lǐng)域的不斷擴(kuò)展，不同領(lǐng)域內(nèi)都有自己獨(dú)特的生態(tài)系統(tǒng)，都有最適合的開發(fā)語(yǔ)言，Java 一枝獨(dú)秀的情況將在京東不復(fù)存在， go、python、c/c+、node

18、.js等語(yǔ)言會(huì)越來(lái)越多 地出現(xiàn)在我們面前。另外，基于“語(yǔ)言庫(kù)”的方式還給特性升級(jí)和BUG修復(fù)帶來(lái)了困擾，無(wú)法做到業(yè)務(wù)無(wú)感知。對(duì)此，我們正在開發(fā)京東自己的服務(wù)網(wǎng)格技術(shù)，力圖將業(yè)務(wù)邏輯與諸如通信、服務(wù)治理等非業(yè)務(wù)邏 輯進(jìn)行徹底解耦，使得開發(fā)分布式應(yīng)用跟開發(fā)單機(jī)應(yīng)用一樣簡(jiǎn)單。屆時(shí)，通過(guò)服務(wù)網(wǎng)格技術(shù)，不同 語(yǔ)言之間可以順暢通信，同時(shí)還兼容JSF服務(wù)；當(dāng)需要增加新的治理功能時(shí)，可以透明升級(jí)實(shí)現(xiàn)，業(yè)務(wù)沒(méi)有任何感知。服務(wù)發(fā)現(xiàn)服務(wù)發(fā)現(xiàn)在微服務(wù)架構(gòu)中扮演了極為重要的角色，JSF Registry是京東完全自研的支持多數(shù)據(jù)中心、跨廣域網(wǎng)、具有完備容災(zāi)特性的服務(wù)發(fā)現(xiàn)系統(tǒng)。目前，該系統(tǒng)穩(wěn)定地支持了近3萬(wàn)個(gè)服務(wù)接口，近30萬(wàn)個(gè)JVM實(shí)例的服務(wù)注冊(cè)/訂閱/配置推送等功能。安全體系JSF運(yùn)行在公司內(nèi)網(wǎng)，隨著對(duì)外開放賦能不斷深化以及公司體量的不斷增大，對(duì)安全性要求越來(lái)越 高，保護(hù)自身服務(wù)的穩(wěn)定運(yùn)行，就像下圖所示那樣:上圖是安全模型，在該模型中，每個(gè)服務(wù)都有一個(gè)全局唯一ID (UUID),基于該ID,會(huì)進(jìn)行證書管理、秘鑰管理以及身份認(rèn)證、訪問(wèn)授權(quán)等安全行為。為了兼顧靈活性和效率，還支持命名空間和 安全級(jí)別，同一命名空間內(nèi)的服務(wù)可以隨意通信，不同命名空間的訪問(wèn)受管控；不同級(jí)