丨總結(jié)二分布式架構(gòu)關(guān)鍵設(shè)計(jì)10問(wèn)

分布式數(shù)據(jù)庫(kù)大多采用數(shù)據(jù)多副本的方式，實(shí)現(xiàn)數(shù)據(jù)的高性能、多活和容災(zāi)。目前主要有三種不同的分布式數(shù)據(jù)庫(kù)解決方案。它們的主要差異是數(shù)據(jù)多副本的處理方式和數(shù)據(jù)庫(kù)中間件。它支持?jǐn)?shù)據(jù)多副本、高可用。多采用Paxos協(xié)議，一次寫入多數(shù)據(jù)副本，多數(shù)副本寫入成功即算成功。代表產(chǎn)品是OceanBase和高斯數(shù)據(jù)庫(kù)。集中式數(shù)據(jù)庫(kù)+性。集中式數(shù)據(jù)庫(kù)主要有MySQL和PostgreSQL數(shù)據(jù)庫(kù)，基于這兩種數(shù)據(jù)庫(kù)衍生出了很多的解決方案，比如開源數(shù)據(jù)庫(kù)中間件MyCat+MySQL方案，TBase（基于PostgreSQL，集中式數(shù)據(jù)庫(kù)+它是一種輕量級(jí)的數(shù)據(jù)庫(kù)中間件方案，分庫(kù)類庫(kù)實(shí)際上是一個(gè)基礎(chǔ)JAR包，與應(yīng)用軟件部署在一起，實(shí)現(xiàn)數(shù)據(jù)路由和數(shù)據(jù)歸集。它適合比較簡(jiǎn)單的讀寫場(chǎng)景，在強(qiáng)一致性和聚合分析查詢方面相對(duì)較弱。典型分庫(kù)基礎(chǔ)組件有ShardingSphere。要求比較高。集中式數(shù)據(jù)庫(kù)+數(shù)據(jù)庫(kù)中間件方案，實(shí)施成本和技術(shù)能力要求適中，可滿足與客戶接觸的關(guān)鍵業(yè)務(wù)，我建議你以客戶ID作為分庫(kù)主鍵。這樣可以確保同一個(gè)客戶的數(shù)據(jù)分布在同一個(gè)數(shù)據(jù)單元內(nèi)，避免出現(xiàn)跨數(shù)據(jù)單元的頻繁數(shù)據(jù)?？鐢?shù)據(jù)中心的頻繁服務(wù)業(yè)來(lái)說(shuō)，“以客戶為中心”的業(yè)務(wù)能力，首先就要做到數(shù)據(jù)上的“以客戶為中心”。在微服務(wù)架構(gòu)中，數(shù)據(jù)被進(jìn)一步分割。為了實(shí)現(xiàn)數(shù)據(jù)的整合，數(shù)據(jù)庫(kù)之間批量數(shù)據(jù)同步與復(fù)制是必不可少的。數(shù)據(jù)同步與主要用于數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)遷移、數(shù)據(jù)備份、不同業(yè)務(wù)數(shù)據(jù)向數(shù)據(jù)平臺(tái)或數(shù)據(jù)中臺(tái)的數(shù)據(jù)、以及不同數(shù)據(jù)的整合等。傳統(tǒng)的數(shù)據(jù)傳輸方式有ETL工具和定時(shí)提數(shù)程序，但數(shù)據(jù)在時(shí)效性方面存在短板。分布式現(xiàn)在主流的PostgreSQL和MySQL數(shù)據(jù)庫(kù)，有很多數(shù)據(jù)庫(kù)日志捕獲技術(shù)組件。CDC關(guān)聯(lián)查詢的業(yè)務(wù)場(chǎng)景包括兩類：第一類是基于某一維度或某一域的數(shù)據(jù)查詢，比如基于客戶全業(yè)務(wù)視圖的數(shù)據(jù)查詢，這種查詢會(huì)跨多個(gè)業(yè)務(wù)線的微服務(wù)；第二類是表與表之間的關(guān)聯(lián)查詢，比如機(jī)構(gòu)表與業(yè)務(wù)表的聯(lián)表查詢，但機(jī)構(gòu)表和業(yè)務(wù)表分散在不同的微服務(wù)。對(duì)于第一類場(chǎng)景，由于數(shù)據(jù)分散在不同微服務(wù)里，我們無(wú)法跨多個(gè)微服務(wù)來(lái)統(tǒng)計(jì)這些數(shù)據(jù)。你可以建立面向的分布式數(shù)據(jù)庫(kù)，它的數(shù)據(jù)來(lái)源于不同業(yè)務(wù)的微服務(wù)。采用數(shù)據(jù)庫(kù)日志捕獲技術(shù)，從各業(yè)務(wù)端微服務(wù)將數(shù)據(jù)準(zhǔn)實(shí)時(shí)匯集到數(shù)據(jù)庫(kù)。在數(shù)據(jù)匯集時(shí)，提前做好數(shù)據(jù)關(guān)聯(lián)（如將多表數(shù)據(jù)合并為一個(gè)寬表）或者建立數(shù)據(jù)模型。面向數(shù)據(jù)庫(kù)建設(shè)查詢微服務(wù)。這樣一次查詢你就可以獲取客戶所有維度的業(yè)務(wù)數(shù)據(jù)了。你還可以根據(jù)或場(chǎng)景設(shè)計(jì)合適的分庫(kù)主鍵，提高查詢效率。對(duì)于第二類場(chǎng)景，對(duì)于不在同一個(gè)數(shù)據(jù)庫(kù)的表與表之間的關(guān)聯(lián)查詢場(chǎng)景，你可以采用小表廣播，在業(yè)務(wù)庫(kù)中增加一張冗余的代碼副表。當(dāng)主表數(shù)據(jù)發(fā)生變化時(shí)，你可以通過(guò)消息發(fā)布和訂閱的領(lǐng)域驅(qū)動(dòng)模式，異步刷新所有副表數(shù)據(jù)。這樣既可以解決表與表的關(guān)聯(lián)查詢，還可以提高數(shù)據(jù)的查詢效率。發(fā)響應(yīng)能力。它們會(huì)給數(shù)據(jù)庫(kù)帶來(lái)巨大的壓力，影響系統(tǒng)的性能。RedisElasticSearch在微服務(wù)設(shè)計(jì)時(shí)你會(huì)經(jīng)常發(fā)現(xiàn)，某些數(shù)據(jù)需要關(guān)聯(lián)前序微服務(wù)的數(shù)據(jù)。比如：在業(yè)務(wù)中，投保微服務(wù)生成投保單后，保單會(huì)關(guān)聯(lián)前序投保單數(shù)據(jù)等。在業(yè)務(wù)中，貨物單會(huì)關(guān)聯(lián)前序訂單數(shù)據(jù)。由于關(guān)聯(lián)的數(shù)據(jù)分散在業(yè)務(wù)的前序微服務(wù)中，你無(wú)法通過(guò)不同微服務(wù)的數(shù)據(jù)庫(kù)來(lái)給它們建立數(shù)據(jù)關(guān)聯(lián)。一般來(lái)說(shuō)，前后序的數(shù)據(jù)都跟領(lǐng)域有關(guān)。你可以通過(guò)領(lǐng)域處理機(jī)制，按需將前序數(shù)據(jù)通過(guò)領(lǐng)域?qū)嶓w，傳輸并冗余到當(dāng)前的微服務(wù)數(shù)據(jù)庫(kù)中。你可以將前序數(shù)據(jù)設(shè)計(jì)為實(shí)體或者值對(duì)象，并被當(dāng)前實(shí)體。在設(shè)計(jì)時(shí)你需要關(guān)注以下內(nèi)容：如果前序數(shù)據(jù)在當(dāng)前微服務(wù)只可整體修改，并且不會(huì)對(duì)它做查詢和統(tǒng)計(jì)分析，你可以將它設(shè)計(jì)為值對(duì)象；當(dāng)前序數(shù)據(jù)是多條，并且需要做查詢和統(tǒng)計(jì)分析，你可以將它設(shè)計(jì)為實(shí)體。這樣，你可以在貨物微服務(wù)，一次獲取前序訂單的數(shù)據(jù)和貨物單數(shù)據(jù)，將所有數(shù)據(jù)一次反饋給前端應(yīng)用，降低跨微服務(wù)的調(diào)用。如果前序數(shù)據(jù)被設(shè)計(jì)為實(shí)體，你還可以將前序數(shù)據(jù)作為查詢條件，在本地微服務(wù)完成度的綜合數(shù)據(jù)查詢。只有必要時(shí)才從前序微服務(wù)，獲取前序?qū)嶓w的明細(xì)數(shù)據(jù)。這樣，既可以保證數(shù)據(jù)的完整性，還可以降低微服務(wù)的依賴，減少跨微服務(wù)調(diào)用，提升系統(tǒng)性能。分布式微服務(wù)架構(gòu)雖然提升了應(yīng)用彈性和高可用能力，但原來(lái)集中的數(shù)據(jù)會(huì)隨著微服務(wù)拆分而形成很多數(shù)據(jù)孤島，增加數(shù)據(jù)集成和企業(yè)級(jí)數(shù)據(jù)使用的難度。你可以通過(guò)數(shù)據(jù)中臺(tái)來(lái)實(shí)現(xiàn)數(shù)據(jù)融合，解決分布式架構(gòu)下的數(shù)據(jù)應(yīng)用和集成問(wèn)題。第一，按照統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，完成不同微服務(wù)和業(yè)務(wù)數(shù)據(jù)的匯集和，解決數(shù)據(jù)孤島和第二，建立數(shù)據(jù)模型，按照不同和場(chǎng)景對(duì)數(shù)據(jù)進(jìn)行加工處理，建立面向不同的將數(shù)據(jù)平臺(tái)化之后提供給前臺(tái)業(yè)務(wù)使用，為場(chǎng)景提供支持。你可以在微服務(wù)和前端應(yīng)用之間，增加一層BFF微服務(wù)（BackendforFrontends）。BFF主要職責(zé)是處理微服務(wù)之間的服務(wù)組合和編排，微服務(wù)內(nèi)的應(yīng)用服務(wù)也是處理服務(wù)的組合和BFF位于中臺(tái)微服務(wù)之上，主要職責(zé)是微服務(wù)之間的服務(wù)協(xié)調(diào)；應(yīng)用服務(wù)主要處理微服務(wù)內(nèi)的服務(wù)組合和編排。在設(shè)計(jì)時(shí)我們應(yīng)盡可能地將可復(fù)用的服務(wù)能力往下層沉淀，在實(shí)現(xiàn)能力復(fù)用的同時(shí)，還可以避免跨中心的服務(wù)調(diào)用。BFF像齒輪一樣，來(lái)適配前端應(yīng)用與微服務(wù)之間的步調(diào)。它通過(guò)Faae服務(wù)適配不同的前端，通過(guò)服務(wù)組合和編排，組織和協(xié)調(diào)微服務(wù)。BFF微服務(wù)可根據(jù)需求和流程變化，與前端應(yīng)用版本協(xié)同發(fā)布，避免中臺(tái)微服務(wù)為適配前端需求的變化，而頻繁地修改和發(fā)布版本，從而保證微服務(wù)領(lǐng)域邏輯的穩(wěn)定。如果你的BFF做得足夠強(qiáng)大，它就是一個(gè)集成了不同中臺(tái)微服務(wù)能力、面向多應(yīng)用的分布式架構(gòu)下，原來(lái)單體的內(nèi)部調(diào)用，會(huì)變成分布式調(diào)用。如果一個(gè)操作涉及多個(gè)微服務(wù)的數(shù)據(jù)修改，就會(huì)產(chǎn)生數(shù)據(jù)一致性的問(wèn)題。數(shù)據(jù)一致性有強(qiáng)一致性和最終一致性兩種，它們實(shí)現(xiàn)方案不一樣，實(shí)施代價(jià)也不一樣。對(duì)于實(shí)時(shí)性要求高的強(qiáng)一致性業(yè)務(wù)場(chǎng)景，你可以采用分布式事務(wù)，但分布式事務(wù)有性能代價(jià)，在設(shè)計(jì)時(shí)我們需平衡考慮業(yè)務(wù)拆分、數(shù)據(jù)一致性、性能的復(fù)雜度，盡量避免分布式事務(wù)的產(chǎn)生。領(lǐng)域驅(qū)動(dòng)的異步方式是分布式架構(gòu)常用的設(shè)計(jì)方法，它可以解決非實(shí)時(shí)場(chǎng)景的數(shù)據(jù)最終一致性問(wèn)題?；谙⒅虚g件的領(lǐng)域發(fā)布和訂閱，可以很好地解耦微服務(wù)。通過(guò)削峰填谷，可以減輕數(shù)據(jù)庫(kù)實(shí)時(shí)壓力，提高業(yè)務(wù)吞吐量和處理能力。你還可以通過(guò)驅(qū)動(dòng)實(shí)現(xiàn)讀寫分離，提高數(shù)據(jù)庫(kù)性能。對(duì)最終一致性的場(chǎng)景，我建議你采用領(lǐng)域驅(qū)動(dòng)的設(shè)單元化架構(gòu)設(shè)計(jì)。將若干個(gè)應(yīng)用組成的業(yè)務(wù)單元作為部署的基本單位，實(shí)現(xiàn)同城和異地多活部署，以及跨中心彈性擴(kuò)容。各單元業(yè)務(wù)功能自包含，所有業(yè)務(wù)流程都可在本單元完成；任意單元的數(shù)據(jù)在多個(gè)數(shù)據(jù)中心有副本，不會(huì)因故障而造成數(shù)據(jù)丟失；任何單元故障不影響其它同類單元的正常運(yùn)行。單元化設(shè)計(jì)時(shí)我們要盡量避免跨數(shù)據(jù)中心和單元的調(diào)用。路由。路由包括接入層、應(yīng)用層和數(shù)據(jù)層的路由，確保前端能夠按照路由準(zhǔn)確到達(dá)數(shù)據(jù)中心和業(yè)務(wù)單元，準(zhǔn)確寫入或獲取業(yè)務(wù)數(shù)據(jù)所在的數(shù)據(jù)庫(kù)。全局配置數(shù)據(jù)管理。實(shí)現(xiàn)各數(shù)據(jù)中心全局配置數(shù)據(jù)的統(tǒng)一管理，每個(gè)數(shù)據(jù)中心全局配置企業(yè)級(jí)分布式架構(gòu)的實(shí)施是一個(gè)非常復(fù)雜的系統(tǒng)工程，涉及到非常多的技術(shù)體系和方法。今天我羅列了10個(gè)關(guān)鍵的設(shè)計(jì)領(lǐng)域，每