中臺系統(tǒng)建設方案

1、一.頊目概況中臺建設方案目錄中臺建設方案11總述1.1當前問題2.2.3152.2.4162.2.517擴展性開放性強壯性系統(tǒng)的實現技術18系統(tǒng)技術平臺選擇】8系統(tǒng)的網絡結構4技術設計19系統(tǒng)總體技術架構ZP4?技術規(guī)范及實施斗5系統(tǒng)擴展性要求運行狀態(tài)監(jiān)控信息檢索中臺系統(tǒng)開發(fā)管理一.頊目概況5業(yè)務模型調研團隊235.2開發(fā)團隊2353.開發(fā)周期5V網絡及服務器255一.頊目概況1總述1當前問題2.系統(tǒng)維護困難2.二次開發(fā)迭代僅原廠商可以進行3新承建系統(tǒng)過多重復工作4. 同一業(yè)主下不同系統(tǒng)存在數據壁壘.#一.頊目概況K2中臺系統(tǒng)解決問題因軟件系統(tǒng)建設數量的日益增長，我們發(fā)現浪費了過多的時間在開發(fā)

2、相似系統(tǒng)功能上, 且在這些相似的系統(tǒng)功能，我們現實遇到的情況是：K 相似系統(tǒng)功能無法通用于不同系統(tǒng)，難以快速接入2.系統(tǒng)功能由不同語言、不同技術架構、不同標準開發(fā)，難以維護3相似系統(tǒng)功能之間數據無法通用，數據壁壘凸顯同一個輪子造1 O O遍，對一個部門或是一家企業(yè)是沒有任何好處，自然一個相似的系 統(tǒng)造1 O O遍同樣沒有什么幫助。以此我們希望建設一套可以滿足大多數系統(tǒng)功能的、可以滿足今后擴展的、有相對統(tǒng)一 業(yè)務的、可以快速高效迭代的并可快速接入的系統(tǒng)，以下我們簡稱“中臺”。中臺解決問題：1. 相似業(yè)務無需重復開發(fā)2. 數據統(tǒng)一打破數據壁壘，可多系統(tǒng)、多行業(yè)的數據分析3快速迭代接入4.統(tǒng)一規(guī)范，

3、降低維護難度1.3中臺系統(tǒng)帶來的收益工程方而減少了重復造輪子、重復建系統(tǒng)的現象對統(tǒng)一的業(yè)務資源統(tǒng)一管理。一.頊目概況數據方而有了統(tǒng)一的資源管理，如：統(tǒng)一的用戶、權限、訂單等，就不再會有各種的數據打通問 題、同步問題，不會有夸部門的數據墻。有了公共的中臺，也就有了統(tǒng)一的數據規(guī)范。對于大數據相關的需求，可以從相對唯一的數據出口進行業(yè)務迭代，不需要為每一個部 門進行泄制開發(fā)，浪費人力。創(chuàng)新方而產品、開發(fā)、實施人員不再是僅對一套系統(tǒng)、一個行業(yè)進行業(yè)務開發(fā)。由在“點”上的 根本感知不到問題的角色，突破到從"線”和“而”的平臺上進行工作，更容易發(fā)現這些問 題的本質，通過英自身的F業(yè)技能解決當前實

4、際問題的同時產生全局觀。解決系統(tǒng)問題將不 再是以前的"打補丁”，而是轉為真正意義上的"升級”。不謀全局者，不足謀一域。有了公共的中臺，意味著產品、開發(fā)、實施人員擁有相對全局的視角，更能發(fā)現單點單 觀察難以發(fā)現的問題，在更大的業(yè)務層后進行一立的創(chuàng)新1.4中臺系統(tǒng)達成目標系統(tǒng)目前暫將中臺系統(tǒng)的建設目標分為三個階段：第一階段（一丿建立統(tǒng)一的開發(fā)標準，如：2 統(tǒng)一技術棧（開發(fā)語言.開發(fā)框架、開發(fā)工具、數據工具、其他中間件等）2.統(tǒng)一接入方式3制泄統(tǒng)一數據標準（二丿調研分析統(tǒng)一業(yè)務模型，如:1.系統(tǒng)基礎功能模型2.行業(yè)業(yè)務功能模型3數據分析模型建立（三丿人才技術儲備，由于中臺接入系統(tǒng)

5、的增加，中臺的髙可用性.如：容錯容災、 負載、多中心切換、數據同步、平臺安全等不可忽視，所以需要早期及時規(guī)劃相關人員。（四丿中臺功能開發(fā)，如：1.權限管理服務（RMS）2基礎數據服務（BDMS）3客戶管理服務（CMS）4內容管理服務（CMS）5日志管理服務（LOGMS）6.第三方接入服務（TPIN4 S ）9一.頊目概況7數據分析服務（DAMS）8.自定義流程服務（WFMS）在此階段我們可以達成的目標為：1. 減少重復工作2. 快速新增功能3快速接入4. 中臺內的功能數據壁壘消除5. 二次開發(fā)可不再依賴原廠商第二階段將第一階段得到的行業(yè)業(yè)務功能模型開發(fā)轉化為統(tǒng)一業(yè)務功能，自此將數據分析服務 （

6、DAMS）升級為“數據中臺”。在此階段我們可以達成的目標：2.可實現跨系統(tǒng)、跨行業(yè)的數據分析2.讓數據分析多元化3中臺系統(tǒng)由原來的可“高效開發(fā)迭代接入管理的業(yè)務平臺”升級為''可產 生超數據范羽的大數據分析業(yè)務綜合平臺”4.對同一行業(yè)的信息化建設實現同步開發(fā)第三階段隨著中臺系統(tǒng)的功能完善，則必不可免的產生高并發(fā)、數據量增大等性能瓶頸問題,IO 由此在第一階段的儲備將對現有平臺的技術框架、軟件結構、服務器資源等進行持續(xù)優(yōu) 化，從而達到真正的穩(wěn)立可髙.高效。2系統(tǒng)建設總體設計2系統(tǒng)總體建設思想在遵循整體性、法制性、規(guī)范性、實用性的總體設計思想的基礎上，系統(tǒng)采用微服務為前端用戶服務平

7、臺。中臺的建設融合了多項當前軟件開發(fā)的先進技術。通過自有團隊系統(tǒng)開發(fā)提供更好的可 擴展性。后端A P I構建在J a V a平臺之上，管理平臺實現前后端分離，以達到日益變化 的前端技術，使用目前大型系統(tǒng)開發(fā)常用的MVC架構進行開發(fā)，前端頁面展示與后端數據 操作完全獨立開發(fā)，通過強認證的接口進行數據的讀寫與交互，本系統(tǒng)嚴格地定義了所有的 基礎業(yè)務對象與業(yè)務邏輯處理對彖，統(tǒng)一了數據存儲規(guī)則，在此基礎上又將軟件細致地劃分 為后臺數據處理層、中間業(yè)務邏輯處理層、前臺業(yè)務邏輯處理層和表現層，并且配合我公司 獨立開發(fā)的OxJvr框架進行數據庫操作，保證了數據庫的可擴展性、可遷移性。為了適應業(yè)務發(fā)展的需求，

8、本系統(tǒng)的擴展能力也是一大特色，我們在制左了統(tǒng)一的數拯 處理規(guī)則，規(guī)范了基礎行業(yè)對象，也將現有的業(yè)務邏輯對象進行了統(tǒng)一封裝，并給二次開發(fā) 者提供了簡單靈活的訪問接口、詳盡的文檔說明，在進行新功能的拓展時無須對數據庫進行 直接操作，從而保證了數據庫的完整性和安全性22系統(tǒng)設計原則2.2安全性1）系統(tǒng)的結構安全性設計-.項目槪況系統(tǒng)的結構安全性在本系統(tǒng)中主要來源于兩個方而：數據傳輸的安全性與數據存儲的安 全性。分級分權限管理企業(yè)資源、保密消息，有效確保消息的閱讀范用。系統(tǒng)的數據和信息存儲，數據庫服務器部署于阿里云，數據庫公網無法訪問，只能通過 建立于2TS應用服務器訪問數拯，對應用服務器進行了多層安

9、全防護與訪問授權，確保數 拯存儲的安全性。2）系統(tǒng)業(yè)務安全設計對于系統(tǒng)的業(yè)務安全來說，系統(tǒng)在以下幾個方而對安全性方而進行了相應的設計：1. 對關鍵數據的加密存放，如用戶、操作人員的密碼等：2. 對關鍵數據的校驗存放，如接口信息的校驗串設計；3. 對關鍵數據的日志記錄，系統(tǒng)嚴格的留痕設計，對于重要的操作均采用獨立的 流水記錄，保證相關業(yè)務的發(fā)生均有相應的記錄，保存處理時的關鍵信息：而對于一般 性的操作，則通過日志記錄的方式，確保重要的信息能得以保存，供后續(xù)的查證使用：4. 對業(yè)務操作的嚴格權限檢查，任何業(yè)務的操作，在應用服務器處理層，均需進 行相應的功能與權限檢査，包括菜單與功能的兩級權限檢査、

10、用戶身份與操作權限的檢 查、使用人員身份與操作權限的檢查、業(yè)務本身處理要求的檢査等，防止一切非法的調 用，確保系統(tǒng)的業(yè)務處理的安全性；5-對業(yè)務操作的嚴格控制性檢查，可設置用戶、使用人員的站點限制，設巻用戶 與使用人員可操作的對象限制等；6. 對業(yè)務可自定義審核設計，可通過對業(yè)務操作的參數化啟義，來設置對業(yè)務處 理的不同等級的審核要求，確保業(yè)務在處理前，通過不同使用人員的審核，來保證業(yè)務 處理的合法性與合理性，防范意外事件的發(fā)生：7. 對系統(tǒng)的運行監(jiān)控設計，可監(jiān)控系統(tǒng)的網絡狀況、業(yè)務處理情況以及數據交換 的情況等，從而可有效地及時發(fā)現異常事件的發(fā)生。3）數據安全設計在數據安全方面：系統(tǒng)在設計上

11、充分考慮到業(yè)務稽核的需要，在數據庫后臺表的設計中, 通過對關鍵數據表增加校驗字段來保證數據的客觀公正：通過對關鍵數據密碼類根據系統(tǒng) 提供的加密方式加密后存放，可保證即使是數據庫管理人員也無法從表中直接查詢到用戶 或操作人員的關鍵數據：通過對各業(yè)務表之間的邏輯關聯，確保非法的數據修改可通過數據 間的關聯關系得以查找。數據安全還表現在數據的一致性和可稽核性方而：首先系統(tǒng)所有操作均有留痕，這是可 稽核的首要條件，另外，系統(tǒng)的數據記錄是連續(xù)的、互相關聯的，并且總分平衡的：這就為 系統(tǒng)數據的一致性和可稽核性的必要條件。因此數拯的一致性和可稽核性是數據安全的基 本保障。對數據的訪問完全隔離互聯網直接訪問，

12、互聯網對數據的請求必須經過授權后，通過部 署于阿里云的接口訪問。通過部署與不同網段的兩層接口進行數據安全防護，避免核心接口 與數據存儲眾露于互聯網。4）系統(tǒng)災備設計對于災備系統(tǒng)來說，主系統(tǒng)所具有的功能均需具有，但考慮到災備系統(tǒng)管理與維護的方 便性，采用節(jié)點數盡可能少的髙性能服務器來實現業(yè)務的接管是最為經濟可行的模式。通常，在系統(tǒng)中采用多服務器并行模式的情況下，災備系統(tǒng)可以考慮將多應用服務器統(tǒng) 一部署，通過采用應用與查詢分離的雙服務器模式來實現系統(tǒng)的應用部署。多中心服務器的 部署設計方式既可以滿足分布式處理的要求，同時也可以滿足在單物理服務器上的統(tǒng)一部 署的需要，因此，災備系統(tǒng)的建設也就變得非常

13、簡單可行。對于本系統(tǒng)，將充分利用阿里云云的已有建設成果，數據的安全及備份將由阿里云系統(tǒng) 完成。2.2,2可靠性系統(tǒng)在設計上已充分考慮提供安全可靠的技術和管理方式，保證常年不間斷運行。系統(tǒng) 在通訊層、應用邏輯層、數據庫層都實現高可靠，避免單點故障。應用服務器應具備負載均 衡的能力。系統(tǒng)在長時間大容量高壓力的情況下，能穩(wěn)左運行。通過組件化設計，系統(tǒng)任何 局部性的錯誤不影響整個系統(tǒng)的正常運行。多臺應用服務器并行運行時能按組集群并具備 負載均衡功能，連接斷開后應用服務器能自動重連。系統(tǒng)具有完善的容錯功能，數據庫服務器、網絡設備、存儲設備及相關系統(tǒng)和軟件應有 冗余設計，由于系統(tǒng)在數據庫層采有服務器組的方

14、式實現，中間件層采用群組方式實現，實 現組內設備系統(tǒng)單點出現故障時，能實現自動切換。系統(tǒng)容錯及冗余的實現對系統(tǒng)性能的影 響較小。系統(tǒng)容錯及冗余的實現不能影響系統(tǒng)性能。系統(tǒng)有完備的系統(tǒng)級和應用級災難備份的解決方案，系統(tǒng)對通訊鏈路故障、核心數據庫 故障、應用服務器故障有不同的解決方案和應對措施。為簡化管理，便于維護，系統(tǒng)在建設時在阿里云（或中心機房）安裝有實時監(jiān)控系統(tǒng), 可以實現對所有重要設備或系統(tǒng)進行監(jiān)控，同時還可根據需要對災備中心的指左進行實時監(jiān)控。系統(tǒng)有完備的在線和脫機數據備份措施。系統(tǒng)備份擁有斷點恢復功能，從而可以保證數據備份的完整性。在出現災難時，可以實 現快速恢復。2.2.3擴展性業(yè)務

15、系統(tǒng)的設訃不可能完全預料到未來的發(fā)展，因此可擴展性就成為業(yè)務系統(tǒng)未來發(fā)展 的關鍵設汁。良好的可擴展性設訃對于業(yè)務的發(fā)展能起到積極的支撐作用，可以在盡可能少 改動的情況下，保證業(yè)務系統(tǒng)適合業(yè)務發(fā)展的需要。在我們的系統(tǒng)中，我們通過業(yè)務邏輯層 流程的變更，可以方便地支持不同業(yè)務處理流程的需要，也可以通過對業(yè)務拓展層的修改滿 足個性化的業(yè)務處理要求的修改。而對于處理容疑的擴展性考慮，我們支持多服務器的業(yè)務 處理與多服務器的數據分割處理，確保系統(tǒng)的處理能力能隨著業(yè)務量的增加平穩(wěn)地擴展，列 外在業(yè)務上可以同步支持多業(yè)務中心的平行部署，滿足業(yè)務擴展需求。同時，我們的可擴展 性還表現在對不同的業(yè)務系統(tǒng)的支持，

16、由于我們對底層數據分離的依據是以企業(yè)統(tǒng)一的用 戶與組織機構管理的基礎來設計，因此所有其他業(yè)務系統(tǒng)的應用，可以通過調用接口，無縫 地集成接入系統(tǒng)，形成一個統(tǒng)一的業(yè)務系統(tǒng)平臺，真正發(fā)揮集中式業(yè)務系統(tǒng)的優(yōu)勢。首先，從用戶數據量的增加來說，與系統(tǒng)直接相關的是系統(tǒng)處理性能能否達到用戶應用 的U金值要求。對于確怎的硬件環(huán)境來說，如何盡可能地提髙其并發(fā)用戶的量，需要我們從系 統(tǒng)業(yè)務處理的設計方式和對業(yè)務處理能力的擴展兩方面來考慮。對于業(yè)務處理的設計來說，我們通過業(yè)務邏輯的前移，減少后臺數據庫的處理壓力，從 而將相當的處理壓力分擔到服務器異步來處理，從而可以通過對服務器的線性擴展來提高 業(yè)務的處理能力。同時，

17、考慮到相當多的數據是靜態(tài)的數據或者是相對變動較小的數據，因 15-.項目槪況此，我們在數據處理上可以進一步考慮實現內存數據庫、數據緩存等，通過將某些與靜態(tài)數 據或變化較小數據的訪問在前端服務器上來處理掉，從而減少與后臺數據庫服務器的交互, 進而減少對后臺數據庫服務器的處理壓力，從而提髙系統(tǒng)本身的處理能力：對于業(yè)務處理能力的擴展來說，無論通過何種方式來實現對數據庫壓力的分擔，數據庫 本身最終仍然是處理的一個基礎，在這種模式下，每一臺數據庫服務器始終會有一個處理的 極限。因此，豈數據庫服務器達到處理極限的情況下，如何來擴展英處理能力，也是我們需 要考慮的一個方而。在這里,我們考慮通過對數據庫服務器

18、的擴展來提高服務器的數據能力。數據庫服務器的擴展分兩個方而。一方而我們可以從業(yè)務上將不同的數據分布在不同的 物理數拯庫服務器上來進行不同的業(yè)務處理，從而利用多臺服務器實現某一個業(yè)務處理流 程，這樣就相當于將一臺物理服務器的處理能力分攤在多臺服務器上，從而擴展了單一服務 器的數據能力：另一方而，我們還可以對用戶的數據根據用戶的屬性來加以區(qū)分，如根據用 戶所屬的機構屬性來進行分割數據，實現多業(yè)務中心并行處理，進而可以保證不同的用戶的 交易在不同的物理服務器上得到處理，從而實現后臺數據庫服務器的處理能力的擴展。另外，在前端服務器層面，應用本身是業(yè)務邏輯前移設計方式，并且支持群組部署和負 載平衡，可以

19、滿足擴展性的需要。在處理能力的并行擴展中，我們根據業(yè)務特點，考慮采用將多種方式結合使用，提供系 統(tǒng)最佳的處理性能。2.2.4開放性系統(tǒng)設計采用業(yè)界開放的技術標準，使用統(tǒng)一技術標準，如SOAt S-SeCUrtyf, 刃上M£5等，采用而向對象的分析和設計，組件化技術等，從根本上增強了和企業(yè)現有系 統(tǒng)的互操作性，降低了消除信息孤島的復雜性，使得將企業(yè)現有各種業(yè)務系統(tǒng)互聯成為一種可能。系統(tǒng)整體結構具有很好的模塊化設計，模塊之間有明確的，遵循開放標準的服務接口， 平臺之間有明確的而向服務的規(guī)范：軟件產品優(yōu)先選擇成熟的，主流的軟件平臺，這類產品具有更好的開放性和更標準的接 口設計;技術路線選

20、擇大多數廠商，主流產品均支持的技術路線，將對平臺的依賴性減至最低。在應用設計上注重開放性設計，遵循國際的開放標準，組件之間的可配置程度要好，可 連接性要好。同時加顧實用性，系統(tǒng)具有良好的實用價值，界而友好采用互聯網的設計， 業(yè)務靈活可調整，產品的穩(wěn)圧高效。2.2.5強壯性系統(tǒng)具有完整的備份方案和數據備份機制以及相應的恢復方案，充分考慮核心數據庫、 業(yè)務中間件等故障時的處理機制。系統(tǒng)具有良好的斷點恢復功能，對系統(tǒng)出現地各類故障，可以實現斷點快帶恢復功能: 通過數據備份記錄實現數據的快速恢復和災難重建工作；保障系統(tǒng)運行安全。3系統(tǒng)的實現技術系統(tǒng)技術平臺選擇本系統(tǒng)是基于JaVa技術研發(fā)，接口采用Ge

21、y+toGen進行保護，行業(yè)應用實踐證明, 在穩(wěn)立性、擴展性等方而都有可靠保障。服務器及終端環(huán)境網絡服務器操作系統(tǒng)：Cen tOS或W mcCowsPC端瀏覽器支持JT9及以上JT瀏覽器，火狐、谷歌等主流瀏覽器數據庫SqCSerVert tRecCis3系統(tǒng)的網絡結構系統(tǒng)網絡拓撲圖如下圖所示：如上圖所示，系統(tǒng)主要部署在阿里云服務器上，通過數據接口服務完成數據安全、網絡 安全，系統(tǒng)髙可用性、網絡髙可用性的保證。后臺管理用戶可通過部署的服務器組的z交互頁面，英中頁而操作流程中的關 鍵業(yè)務數拯提交將采用MTPS方式進行通訊。系統(tǒng)可同時采用多臺應用服務器進行負載均衡保證業(yè)務處理的高并發(fā)性能及7X24小

22、 時的穩(wěn)左服務能力，保證了大數據量處理性能。4技術設計4丄系統(tǒng)總體技術架構總體技術架構圖如下:19-.項目槪況數據庫般務SQISerVer 據庫后端業(yè)務處理服務后臺幗系統(tǒng)NginXJaVaAPaChe/Tomcat:一一:緩存服務 RediS本系統(tǒng)的前端為純刃工M£5技術開發(fā),無需yy asyx或者丿功等動態(tài)頁而服務技術, 前端頁而腳本和資源發(fā)布在獨立的nginx服務中，可以保證前端dJr加載的髙并發(fā)訪問性 能和穩(wěn)定性。系統(tǒng)的后端核心業(yè)務處理服務，以獨立的JaVa進程（CCR）方式啟動Rtty/FLttyS服 務與前端及微信公眾平臺進行連接通訊，通訊格式采用JSon格式以提髙通訊過程

23、的可擴展 性兼容性及性能，業(yè)務數據采用reicQ進行動態(tài)緩存以保證對前端業(yè)務請求的快速處理和 響應能力，業(yè)務數據的持久化采用SClCSVer數據庫方案。后臺管理系統(tǒng)以JaVa應用方式部署在獨立的TomCat服務器中，將前端業(yè)務處理服務和后臺管理服務隔離開，保證了業(yè)務的處理能力和安全性。42技術規(guī)范及實施系統(tǒng)兼容性K支持JT9及以上JT瀏覽器，支持火狐、谷歌等主流瀏覽器。安全性要求系統(tǒng)對于交互過程中的所有關鍵字段均采用業(yè)界公認的加密算法進行加密處理。避免客 戶的關鍵信息的泄漏,保證客戶交易的安全性。K 使用SSL進行數據加密傳輸。交易認證時交易密碼、交易驗證碼等敏感 數據采用WQ5等加密算法進行

24、加密；保證客戶數據信息安全。沃后臺管理系統(tǒng)的登錄采用Pittys集合動態(tài)識別等多因子認證機制，并對后臺管理 用戶進行分級權限管理，保證完整的登錄管理等操作日志，防止后臺用戶的管理權限漏洞產 生。用戶人機交互界面要求系統(tǒng)用H VI界面設訃會遵循快捷簡明人性化的原則,同時會提供簡明扼要的幫助信 息來方便新用戶的業(yè)務操作。性能要求K平均頁而響應時間:頁面響應時間是指用戶點擊該頁面佼易丿的鏈接到該頁而完全加 載完畢所需要的時間,原則上要求平均頁而響應時間不超過3秒；2、并發(fā)用戶數:并發(fā)操作用戶數是指在同一時刻與服務器進行了交互的在線操作用戶 數量。在滿足交易響應時間要求的前提下,該系統(tǒng)并發(fā)操作用戶數不少于IOO人，因架構為 成熟分布式架構，可隨時通過實施人員拆分部署，因此具體并發(fā)數在于購買的阿里云服務的 具體配置；3、日終批處理接口文件及報表處理時間丄小時；4、實時報表査詢的時間V分鐘；5、系統(tǒng)資源占有率:為了保證系統(tǒng)能夠正常、穩(wěn)左運行,推薦的服務器的CfPV占有率 和內存使用率均不應超過6o%。43系統(tǒng)擴展性要求本系統(tǒng)的設汁會充分考慮到擴展性，可以預留業(yè)務的擴展接口和丿SOn