企業(yè)數(shù)據(jù)總線技術(shù)架構(gòu)說明

1、數(shù)據(jù)總線技術(shù)框架說明（轉(zhuǎn)）目錄數(shù)據(jù)總線技術(shù)框架說明 11 描述以及約定41.1 約定41.2 問題的提出41.3 數(shù)據(jù)總線定義 41.4 實現(xiàn)目標(biāo)42 技術(shù)框架42.1 總線程序物理層級架構(gòu) 42.2 總線程序物理拓撲結(jié)構(gòu) 52.3 總線程序架構(gòu)邏輯模塊層級視圖 52.4 總線程序架構(gòu)數(shù)據(jù)流邏輯視圖 63 程序模塊說明73.1 模塊圖示73.2 服務(wù)宿主 API層 73.2.1 公共查詢模塊 73.2.2 API實例管理模塊73.2.3 API接口及類生成模塊 83.2.4 Java及時編譯模塊83.2.5 API函數(shù)構(gòu)造模塊 83.2.6 API對外服務(wù)宿主模塊 83.2.7 訪問及安全控制

2、模塊 83.3 規(guī)則邏輯層93.3.1 邏輯控制管理模塊 93.3.2 邏輯規(guī)則生成模塊 93.3.3 邏輯規(guī)則控制宿主模塊 93.3.4 邏輯規(guī)則狀態(tài)監(jiān)控模塊 93.4 數(shù)據(jù)連接管理模塊 93.4.1 數(shù)據(jù)連接管理模塊 9342數(shù)據(jù)連接模塊 103.5 客戶端連接104 大致技術(shù)纟田節(jié)定義和約定 104.1 接口約定104.2 可擴展性約定115 總結(jié)116 參考111描述以及約定1.1約定應(yīng)用，在本文中的應(yīng)用是指一個即plication ,他可以是一個 windows應(yīng)用程序，也可以是一個 web站點，也可以是一個移動終端應(yīng)用程序。1.1.2 ws服務(wù)，在文本中是指 Web Service

3、s服務(wù)1.1.3 CXF類庫，是指 Apache CXF Services Framework 1.2問題的提出現(xiàn)在的企業(yè)中存在各種應(yīng)用（系統(tǒng)）和各種數(shù)據(jù)存儲需求，但是各個應(yīng)用之 間的數(shù)據(jù)不能實現(xiàn)可控的數(shù)據(jù)共享，而且各個應(yīng)用之間由于涉及到開發(fā)技術(shù)以及和環(huán)境的限制也為企業(yè)的數(shù)據(jù)共享設(shè)置了障礙，這種現(xiàn)狀阻礙了企業(yè)各個應(yīng)用之間和數(shù)據(jù)交換和共享，也阻礙了企業(yè)對數(shù)據(jù)可控，數(shù)據(jù)管理，數(shù)據(jù)安全方面的需 求，那么我們就需要有一種具有無關(guān)平臺，無關(guān)應(yīng)用，無關(guān)空間邏輯的一種數(shù)據(jù) 集成和分配的系統(tǒng)，來管理企業(yè)現(xiàn)有的數(shù)據(jù)調(diào)用-數(shù)據(jù)總線1.3數(shù)據(jù)總線定義數(shù)據(jù)總線（DataBus）是集成各個原始數(shù)據(jù)庫并對外提供一種有規(guī)則

4、的，可控的數(shù)據(jù)鏈接存儲服務(wù)1.4實現(xiàn)目標(biāo)集成原始數(shù)據(jù)庫，能夠?qū)ΜF(xiàn)有的數(shù)據(jù)庫進行添加，刪除操作對外進行數(shù)據(jù)存儲服務(wù)功能，能夠?qū)ν獠繑?shù)據(jù)存儲服務(wù)，包括數(shù)據(jù)查詢，數(shù)據(jù)刪除，數(shù)據(jù)修改，數(shù)據(jù)存儲過程以及函數(shù)的執(zhí)行對應(yīng)用來源（訪問者）進行管理，能夠?qū)?yīng)用來源進行添加，啟用，停用，授權(quán)，更改授權(quán)，刪除等操作能夠新增，刪除，修改API函數(shù)，能新增，修改，刪除，啟用，停用 API函數(shù)，以實現(xiàn)對外部調(diào)用的響應(yīng)的邏輯控制，這些API的類型包括數(shù)據(jù)庫的查詢，修改，刪除，存儲過程以及函數(shù)執(zhí)行等數(shù)據(jù)庫操作對訪問者的操作可控，能夠?qū)υL問者的進行權(quán)限控制，包括查詢，修改，刪除操作的庫范圍，表范圍，行范圍，列范圍的的執(zhí)行權(quán)限，

5、以及對訪問的操作的時間進行控制，如可以對來源為新企的應(yīng)用定義為只能在數(shù)據(jù)庫A的ta,tb表進行全時段的訪問，而對于表 tc, td可以在12:00到18: 00進行修改 和刪除操作對訪問記錄可查詢，可監(jiān)控，能夠?qū)Ω鱾€訪問者的操作記錄進行歷史查詢，和實時的監(jiān)控訪問者的操作連接安全措施，能有有效的加密連接，保證即使網(wǎng)絡(luò)被監(jiān)聽情況也能保證數(shù)據(jù)的安全性，完整性，可校驗性跨平臺，跨語言，跨空間特性，能有效的支持任何平臺和任何語言的遠程調(diào)用數(shù)據(jù)安全隔離，能夠有效的隔離訪問者對數(shù)據(jù)的直接操作，保證數(shù)據(jù)的安全性2技術(shù)框架2.1總線程序物理層級架構(gòu)新企靈狐中鐵企業(yè)數(shù)據(jù)總線（企業(yè)信息總線）數(shù)據(jù)庫1數(shù)據(jù)庫2數(shù)據(jù)庫3

6、數(shù)據(jù)庫42.2總線程序物理拓撲結(jié)構(gòu)數(shù)據(jù)庫服務(wù)器I1數(shù)據(jù)庫服務(wù)器數(shù)據(jù)庫服務(wù)器3務(wù) 器 調(diào) 用 數(shù) 據(jù) 庫 的 數(shù) 據(jù) 實 現(xiàn) 數(shù) 據(jù) 的 鏈 接 存 儲總線服艮務(wù)器企業(yè)總線管理員負 責(zé)分配維護API函 數(shù)，以及規(guī)則的定 制2.3總線程序架構(gòu)邏輯模塊層級視圖各 個 企 業(yè) 的 應(yīng) 用 調(diào)用 總 線API 實 現(xiàn) 系 統(tǒng) 運 作新企服務(wù)器靈狐服務(wù)器靈狐服務(wù)器中鐵服務(wù)器用戶終端用戶終端用戶終端ri 用戶終端用戶終端用戶終端總線管理員企業(yè)應(yīng)用訪問來源以及連接安全審計（Secu rity Checker）企業(yè)數(shù)據(jù)庫.-I2.4總線程序架構(gòu)數(shù)據(jù)流邏輯視圖中鐵新企靈狐數(shù)據(jù)庫訪問層(Database Suppo

7、rt) «-請求符合、的h API函數(shù)請求符合口 口U 八LI函API函數(shù)服務(wù)宿主（API HOST）、士p*、uu 請求邏 輯層響 應(yīng)請求不可操作返回原因訪問邏輯控制層（Business Control請求調(diào) 用數(shù)據(jù)數(shù)據(jù)庫調(diào)用3程序模塊說明3.1模塊圖示3.2服務(wù)宿主 API層公共查詢模塊描述，公共查詢模塊，負責(zé)查詢現(xiàn)有 API實例，包括狀態(tài)，函數(shù)參數(shù) 說明，示例代碼，服務(wù)控制人，調(diào)用方等信息實現(xiàn)邏輯，主要根據(jù)系統(tǒng)中的API對外提供查詢服務(wù)，讓調(diào)用方能夠得到技術(shù)支持3.2.2 API實例管理模塊描述，API實例管理模塊，負責(zé)管理API實例的發(fā)布，啟用狀態(tài)，訪問 信息，訪問權(quán)限控制，

8、狀態(tài)查詢等3.222實現(xiàn)邏輯，通過 API實例管理模塊實現(xiàn)API實例的維護，控制等，能有讓管理員控制 API實例3.2.3 API接口及類生成模塊描述，API接口及類生成模塊，能夠根據(jù)管理模塊的指令生成API發(fā)布所需的接口和類的 Java代碼實現(xiàn)邏輯，根據(jù)程序的接口定義以及通用類來實現(xiàn)，自動生成可編譯的Java代碼3.2.4 Java及時編譯模塊描述，Java及時編譯模塊，能夠根據(jù)指定的Java文件和構(gòu)建路徑，編譯Java代碼為 Class或是Object3.242實現(xiàn)邏輯，使用jdk 提供的 JavaCompiler，采用重寫 SimpleJavaFileObject，F(xiàn)orward in

9、gJavaFileMa nager，URLCIassLoade的方 式自定義編譯 java代碼為 Class使用DynamicClassLoader實現(xiàn)動態(tài)實 例對象3.2.5 API函數(shù)構(gòu)造模塊描述，API函數(shù)構(gòu)造模塊，能夠?qū)崿F(xiàn)API函數(shù)的構(gòu)造和發(fā)布功能，可將 構(gòu)造的API函數(shù)發(fā)送的API宿主模塊實現(xiàn)邏輯，使用 CXF類庫提供的ServerFactoryBean構(gòu)造服務(wù)元，并在 構(gòu)造過程中添加攔截器回調(diào)和訪問邏輯，以實現(xiàn)安全功能3.2.6 API對外服務(wù)宿主模塊描述，API對外服務(wù)宿主模塊，能提供webServices服務(wù)讓外部從指定的入口點進行訪問，從而提供服務(wù)實現(xiàn)邏輯，通過構(gòu)建模塊構(gòu)建S

10、erverFactoryBean,使用 Create產(chǎn)生Server，配置按照構(gòu)建模塊的定義配置Endpoint，實現(xiàn)ws服務(wù)來提供外部訪問訪問及安全控制模塊描述，訪問及安全控制模塊為API宿主模塊的回調(diào)，它按照安全連接的規(guī)則定義，進行安全認證，可實現(xiàn) x509證書，UserToken,自定義 密匙的方式的認證實現(xiàn)邏輯，按照API宿主模塊定義的Endpoint的InInterceptor，OutInterceptor的回調(diào)，來實現(xiàn)輸出和輸入的認證和處理3.2.7.3 圖示3.3規(guī)則邏輯層邏輯控制管理模塊描述，此模塊能夠維護邏輯規(guī)則，添加，刪除，啟用，停用邏輯規(guī)則 層，以及獲取邏輯規(guī)則宿主的運作

11、狀態(tài)實時信息和日志實現(xiàn)邏輯，通過配置邏輯規(guī)則宿主的入口和各個邏輯規(guī)則層實現(xiàn)邏輯規(guī)則的控制，通過調(diào)用狀態(tài)監(jiān)控模塊實現(xiàn)狀態(tài)和日志的讀取邏輯規(guī)則生成模塊描述，能夠響應(yīng)邏輯控制模塊的調(diào)用，生成邏輯規(guī)則控制模塊的指定的控制規(guī)則，并添加的邏輯控制宿主，實現(xiàn)邏輯規(guī)則的添加3.322實現(xiàn)邏輯，根據(jù)程序定義的接口和通用類生成規(guī)則類的實例，并添加 到邏輯控制宿主邏輯規(guī)則控制宿主模塊描述，此模塊能提供唯一入口點，供外部調(diào)用，并通過工廠反射的模 式，松耦合的形式調(diào)用順序的調(diào)用邏輯規(guī)則層，每一個邏輯規(guī)則層會 按照程序定義接口進行執(zhí)行并返回實現(xiàn)邏輯，通過唯一的入口點調(diào)用實現(xiàn)集成控制，并在入口點執(zhí)行環(huán) 境通過ClassLo

12、ader來實例規(guī)則層并且調(diào)用來實現(xiàn)規(guī)則的控制邏輯規(guī)則狀態(tài)監(jiān)控模塊描述，此模塊通過邏輯規(guī)則控制宿主模塊入口的回調(diào)來實現(xiàn)狀態(tài)的讀 取，并記錄日志信息，以實現(xiàn)所有操作的可回溯實現(xiàn)邏輯，此模塊定義唯一無阻攔式回調(diào)函數(shù)，供宿主模塊入口點回 調(diào)，通過函數(shù)的回調(diào)信息，獲取當(dāng)前狀態(tài)并記錄和處理3.4數(shù)據(jù)連接管理模塊數(shù)據(jù)連接管理模塊描述，此模塊能夠管理數(shù)據(jù)數(shù)據(jù)庫實例的掛載和卸載，數(shù)據(jù)庫驅(qū)動的 添加，并調(diào)用數(shù)據(jù)連接模塊實現(xiàn)數(shù)據(jù)庫操作的掛起實現(xiàn)邏輯，通過配置指定的數(shù)據(jù)庫實例信息和開關(guān)，以供連接模塊的調(diào)用，來實現(xiàn)連接數(shù)據(jù)庫的控制342數(shù)據(jù)連接模塊342.1描述，此模塊指定唯一的入口點供調(diào)用來實現(xiàn)數(shù)據(jù)庫的操作342.2

13、實現(xiàn)邏輯，通過管理模塊配置信息和入口調(diào)用信息，來判斷數(shù)據(jù)庫的連接類型并動態(tài)載入連接驅(qū)動，通過驅(qū)動模塊操作數(shù)據(jù)庫3.5客戶端連接連接方式，客戶端通過 soap協(xié)議，調(diào)用API實現(xiàn)數(shù)據(jù)庫的訪問訪問安全，客戶端通過私匙（或證書）加密， IP, MAC,密碼信息到服務(wù)端, 服務(wù)端認證后提供服務(wù)，客戶端接受傳入連接需要驗證通過客戶端私匙加密服務(wù)端的IP，MAC，密碼信息，這樣就是實現(xiàn)了傳入和傳出安全驗證通過平臺化，客戶端提供各種語言（。 Net，java，VC）的幫助類庫，輔助客 戶端完成訪問，客戶端可以完全不關(guān)心實現(xiàn)邏輯（當(dāng)然客戶也可以自定義訪 問，以為soap協(xié)議是通用的）4大致技術(shù)細節(jié)定義和約定4

14、.1接口約定API操作返回結(jié)果?接口 ？特性特性操作操作特性特性特性操作操作操作實現(xiàn)方式，通過API函數(shù)的參數(shù)實現(xiàn)傳入?yún)?shù)的指定，當(dāng)執(zhí)行結(jié)果為數(shù)據(jù)集的時候返回DataTableResult，當(dāng)執(zhí)行單值返回結(jié)果是返回Sin gleResult，當(dāng)執(zhí)仃無返回結(jié)果是返回VoidResult傳入?yún)?shù)控制，每個函數(shù)的傳入?yún)?shù)必須的原子數(shù)據(jù)類型，int，string等大數(shù)據(jù)量性能控制，系統(tǒng)單次最大返回的數(shù)據(jù)元素數(shù)量為5000行*500 列,以避免程序形成資源鎖異?？刂?，在系統(tǒng)中會使用外圍異?？刂疲圆粫?dǎo)致程序崩潰，程序會 打印所有異常信息到異常信息記錄中，以被查閱和調(diào)試轉(zhuǎn)載11 / 11系統(tǒng)穩(wěn)定性，需測試最高壓力為企業(yè)實際業(yè)務(wù)數(shù)據(jù)量的3-5倍數(shù)據(jù)請求壓力驗證4.2可擴展性約定能夠在不更改系統(tǒng)邏輯框架的范圍內(nèi)，進行后期開發(fā)，并為后期開發(fā)預(yù)留可擴展接口和模塊5總結(jié)5.1數(shù)據(jù)總線系統(tǒng)能有效的解決企業(yè)數(shù)據(jù)管理松散，數(shù)據(jù)共享，數(shù)據(jù)安全，系統(tǒng)整