企業(yè)數(shù)據(jù)開放平臺(tái)建設(shè)思路.doc

企業(yè)數(shù)據(jù)開放平臺(tái)建設(shè)思路 摘要：隨著企業(yè)信息系統(tǒng)的運(yùn)營及發(fā)展，與外圍平臺(tái)間的數(shù)據(jù)共享越來越密切，越來越多的企業(yè)信息系統(tǒng)將會(huì)開放內(nèi)部核心數(shù)據(jù)資源，提供給第三方系統(tǒng)接入，便于共同開發(fā)數(shù)據(jù)資源。那么設(shè)計(jì)一個(gè)開放數(shù)據(jù)提供平臺(tái)， 把自己的數(shù)據(jù)資源準(zhǔn)確及時(shí)的推送給第三方系統(tǒng)尤為迫切。企業(yè)數(shù)據(jù)開放平臺(tái)的管理系統(tǒng)主要負(fù)責(zé)系統(tǒng)中各類數(shù)據(jù)的維護(hù)與管理，其中數(shù)據(jù)同步模塊是企業(yè)數(shù)據(jù)開放平臺(tái)的重要組成部分。 關(guān)鍵詞：企業(yè)數(shù)據(jù) 開放平臺(tái) 設(shè)計(jì) 中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2015）04-0195-02 企業(yè)數(shù)據(jù)開放平臺(tái)是以提供基礎(chǔ)數(shù)據(jù)服務(wù)為目的，為下游接入的子系統(tǒng)，提供標(biāo)準(zhǔn)化的接口，并實(shí)現(xiàn)與數(shù)據(jù)開放相關(guān)的運(yùn)營管理；整個(gè)系統(tǒng)分為上游數(shù)據(jù)源管理、下游接入系統(tǒng)管理，鑒權(quán)服務(wù)，數(shù)據(jù)同步服務(wù)等組成部分。上游數(shù)據(jù)源管理主要對(duì)數(shù)據(jù)提供方配置數(shù)據(jù)過濾規(guī)則，經(jīng)過加工轉(zhuǎn)換之后換成開放平臺(tái)的標(biāo)準(zhǔn)格式數(shù)據(jù)。下游接入系統(tǒng)管理主要為接入方配置所需的數(shù)據(jù)模型，配置數(shù)據(jù)同步規(guī)則。鑒權(quán)服務(wù)主要對(duì)下游系統(tǒng)頒發(fā)訪問令牌，只有通過合法授權(quán)才能正常訪問數(shù)據(jù)。數(shù)據(jù)同步服務(wù)是數(shù)據(jù)開放平臺(tái)最復(fù)雜及最核心的功能模塊，完好的同步機(jī)制能保證數(shù)據(jù)同步的完整性、及時(shí)性及正確性。 1 數(shù)據(jù)開放平臺(tái)組成 圖1顯示了企業(yè)數(shù)據(jù)開放平臺(tái)功能模塊及上下游系統(tǒng)的關(guān)系。 從圖1可以看到完整數(shù)據(jù)開放平臺(tái)的全貌，最頂層的是上游系統(tǒng)，上游系統(tǒng)是數(shù)據(jù)源，提供基礎(chǔ)數(shù)據(jù)，通過數(shù)據(jù)適配層的數(shù)據(jù)轉(zhuǎn)換，把數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)中心。下游系統(tǒng)通過數(shù)據(jù)開放平臺(tái)提供的數(shù)據(jù)同步服務(wù)取得數(shù)據(jù)資源。由此可見數(shù)據(jù)適配器及數(shù)據(jù)同步模塊起承上啟下的作用，是數(shù)據(jù)開放平臺(tái)重點(diǎn)建設(shè)的功能模塊。 2 數(shù)據(jù)適配器的設(shè)計(jì)思路。 由于數(shù)據(jù)由多個(gè)上游系統(tǒng)產(chǎn)生。不同的上游系統(tǒng)提供的硬件設(shè)施、網(wǎng)絡(luò)環(huán)境、數(shù)據(jù)庫管理系統(tǒng)，業(yè)務(wù)支撐系統(tǒng)、業(yè)務(wù)規(guī)范等很有可能都不一樣，單一的依賴傳統(tǒng)系統(tǒng)軟件或工具已不能滿足數(shù)據(jù)同步的需求，迫切需要設(shè)計(jì)一種企業(yè)級(jí)的應(yīng)用解決方案，能夠屏蔽復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)關(guān)系，使不同的網(wǎng)元間數(shù)據(jù)簡單順暢的流動(dòng)到企業(yè)數(shù)據(jù)開放平臺(tái)。數(shù)據(jù)適配器主要功能就是對(duì)上游系統(tǒng)提供統(tǒng)一的數(shù)據(jù)訪問接口，對(duì)下直接與企業(yè)數(shù)據(jù)開放平臺(tái)的數(shù)據(jù)庫交互。 2.1 在系統(tǒng)支撐上數(shù)據(jù)適配器設(shè)計(jì)要求包括以下幾個(gè)原則 與平臺(tái)無關(guān)性：無論上游數(shù)據(jù)庫管理系統(tǒng)處于何種環(huán)境，都能通過調(diào)用平臺(tái)開放的接口，把數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)中心。 可擴(kuò)展性：設(shè)計(jì)的適配器能滿足后續(xù)業(yè)務(wù)的擴(kuò)展。如：能在不改變現(xiàn)有接口的協(xié)議上支持?jǐn)?shù)據(jù)中心表字段的增加。 可復(fù)用性：設(shè)計(jì)的適配器除了滿足現(xiàn)有的接入的上游系統(tǒng)之外，能滿足后續(xù)更多接入的上游系統(tǒng)。 2.2 在業(yè)務(wù)及管理上數(shù)據(jù)適配器設(shè)計(jì)要求包括以下幾個(gè)原則 支持?jǐn)?shù)據(jù)規(guī)則的配置。系統(tǒng)能靈活支持不同的上游系統(tǒng)不同的數(shù)據(jù)過濾規(guī)則。數(shù)據(jù)適配器在接收到上游系統(tǒng)的數(shù)據(jù)時(shí)，從配置規(guī)則里匹對(duì)所需要的數(shù)據(jù) ，只有復(fù)合規(guī)則的數(shù)據(jù)才進(jìn)行入庫保存。 支持?jǐn)?shù)據(jù)的轉(zhuǎn)換。上游系統(tǒng)通過適配器同步數(shù)據(jù)時(shí)，對(duì)于特殊字段的值能夠根據(jù)配置的轉(zhuǎn)換邏輯進(jìn)行個(gè)性處理，以便兼容到上游系統(tǒng)的特殊業(yè)務(wù)。 支持?jǐn)?shù)據(jù)的加工。上流系統(tǒng)同步數(shù)據(jù)時(shí)，對(duì)于不完整的數(shù)據(jù)，適配器能夠自動(dòng)根據(jù)配置的數(shù)據(jù)加工邏輯，對(duì)數(shù)據(jù)進(jìn)行自動(dòng)填充處理，使數(shù)據(jù)達(dá)到完整性。 不能隨便變更數(shù)據(jù)中心的業(yè)務(wù)約束。業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)規(guī)則應(yīng)以數(shù)據(jù)中心的為準(zhǔn)。當(dāng)上游系統(tǒng)與數(shù)據(jù)中心的業(yè)務(wù)約束有沖突時(shí)，數(shù)據(jù)中心應(yīng)該把這部分?jǐn)?shù)據(jù)進(jìn)行屏蔽或過濾處理。 3 數(shù)據(jù)同步的設(shè)計(jì)思路 數(shù)據(jù)中心的下游系統(tǒng)，是數(shù)據(jù)消費(fèi)者。下游系統(tǒng)通過數(shù)據(jù)開放平臺(tái)的同步機(jī)制來獲取數(shù)據(jù)，因此設(shè)計(jì)可靠穩(wěn)定及時(shí)的數(shù)據(jù)同步機(jī)制是數(shù)據(jù)同步建設(shè)的目標(biāo)。數(shù)據(jù)同步建設(shè)的思路包括以下幾點(diǎn)： （1）對(duì)于所有下游系統(tǒng)必須經(jīng)過合法授權(quán)才能訪問數(shù)據(jù)。 （2）對(duì)于所有下游系統(tǒng)必須要限定訪問數(shù)據(jù)的范圍和訪問的頻率，防止不必要的數(shù)據(jù)傳輸及過于頻繁的請(qǐng)求訪問，造成數(shù)據(jù)中心服務(wù)器壓力問題。 （3）數(shù)據(jù)中心不允許下游系統(tǒng)反向更新數(shù)據(jù)，數(shù)據(jù)的錄入及更新都在數(shù)據(jù)中心的上游系統(tǒng)執(zhí)行。 3.1 同步機(jī)制的選擇，以下兩種是業(yè)界常用的數(shù)據(jù)同步方案 3.1.1 主動(dòng)同步的方案 具體來說由數(shù)據(jù)中心主動(dòng)發(fā)起同步 流程如下 （1）數(shù)據(jù)中心向下游系統(tǒng)發(fā)通知，告知下游系統(tǒng)數(shù)據(jù)有更新； （2）下游系統(tǒng)收到通知后向數(shù)據(jù)更新請(qǐng)求數(shù)據(jù)； （3）數(shù)據(jù)中心收到請(qǐng)求數(shù)據(jù)后，向下游系統(tǒng)發(fā)送數(shù)據(jù)； （4）下游系統(tǒng)收到數(shù)據(jù)后進(jìn)行入庫保存。 3.1.2 被動(dòng)同步方案 具體來說由下游系統(tǒng)主動(dòng)發(fā)起數(shù)據(jù)同步的請(qǐng)求 流程如下 （1）下游系統(tǒng)向數(shù)據(jù)中心發(fā)起數(shù)據(jù)更新請(qǐng)求； （2）數(shù)據(jù)中心收到請(qǐng)求后，向下游系統(tǒng)發(fā)送數(shù)據(jù)； （3）下游系統(tǒng)收到數(shù)據(jù)后進(jìn)行入庫保存。 數(shù)據(jù)同步模塊應(yīng)該建立監(jiān)控機(jī)制。監(jiān)控包括性能監(jiān)控、業(yè)務(wù)監(jiān)控、預(yù)警等，主要監(jiān)控?cái)?shù)據(jù)請(qǐng)求、數(shù)據(jù)處理、系統(tǒng)壓力三個(gè)方面。并提供預(yù)警機(jī)制，通過配置相關(guān)預(yù)警規(guī)則、實(shí)現(xiàn)業(yè)務(wù)異常的展現(xiàn)及處理等。 4 規(guī)范管理 4.1 制定標(biāo)準(zhǔn)接口協(xié)議規(guī)范 Web service是一個(gè)平臺(tái)獨(dú)立的，低耦合的，自包含的、基于可編程的web的應(yīng)用程序，可使用開放的XML（標(biāo)準(zhǔn)通用標(biāo)記語言下的一個(gè)子集）標(biāo)準(zhǔn)來描述、發(fā)布、發(fā)現(xiàn)、協(xié)調(diào)和配置這些應(yīng)用程序，用于開發(fā)分布式的互操作的應(yīng)用程序。對(duì)于數(shù)據(jù)適配器及數(shù)據(jù)同步接口非常適合采Web service的形式。 4.2 制定全流程管理規(guī)范 無論是上游系統(tǒng)、還是下游系統(tǒng)從零開始到成功接入到數(shù)據(jù)開放平臺(tái)必定會(huì)有涉及以下內(nèi)容： （1）業(yè)務(wù)評(píng)估。對(duì)于上游系統(tǒng)，企業(yè)數(shù)據(jù)開放平臺(tái)必須充分評(píng)估上游系統(tǒng)的數(shù)據(jù)是否是數(shù)據(jù)中心需要的數(shù)據(jù)。對(duì)于下游系統(tǒng)，企業(yè)數(shù)據(jù)開放平臺(tái)應(yīng)該協(xié)助下游系統(tǒng)，評(píng)估數(shù)據(jù)中心的提供數(shù)據(jù)能否滿足下游系統(tǒng)的業(yè)務(wù)要求。 （2）同步方案的選擇。原則上無論是上游還是下游系統(tǒng)，均以數(shù)據(jù)開放平臺(tái)的標(biāo)準(zhǔn)接口協(xié)議來實(shí)現(xiàn)數(shù)據(jù)的同步。不允許為了某個(gè)下游系統(tǒng)而改變現(xiàn)有的同步機(jī)制。但如果某個(gè)上游系統(tǒng)過于強(qiáng)勢(shì)，已經(jīng)有成熟的數(shù)據(jù)同步解決方案時(shí)，可以在數(shù)據(jù)適配器與此上游系統(tǒng)之間架設(shè)一層數(shù)據(jù)中轉(zhuǎn)后臺(tái)，這個(gè)數(shù)據(jù)中轉(zhuǎn)后臺(tái)等于為此上游系統(tǒng)單獨(dú)服務(wù)的，用于平滑它的接入，數(shù)據(jù)適配器直接對(duì)接這個(gè)數(shù)據(jù)中轉(zhuǎn)后臺(tái)。 （3）接入配置。系統(tǒng)應(yīng)該設(shè)計(jì)有接入方的管理功能，對(duì)于上游系統(tǒng)能夠配置數(shù)據(jù)適配置器的過濾規(guī)則、數(shù)據(jù)的轉(zhuǎn)換規(guī)則、容錯(cuò)處理規(guī)則等。對(duì)于下游系統(tǒng)能夠配置數(shù)據(jù)消費(fèi)者需要哪些數(shù)據(jù)、數(shù)據(jù)消費(fèi)者的授權(quán)碼，數(shù)據(jù)加密的密鑰、消費(fèi)者IP等等。 （4）配合上下游系統(tǒng)的開發(fā)聯(lián)調(diào)實(shí)施。對(duì)于上游系統(tǒng)接入，需要驗(yàn)證上游系統(tǒng)同步過來的數(shù)據(jù)是否正確入庫，入庫的數(shù)據(jù)能否正常流轉(zhuǎn)到下游系統(tǒng)。如果開放平臺(tái)還為上游系統(tǒng)獨(dú)立開發(fā)了數(shù)據(jù)中轉(zhuǎn)后臺(tái)，還需要驗(yàn)證上游的業(yè)務(wù)系統(tǒng)是否正確的把數(shù)據(jù)同步到數(shù)據(jù)中轉(zhuǎn)后臺(tái)。對(duì)于下游系統(tǒng)，一般需要驗(yàn)證數(shù)據(jù)中心的數(shù)據(jù)是否正常流轉(zhuǎn)到下游系統(tǒng)，一般而言開發(fā)的聯(lián)調(diào)工作在于下游系統(tǒng)，但也需要數(shù)據(jù)開放平臺(tái)配合實(shí)施。 （5）上線前數(shù)據(jù)割接。對(duì)于上游接入的系統(tǒng)，需要把上游存量數(shù)據(jù)做一次割接。上游系統(tǒng)割接數(shù)據(jù)之后，數(shù)據(jù)中心會(huì)把數(shù)據(jù)復(fù)制多份給下游系統(tǒng)，系統(tǒng)順間暴發(fā)巨量的數(shù)據(jù)同步，對(duì)于數(shù)據(jù)中心性能會(huì)是一個(gè)考驗(yàn)。因此割接宜在系統(tǒng)壓力最輕的時(shí)間段內(nèi)執(zhí)行（如晚上10點(diǎn)過后）。另外在割接上游系統(tǒng)的數(shù)據(jù)時(shí)務(wù)必保證數(shù)據(jù)的正確性，如果數(shù)據(jù)割接存在問題那么造成數(shù)據(jù)回滾的成本會(huì)相當(dāng)大。對(duì)于下游系統(tǒng)，系統(tǒng)上線前宜采用文件的形式做一次歷史數(shù)據(jù)的全量割接，這樣對(duì)數(shù)據(jù)中心的壓力是最小的。 （6）上線后的運(yùn)營管理。無論是上游系統(tǒng)，還是下游系統(tǒng)，在運(yùn)營過程中肯定會(huì)提出很多優(yōu)化建議或業(yè)務(wù)需求。對(duì)于這些建