TDM系統(tǒng)中數(shù)據(jù)導(dǎo)入功能的設(shè)計(jì)和實(shí)現(xiàn)

TDM系統(tǒng)中數(shù)據(jù)導(dǎo)入功能的設(shè)計(jì)和實(shí)現(xiàn)

摘要:TDM系統(tǒng)的數(shù)據(jù)導(dǎo)入功能需要采用三層結(jié)構(gòu)以適應(yīng)保密需求;數(shù)據(jù)導(dǎo)入性能是關(guān)鍵指標(biāo)，而Oracle數(shù)據(jù)庫(kù)系統(tǒng)的外部表特性可以大大提高數(shù)據(jù)導(dǎo)入性能。

關(guān)鍵詞:試驗(yàn)數(shù)據(jù)管理;TDM;數(shù)據(jù)導(dǎo)入;ETL

1背景

進(jìn)入到21世紀(jì)以來(lái)，我國(guó)的TDM(試驗(yàn)數(shù)據(jù)管理)技術(shù)領(lǐng)域展現(xiàn)出蓬勃的生機(jī)，越來(lái)越多的行業(yè)和單位開(kāi)始關(guān)注該技術(shù)和相關(guān)的解決方案，如航空、航天、兵器、船舶、汽車等。TDM系統(tǒng)正在成為企業(yè)提高試驗(yàn)管理水平、縮短科研周期、降低科研經(jīng)費(fèi)的重要手段。

作為一個(gè)綜合數(shù)字化管理平臺(tái)，TDM系統(tǒng)涉及很多復(fù)雜的功能和技術(shù)，而數(shù)據(jù)導(dǎo)入功能就是其中之一。

試驗(yàn)數(shù)據(jù)導(dǎo)入功能就是從各種格式的海量試驗(yàn)數(shù)據(jù)文件中快速提取目標(biāo)數(shù)據(jù)、再轉(zhuǎn)換清洗后裝載到數(shù)據(jù)庫(kù)中。

目前試驗(yàn)數(shù)據(jù)管理的需求狀況決定了數(shù)據(jù)導(dǎo)入功能的重要性。

(1)試驗(yàn)數(shù)據(jù)格式多變

目前國(guó)際和國(guó)內(nèi)的試驗(yàn)數(shù)據(jù)采集設(shè)備多種多樣，并且還沒(méi)有形成統(tǒng)一的標(biāo)準(zhǔn)，而且許多客戶單位也大量采用非標(biāo)設(shè)備，于是采集的試驗(yàn)數(shù)據(jù)格式也就多種多樣。這對(duì)TDM系統(tǒng)的導(dǎo)入功能帶來(lái)了很多的挑戰(zhàn)。

(2)試驗(yàn)數(shù)據(jù)量很大

試驗(yàn)作為產(chǎn)品研發(fā)生命周期的重要工作，其地位日漸增強(qiáng)，試驗(yàn)產(chǎn)生的數(shù)據(jù)量也呈幾何數(shù)量級(jí)增長(zhǎng)。TDM系統(tǒng)的導(dǎo)入性能也就成為一個(gè)關(guān)鍵指標(biāo)。

2數(shù)據(jù)導(dǎo)入功能特點(diǎn)

同許多ETL工具一樣，TDM系統(tǒng)的導(dǎo)入功能包括extract(抽取)、transfer(轉(zhuǎn)換)、clean(清洗)和load(裝載)等幾個(gè)步驟。

但是，試驗(yàn)數(shù)據(jù)管理的特殊需求決定了它又具有自身的特點(diǎn)。除了前面提到的數(shù)據(jù)格式多樣、數(shù)據(jù)量大之外，單位保密要求對(duì)于產(chǎn)品架構(gòu)設(shè)計(jì)產(chǎn)生了很大的影響。

許多單位，尤其是國(guó)防單位，都有嚴(yán)格的保密制度。在信息化系統(tǒng)的部署方面，普通用戶計(jì)算機(jī)一般是不允許直接訪問(wèn)數(shù)據(jù)庫(kù)的，只有指定的服務(wù)器才有權(quán)限直接訪問(wèn)數(shù)據(jù)庫(kù)。這就決定了傳統(tǒng)的C/S兩層結(jié)構(gòu)不能適應(yīng)客戶需求，B/S三層結(jié)構(gòu)則成為必須的選擇。

3三層結(jié)構(gòu)解決方案

我們把系統(tǒng)分為三層結(jié)構(gòu):用戶層、應(yīng)用層和數(shù)據(jù)層，如圖1所示。其中用戶層為數(shù)據(jù)導(dǎo)入客戶端工具;應(yīng)用層為基于J2EE平臺(tái)的應(yīng)用服務(wù)器和FTP服務(wù)器，J2EE服務(wù)器提供WebService，包括WebService和JavaBeans等J2EE組件;FTP服務(wù)器提供對(duì)上傳文件的管理功能，并提供多線程的文件