CNONIX標(biāo)準(zhǔn)符合性測試平臺研發(fā)與應(yīng)用

1、    cnonix標(biāo)準(zhǔn)符合性測試平臺研發(fā)與應(yīng)用    劉高軍摘 要：本文通過對cnonix標(biāo)準(zhǔn)以及出版發(fā)行產(chǎn)業(yè)鏈數(shù)據(jù)交換需求的分析，提出了基于cnonix標(biāo)準(zhǔn)的符合性測試方法，重點對具有相關(guān)性關(guān)系數(shù)據(jù)元素進行研究分類，以此為基礎(chǔ)構(gòu)建cnonix標(biāo)準(zhǔn)符合性測試平臺，平臺流程和功能滿足測試規(guī)范要求，并對后續(xù)進一步數(shù)據(jù)質(zhì)量檢查進行了探討。關(guān)鍵詞：cnonix 數(shù)據(jù)元素相關(guān)性 標(biāo)準(zhǔn)符合性測試中國出版物在線信息交換圖書產(chǎn)品信息格式規(guī)范（gb/t 30330-2013，簡稱cnonix國家標(biāo)準(zhǔn)）是依據(jù)國際onix（online information exchan

2、ge在線信息交換的縮寫，是一套國際通用的出版物產(chǎn)品信息交換格式規(guī)范）標(biāo)準(zhǔn)研制的、適用于中國國情的圖書產(chǎn)品在線信息交換格式規(guī)范，該規(guī)范描述了圖書、連續(xù)出版物以及數(shù)字出版產(chǎn)品的基礎(chǔ)信息和貿(mào)易信息的交換格式。cnonix國家標(biāo)準(zhǔn)2014年批準(zhǔn)頒布實施，其目標(biāo)是：為我國出版發(fā)行供應(yīng)鏈上的出版商、發(fā)行商、數(shù)據(jù)集成商和圖書館等各類機構(gòu)提供完整的、規(guī)范的、準(zhǔn)確的和及時的圖書產(chǎn)品信息和相關(guān)的貿(mào)易信息；實現(xiàn)產(chǎn)業(yè)鏈上圖書信息的互聯(lián)互通；通過圖書信息的交換，促進圖書產(chǎn)品的流通效率，實現(xiàn)圖書產(chǎn)品信息的一次制作、多方應(yīng)用，降低圖書產(chǎn)品信息加工成本，提高全行業(yè)的圖書產(chǎn)品信息質(zhì)量和應(yīng)用水平。為了達到這一目標(biāo)，原國家新聞出版

3、廣電總局在cnonix應(yīng)用推廣中采用試點、示范和全領(lǐng)域推廣的三步走戰(zhàn)略，啟動了“cnonix國家標(biāo)準(zhǔn)應(yīng)用試點示范工作工程”項目。2015年開始，遴選了第一批22家信息化基礎(chǔ)較好的出版發(fā)行單位作為cnonix標(biāo)準(zhǔn)的應(yīng)用推廣示范單位。建立了集團級的數(shù)據(jù)交換平臺，對集團內(nèi)部的出版、發(fā)行業(yè)務(wù)系統(tǒng)按cnonix標(biāo)準(zhǔn)進行了改造，實現(xiàn)了集團內(nèi)部的標(biāo)簽統(tǒng)一、代碼統(tǒng)一、數(shù)據(jù)元素統(tǒng)一，出版數(shù)據(jù)及時、完整、準(zhǔn)確地交換給相關(guān)的發(fā)行單位和數(shù)據(jù)服務(wù)公司，發(fā)行單位不必再重新做數(shù)據(jù)，發(fā)行的銷售、退貨、庫存數(shù)據(jù)及時反饋回出版單位，數(shù)據(jù)加工部門以出版數(shù)據(jù)為基礎(chǔ)，進一步完善市場營銷數(shù)據(jù)，形成了完整的數(shù)據(jù)生態(tài)鏈。同時在cnonix標(biāo)

4、準(zhǔn)示范推廣過程中，產(chǎn)生了多項相關(guān)的行業(yè)標(biāo)準(zhǔn)、工程標(biāo)準(zhǔn)及企業(yè)標(biāo)準(zhǔn)。為了進一步推進cnonix在全行業(yè)的應(yīng)用，今年國家新聞出版署又確定公布了29家單位作為第二批cnonix標(biāo)準(zhǔn)應(yīng)用示范單位，目前為止進入示范的出版發(fā)行單位已有51家。一、符合性測試背景示范應(yīng)用工程有效推進的核心是實現(xiàn)上下游企業(yè)間數(shù)據(jù)及時交換，為了保證數(shù)據(jù)及時、完整、準(zhǔn)確地交換，其前提是各參與單位產(chǎn)生的數(shù)據(jù)必須滿足cnonix標(biāo)準(zhǔn)要求。由于cnonix標(biāo)準(zhǔn)本身結(jié)構(gòu)靈活、元素項多且關(guān)系復(fù)雜，人工無法檢測其數(shù)據(jù)表示是否符合cnonix標(biāo)準(zhǔn)要求，為了保證各單位系統(tǒng)產(chǎn)生的數(shù)據(jù)符合cnonix標(biāo)準(zhǔn)，由cnonix國家標(biāo)準(zhǔn)應(yīng)用與推廣實驗室對所有參

5、與應(yīng)用示范工程單位的交換數(shù)據(jù)進行自動測試，以保障所有交換數(shù)據(jù)必須滿足cnonix標(biāo)準(zhǔn)要求。標(biāo)準(zhǔn)符合性測試是為了保證產(chǎn)品質(zhì)量按照事先規(guī)定的標(biāo)準(zhǔn)對數(shù)據(jù)或軟件進行檢測，驗證其是否達到標(biāo)準(zhǔn)中規(guī)定的各項指標(biāo)要求。cnonix標(biāo)準(zhǔn)符合性測試是依據(jù)cnonix國家標(biāo)準(zhǔn)對交換數(shù)據(jù)或交互軟件進行驗證，以保證滿足標(biāo)準(zhǔn)指標(biāo)要求，測試采用自動測試方式。實驗室為此研制開發(fā)了cnonix標(biāo)準(zhǔn)符合性測試平臺，用戶可以進行在線測試，或通過平臺提交后由后臺完成測試。2016年試點工作開始，實驗室對各單位系統(tǒng)改造過程中產(chǎn)生的數(shù)據(jù)進行了測試，保證系統(tǒng)改造工作的順利進行。同時，對于各示范單位提交到新聞出版總署信息中心“出版發(fā)行數(shù)據(jù)公

6、共服務(wù)平臺”進行交換的數(shù)據(jù)進行了集中測試，包括2017年和2018年各接入單位提交到平臺的數(shù)據(jù)，累計測試各類數(shù)據(jù)40萬條以上，對于每組數(shù)據(jù)的測試，均返回測試報告，對于有問題的數(shù)據(jù)，詳細描述了問題原因并給出修改建議。平臺的上線運行，確保了交換信息各數(shù)據(jù)項數(shù)據(jù)格式的統(tǒng)一規(guī)范。從2017年集中測試情況看，共測試12家出版社或出版集團上傳的多批數(shù)據(jù)，數(shù)據(jù)量達到15萬條以上，數(shù)據(jù)類型涵蓋不同種類圖書，各出版集團數(shù)據(jù)中包含了下屬出版社書目數(shù)據(jù)，數(shù)據(jù)具有一定的普遍性。數(shù)據(jù)整體上基本符合cnonix標(biāo)準(zhǔn)要求。但也存在一些共性問題，如“0”或空占位問題，從語法角度滿足規(guī)范要求，但數(shù)據(jù)沒有實際意義。經(jīng)過溝通和改進

7、，共性問題已解決，各單位上傳數(shù)據(jù)均達到規(guī)范要求。二、cnonix描述書目數(shù)據(jù)的特點cnonix標(biāo)準(zhǔn)規(guī)定書目數(shù)據(jù)采用xml格式進行描述，信息交換為xml格式報文消息，一次交換信息構(gòu)成一個xml消息文件，每個消息文件由消息開始、消息頭、消息主體和消息結(jié)束四部分構(gòu)成，其中核心部分是消息頭信息和構(gòu)成消息主體的一組或多組產(chǎn)品記錄復(fù)合元素。一條完整的消息格式如圖1所示。cnonix標(biāo)準(zhǔn)中規(guī)定了對xml屬性的使用方式，對于圖書產(chǎn)品信息描述規(guī)定了數(shù)據(jù)組、嵌套關(guān)系及數(shù)據(jù)元素的定義方式，對數(shù)據(jù)元素定義了組編號、標(biāo)簽、選擇性、重復(fù)性、類型、長度等屬性，由此構(gòu)成了結(jié)構(gòu)嚴謹、層次清晰的產(chǎn)品信息描述格式。同時，多個屬性不

8、同組合的多樣性以及元素之間取值的制約關(guān)系，使其描述數(shù)據(jù)時具有數(shù)據(jù)元素多且關(guān)系復(fù)雜的特點。cnonix標(biāo)準(zhǔn)規(guī)定了消息主體中描述產(chǎn)品信息的數(shù)據(jù)元素有數(shù)百個，數(shù)據(jù)元素由單一元素、復(fù)合元素及復(fù)用元素構(gòu)成。在元素中，有必選不可重復(fù)元素、必選可重復(fù)元素、可選不可重復(fù)元素、可選可重復(fù)元素四種不同組合方式。描述圖書產(chǎn)品信息的數(shù)據(jù)元素之間必須滿足存在、重復(fù)或嵌套關(guān)系，同時還滿足大量數(shù)據(jù)元素具有相關(guān)性關(guān)系的要求，如若有a則有b，或若a=1則有b等。由此造成了圖書產(chǎn)品信息的描述相對復(fù)雜，同時也增加了判斷一個圖書信息描述是否滿足標(biāo)準(zhǔn)要求的難度。按照標(biāo)準(zhǔn)對數(shù)據(jù)元素的定義進行分析，一方面，數(shù)據(jù)元素之間存在層次關(guān)系，每個元

9、素又有是否必選和是否可重復(fù)性；另一方面，部分元素之間存在著彼此相互影響的關(guān)系，我們稱之為數(shù)據(jù)元素之間的相關(guān)性關(guān)系。對于前者可以采用xml schema進行驗證，而后者需根據(jù)其不同的相關(guān)性構(gòu)建不同的驗證模型，進一步實現(xiàn)基于cnonix標(biāo)準(zhǔn)的符合性驗證。另外，cnonix標(biāo)準(zhǔn)還具有動態(tài)變化的特點，當(dāng)前cnonix標(biāo)準(zhǔn)采標(biāo)于onix標(biāo)準(zhǔn)3.0版第12期代碼表。國際onix組織大約每三個月就要對代碼表進行一次更新，onix for book本身也會不定期升級版本，到目前為止，onix for book已升級到3.0.4版本，代碼表更新至第41期。三、驗證模型構(gòu)建依據(jù)cnonix標(biāo)準(zhǔn)對圖書信息數(shù)據(jù)進行測

10、試，主要是從數(shù)據(jù)的規(guī)范性角度對數(shù)據(jù)進行的測試，包括對是否滿足結(jié)構(gòu)要求的測試、對數(shù)據(jù)元素是否應(yīng)該存在或是否可以重復(fù)存在的測試、對數(shù)據(jù)之間的相關(guān)性關(guān)系的測試，以及對數(shù)據(jù)元素取值為代碼表中代碼值是否正確的測試。根據(jù)cnonix標(biāo)準(zhǔn)所描述的圖書信息數(shù)據(jù)特點，將數(shù)據(jù)元素分為兩類，其中一類是只存在嵌套關(guān)系的數(shù)據(jù)元素，此類驗證相對比較簡單；另一類，是數(shù)據(jù)元素之間存在相關(guān)性關(guān)系的數(shù)據(jù)元素，而相關(guān)性關(guān)系又劃分為不同類型關(guān)系，需根據(jù)不同關(guān)系構(gòu)建不同驗證模型，以實現(xiàn)數(shù)據(jù)驗證。例如：在cnonix標(biāo)準(zhǔn)中，存在一類如圖2所示描述的元素。該元素描述表示：當(dāng)在消息頭中默認價格類型數(shù)據(jù)元素存在時，價格類型元素為可選；當(dāng)數(shù)據(jù)元

11、素不存在時，元素則為必選。也就是說，默認價格類型元素和價格類型元素之間存在相關(guān)性關(guān)系，對其驗證應(yīng)包括以下幾種情況：1）存在元素且存在元素，則驗證通過；2）存在元素且不存在元素，則驗證通過；3）不存在元素且存在元素，則驗證通過；4）元素和元素均不存在，則驗證不通過。由此可見，數(shù)據(jù)元素和之間構(gòu)成了相關(guān)性關(guān)系。對于標(biāo)準(zhǔn)中類似描述的數(shù)據(jù)元素有很多，我們均可按此方式定義兩元素的相關(guān)性關(guān)系。再如，在標(biāo)準(zhǔn)中存在一類如圖3所示描述的元素。該元素描述表示：當(dāng)發(fā)送方標(biāo)識類型元素取值為01時，標(biāo)識類型名稱元素必須存在；當(dāng)數(shù)據(jù)元素取值不為01時，元素不應(yīng)該存在。也就是說，元素和元素之間存在相關(guān)性關(guān)系，對其驗證應(yīng)包括以

12、下幾種情況：1）當(dāng)元素值為01且元素存在，則驗證通過；2）當(dāng)值不為01且元素不存在，則驗證通過；3）當(dāng)值為01且元素不存在，則驗證不通過；4）當(dāng)值不為01且元素存在，則驗證不通過；由此可見，這兩個元素之間同樣存在著相關(guān)性關(guān)系，但其關(guān)系與前述的關(guān)系（默認價格類型與價格類型之間的關(guān)系）不同。依照同樣的分析方法，在cnonix標(biāo)準(zhǔn)中能抽象出共五類具有不同關(guān)系的元素，而對于具有不同關(guān)系的元素的正確性驗證，需依據(jù)其關(guān)系類型，分別建立驗證模型。在cnonix標(biāo)準(zhǔn)中共定義了761個數(shù)據(jù)元素，其中復(fù)合元素152個，單一元素372個，復(fù)用元素237個。在所有元素中，必選不可重復(fù)的元素有130個，必選可重復(fù)的元素

13、有17個，可選不可重復(fù)的元素有214個，可選可重復(fù)的元素有141個。在所有數(shù)據(jù)元素中，有676個數(shù)據(jù)元素可以通過xml schema進行驗證，有85個數(shù)據(jù)元素具有相關(guān)性關(guān)系，按其關(guān)系類型分別構(gòu)建其驗證模型。所謂書目數(shù)據(jù)能夠通過驗證，是指既要通過xml schema驗證，又能通過對于描述信息的所有相關(guān)性元素間的相關(guān)性驗證。由此可得驗證模型是由85個具有相關(guān)性關(guān)系的元素，按其關(guān)系類型分類構(gòu)成的相關(guān)性關(guān)系表，當(dāng)表中所有驗證均通過時，表示通過驗證，否則驗證不通過。四、測試平臺實現(xiàn)以驗證模型為基礎(chǔ)構(gòu)建標(biāo)準(zhǔn)符合性測試平臺，嚴格遵照cnonix標(biāo)準(zhǔn)符合性測試規(guī)范gc-zx36-2016要求，并充分考慮用戶體

14、驗，依據(jù)軟件工程的方法設(shè)計平臺。1.測試流程測試流程主要包括數(shù)據(jù)組順序測試、數(shù)據(jù)類型測試、數(shù)據(jù)相關(guān)性測試、代碼表取值測試四個環(huán)節(jié)，每一步測試均需記錄測試結(jié)果，并最終匯總后反饋給用戶。具體流程如圖4所示。2.平臺實現(xiàn)cnonix標(biāo)準(zhǔn)符合性測試平臺采用基于b/s的三層架構(gòu)，即數(shù)據(jù)層、業(yè)務(wù)層、應(yīng)用層，各層相對獨立，系統(tǒng)維護升級簡單，方便用戶使用。采用xml schema對數(shù)據(jù)進行測試，以驗證數(shù)據(jù)描述的規(guī)范性；對相關(guān)性關(guān)系元素進行驗證，采用可配置的相關(guān)性規(guī)則表方式，使平臺應(yīng)用更加靈活。平臺特點是：提供在線片段測試和提交后臺測試兩種測試方式，方便不同需求用戶使用；檢測依據(jù)的xml schema和元素相關(guān)

15、性規(guī)則表定義為可配置文件和數(shù)據(jù)庫表，可根據(jù)實際應(yīng)用情況設(shè)置檢測條件；平臺核心測試功能模塊獨立于平臺，可嵌入其他應(yīng)用中。系統(tǒng)功能主要包括用戶管理、版本管理、片段測試、數(shù)據(jù)測試、軟件測試等功能，每項功能又細分為各子功能，由子功能完成業(yè)務(wù)流程。其中的核心業(yè)務(wù)功能：片段測試：該功能是為了方便用戶少量數(shù)據(jù)自測時使用的功能，用戶可以直接將數(shù)據(jù)的xml文本粘貼到測試窗口，點擊測試按鈕即可，測試結(jié)果直接在結(jié)果窗口顯示。此功能方便快捷，避免了提交后臺測試的流程，特別是對單本書數(shù)據(jù)的測試非常方便有效。數(shù)據(jù)測試：該功能需將數(shù)據(jù)文件提交到后臺，按測試規(guī)范流程要求完成測試，包括：測試申請、測試審核、數(shù)據(jù)提交、執(zhí)行測試、

16、下載測試報告等全流程處理功能。用戶必須按此流程完成一定數(shù)量的數(shù)據(jù)測試，也只有經(jīng)過平臺此功能測試，才能被確定為數(shù)據(jù)驗證通過。測試報告在測試環(huán)節(jié)中起重要作用，是對產(chǎn)生錯誤數(shù)據(jù)系統(tǒng)進行修改的依據(jù)，所以測試報告應(yīng)盡可能詳細描述問題原因。平臺產(chǎn)生的測試報告詳細記錄了數(shù)據(jù)描述中的問題，直接定位在文檔的第幾行、第幾列、有什么問題，并給出修改建議，方便用戶發(fā)現(xiàn)和改正錯誤。五、需進一步解決的問題cnonix標(biāo)準(zhǔn)符合性測試平臺上線運行以來，為各示范單位系統(tǒng)升級改造中的數(shù)據(jù)驗證提供了方便，平臺針對各類數(shù)據(jù)給出測試報告，直接反映數(shù)據(jù)描述中存在的問題，從而提高系統(tǒng)改造后產(chǎn)生交換數(shù)據(jù)的規(guī)范性。隨著應(yīng)用的不斷深入，對于交換

17、數(shù)據(jù)的完整性、準(zhǔn)確性等數(shù)據(jù)質(zhì)量問題提出了更高的要求，如完整性方面，必選數(shù)據(jù)元素是否有遺漏、描述某種類型圖書的必要可選項是否存在等；而準(zhǔn)確性方面包括提交數(shù)據(jù)與成書數(shù)據(jù)是否保持一致，表達是否真實有效等，對于這些數(shù)據(jù)質(zhì)量問題的檢測，單純依靠人工檢查已遠不能滿足應(yīng)用需求，為此，需進一步開展數(shù)據(jù)完整性、準(zhǔn)確性質(zhì)量檢查研究，利用平臺在對數(shù)據(jù)規(guī)范性驗證的同時，完成對數(shù)據(jù)完整性和準(zhǔn)確性的檢查，以確保交換數(shù)據(jù)有效可用。六、下一步研究思路cnonix國家標(biāo)準(zhǔn)是一個上位標(biāo)準(zhǔn)，在實際應(yīng)用中需要制訂一系列的具體標(biāo)準(zhǔn)規(guī)范。由全國出版物發(fā)行標(biāo)準(zhǔn)化技術(shù)委員會牽頭，cnonix國家標(biāo)準(zhǔn)應(yīng)用推廣試點示范單位參與，制訂了多項行業(yè)標(biāo)

18、準(zhǔn)和工程標(biāo)準(zhǔn)，進一步規(guī)范圖書信息采集的流程、圖書產(chǎn)品信息加工方法、擴展了圖書信息的代碼表，并且對cnonix數(shù)據(jù)的質(zhì)量指標(biāo)、數(shù)據(jù)符合性檢測等都做詳細規(guī)定。針對數(shù)據(jù)完整性和準(zhǔn)確性的質(zhì)量檢測問題，重點研究gc-zx42-2016 cnonix數(shù)據(jù)質(zhì)量要求gc-zx38-2016圖書出版信息采集規(guī)范gc-zx39-2016圖書發(fā)行信息采集規(guī)范等相應(yīng)標(biāo)準(zhǔn)，建立可靈活定制的質(zhì)量檢測方法，滿足不同類型圖書數(shù)據(jù)的要求，具體實現(xiàn)應(yīng)以模板形式定制檢測要求，以適應(yīng)標(biāo)準(zhǔn)版本升級的需要。在完整性方面，cnonix數(shù)據(jù)質(zhì)量要求的規(guī)定，圖書在出版、發(fā)行不同階段應(yīng)提供各階段必要數(shù)據(jù)元素，按照出版、發(fā)行信息采集規(guī)范要求，檢測

19、各階段數(shù)據(jù)元素必采項是否完整，選采項哪些元素有，哪些元素沒有，如：圖書成品后應(yīng)提供完整的長、寬、厚、重量、內(nèi)容簡介和目錄等數(shù)據(jù)元素，檢測后形成檢測報告，為判斷數(shù)據(jù)質(zhì)量是否滿足要求提供依據(jù)。對于不同階段圖書信息，可采用定制不同模板來描述對完整性的不同要求。在準(zhǔn)確性方面，按cnonix數(shù)據(jù)質(zhì)量要求，圖書數(shù)據(jù)與成品圖書真實數(shù)據(jù)保持一致，與成品圖書數(shù)據(jù)的物理屬性誤差范圍應(yīng)控制在5%以內(nèi)，數(shù)據(jù)的表達真實準(zhǔn)確。在這里主要檢測各數(shù)據(jù)元素數(shù)據(jù)值是否超范圍，或不合理，如：數(shù)據(jù)中圖書頁數(shù)與實際頁數(shù)不符等，需總結(jié)各數(shù)據(jù)屬性進行處理。采用方式：可考慮構(gòu)建動態(tài)數(shù)據(jù)元素與典型錯誤數(shù)據(jù)對應(yīng)表，對數(shù)據(jù)項數(shù)據(jù)進行檢查；可利用標(biāo)準(zhǔn)數(shù)據(jù)進行比對進