符合性測試和互操作性測試的相關性第2版

1、符合性測試和互操作性測試的相關性（第2版）符合性測試和互操作性測試的相關性（第2版）欄目編輯：閏小梅E-mail: HYPERLINK mailto:yanxmcesi.ac.ca yanxmcesi.ac.ca符合性測試和互操作性測試的相關性（第2版）TheRelevanceofConformanceTestingandInteroperab_?tyTestingETSlAnthonyWiles（法國）FSCOMScottMoseley法國）PQMConsultants,UKSteveRandall（英國）中國電子技術標準化研究所郭楠吳東亞編譯摘要傳統(tǒng)上講，符合性測試主要用于電信產(chǎn)業(yè)，而互操

2、作性測試主要用于國際互聯(lián)網(wǎng)絡.這兩種測試方法存在各自的優(yōu)點和缺點，結(jié)合使用兩種方法，能 夠使測試過程的效果達到最大化；同時還介紹了歐洲電 信標準研究院（ETSI）的標準化活動.關鍵詞互操作性測試符合性測試歐洲電信標準研究院PlugtestAbstract:Traditionally,conformancetestinghas beenthedomainofthetelecommunicationsindustrywhile interoperabilitytestinghasmainlybeenlimitedtotheInternet world.Thispaperdiscussestheme

3、ritsandshortcomingsof eachapproachandshowsonewaytheycanusefullybecombinedtomaximisetheeffectivenessofthetestingprocess. ThispaperalsopresentsETSIstandardisationactivities, Keywords:interoperabilitytesting;conformance testing;ETShPlugtest1背景電信產(chǎn)業(yè)需要不同種類的基礎規(guī)范和標準來保障產(chǎn)品的功能性，彼此之間的互操作性，安全性和對標準的符合性.任何有效的標準化活動

4、都需要測試規(guī)范來支持這些基 本需求.如果沒有測試規(guī)范，產(chǎn)品的功能必定有所欠缺，不 能和其他產(chǎn)品互 操作，是不安全的并會導致法律責任.電信產(chǎn)業(yè)界為了開發(fā)和維護他們的產(chǎn)品和服 務,采用了多種測試方法，包括：集成，性能，壓力，負載，電磁 輻射，電氣安全，機械 強度，符合性和互操作性.對歐洲電信標準研究院（ETSI）而言，測試活動受控于 協(xié) 議測試規(guī)范.但是，由于不同的原因，我們看到互操作 性測試產(chǎn)生了新的，有意義的 影響.ETSI持續(xù)的Plugtest服務成功地證明，互操作性測試的概念已經(jīng)被產(chǎn)業(yè)界所 接 受.目前許多觀點認為互操作性測試可以有效地替代符合性測試，并且可以明顯的節(jié)省花費和時間.本文還將

5、介紹產(chǎn)業(yè)界關于互操作性測試與符合性測試的觀點，并闡述ETSI關于兩種測試的定義和方法論，分 析他們的優(yōu)點和缺點，結(jié)果將表明：互操作性測試與 符合 性測試的目的不同.只進行一種測試并不能保證互操作性，所以好的工程實踐 需要兩種測試來保障基礎協(xié)議要求的互操作性.我們進而斷言，符合性測試在完成有效的，嚴格 的互操作性測試中是必要的.2互操作性測試事實上，雖然產(chǎn)業(yè)界對互操作性測試存在普遍的認識，但是對于互操作性的定 義還不能達成一致.直至現(xiàn)在，互 操作測試仍被普遍認為是相當不正規(guī)的原型設備 之間的互 連，目的是為了產(chǎn)品調(diào)試和技術改進.InteropEvent, PlugtestS 和bakeoffs

6、部屬于這一類.目前，互操作性測試的方法是設備商將他們的產(chǎn)品拿到某個地方集中，在那里提供了合適的網(wǎng)絡設施，如圖1所 示.設備被連接在網(wǎng)絡上,通過手動設置，兩個或多個設 產(chǎn)品5圖1典型的bake-off連接設置本文系“十五國家科技攻關計劃重點項目：認證認可關鍵技術研究與示范 (2005BA909B).信息技術與標，幕化2007年第5期備商試圖使他們的產(chǎn)品通過通信來實現(xiàn)特有的連接功能.這些測試的成功或失 敗的信息被用來提高產(chǎn)品設計或者作為對基本的標準化活動的反饋，以提高它們的技術能力.圖1為典型的bake-off測試設置，不同設備商提供 的一些產(chǎn)品連接到 中心網(wǎng)絡中.圖1顯示了產(chǎn)品2,3,6的 制造

7、商統(tǒng)一進行一些公共功能的互操作性檢 測的場景，而設備1,4,5之間的測試能夠同步進行.這種類型的測試對于提高產(chǎn)品的穩(wěn)定性和產(chǎn)品技術的提升是一種非常有效的方法.但是,它不提供產(chǎn)品符合任 何標準的證明，也不表明產(chǎn)品完全符合標準所必需 的互操作性要求.市場對于保障互操作性的要求逐漸引起了電信設備商，運營商對基于正規(guī)測試 的認證和貼標活動的興趣.這種測試不僅依賴于采用預先定義的覆蓋所有可能功能 的互操作 性測試套，而且依賴于產(chǎn)品與特定協(xié)議標準的符合性測試，并且這一測試 是互操作性測試的必要條件.3符合性測試符合性測試的目的是確定特定標準的實現(xiàn)與本標準單獨需求的符合程度.在過去的10年內(nèi),ETSI技術體

8、已經(jīng)開發(fā) 出針對關鍵技術的符合性測試規(guī)范， 如,GSM,UMTS, DECT,1NAP,TETRA,ISDNBSDN/ATM,HioerLAN/2,VB - 5,FSK和 V01P（H.323/SIP）等.ETSI 測試規(guī)范是根據(jù)已經(jīng)被 證明的ISO/IEC9646信息技術開放系統(tǒng)互連一致性測試方法和框架標準 中的 符合性測試方法來開發(fā)的，如圖2所示.f測試人員l圖2對于符合性測試的通用模型（基于 Iso/IEC9646）在圖2的符合性測試結(jié)構中，有兩個主要的部件：包 含被測實現(xiàn)（1UT）的被測系 統(tǒng)（SUT）和測試手段（MOT）. IUT 一般是一個單獨的協(xié)議，雖然SUTfe含多個協(xié)議層，

9、但一次只用一個符合性測試套測試其中的一層.2?7年第5期根據(jù)IUT的結(jié)構和測試過程中訪問的接口 ，MOT至少 有一個測試器，它還處理測 試結(jié)果的協(xié)調(diào)，日志和報告.從SUT連接到測試器是通過一些通信手段（MOC發(fā)現(xiàn)的. 例 如,當一個第，層的協(xié)議連接到一個單獨的測試器時，MOC可能是,一 1層的協(xié)議 棧.在真實測試環(huán)境中，測試器可能是分布式的，執(zhí)行的測試程序或者腳本在 ISO/IEC9646的術語中稱為測試例，測試例的全集稱為測試套.ETSI開發(fā)出利用標 準化的測試 語言TTCN寫的抽象測試套（ATS）,TTCN語言能夠 在不同種類的實際 測試系統(tǒng)中編譯并運行.圖3是對網(wǎng)絡部件（和終端設備（進行

10、測試的說明.刪試系統(tǒng)做測系統(tǒng)測試系統(tǒng) 被測樂統(tǒng)o（a）【I】元襲的符臺刪試（b）終端改備的符合性測試 圖3標準符合性測試的 說明在每一種情況下，對于組成產(chǎn)品的不同協(xié)議部件可以有不同的標準符合性測試 套.產(chǎn)品作為一個完整的系統(tǒng)不可能只用一個單獨的測試套來完成測試.圖3中的虛線表 示測試接口，包括產(chǎn)品內(nèi)部的標準化協(xié)議接口和測試系統(tǒng)的接口.符合性測試方法ETsI采用的ISO/IEC9646方法論,最初的目標是 協(xié)議測試,還能應用于其他的 被動系統(tǒng)，例如，服務和API的黑盒測試.為了簡單起見，我們主要考慮協(xié)議的標準 符合性測試.ISO/IEC9646推薦的測試規(guī)范內(nèi)容包含以下一些文檔：從相關的基礎標準

11、中推 導出的測試套結(jié)構和測試目的（TSS&TP）.他們提供非正式的，針對每一個測試 的易 讀描述，更關注測試的意義而不是具體實現(xiàn)細節(jié).每一個 測試目的專注于基礎 標準中的一個特定需求或者幾個需求的混合體.他們一般在詳細的協(xié)議層上定義，可能指出協(xié) 議信息，狀態(tài)或者性能.最終，測試目的根據(jù)恰當?shù)囊?guī)則 組成邏輯測試 套結(jié)構（例如：基本互連，錯誤處理，協(xié)議功 能等）.抽象測試套（ATS）是測試例的全集.每一個測試例給 出了測試目的的詳細編碼， 一般用測試規(guī)范語言完成，例 如:TTCN.實現(xiàn)符合性聲明0CS柱嵌入在SUT的被測實現(xiàn)支持的性能的表格.它提供了 產(chǎn)品實現(xiàn)的特征，性能，功能http:H和可選項

12、.ICS能夠用來對測試例進行選擇和參數(shù)化，并作為不同產(chǎn)品之間基本 互操作性的指示器.測試用實現(xiàn)額外信息（IXIT）包括對于測試必要的附加信 息（例 如：專用地址，定時器的數(shù)值等）.ATS使用適合于現(xiàn)代測試工具平臺（C+,.Java等）的TTCN譯器，可以快速，容易地實現(xiàn)可執(zhí).15lJ試套（ETS）.運行時的支持 （如：信息編/解碼，測試控制和適 應層）需要在現(xiàn)實測試系統(tǒng)中實現(xiàn).ISO/IEC9646不只是定義上述的測試規(guī)范，它有7個部分的系列標準，包括了測 試實現(xiàn)（可執(zhí)行測試），測試實驗室的需求和協(xié)議輪廓測試規(guī)范的開發(fā)等.符合性測試特性因為符合性測試器對發(fā)送到IUT的協(xié)議信息的序列和內(nèi)容保持高

13、度的控制，這 樣就可以很好的理解符合性測試的范圍，包括期望的和不期望的（無效的）./5-為，協(xié)議設計必須考慮在百萬次事例中偶然出現(xiàn)一次的事件，這種偶然事件不能（故意 地）在互操作性測試中產(chǎn)生.圖4表示了一個完整的系統(tǒng)（產(chǎn)品），它的一些部分用不 同的標準來實現(xiàn).用方 框A,B,C,D來表示.圖4符合性測試的范圍符合性測試時，分別測試綠色的陰影部分（區(qū)域），測試程度的深淺依賴于測試 套的質(zhì)量和廣度.在一個受控的，一定范圍的人工的環(huán)境中，通過測試 特定的需求，符合性測試的 測試方式范圍很窄但是程度很 深.它不測試整個系統(tǒng)，也不測試系統(tǒng)在真實環(huán)境中 和其他系統(tǒng)的互操作性如何.符合性測試中的一個問題就是

14、昂貴的開銷.事實上，當它和官方的，低效的第三 方測試計劃有關時可能確實如 止匕.但是，目前已經(jīng)不再是這種情況了 .ETSI使編寫 測試規(guī)范的過程更加有效，同時使測試套本身關注于測試實質(zhì)性內(nèi)容，我們稱之為為了互操作性的符合性測試.因為 測試規(guī)范是ETSI技術成員體的專家組完成的， 開銷分攤信息技術與標準化在ETSI的成員中.ETSI測試規(guī)范的需求量正在持續(xù)增力口，經(jīng)常被設備商用作內(nèi)部開發(fā)階段測試的基礎，并作為 互操作性測試的實質(zhì) 性補充.一位3GP啦術工作組的主 席說:3GPP終端的標準符合性測試套是非常值 錢的.嚴 格的測試要求確保了終端之間的互操作性，形成了供應商 能夠持續(xù)發(fā)展的 核心測試集

15、.基于射頻系統(tǒng)的測試系統(tǒng)確實很昂貴.在GS防口 UMTS這樣大的市場中,基于射 頻系統(tǒng)的測試系統(tǒng)是值得 建立的.但是,對于不是那/ A昂貴的應用，測試是重要的, 但是開銷要控制到最小，在非射頻協(xié)議上，如IP層，進行 低層（射頻）仿真的測試目 的得到了越來越多的關注.這是非 常有效的，同時比用真實的測試工具便宜得多. 3.3測試系統(tǒng)樹表結(jié)合表示法（TTCN混為開發(fā)測試規(guī)范而特定設計的語言,已經(jīng)應用到包括 ISDN,GSM,DECT SIP等多個技術領域中.與題目相吻合，TTCN的版本1和2用表格結(jié)構表示 測試規(guī)范，它們還對單獨的 測試步驟使用一些很隱諱的符 號.雖然對于協(xié)議測試是強有力的，但是這

16、種方法缺 乏可 讀性以及擴展到不同應用領域語言的靈活性.因此,ETSI產(chǎn)生了具有現(xiàn)代編程 語言風格的第3個版本（TTCN-3）,它給出了 TTCNffi寫的新的含義，現(xiàn)在稱為“測試 和測試 控制表示法，更好地反映了它的目標和作用.除了協(xié)議，TTCN 3還是針 對服務,API和一定范圍內(nèi)基于軟件的其 他系統(tǒng)進.15-U試的理想語言.它不限于 符合性測試，適用 于很多領域，包括互操作性測試.3.4舉例返回到圖1中的bake-off例子，有三個互連的產(chǎn)品（產(chǎn)品2,3和6）,它們中的 每一個幾乎都是由一些子系統(tǒng) 或部分組成的.這些部分可能也有自己的子部分或者 子系統(tǒng).在這些部分中，很可能至少存在一個包

17、含有多個協(xié)議 層的協(xié)議棧.為了進行 符合性測試,IUT可能是協(xié)議棧中 在其他下層協(xié)議或仿真器之上的一個協(xié)議.因此， 符合性 測試套被設計成針對一個產(chǎn)品中一個標準的實現(xiàn)的測試 .理論上，符合性測 試能夠?qū)σ粋€產(chǎn)品中出現(xiàn)的每一個標準 實現(xiàn)進.15-U試.換言之，符合性測試對于一個產(chǎn)品的子系統(tǒng)或者部件是特定的，針對每一個子 系統(tǒng)或部件存在一個基本的規(guī)范或者標準如果沒有基本規(guī)范，就沒有符合性測試 僅僅考慮協(xié)議標準符合性測試，可以這/講：電信系 統(tǒng)用到一些協(xié)議，其中一些是 經(jīng)過驗證并且正確的,其2007年第5期他，些是新規(guī)定的.如果新的協(xié)議是在協(xié)議棧中的較低層，而“經(jīng)過驗證并且正 確的”協(xié)議處在協(xié)議棧的

18、較高層（這種 情況經(jīng)常發(fā)生），這時協(xié)議較高層的可靠性是 沒用的，除非 建立起較低層的可信度.在一個沒有驗證過的實體上設置 一個可靠的協(xié)議會引起問題，問題的量級與未驗證的協(xié)議的復雜程度成比例.雖然這個特定的例子僅僅討論了系統(tǒng)中的協(xié)議部件，對于系統(tǒng)的其他部件，該 原理同樣有效.確實，協(xié)議需要 最大范圍的符合性測試，但是其他子系統(tǒng)（應用，服務, 電氣和電子系統(tǒng)，連接器和接口）也需要符合性測試，特別是 當有多種方法可以實 現(xiàn)同樣的功能時.這種魯棒性經(jīng)常被 作為質(zhì)量因子設計在傳輸和電子/電氣系統(tǒng)中. 3.5符合性測試的優(yōu)點和缺點（1）符合性測試能夠完成下述給定功能?確定一個實現(xiàn)的行為是否符合基本規(guī)范列出

19、的需求，包括所有的錯誤和只能由特定的測試設備執(zhí)行或者再現(xiàn)的意外情況；?如果不能用所有的方法，就用盡可能多的方法來實現(xiàn)部件的功能.（2）符合性測試不完成下述功能?證兩個I的通信系統(tǒng)之間功能的端到端的互操作性；？同時執(zhí)行所有系統(tǒng)部件 和它們的接口，來確定實現(xiàn) 是否在真實的環(huán)境中起作用；?驗證所有自有的特性，功能，接口和非公共域系統(tǒng) 的操作.但是這些自有的方 面可以作為符合性測試的配置和執(zhí)行中的一部分被間接操作.4ETSI的互操作性測試方法對ETSI來說,互操作性測試的目的是為了證明（至少）兩 個通信系統(tǒng)問端到端 的功能與這些系統(tǒng)基于的標準要求一致.互操作性行為可以在廣義上分為三 類:bake-of

20、fs,互操作性示范和互操作性測試.bake-offs用于發(fā)展，證實各種技術和標準.這一類 的行為最好在發(fā)展周期的開 始進行，這個時候正好可以使 用原型和早期的實現(xiàn).它們的價值在于可以推動標準 的前進，并且重申了最好的技術解決方案.向標準化成員體和 實現(xiàn)者反饋消息是基 本的要求.互操作性示范和它的名字所暗示的一樣，主要用在市 場領域中，一般不會在標準發(fā)展過程中添加價值.作為第三種類型，互操作性測試正是本文所關注的.這 種行為比起bake-offs的要求具有更嚴格的方法，尤其是2007年第5期當最終目的是為了形成認證或者商標的時候.具有明確定 義的概念和術語的通 用方法是不存在的，為了填補這個空

21、缺,ETSIEPTIPHON（TIPHONTM電信與互聯(lián)網(wǎng) 協(xié)議在網(wǎng)絡上的融合）正在為下一代互聯(lián)網(wǎng)（NGN）系統(tǒng)通信的互操作性測試定義 一個一般性的方法，見圖5和圖6.注：在DTS/TIPH0N06025-2中所表述的方法論 只處在一個早 期的階段，隨著它的成熟本文所表示的一些想法可能會有所改動.圖5一種互操作性測試的一般模型（基于DTS/TIPHON-06025-2）即使這不是一個全球性的意見，TIPHONTMfc看至U 了制定這種一般性方法的好處.希望通過與ETSITCMTS （MTS!測試和規(guī)范的方法） 的合作至少可以產(chǎn)生一個被整 個ETSI團體所接受的方法論.這樣看來，互操作性測試的方

22、法論似乎和符合性測試的方法論相似.從廣義上講,ISO/IEC9646的許多概念 與互操作性測試是對應的，但在細節(jié)上還有所不同.和 圖2的符合性模型一樣，兩個主要的互操作性結(jié)構成分是測試手段（MOT和被測系統(tǒng)（SUT）,見圖5.相似點也就只此而已.SUT由被測設備（EUT）和一個或多個的參考設備（RE）組 成.EUT是測試的重點，RE作為整個sUT的一部分并不是測試的重點，它已經(jīng)經(jīng)過了 完 整的符合性和互操作性測試，并可能繼續(xù)進行下去.這就 是ETSI的方法和目前對互操作性理解之間的主要不同點.值得注意的是，RE和EUT能都是復雜的,由 多種設備 組成的，但在概念上它們都被認為是單一的實體.與符

23、合 性測試不一 樣,MOT:Sfq需要復雜的測試設備（這不排除互 操作性測試可以自動執(zhí)行的可能性）, 它包括測試操作人 員，互操作性測試例和編寫日志與報告的機制等.RE與EUM 間的通信手段（MoC）既不屬于SUT的 部分，也不屬于MOT勺部分.4.1互操作性測試方法TIPHON勺方法被卞S括為圖6.圖6TIPHON勺互操作性測試方法的示范圖測試套結(jié)構和測試目的（TSS&TP是從相應的基礎標準中得來的.它們給出 了一種非正式的，針對每種測試都容易讀懂的描述，比起如何詳細地完成測試，它們 更注重 測試的方法.每一個測試都著重測試EUT的一個專門的功 能，這個功能在 SUTI供的用戶端口處起作用.

24、抽象測試套（ATS）是測試例的一個合集.每一個測試 例都會以建立測試和測試過程為前提，測試操作人員必須按照這個測試過程來完 成測試.注意，如果一個合適的API有效，那/測試人員就可以用一個自動測試程 序來代替，這個程序被寫成編程語言（tR可能是TTCNg言）的形式.互操作性聲明 0s）是被測設備所支持的性能/功能的一個清單.從某種程度上來講，它與符合性測 試ICS類似，但是并不那/Z4羊細.IS中的一些信息可能來自相應的lOS中.lS用 來選擇測試例并為測試例設定參數(shù)，也作為不同產(chǎn)品之間互操作性測試的指示器.測試用實現(xiàn)額外信息（1 X IT）包括測試所需的附加信息（如專用地址，計時器數(shù) 值等）

25、.可執(zhí)行的測試套（ETS）只有當腳本被ATS定義的時候 才是必需的.這些要比符 合性測試例簡單的多，它們的實 現(xiàn)只依賴于API的本質(zhì).同樣，也可能會用到TTCN. 4.2互操作性測試的特點互操作性測試感覺上相對便宜，因為它沒有指出具體 的測試設備，互操作性測 試例也很容易（對大多數(shù)部分而言）生成.但是它的作用不能被低估，設立一個有用 的互操作性測試床并不總是很簡單的.圖7表示了一個完整的系統(tǒng)（產(chǎn)品），它的一些部分用不同的標準來實現(xiàn)，這些不同的標準用方框 A,B,C,D來 表示.互操作性測試是將EUT作為一個整體（綠色區(qū)域）來測 試,包括產(chǎn)品中非標準的 成分.因為測試人員只在用戶端口進行控制，互操作性測試 信息技術與標準化要覆蓋產(chǎn)品的正常行為.與