致性測試技術(1-概述).ppt

1、南京郵電大學南京郵電大學 第第 7 章章 一致性測試技術一致性測試技術 （1-概述）概述） 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 2 內容提要內容提要 概述概述 1 一致性測試概念一致性測試概念2 一致性測試方法一致性測試方法3 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 3 一致性測試：概述一致性測試：概述 v測試是檢查一個網絡部件某一方面的特性是否滿測試是檢查一個網絡部件某一方面的特性是否滿 足某種特定需求時常用的一種方法。驗證一項新足某種特定需求時常用的一種方法。驗證一項新 的協(xié)議實現，通常需要進行多項測試。一般要考的協(xié)議實現，通常需

2、要進行多項測試。一般要考 慮以下四個方面：慮以下四個方面： 一致性測試一致性測試(conformance testing)(conformance testing) 互操作測試互操作測試( (interoperateabilityinteroperateability testing) testing) 性能測試性能測試(performance testing)(performance testing) 魯棒性測試魯棒性測試(robustness testing)(robustness testing) 一致性測試旨在檢測所實一致性測試旨在檢測所實 現的協(xié)議實體現的協(xié)議實體(或系統(tǒng)或系統(tǒng))與與

3、 協(xié)議規(guī)范的符合程度協(xié)議規(guī)范的符合程度(而而 驗證則是檢查形式化規(guī)范驗證則是檢查形式化規(guī)范 的內部一致性的內部一致性) 互操作測試建立在一致性測試互操作測試建立在一致性測試 基礎之上，重點檢測同一種協(xié)基礎之上，重點檢測同一種協(xié) 議的不同實現版本之間，或同議的不同實現版本之間，或同 一類協(xié)議的不同實現版本之間一類協(xié)議的不同實現版本之間 互通的能力和互操作能力互通的能力和互操作能力 性能測試與前兩種測試不同，性能測試與前兩種測試不同， 它不是一種功能測試，而是主它不是一種功能測試，而是主 要檢測協(xié)議實體或系統(tǒng)的性能要檢測協(xié)議實體或系統(tǒng)的性能 參數，如吞吐量、傳輸時延、參數，如吞吐量、傳輸時延、 聯(lián)

4、接時間、執(zhí)行速度、并發(fā)度聯(lián)接時間、執(zhí)行速度、并發(fā)度 等，并根據這些參數對協(xié)議實等，并根據這些參數對協(xié)議實 現的性能做出評價現的性能做出評價 魯棒性測試旨在檢測協(xié)議實體魯棒性測試旨在檢測協(xié)議實體 或系統(tǒng)在各種惡劣環(huán)境下運行或系統(tǒng)在各種惡劣環(huán)境下運行 的能力，如信道被切斷、通信的能力，如信道被切斷、通信 結點掉電、注入干擾報文等。結點掉電、注入干擾報文等。 此外，一些不嚴格進行一致性此外，一些不嚴格進行一致性 測試評價的生產廠商常進行的測試評價的生產廠商常進行的 互連通測試互連通測試一般認為是一致性一般認為是一致性 測試的一個方面。測試的一個方面。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技

5、術（1概述）概述） 4 一致性測試原理一致性測試原理 v 當第一個公用數據網投入使用后，該網絡的管理者要當第一個公用數據網投入使用后，該網絡的管理者要 做的一件重要事情是：確定購買的商用網絡設備是否做的一件重要事情是：確定購買的商用網絡設備是否 符合相關的網絡標準，但又不必關心設備的內部細節(jié)，符合相關的網絡標準，但又不必關心設備的內部細節(jié)， 這就是協(xié)議的一致性測試問題。這就是協(xié)議的一致性測試問題。 Reference Specification Implementation Under Test(IUT) Tester 一致性測試一致性測試(Conformance Testing) 協(xié)議驗證協(xié)

6、議驗證 Test Sequence 給定一個已知協(xié)議的規(guī)范給定一個已知協(xié)議的規(guī)范(specification)，例例 如用有限狀態(tài)機描述的協(xié)議規(guī)范，和一個未如用有限狀態(tài)機描述的協(xié)議規(guī)范，和一個未 知的協(xié)議實現。對于測試者而言，協(xié)議實現知的協(xié)議實現。對于測試者而言，協(xié)議實現 相當于一個黑盒子，測試者可以提供輸入信相當于一個黑盒子，測試者可以提供輸入信 號號(報文報文)，然后觀察輸出結果。，然后觀察輸出結果。 通常將被測試的協(xié)議實現通常將被測試的協(xié)議實現 稱為稱為IUT(Implementation Under Test, 被測實現被測實現)或或 SUT(System Under Test， 被測

7、系統(tǒng)被測系統(tǒng))。 將一系列用來測試實現一致性的輸將一系列用來測試實現一致性的輸 入測試序列為入測試序列為一致性測試集一致性測試集 (conformance test suite)。測試集是測試集是 根據協(xié)議的規(guī)范得生成的，它是進根據協(xié)議的規(guī)范得生成的，它是進 行協(xié)議一致性測試的基礎。行協(xié)議一致性測試的基礎。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 5 一致性測試一致性測試 vs. 驗證驗證 v“一致性測試一致性測試”的目的是測試一個協(xié)議的給定的目的是測試一個協(xié)議的給定 實現外部行為是否符合協(xié)議的規(guī)范。實現外部行為是否符合協(xié)議的規(guī)范。 如果一個協(xié)議的形式化規(guī)范中存在一

8、個設計錯誤，如果一個協(xié)議的形式化規(guī)范中存在一個設計錯誤， 則當且僅當完全基于該規(guī)范的協(xié)議實現則當且僅當完全基于該規(guī)范的協(xié)議實現(faithful implementation)中也包含同樣的錯誤時，該實現才中也包含同樣的錯誤時，該實現才 能通過協(xié)議的一致性測試。能通過協(xié)議的一致性測試。 如果協(xié)議的實現與協(xié)議的規(guī)范不符，則一致性測試如果協(xié)議的實現與協(xié)議的規(guī)范不符，則一致性測試 將失敗。將失敗。 不要將不要將“一致性一致性”理解為理解為“同一協(xié)議的不同實現之同一協(xié)議的不同實現之 間的一致性間的一致性”?！耙恢滦砸恢滦浴敝傅氖潜粶y系統(tǒng)指的是被測系統(tǒng)( (也就也就 是協(xié)議的各種實現是協(xié)議的各種實現)

9、)與協(xié)議標準的一致性。與協(xié)議標準的一致性。 v而而“驗證驗證”則是檢查形式化規(guī)范的內部一致性。則是檢查形式化規(guī)范的內部一致性。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 6 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 v 20世紀世紀80年代初，歐洲的許多研究機構開始在建立標準化年代初，歐洲的許多研究機構開始在建立標準化 的協(xié)議一致性測試活動方面進行合作，其目的是制定一個的協(xié)議一致性測試活動方面進行合作，其目的是制定一個 在在OSI框架內進行協(xié)議一致性測試的指導標準?？蚣軆冗M行協(xié)議一致性測試的指導標準。 最初的參與者包括法國巴黎的最初的參與者包括法國巴黎的ADI、德國德

10、國Darmastadt的國家通信研的國家通信研 究所究所(GMD)和英國的國家物理實驗室和英國的國家物理實驗室(NPL)。這些研究機構在這之這些研究機構在這之 前曾分別關注于一致性測試的不同方面的研究。例如，前曾分別關注于一致性測試的不同方面的研究。例如， ADI設計并實現了一臺設計并實現了一臺X.25協(xié)議測試儀；協(xié)議測試儀； GMD開發(fā)了一種鐘對開發(fā)了一種鐘對OSI體系結構中的會話層協(xié)議進行被動監(jiān)體系結構中的會話層協(xié)議進行被動監(jiān) 控和錯誤檢測的分析工具；控和錯誤檢測的分析工具； 而而NPL則實現了一個用來對網絡服務進行測試的測試系統(tǒng)。則實現了一個用來對網絡服務進行測試的測試系統(tǒng)。 美國的國家

11、標準和技術局美國的國家標準和技術局(NIST)由于成功地研制了由于成功地研制了OSI體系結構中體系結構中 的第的第4類運輸協(xié)議的測試系統(tǒng)，所以后來也被邀請參加了這一合作類運輸協(xié)議的測試系統(tǒng)，所以后來也被邀請參加了這一合作 項目。項目。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 7 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 (Cont.) v 到到1984年，更多來自歐洲和北美的研究人員加入到這一年，更多來自歐洲和北美的研究人員加入到這一 研究之中，取得的成果：研究之中，取得的成果： 各種測試結構、測試語言、各種測試方法的可行性、測試序列的各種測試結構、測試語言、各種測

12、試方法的可行性、測試序列的 自動生成等等。自動生成等等。 這些成果及其術語有許多在后來由這些成果及其術語有許多在后來由ISO制定的一致性測試標準制定的一致性測試標準 ISO 9646中被采用。中被采用。 v 到了到了90年代，隨著一系列國際標準的制定，這一領域正年代，隨著一系列國際標準的制定，這一領域正 迅速走向成熟。迅速走向成熟。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 8 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 (Cont.) v 國際標準化組織國際標準化組織ISO專門制定了一套國際標準專門制定了一套國際標準ISO 9646， 主要包括：主要包括： ISO 9

13、646-1 (CCITT X.290) 一般概念一般概念 ISO 9646-2 抽象測試集抽象測試集(suite)規(guī)范規(guī)范 ISO 9646-3 樹表組合記法樹表組合記法TTCN(Tree and Tabular Combined Notation) ISO 9646-4 測試實現測試實現 ISO 9646-5 一致性認證處理對測試實驗室及其客戶的要求一致性認證處理對測試實驗室及其客戶的要求 ISO 9646-6 測試實驗室的操作測試實驗室的操作 v 此外，此外，ISO還制訂出了一些針對某一層協(xié)議的一致性還制訂出了一些針對某一層協(xié)議的一致性 測試的國際標準。例如，測試的國際標準。例如， ISO

14、10025為運輸協(xié)議的一致性測試標準，為運輸協(xié)議的一致性測試標準， ISO 10168為會話協(xié)議的一致性測試標準為會話協(xié)議的一致性測試標準 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 9 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 (Cont.) vISO 9646的制定是協(xié)議一致性測試領域的一個里的制定是協(xié)議一致性測試領域的一個里 程碑程碑 ISO定義的一序列一致性測試標準為協(xié)議的一致性測試定義的一序列一致性測試標準為協(xié)議的一致性測試 提供了基本方法和框架，為測試集制定了設計步驟和提供了基本方法和框架，為測試集制定了設計步驟和 描述方法，并為測試系統(tǒng)的實現提供了指導。描

15、述方法，并為測試系統(tǒng)的實現提供了指導。 v此后，協(xié)議一致性測試技術得到了快速發(fā)展，一此后，協(xié)議一致性測試技術得到了快速發(fā)展，一 些形式化工具和測試系統(tǒng)得到建立，部分些形式化工具和測試系統(tǒng)得到建立，部分OSIOSI協(xié)議協(xié)議 的測試集標準被制定出來。的測試集標準被制定出來。 v由于協(xié)議測試的技術復雜性和龐大開銷，一般是由于協(xié)議測試的技術復雜性和龐大開銷，一般是 協(xié)議實現者和協(xié)議用戶所力不能及的事情。協(xié)議實現者和協(xié)議用戶所力不能及的事情。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 10 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 (Cont.) v因此，進行獨立于生產者和用戶

16、的第三方測試是因此，進行獨立于生產者和用戶的第三方測試是 常采用的方法。例如，常采用的方法。例如， 美國的國家標準和技術局、美國的國家標準和技術局、 新罕布什爾大學的互操作測試實驗室新罕布什爾大學的互操作測試實驗室IOL， 德國國家通信研究所的高速網絡測試環(huán)境，德國國家通信研究所的高速網絡測試環(huán)境， 韓國電子和通信研究所的寬帶韓國電子和通信研究所的寬帶ISDN測試系統(tǒng)測試系統(tǒng)BITS等，等， 在協(xié)議的一致性測試以及測試結構與測試環(huán)境等方面在協(xié)議的一致性測試以及測試結構與測試環(huán)境等方面 的研究都達到了一定水平，并開始提供部分測試服務的研究都達到了一定水平，并開始提供部分測試服務 和測試系統(tǒng)。和測

17、試系統(tǒng)。 國內的清華大學吳建平教授的實驗室在一致性測試方國內的清華大學吳建平教授的實驗室在一致性測試方 面處于國內領先地位。面處于國內領先地位。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 11 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 (Cont.) v有一點特別要提到的是，有一點特別要提到的是，90年代以來，人們逐年代以來，人們逐 漸考慮在測試研究中漸考慮在測試研究中大量采用形式化方法大量采用形式化方法，力，力 圖使測試研究以嚴格的數學語言為基礎來清晰圖使測試研究以嚴格的數學語言為基礎來清晰 無二義性地討論一致性的概念和方法無二義性地討論一致性的概念和方法 v特別是

18、體現在特別是體現在ISO和和ITU-T共同開始的共同開始的“一致一致 性測試中的形式化方法性測試中的形式化方法”計劃。計劃。 該計劃的主要目的是以協(xié)議形式化技術為基礎、應該計劃的主要目的是以協(xié)議形式化技術為基礎、應 用目前的形式化方法到協(xié)議一致性測試的各個階段，用目前的形式化方法到協(xié)議一致性測試的各個階段， 如對一致性概念和測試過程的形式定義、對一致性如對一致性概念和測試過程的形式定義、對一致性 測試集和測試例的形式描述以及基于形式規(guī)范的測測試集和測試例的形式描述以及基于形式規(guī)范的測 試生成的定義等方面。試生成的定義等方面。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述）

19、12 一致性測試：發(fā)展概況一致性測試：發(fā)展概況 (Cont.) v近幾年來，隨著計算機網絡技術，特別是因特網近幾年來，隨著計算機網絡技術，特別是因特網 的不斷發(fā)展，人們發(fā)現以前基于傳統(tǒng)的的不斷發(fā)展，人們發(fā)現以前基于傳統(tǒng)的OSI模型模型 的對等協(xié)議測試的理論已經不能適應實踐的需要，的對等協(xié)議測試的理論已經不能適應實踐的需要， 因此需要進行更多的理論和實踐工作，如復雜的因此需要進行更多的理論和實踐工作，如復雜的 分布式系統(tǒng)的測試、高速網絡測試和分布式系統(tǒng)的測試、高速網絡測試和TCP/IP協(xié)議協(xié)議 測試測試(如路由協(xié)議的一致性測試如路由協(xié)議的一致性測試)等。等。 第第7章章 協(xié)議一致性測試技術（協(xié)議

20、一致性測試技術（1概述）概述） 13 一致性測試：前提一致性測試：前提 v一致性測試是一致性測試是假定了協(xié)議標準本身是正確的假定了協(xié)議標準本身是正確的這這 一前提下進行的。雖然在進行一致性測試時可一前提下進行的。雖然在進行一致性測試時可 能發(fā)現協(xié)議中存在的某些問題或甚至是錯誤，能發(fā)現協(xié)議中存在的某些問題或甚至是錯誤， 但這并不是一致性測試的本身的目的。但這并不是一致性測試的本身的目的。 一致性測試的目的是希望通過這個測試可增加同一一致性測試的目的是希望通過這個測試可增加同一 協(xié)議的不同實現之間能夠互連的概率。協(xié)議的不同實現之間能夠互連的概率。 v通過一致性測試可以給用戶提供兩個信息：通過一致性

21、測試可以給用戶提供兩個信息： 通過了一致性測試的協(xié)議實現，具有協(xié)議所要求的通過了一致性測試的協(xié)議實現，具有協(xié)議所要求的 各種能力。各種能力。 在具有代表性的通信實例中，被測試的協(xié)議實現的在具有代表性的通信實例中，被測試的協(xié)議實現的 外部特性與標準協(xié)議的要求一致。外部特性與標準協(xié)議的要求一致。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 14 內容提要內容提要 概述概述 1 一致性測試概念一致性測試概念2 一致性測試方法一致性測試方法3 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 15 一致性測試要求一致性測試要求 一、一致性測試要求一、一致性測試

22、要求 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 16 一致性測試要求一致性測試要求 v在協(xié)議標準中，通常包括一致性條款，規(guī)定對相關在協(xié)議標準中，通常包括一致性條款，規(guī)定對相關 實現的一致性要求實現的一致性要求CR(Conformance Requirement) 強制性要求強制性要求。即在所有情況下都要進行檢查的要求。即在所有情況下都要進行檢查的要求。 有條件的要求有條件的要求。即在標準所規(guī)定的具體條件下必須滿足。即在標準所規(guī)定的具體條件下必須滿足 的要求。的要求。 任選的要求任選的要求。即為協(xié)調實現而可以選擇的要求。即為協(xié)調實現而可以選擇的要求。 禁止的要求禁止的要

23、求。在標準中還要規(guī)定出什么事情是禁止做的。在標準中還要規(guī)定出什么事情是禁止做的。 v可以將上述一致性要求劃分為兩組：可以將上述一致性要求劃分為兩組： 動態(tài)一致性要求動態(tài)一致性要求 靜態(tài)一致性要求靜態(tài)一致性要求 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 17 動態(tài)一致性要求動態(tài)一致性要求DCR vDCR：能夠決定一個標準所允許的可能的行為能夠決定一個標準所允許的可能的行為 (或行為集或行為集)的要求的要求(包括可選的包括可選的)： DCR隱式定義了與協(xié)議使用有關的最大一組能力。隱式定義了與協(xié)議使用有關的最大一組能力。 一個具體的系統(tǒng)若與某一標準動態(tài)地一致，則這個系一個具

24、體的系統(tǒng)若與某一標準動態(tài)地一致，則這個系 統(tǒng)的行為就應當是該標準所允許的全部行為集合中的統(tǒng)的行為就應當是該標準所允許的全部行為集合中的 一個成員。一個成員。 動態(tài)一致性要求常用動詞動態(tài)一致性要求常用動詞“將將”描述，例如，描述，例如，“當收當收 到一個到一個XYZ PDUXYZ PDU時，接收端時，接收端將將發(fā)送一個發(fā)送一個ABC PDU”ABC PDU”。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 18 靜態(tài)一致性要求靜態(tài)一致性要求SCR vSCR：為了最大限度地實現系統(tǒng)之間的互連，必為了最大限度地實現系統(tǒng)之間的互連，必 須將各種要求加以分類須將各種要求加以分類(例

25、如對所有實現的強制性例如對所有實現的強制性 要求、有條件或任選的要求等要求、有條件或任選的要求等)，形成的約束：，形成的約束： 定義各類協(xié)議子集的內容（即協(xié)議實現者欲實定義各類協(xié)議子集的內容（即協(xié)議實現者欲實 現某類協(xié)議所必須包括的內容），定義現某類協(xié)議所必須包括的內容），定義PDUPDU的的 最大長度、各種協(xié)議參數、變量、計時器的取最大長度、各種協(xié)議參數、變量、計時器的取 值范圍等等。值范圍等等。 SCR是促進互通而允許的最小實現能力。是促進互通而允許的最小實現能力。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 19 DCR和和SCR v由此可見，由此可見， 動態(tài)一致

26、性是指協(xié)議規(guī)范中規(guī)定的通信實例中動態(tài)一致性是指協(xié)議規(guī)范中規(guī)定的通信實例中 的協(xié)議實現所必須呈現的外部特性的組合或允的協(xié)議實現所必須呈現的外部特性的組合或允 許的各種選擇性組合，許的各種選擇性組合， 而靜態(tài)一致性是指協(xié)議規(guī)范中為使協(xié)議實現能而靜態(tài)一致性是指協(xié)議規(guī)范中為使協(xié)議實現能 夠互連而定義的功有類別、功能單元的分組以夠互連而定義的功有類別、功能單元的分組以 及選擇性功能等等。及選擇性功能等等。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 20 一致性測試要求：選項一致性測試要求：選項 v 由于選項要求給協(xié)議實現者留下了選擇的余地，必須要有由于選項要求給協(xié)議實現者留下了

27、選擇的余地，必須要有 一個關于已實現的能力和選項的說明，從而對照相關要求一個關于已實現的能力和選項的說明，從而對照相關要求 對該實現進行一致性測試。這個說明就是對該實現進行一致性測試。這個說明就是協(xié)議一致性陳述協(xié)議一致性陳述 PICS (Protocol Implementation Conformance Statement)。 v 為測試一個協(xié)議的實現，測試實驗室除了需要由為測試一個協(xié)議的實現，測試實驗室除了需要由PICSPICS提供提供 的信息外，還需要與的信息外，還需要與IUTIUT和它的測試環(huán)境的信息，即和它的測試環(huán)境的信息，即協(xié)議協(xié)議 實現額外信息實現額外信息PIXITPIXIT(

28、Protocol Implement (Protocol Implement eXtraeXtra Information Statement)Information Statement)。它作為抽象測試集的一部分提它作為抽象測試集的一部分提 出。出。 v 這些要求往往使用表格形式來描述。這些要求往往使用表格形式來描述。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 21 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 22 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 23 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1

29、概述）概述） 24 一致性系統(tǒng)一致性系統(tǒng) v上述一致性要求必須精確地、無二義性地被描上述一致性要求必須精確地、無二義性地被描 述，這當然也要用到我們前面介紹的形式描述述，這當然也要用到我們前面介紹的形式描述 技術。技術。 v我們將同時滿足靜態(tài)和動態(tài)一致性要求，并且我們將同時滿足靜態(tài)和動態(tài)一致性要求，并且 符合符合PICS中陳述的能力的系統(tǒng)或實現稱為中陳述的能力的系統(tǒng)或實現稱為一致一致 性系統(tǒng)性系統(tǒng)。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 25 一致性測試級別一致性測試級別 二、一致性測試級別二、一致性測試級別 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1

30、概述）概述） 26 一致性測試級別一致性測試級別 v 為什么要將一致性測試分級？為什么要將一致性測試分級？ 一致性測試的主要目的是提高不同系統(tǒng)之間能夠互通的概率。雖一致性測試的主要目的是提高不同系統(tǒng)之間能夠互通的概率。雖 然一致性是保證互通能力的必須條件，但并不是充分條件。然一致性是保證互通能力的必須條件，但并不是充分條件。 如果兩個實現都能與某個協(xié)議標準的子集相一致，則這兩個系統(tǒng)如果兩個實現都能與某個協(xié)議標準的子集相一致，則這兩個系統(tǒng) 之間在些情況下互通要比在其它情況下互通容易實現。之間在些情況下互通要比在其它情況下互通容易實現。 所以為了實現互通，應對系統(tǒng)的所以為了實現互通，應對系統(tǒng)的PI

31、CS進行比較，特別是協(xié)議標準進行比較，特別是協(xié)議標準 的不同任選能力上。實際的限制和經濟上的考慮使得人們不能進的不同任選能力上。實際的限制和經濟上的考慮使得人們不能進 行窮舉測試。行窮舉測試。 v ISO 9646將協(xié)議一致性測試分為四級，由低到高分別為將協(xié)議一致性測試分為四級，由低到高分別為 基本互連測試、基本互連測試、 能力測試、能力測試、 行為測試、行為測試、 一致性分解測試。一致性分解測試。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 27 基本互連測試基本互連測試 v對協(xié)議中的主要特征進行有限的測試，以確定被對協(xié)議中的主要特征進行有限的測試，以確定被 測對象是

32、否有足夠的標準化程序實現初步互連。測對象是否有足夠的標準化程序實現初步互連。 基本互連測試旨在檢查基本互連測試旨在檢查IUT是否具備進一步測試是否具備進一步測試 的條件，是否有最小的連接能力，能否接收和發(fā)的條件，是否有最小的連接能力，能否接收和發(fā) 送數據。送數據。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 28 能力測試能力測試(capability test) v將被測對象進行有限的靜態(tài)一致性測試，以確定將被測對象進行有限的靜態(tài)一致性測試，以確定 被測對象可觀察到的能力。將觀察到的結果與被被測對象可觀察到的能力。將觀察到的結果與被 測對象的測對象的PICS比較，確定

33、是否相符。比較，確定是否相符。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 29 行為測試行為測試(behaviour test) v按協(xié)議中動態(tài)一致性要求在實際通信狀態(tài)下進按協(xié)議中動態(tài)一致性要求在實際通信狀態(tài)下進 行周密的測試。這是花時間最多且最為重要的行周密的測試。這是花時間最多且最為重要的 測試。如果測試結果未發(fā)現不一致性，則本測測試。如果測試結果未發(fā)現不一致性，則本測 試與上面的能力測試的結果一道，可用作宣布試與上面的能力測試的結果一道，可用作宣布 被測對象與相應協(xié)議一致的根據，也可作為用被測對象與相應協(xié)議一致的根據，也可作為用 戶購買該產品的主要依據。戶購買該

34、產品的主要依據。 v行為測試可分為兩級：行為測試可分為兩級： 覆蓋性測試覆蓋性測試(comprehensive testing)。只要求測試序列只要求測試序列 歷經歷經IUT的所有轉換至少一次就可以的所有轉換至少一次就可以 窮盡性測試窮盡性測試(exhausive testing)。要求檢查每個轉換要求檢查每個轉換 的前后狀態(tài)。的前后狀態(tài)。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 30 行為測試行為測試(behaviour test) vIUT的行為測試又分為三大組：的行為測試又分為三大組： IUT對合法行為的響應對合法行為的響應(測試序列以及測試數據符合測試序列以

35、及測試數據符合 協(xié)議規(guī)范協(xié)議規(guī)范)； IUT對語法上不合法行為的響應對語法上不合法行為的響應(測試序列符合協(xié)議測試序列符合協(xié)議 規(guī)范，但測試數據是不合法的規(guī)范，但測試數據是不合法的)； IUT對不合適事件的響應對不合適事件的響應(不合適事件為異常事件，不合適事件為異常事件， 對協(xié)議規(guī)范來說，它是不合法的對協(xié)議規(guī)范來說，它是不合法的)。 v每個大組又可分為許多小組，如，連接建立階每個大組又可分為許多小組，如，連接建立階 段、數據傳送階段、連接釋放階段等。每個小段、數據傳送階段、連接釋放階段等。每個小 組的測試目的可能要由多個測試序列來實現。組的測試目的可能要由多個測試序列來實現。 第第7章章 協(xié)

36、議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 31 一致性分解測試一致性分解測試(conformance resolution test) v當其它測試不能確定一致性但又可能存在問題時，當其它測試不能確定一致性但又可能存在問題時， 可在小范圍內再進行測試，以判定被測試對象是可在小范圍內再進行測試，以判定被測試對象是 否滿足某種特定的要求。因此，也稱為否滿足某種特定的要求。因此，也稱為“定向診定向診 斷測試斷測試”。這種測試。這種測試是非標準化的是非標準化的。 v一致性分解測試要求測試執(zhí)行系統(tǒng)對一致性要求一致性分解測試要求測試執(zhí)行系統(tǒng)對一致性要求 逐項地給出逐項地給出yes/no的肯定回

37、答，例如，的肯定回答，例如，“IUT實現實現 了第了第2類協(xié)議嗎？類協(xié)議嗎？”，因此又可將一致性分解測試，因此又可將一致性分解測試 稱為稱為“一致性判定測試一致性判定測試”。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 32 一致性測試模型一致性測試模型 三、一致性測試模型三、一致性測試模型 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 33 一致性測試模型一致性測試模型 vISO建議的協(xié)議一致性測試模型如圖所示建議的協(xié)議一致性測試模型如圖所示 (n-1)Service Provider LT PCO IUT (n)PDU (n-1)ASP PCO

38、 CI UT 被測被測 對象對象 UT(Upper Tester) 是上測試器是上測試器(上層上層 測試軟件或硬件測試軟件或硬件) 。 是對是對IUT的上服務的上服務 邊界進行控制和觀邊界進行控制和觀 察所提供的手段察所提供的手段 LT(Lower Tester) 是下測試器是下測試器(下層下層 測試軟件或硬件測試軟件或硬件)。 是在測試執(zhí)行期是在測試執(zhí)行期 間，為了經下層間，為了經下層 服務提供者而對服務提供者而對 IUT的下服務邊界的下服務邊界 進行間接控制和進行間接控制和 觀察所提供的手觀察所提供的手 段。段。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 34 一

39、致性測試模型一致性測試模型 vISO建議的協(xié)議一致性測試模型如圖所示建議的協(xié)議一致性測試模型如圖所示 (n-1)Service Provider LT PCO IUT (n)PDU (n-1)ASP PCO CI UT 如果如果IUT是是n層協(xié)議實體，層協(xié)議實體， 那么那么UT屬于屬于(n+1)層，層， LT屬于屬于n層層(LT和和IUT為為 同層協(xié)議實體同層協(xié)議實體)。 UT通過控制觀察通過控制觀察 點點PCO(Point of Control and Observation)和和 IUT交換交換n層的抽層的抽 象服務原語象服務原語 (n)ASP(Abstract Service Primi

40、tives) LT通過通過PCO和和IUT 交換交換(n-1)層的層的ASP。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 35 一致性測試模型一致性測試模型 vISO建議的協(xié)議一致性測試模型如圖所示建議的協(xié)議一致性測試模型如圖所示 (n-1)Service Provider LT PCO IUT (n)PDU (n-1)ASP PCO CI UT 通過通過IUT內協(xié)議內協(xié)議 的的PDU和上下界和上下界 面的面的ASPs來觀測來觀測 協(xié)議行為。協(xié)議行為。 通過通過IUT內協(xié)議內協(xié)議 的的PDU和上下界和上下界 面的面的ASPs來觀測來觀測 協(xié)議行為。協(xié)議行為。 通過通過

41、IUT內協(xié)議內協(xié)議 的的PDU和上下界和上下界 面的面的ASPs來觀測來觀測 協(xié)議行為。協(xié)議行為。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 36 PCOs vPCO由下列三種因素標識：由下列三種因素標識： IUT內對測試事件進行控制與觀察的服務邊界；內對測試事件進行控制與觀察的服務邊界； 在該點進行控制和觀察的一組測試事件在該點進行控制和觀察的一組測試事件(ASPs或或PDUs)； 對這些測試事件的控制和觀察是在對這些測試事件的控制和觀察是在SUT內還是在測試系內還是在測試系 統(tǒng)中。統(tǒng)中。 v如果如果IUT是運輸層協(xié)議實體，那么是運輸層協(xié)議實體，那么 (n)ASP就

42、是運輸服務原語就是運輸服務原語TSP(Transport Service Primitives)，UT使用的使用的PCO就是運輸服務訪問點就是運輸服務訪問點TSAP (n-1)ASP就是網絡服務原語就是網絡服務原語NSP(Network Service Primitives)，LT使用的使用的PCO就是網絡服務訪問點就是網絡服務訪問點NSAP。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 37 協(xié)調測試過程協(xié)調測試過程 v為了完成測試，上測試器和下測試器之間需要合為了完成測試，上測試器和下測試器之間需要合 作，交換一些協(xié)同信息以解決測試的同步和控制作，交換一些協(xié)同信息以

43、解決測試的同步和控制 問題。這種合作稱為測試協(xié)調過程。問題。這種合作稱為測試協(xié)調過程。 在圖中，在圖中，LT和和IUT通過通過(n-1)層服務交換層服務交換(n-1)ASP，而，而 UT和和LT利用利用(n-1)層提供的另外一條通道交換協(xié)同信息層提供的另外一條通道交換協(xié)同信息 CI(Coordinated Information)。 測試的主控者可以是測試的主控者可以是UT，也可以是也可以是LT，但一般都是但一般都是LT。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 38 一致性測試模型一致性測試模型 vISO建議的協(xié)議一致性測試模型如圖所示建議的協(xié)議一致性測試模型如圖

44、所示 (n-1)Service Provider LT PCO IUT (n)PDU (n-1)ASP PCO CI UT UTUT和和LTLT利用利用(n-1)(n-1)層提供層提供 的另外一條通道交換協(xié)同的另外一條通道交換協(xié)同 信息信息CI(Coordinated CI(Coordinated Information)Information) LT和和IUT通過通過 (n-1)層服務交層服務交 換換(n-1)ASP 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 39 模型的工作過程：模型的工作過程：Example v檢測檢測IUT是否具有正常的連接能力是否具有正常的連

45、接能力(假定假定UT為測試的主控為測試的主控 者者) 的例子：的例子： 1.UT向向IUT發(fā)連接請求服務原語發(fā)連接請求服務原語CONNECT_request。 2.UT通知通知LT：已啟動連接測試。已啟動連接測試。 3.LT從從IUT接收連接請求報文接收連接請求報文CONNECTreq。 4.4. 如果如果CONNECTreq合法，合法，LT向向IUT發(fā)送接受連接請求報文發(fā)送接受連接請求報文 CONNECTaccept。 5.LT通知通知UT：正確收到連接請求報文，已發(fā)出正確收到連接請求報文，已發(fā)出CONNECTaccept 報文。報文。 6.UT從從IUT接收連接指示服務原語接收連接指示服務

46、原語CONNECT_indication，并分析并分析 有關信息作出有關信息作出IUT是否有正常連接能力的判決是否有正常連接能力的判決(verdict)。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 40 并發(fā)一致性測試模型 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 41 一致性測試流程一致性測試流程 四、一致性測試流程四、一致性測試流程 42 標準協(xié)議規(guī)范 動態(tài)一致性要求 靜態(tài)一致性要求 PICS調查表 測試目的 通用測試集 標準測試方法 測試符號 協(xié)議實現 IUT PICS PIXIT 標準化的 抽象測試集 測試選擇 測試實現 可執(zhí)行的測試

47、集 PIXIT調 查表 靜態(tài)一致性 審查 測試執(zhí)行 結果分析 測試報告 證書 (1) 確定測試目的確定測試目的。一。一 致性測試者根據協(xié)議規(guī)致性測試者根據協(xié)議規(guī) 范、服務規(guī)范確定測試范、服務規(guī)范確定測試 目的。目的。 (2)測試集測試集(Test Suite)生生 成成。根據協(xié)議規(guī)范、服。根據協(xié)議規(guī)范、服 務規(guī)范以及測試目的生務規(guī)范以及測試目的生 成并描述測試集。這一成并描述測試集。這一 步生成的測試集，通常步生成的測試集，通常 是是抽象測試集抽象測試集，因為它，因為它 是獨立于所有的協(xié)議實是獨立于所有的協(xié)議實 現的。測試集的生成又現的。測試集的生成又 可分解為可分解為3方面的工作方面的工作：

48、 測試序列的生成；測試測試序列的生成；測試 數據的生成；將測試序數據的生成；將測試序 列和測試數據合起來生列和測試數據合起來生 成并描述測試集。成并描述測試集。 (3) 測試集實現測試集實現。將抽。將抽 象測試集用測試執(zhí)行象測試集用測試執(zhí)行 系統(tǒng)能夠認識的語言系統(tǒng)能夠認識的語言 描述。在這一階段，描述。在這一階段， 抽象測試集中的抽象抽象測試集中的抽象 測試例被轉變?yōu)樵谝粶y試例被轉變?yōu)樵谝?實際的測試系統(tǒng)上可實際的測試系統(tǒng)上可 執(zhí)行的測試例。這一執(zhí)行的測試例。這一 步需要考慮測試環(huán)境步需要考慮測試環(huán)境 與與IUT的具體情況。的具體情況。 (4)測試執(zhí)行測試執(zhí)行。對。對 被測試協(xié)議實現運被測試協(xié)

49、議實現運 行已具體化的測試行已具體化的測試 例，并對例，并對IUT的外的外 部行為響應進行觀部行為響應進行觀 察和記錄。察和記錄。 (5)結果評估結果評估。根據測試記錄并參照。根據測試記錄并參照PICS和和 PIXIT對對IUT進行評估，并給出一致性測試進行評估，并給出一致性測試 報告。報告需給出一個一致性的判決。報告。報告需給出一個一致性的判決。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 43 一致性測試要解決的主要問題一致性測試要解決的主要問題 v如何產生一致性測試集。即如何找到一種比較通如何產生一致性測試集。即如何找到一種比較通 用的、高效的產生一個給定協(xié)議實現

50、的一致性測用的、高效的產生一個給定協(xié)議實現的一致性測 試集的方法。試集的方法。 v如何度量測試復蓋率。如何度量測試復蓋率。 v如何選取最小的測試序列去檢測更多的協(xié)議錯誤。如何選取最小的測試序列去檢測更多的協(xié)議錯誤。 v如何描述測試以及如何評估測試結果。如何描述測試以及如何評估測試結果。 v如果協(xié)議規(guī)范本身有錯誤，如不完整或有二義性，如果協(xié)議規(guī)范本身有錯誤，如不完整或有二義性， 這將給協(xié)議一致性測試帶來什么問題，如何處理？這將給協(xié)議一致性測試帶來什么問題，如何處理？ 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 44 一致性測試要解決的主要問題一致性測試要解決的主要問題 v

51、 如何將測試序列輸入到一個正在運行的協(xié)議實現中。在層如何將測試序列輸入到一個正在運行的協(xié)議實現中。在層 次結構中，通常情況下，為測試次結構中，通常情況下，為測試N N層協(xié)議的層協(xié)議的IUTIUT，需要一個需要一個 上層上層(N+1)(N+1)測試器測試器(upper tester)(upper tester)和一個下層和一個下層(N-1)(N-1)測試器測試器 (lower tester)(lower tester)以及協(xié)調它們產生測試序列的機制。以及協(xié)調它們產生測試序列的機制。 v 當測試器只能通過遠程網絡連接訪問到當測試器只能通過遠程網絡連接訪問到IUTIUT時，如果它們之時，如果它們之

52、間沒有一條完全可靠的通信鏈路，可能會使問題變得復雜間沒有一條完全可靠的通信鏈路，可能會使問題變得復雜 Implementation Under Test(IUT) Tester Application Network Interface N-1 N+1 N Network Interface Virtual Channel actual Channel 45 一致性測試流程（另一種觀點）一致性測試流程（另一種觀點） 協(xié)議規(guī)范協(xié)議規(guī)范服務規(guī)范服務規(guī)范 測試目的測試目的 測試集測試集 IUT 測試日志測試日志測試評估測試評估 PICS PIXIT 測試報告測試報告 第第7章章 協(xié)議一致性測試技術（

53、協(xié)議一致性測試技術（1概述）概述） 46 內容提要內容提要 概述概述 1 一致性測試概念一致性測試概念2 一致性測試方法一致性測試方法3 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 47 一致性測試方法一致性測試方法 v一致性測試方法決定了一致性測試方法決定了測試集的產生和描述方法測試集的產生和描述方法、 測試執(zhí)行系統(tǒng)的結構測試執(zhí)行系統(tǒng)的結構等。等。 vISO 9646中定義了四種標準的抽象測試方法：中定義了四種標準的抽象測試方法： 本地測試法本地測試法(Local Mehtod) 分布式測試法分布式測試法(Distributed Method) 協(xié)調測試法協(xié)調測試法(

54、Coordination Mehtod) 遠程測試法遠程測試法(Remote Method)。 v上述這幾種測試法是最基本的，適于單層協(xié)議測上述這幾種測試法是最基本的，適于單層協(xié)議測 試，有許多變種，如渡船測試法試，有許多變種，如渡船測試法(Ferry Method)、 多方測試法及騎跨式多方測試法及騎跨式(Astride)測試法等。測試法等。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 48 本地測試法本地測試法 PCO PCO IUT UT LT TCP (n)ASP (n-1)ASP (a) 本地測試法本地測試法 v 在這種方法中，在這種方法中，LT，UT，IUT

55、 同處于一臺機器中，測試不需同處于一臺機器中，測試不需 要低層通信系統(tǒng)的支持。要低層通信系統(tǒng)的支持。 v 由于由于UT和和LT可以在同一個程序可以在同一個程序 中實現，因此，中實現，因此，UT和和LT的的測試測試 協(xié)同過程協(xié)同過程TCP(Test Coordinate Procedure)比較容易實現。比較容易實現。 v 測試例用測試例用UT執(zhí)行的服務原語和執(zhí)行的服務原語和 LT執(zhí)行的服務原語來描述。在執(zhí)行的服務原語來描述。在 這里，這里，LT相當于低層服務提供相當于低層服務提供 者。者。 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 49 分布測試法分布測試法 (b)

56、分布測試法分布測試法 v 在這種方法中，在這種方法中，IUT和和UT處于同處于同 一臺機器中，而一臺機器中，而LT則分布在其它則分布在其它 機器中。機器中。 v LT和和IUT之間利用之間利用(n-1)層服務交層服務交 換報文換報文(可以在線測試可以在線測試)。 v 與本地方法相比，與本地方法相比，LT和和IUT之間之間 的接口的接口PCO從從IUT中轉換到中轉換到LT中，中， LT相當于相當于(n-1)層服務的使用者層服務的使用者 v 測試協(xié)同過程測試協(xié)同過程TCP隱含在測試例隱含在測試例 中，測試同步問題由中，測試同步問題由UT和和LT的操的操 作者來實現。作者來實現。 v 適用于本地方法

57、的測試例必須改適用于本地方法的測試例必須改 寫后才能用于分布式測試法。寫后才能用于分布式測試法。 (n-1)服務提供者服務提供者 PCO LT PCO IUT UT TCP (n-1)ASP (n)ASP (n)PDU 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 50 協(xié)同測試法協(xié)同測試法 (c) 協(xié)同測試法協(xié)同測試法 v 協(xié)同測試法和分布式測試法的根協(xié)同測試法和分布式測試法的根 本區(qū)別在于本區(qū)別在于協(xié)同測試法引入測試協(xié)同測試法引入測試 管理協(xié)議管理協(xié)議TMP(Test Management Protocol)。 v 有了有了TMP，UT和和LT就通過交換就通過交換 T

58、M-PDU實現測試協(xié)同過程。交實現測試協(xié)同過程。交 換換TM-PDU有兩種方法：有兩種方法： 帶內傳送法帶內傳送法，即將，即將TM-PDU作為作為 (n)ASP的用戶數據傳送給的用戶數據傳送給IUT，IUT 再將它傳送給再將它傳送給LT； 帶外傳送法帶外傳送法，即將，即將TM-PDU直接利用直接利用 (n-1)層服務來傳送。圖層服務來傳送。圖 (c)所示的是所示的是 帶內傳送法。帶內傳送法。 v 同樣，分布式測試法的測試例不同樣，分布式測試法的測試例不 能用于協(xié)同測試法。能用于協(xié)同測試法。 (n-1)服務提供者服務提供者 PCO LT PCO IUT UT TM-TCP (n-1)ASP (n)ASP (n)PDU 第第7章章 協(xié)議一致性測試技術（協(xié)議一致性測試技術（1概述）概述） 51 遠程測試法遠程測試法 (c) 遠程測試法遠程測試法 v 這種測試方法中沒有這種測試方法中沒有UTUT，因此也因此也 不存在不存在UTUT和和LTLT之間的協(xié)同問題。之間的協(xié)同問題。 v 在這種方法中，測試例完全用在這種方法中，測試例完全用(n-(n- 1)ASP1)ASP描述。描述。 v 遠程方法比較適用于被動式協(xié)議遠程方法比較適用于被動式協(xié)議 實現或服務型協(xié)議實體的測試。實現或服務型協(xié)議實體的測試。 (n-1)服務提供者服務提供者 PCO LT