軟件測(cè)試流程規(guī)范手冊(cè)_第1頁(yè)
軟件測(cè)試流程規(guī)范手冊(cè)_第2頁(yè)
軟件測(cè)試流程規(guī)范手冊(cè)_第3頁(yè)
軟件測(cè)試流程規(guī)范手冊(cè)_第4頁(yè)
軟件測(cè)試流程規(guī)范手冊(cè)_第5頁(yè)
已閱讀5頁(yè),還剩18頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

軟件測(cè)試流程規(guī)范手冊(cè)TOC\o"1-2"\h\u3292第1章引言 4274551.1軟件測(cè)試目的 4111831.2軟件測(cè)試原則 5128741.3軟件測(cè)試范圍 530376第2章測(cè)試組織與管理 5207872.1測(cè)試團(tuán)隊(duì)組織結(jié)構(gòu) 5312502.1.1測(cè)試團(tuán)隊(duì)概述 519532.1.2測(cè)試團(tuán)隊(duì)層級(jí) 6290202.1.3測(cè)試團(tuán)隊(duì)角色 6154012.2測(cè)試職責(zé)分配 6179752.2.1測(cè)試經(jīng)理職責(zé) 685382.2.2測(cè)試工程師職責(zé) 6148442.2.3自動(dòng)化測(cè)試工程師職責(zé) 7287122.2.4測(cè)試開發(fā)工程師職責(zé) 748292.2.5測(cè)試支持工程師職責(zé) 7191412.3測(cè)試計(jì)劃與進(jìn)度安排 7132852.3.1測(cè)試計(jì)劃 7130962.3.2測(cè)試進(jìn)度安排 732230第3章測(cè)試策略與類型 868593.1測(cè)試策略制定 822263.1.1確定測(cè)試目標(biāo) 8321083.1.2選擇測(cè)試方法 8326053.1.3確定測(cè)試范圍 8181403.1.4制定測(cè)試時(shí)間表 810423.2單元測(cè)試 865833.2.1編寫單元測(cè)試用例 887443.2.2執(zhí)行單元測(cè)試 9201343.2.3分析單元測(cè)試結(jié)果 9209693.3集成測(cè)試 9244093.3.1制定集成測(cè)試計(jì)劃 974423.3.2編寫集成測(cè)試用例 9283453.3.3執(zhí)行集成測(cè)試 9252183.3.4分析集成測(cè)試結(jié)果 9290193.4系統(tǒng)測(cè)試 9227533.4.1制定系統(tǒng)測(cè)試計(jì)劃 9117873.4.2編寫系統(tǒng)測(cè)試用例 9295783.4.3執(zhí)行系統(tǒng)測(cè)試 9234363.4.4分析系統(tǒng)測(cè)試結(jié)果 109145第4章測(cè)試工具與環(huán)境 1034614.1測(cè)試工具選型 10864.1.1選型原則 10291104.1.2推薦測(cè)試工具 10288754.2測(cè)試環(huán)境搭建 10102124.2.1硬件要求 1071044.2.2軟件要求 1146434.2.3網(wǎng)絡(luò)要求 1183924.3自動(dòng)化測(cè)試工具 11103364.3.1選擇原則 1172184.3.2推薦自動(dòng)化測(cè)試工具 11290234.4功能測(cè)試工具 11119314.4.1選擇原則 1252594.4.2推薦功能測(cè)試工具 1219968第5章測(cè)試用例設(shè)計(jì) 12213125.1測(cè)試用例編寫規(guī)范 1252075.1.1用例編號(hào)規(guī)則 12280295.1.2用例標(biāo)題 1281875.1.3預(yù)置條件 12217965.1.4測(cè)試步驟 12318545.1.5預(yù)期結(jié)果 12276945.1.6實(shí)際結(jié)果 12323235.1.7測(cè)試結(jié)論 12116425.1.8用例優(yōu)先級(jí)和難度 1249015.2功能性測(cè)試用例設(shè)計(jì) 13238435.2.1功能點(diǎn)劃分 13203165.2.2邊界值分析 1311565.2.3等價(jià)類劃分 1331405.2.4決策表 13243975.2.5狀態(tài)轉(zhuǎn)換圖 13183085.2.6錯(cuò)誤猜測(cè) 13190345.3非功能性測(cè)試用例設(shè)計(jì) 13125625.3.1功能測(cè)試 1326065.3.2壓力測(cè)試 1316045.3.3安全測(cè)試 13118275.3.4兼容性測(cè)試 1326885.3.5易用性測(cè)試 13161895.3.6可靠性測(cè)試 13128705.4測(cè)試用例評(píng)審 1368805.4.1評(píng)審流程 13316535.4.2評(píng)審內(nèi)容 14108925.4.3評(píng)審人員 1418945.4.4評(píng)審結(jié)果 1423705第6章測(cè)試執(zhí)行與跟蹤 14246826.1測(cè)試執(zhí)行策略 14139926.1.1測(cè)試執(zhí)行準(zhǔn)備 1428276.1.2測(cè)試執(zhí)行方法 14215006.1.3測(cè)試執(zhí)行控制 1411596.2缺陷報(bào)告與跟蹤 14306566.2.1缺陷報(bào)告 14232246.2.2缺陷跟蹤 15231236.3風(fēng)險(xiǎn)管理 1517106.3.1風(fēng)險(xiǎn)識(shí)別 15210026.3.2風(fēng)險(xiǎn)評(píng)估 15186546.3.3風(fēng)險(xiǎn)應(yīng)對(duì) 15151266.4測(cè)試結(jié)果評(píng)估 15317496.4.1測(cè)試覆蓋率評(píng)估 15244196.4.2缺陷評(píng)估 15153496.4.3測(cè)試總結(jié) 1526289第7章回歸測(cè)試與持續(xù)集成 15265867.1回歸測(cè)試策略 15225827.1.1回歸測(cè)試定義 159707.1.2回歸測(cè)試范圍 16170307.1.3回歸測(cè)試方法 16234437.1.4回歸測(cè)試流程 169267.2持續(xù)集成與自動(dòng)化測(cè)試 1664277.2.1持續(xù)集成概述 16149027.2.2自動(dòng)化測(cè)試策略 16212197.2.3持續(xù)集成流程 17293917.3持續(xù)集成工具 17315857.3.1常用持續(xù)集成工具 17302367.3.2工具選型依據(jù) 1782607.4持續(xù)集成優(yōu)化 1729947.4.1優(yōu)化目標(biāo) 1784297.4.2優(yōu)化措施 1823323第8章驗(yàn)收測(cè)試與上線 18321618.1驗(yàn)收測(cè)試準(zhǔn)備 1899358.1.1目標(biāo)與范圍 18115748.1.2測(cè)試資源準(zhǔn)備 18142348.1.3測(cè)試團(tuán)隊(duì)與職責(zé) 1854588.1.4測(cè)試計(jì)劃與策略 18175208.2驗(yàn)收測(cè)試執(zhí)行 19249468.2.1功能測(cè)試 19168448.2.2功能測(cè)試 1959668.2.3安全測(cè)試 1974278.2.4兼容性測(cè)試 19315878.3上線評(píng)審與決策 19192538.3.1上線評(píng)審 19119328.3.2上線決策 1942898.4上線支持與監(jiān)控 19303248.4.1上線支持 19198188.4.2上線監(jiān)控 2027403第9章測(cè)試質(zhì)量保證 20149899.1測(cè)試過程改進(jìn) 20253489.1.1目的 20133369.1.2方法 20294759.1.3責(zé)任與分工 20107839.2測(cè)試文檔管理 20184349.2.1目的 2021199.2.2方法 2046999.2.3責(zé)任與分工 2024019.3測(cè)試培訓(xùn)與技能提升 21170829.3.1目的 21248009.3.2方法 21306059.3.3責(zé)任與分工 21125699.4測(cè)試質(zhì)量評(píng)估 21227669.4.1目的 21154699.4.2方法 21142469.4.3責(zé)任與分工 2128873第10章總結(jié)與展望 211258510.1測(cè)試項(xiàng)目總結(jié) 211027310.1.1成果與經(jīng)驗(yàn) 222678610.1.2不足與改進(jìn) 22353910.2測(cè)試經(jīng)驗(yàn)積累與分享 22955210.2.1經(jīng)驗(yàn)積累 222255210.2.2經(jīng)驗(yàn)分享 222680810.3測(cè)試發(fā)展趨勢(shì)與展望 221584110.3.1發(fā)展趨勢(shì) 222546610.3.2展望 22534310.4未來測(cè)試工作規(guī)劃 23第1章引言1.1軟件測(cè)試目的軟件測(cè)試是軟件開發(fā)過程中的重要環(huán)節(jié),旨在保證軟件產(chǎn)品在交付用戶使用之前,達(dá)到預(yù)定的質(zhì)量要求。本章旨在闡述軟件測(cè)試的目的,主要包括以下幾點(diǎn):(1)驗(yàn)證軟件功能是否符合需求規(guī)格說明書中的規(guī)定;(2)識(shí)別軟件設(shè)計(jì)、編碼和實(shí)現(xiàn)過程中可能存在的問題;(3)評(píng)估軟件產(chǎn)品的可靠性、穩(wěn)定性、可用性、功能等非功能特性;(4)保證軟件產(chǎn)品在多種環(huán)境和配置下的兼容性;(5)為改進(jìn)軟件開發(fā)過程提供依據(jù)。1.2軟件測(cè)試原則為保證軟件測(cè)試的有效性和高效性,遵循以下原則:(1)測(cè)試應(yīng)盡早開始,與軟件開發(fā)過程并行進(jìn)行;(2)測(cè)試用例應(yīng)覆蓋所有需求規(guī)格說明書中的功能點(diǎn);(3)測(cè)試過程中,缺陷的發(fā)覺和修復(fù)應(yīng)持續(xù)進(jìn)行,直至達(dá)到質(zhì)量目標(biāo);(4)測(cè)試應(yīng)基于風(fēng)險(xiǎn)進(jìn)行優(yōu)先級(jí)排序,關(guān)注關(guān)鍵功能和核心模塊;(5)測(cè)試數(shù)據(jù)應(yīng)具有代表性和多樣性,以驗(yàn)證軟件在不同場(chǎng)景下的表現(xiàn);(6)自動(dòng)化測(cè)試應(yīng)與手動(dòng)測(cè)試相結(jié)合,以提高測(cè)試效率和覆蓋率。1.3軟件測(cè)試范圍軟件測(cè)試范圍包括但不限于以下方面:(1)功能測(cè)試:驗(yàn)證軟件的功能是否符合需求規(guī)格說明書中的規(guī)定;(2)功能測(cè)試:評(píng)估軟件在各種負(fù)載條件下的響應(yīng)速度、資源消耗等功能指標(biāo);(3)安全測(cè)試:檢查軟件是否存在安全漏洞,保證數(shù)據(jù)安全和系統(tǒng)穩(wěn)定;(4)兼容性測(cè)試:驗(yàn)證軟件在不同操作系統(tǒng)、瀏覽器、硬件配置等環(huán)境下的兼容性;(5)界面和用戶體驗(yàn)測(cè)試:保證軟件界面友好、易用,符合用戶操作習(xí)慣;(6)集成測(cè)試:驗(yàn)證不同模塊或系統(tǒng)間的交互是否正常,保證整個(gè)系統(tǒng)的穩(wěn)定性;(7)單元測(cè)試:對(duì)軟件中最小的可測(cè)試單元進(jìn)行測(cè)試,保證其正確性;(8)回歸測(cè)試:在軟件修改后,驗(yàn)證原有功能是否受到影響,保證修改的正確性;(9)預(yù)發(fā)布測(cè)試:在軟件發(fā)布前進(jìn)行全面的測(cè)試,保證軟件質(zhì)量達(dá)到預(yù)定標(biāo)準(zhǔn)。第2章測(cè)試組織與管理2.1測(cè)試團(tuán)隊(duì)組織結(jié)構(gòu)2.1.1測(cè)試團(tuán)隊(duì)概述測(cè)試團(tuán)隊(duì)是軟件質(zhì)量保證的關(guān)鍵環(huán)節(jié),負(fù)責(zé)對(duì)軟件產(chǎn)品進(jìn)行全面、系統(tǒng)的測(cè)試。測(cè)試團(tuán)隊(duì)?wèi)?yīng)具備合理的組織結(jié)構(gòu),以保證測(cè)試工作的有效開展。2.1.2測(cè)試團(tuán)隊(duì)層級(jí)測(cè)試團(tuán)隊(duì)分為以下三個(gè)層級(jí):(1)測(cè)試管理層:負(fù)責(zé)制定測(cè)試策略、規(guī)劃測(cè)試資源、監(jiān)控測(cè)試進(jìn)度及質(zhì)量,對(duì)整個(gè)測(cè)試過程進(jìn)行管理和決策。(2)測(cè)試執(zhí)行層:負(fù)責(zé)具體執(zhí)行測(cè)試用例,發(fā)覺并跟蹤缺陷,對(duì)測(cè)試結(jié)果進(jìn)行分析和報(bào)告。(3)測(cè)試支持層:為測(cè)試管理層和測(cè)試執(zhí)行層提供必要的技術(shù)支持,包括測(cè)試工具研發(fā)、測(cè)試環(huán)境搭建與維護(hù)、測(cè)試培訓(xùn)等。2.1.3測(cè)試團(tuán)隊(duì)角色測(cè)試團(tuán)隊(duì)主要包括以下角色:(1)測(cè)試經(jīng)理:負(fù)責(zé)測(cè)試團(tuán)隊(duì)的管理和決策,制定測(cè)試計(jì)劃,分配測(cè)試任務(wù),監(jiān)控測(cè)試進(jìn)度和質(zhì)量。(2)測(cè)試工程師:負(fù)責(zé)執(zhí)行測(cè)試用例,發(fā)覺缺陷,跟蹤缺陷修復(fù)情況,編寫測(cè)試報(bào)告。(3)自動(dòng)化測(cè)試工程師:負(fù)責(zé)編寫自動(dòng)化測(cè)試腳本,維護(hù)自動(dòng)化測(cè)試框架,提高測(cè)試效率。(4)測(cè)試開發(fā)工程師:負(fù)責(zé)測(cè)試工具的研發(fā)和優(yōu)化,提升測(cè)試團(tuán)隊(duì)的技術(shù)能力。(5)測(cè)試支持工程師:負(fù)責(zé)測(cè)試環(huán)境的搭建與維護(hù),提供測(cè)試所需的技術(shù)支持。2.2測(cè)試職責(zé)分配2.2.1測(cè)試經(jīng)理職責(zé)(1)制定測(cè)試策略,明確測(cè)試范圍、方法和目標(biāo)。(2)組織制定測(cè)試計(jì)劃,分配測(cè)試資源,監(jiān)控測(cè)試進(jìn)度。(3)評(píng)審測(cè)試用例,保證測(cè)試用例的完整性和準(zhǔn)確性。(4)跟蹤缺陷修復(fù)情況,對(duì)測(cè)試質(zhì)量負(fù)責(zé)。2.2.2測(cè)試工程師職責(zé)(1)執(zhí)行測(cè)試用例,發(fā)覺并提交缺陷。(2)跟蹤缺陷修復(fù)過程,驗(yàn)證缺陷是否已解決。(3)編寫測(cè)試報(bào)告,總結(jié)測(cè)試過程中發(fā)覺的問題。(4)參與測(cè)試用例評(píng)審,提出優(yōu)化建議。2.2.3自動(dòng)化測(cè)試工程師職責(zé)(1)編寫自動(dòng)化測(cè)試腳本,提高測(cè)試效率。(2)維護(hù)自動(dòng)化測(cè)試框架,保證自動(dòng)化測(cè)試穩(wěn)定運(yùn)行。(3)參與測(cè)試工具的研發(fā)和優(yōu)化,提升測(cè)試團(tuán)隊(duì)技術(shù)能力。2.2.4測(cè)試開發(fā)工程師職責(zé)(1)研發(fā)測(cè)試工具,提高測(cè)試效率。(2)優(yōu)化現(xiàn)有測(cè)試工具,滿足測(cè)試團(tuán)隊(duì)需求。(3)為測(cè)試團(tuán)隊(duì)提供技術(shù)支持,解決測(cè)試過程中遇到的技術(shù)問題。2.2.5測(cè)試支持工程師職責(zé)(1)搭建和維護(hù)測(cè)試環(huán)境,保證測(cè)試環(huán)境穩(wěn)定。(2)提供測(cè)試所需的技術(shù)支持,協(xié)助測(cè)試團(tuán)隊(duì)解決問題。(3)參與測(cè)試計(jì)劃的制定,提供環(huán)境資源保障。2.3測(cè)試計(jì)劃與進(jìn)度安排2.3.1測(cè)試計(jì)劃測(cè)試計(jì)劃是指導(dǎo)測(cè)試過程的重要文檔,主要包括以下內(nèi)容:(1)測(cè)試目標(biāo):明確本次測(cè)試的目的,保證測(cè)試工作有的放矢。(2)測(cè)試范圍:確定測(cè)試的產(chǎn)品、功能、模塊等。(3)測(cè)試策略:制定測(cè)試方法、工具、資源等。(4)測(cè)試時(shí)間表:規(guī)劃測(cè)試各階段的起止時(shí)間。(5)測(cè)試資源:列出測(cè)試所需的硬件、軟件、人員等資源。(6)風(fēng)險(xiǎn)評(píng)估:分析測(cè)試過程中可能遇到的風(fēng)險(xiǎn),提前做好應(yīng)對(duì)措施。2.3.2測(cè)試進(jìn)度安排測(cè)試進(jìn)度安排應(yīng)根據(jù)測(cè)試計(jì)劃進(jìn)行,保證各階段工作有序進(jìn)行。主要包括以下階段:(1)測(cè)試準(zhǔn)備:完成測(cè)試環(huán)境搭建、測(cè)試工具準(zhǔn)備、測(cè)試用例編寫等工作。(2)測(cè)試執(zhí)行:按照測(cè)試計(jì)劃,執(zhí)行測(cè)試用例,發(fā)覺并提交缺陷。(3)缺陷跟蹤:跟蹤缺陷修復(fù)過程,保證缺陷得到及時(shí)解決。(4)測(cè)試報(bào)告:編寫測(cè)試報(bào)告,總結(jié)測(cè)試過程中發(fā)覺的問題。(5)回歸測(cè)試:在缺陷修復(fù)后,進(jìn)行回歸測(cè)試,保證修復(fù)效果。(6)測(cè)試總結(jié):對(duì)整個(gè)測(cè)試過程進(jìn)行總結(jié),為后續(xù)測(cè)試提供經(jīng)驗(yàn)教訓(xùn)。第3章測(cè)試策略與類型3.1測(cè)試策略制定測(cè)試策略是軟件測(cè)試過程中的一環(huán),它定義了軟件測(cè)試的整體目標(biāo)、方法、范圍和時(shí)間表。本節(jié)主要闡述如何制定合理的測(cè)試策略。3.1.1確定測(cè)試目標(biāo)測(cè)試目標(biāo)應(yīng)與項(xiàng)目需求、業(yè)務(wù)目標(biāo)和用戶期望保持一致。主要包括:(1)驗(yàn)證軟件是否符合需求規(guī)格說明;(2)保證軟件質(zhì)量滿足預(yù)定標(biāo)準(zhǔn);(3)識(shí)別并修復(fù)軟件缺陷;(4)降低軟件上線后出現(xiàn)問題的風(fēng)險(xiǎn)。3.1.2選擇測(cè)試方法根據(jù)項(xiàng)目特點(diǎn),選擇合適的測(cè)試方法,包括黑盒測(cè)試、白盒測(cè)試、灰盒測(cè)試等。3.1.3確定測(cè)試范圍測(cè)試范圍包括軟件的功能、功能、安全性、兼容性等方面。應(yīng)充分考慮項(xiàng)目需求、資源、時(shí)間和風(fēng)險(xiǎn)等因素,合理劃分測(cè)試范圍。3.1.4制定測(cè)試時(shí)間表根據(jù)項(xiàng)目進(jìn)度和測(cè)試范圍,制定詳細(xì)的測(cè)試時(shí)間表,包括測(cè)試計(jì)劃、測(cè)試執(zhí)行和測(cè)試總結(jié)等階段。3.2單元測(cè)試單元測(cè)試是對(duì)軟件中最小的可測(cè)試單元(如函數(shù)、方法、類等)進(jìn)行測(cè)試。其主要目的是驗(yàn)證單元的正確性和健壯性。3.2.1編寫單元測(cè)試用例根據(jù)需求規(guī)格說明和代碼實(shí)現(xiàn),編寫單元測(cè)試用例,覆蓋各種輸入、輸出和異常情況。3.2.2執(zhí)行單元測(cè)試使用單元測(cè)試框架(如JUnit、NUnit等)執(zhí)行單元測(cè)試,保證每個(gè)單元的功能和功能符合預(yù)期。3.2.3分析單元測(cè)試結(jié)果分析單元測(cè)試結(jié)果,找出軟件中潛在的缺陷,并及時(shí)修復(fù)。3.3集成測(cè)試集成測(cè)試是對(duì)軟件中已通過單元測(cè)試的模塊進(jìn)行組合,測(cè)試模塊之間的接口和交互是否正常。3.3.1制定集成測(cè)試計(jì)劃根據(jù)軟件架構(gòu)和模塊依賴關(guān)系,制定集成測(cè)試計(jì)劃,明確測(cè)試順序、測(cè)試內(nèi)容和測(cè)試目標(biāo)。3.3.2編寫集成測(cè)試用例編寫集成測(cè)試用例,覆蓋模塊間的接口、交互和數(shù)據(jù)傳遞等方面。3.3.3執(zhí)行集成測(cè)試使用集成測(cè)試工具(如Selenium、QTP等)執(zhí)行集成測(cè)試,保證模塊間接口和交互正常。3.3.4分析集成測(cè)試結(jié)果分析集成測(cè)試結(jié)果,發(fā)覺并解決模塊間集成過程中出現(xiàn)的問題。3.4系統(tǒng)測(cè)試系統(tǒng)測(cè)試是對(duì)完整的軟件系統(tǒng)進(jìn)行測(cè)試,以驗(yàn)證系統(tǒng)是否滿足用戶需求和預(yù)定質(zhì)量標(biāo)準(zhǔn)。3.4.1制定系統(tǒng)測(cè)試計(jì)劃根據(jù)項(xiàng)目需求、業(yè)務(wù)目標(biāo)和測(cè)試資源,制定系統(tǒng)測(cè)試計(jì)劃,明確測(cè)試范圍、測(cè)試方法和測(cè)試時(shí)間表。3.4.2編寫系統(tǒng)測(cè)試用例編寫系統(tǒng)測(cè)試用例,覆蓋軟件的功能、功能、安全性、兼容性等方面。3.4.3執(zhí)行系統(tǒng)測(cè)試使用系統(tǒng)測(cè)試工具(如LoadRunner、JMeter等)執(zhí)行系統(tǒng)測(cè)試,全面驗(yàn)證軟件系統(tǒng)的質(zhì)量。3.4.4分析系統(tǒng)測(cè)試結(jié)果分析系統(tǒng)測(cè)試結(jié)果,識(shí)別并修復(fù)軟件系統(tǒng)中的缺陷,保證軟件滿足用戶需求和預(yù)定質(zhì)量標(biāo)準(zhǔn)。第4章測(cè)試工具與環(huán)境4.1測(cè)試工具選型為了保證軟件測(cè)試的順利進(jìn)行,合理選擇測(cè)試工具。以下為測(cè)試工具選型原則及推薦:4.1.1選型原則(1)適用性:測(cè)試工具需符合項(xiàng)目需求,滿足測(cè)試類型和測(cè)試階段的要求。(2)可靠性:測(cè)試工具應(yīng)具有較高的穩(wěn)定性和成熟度,以保證測(cè)試結(jié)果的有效性。(3)易用性:測(cè)試工具應(yīng)具備友好的用戶界面,便于測(cè)試人員快速上手和使用。(4)可擴(kuò)展性:測(cè)試工具應(yīng)具有良好的擴(kuò)展性,以支持未來項(xiàng)目需求的擴(kuò)展。(5)成本效益:測(cè)試工具的選擇需考慮成本因素,包括購(gòu)買費(fèi)用、維護(hù)成本等。4.1.2推薦測(cè)試工具(1)功能測(cè)試工具:Selenium、QTP(UFT)、TestComplete等。(2)功能測(cè)試工具:LoadRunner、JMeter、Locust等。(3)接口測(cè)試工具:Postman、SoapUI、JMeter等。(4)缺陷跟蹤工具:JIRA、Bugzilla、Trello等。(5)項(xiàng)目管理工具:Trello、Asana、禪道等。4.2測(cè)試環(huán)境搭建測(cè)試環(huán)境是進(jìn)行軟件測(cè)試的基礎(chǔ),以下為測(cè)試環(huán)境搭建的相關(guān)要求:4.2.1硬件要求(1)服務(wù)器:配置適當(dāng)?shù)姆?wù)器硬件,以滿足測(cè)試過程中對(duì)計(jì)算資源的需求。(2)客戶端:根據(jù)測(cè)試需求,準(zhǔn)備相應(yīng)的客戶端設(shè)備,如PC、手機(jī)、平板等。4.2.2軟件要求(1)操作系統(tǒng):根據(jù)項(xiàng)目需求,選擇合適的操作系統(tǒng)版本。(2)數(shù)據(jù)庫(kù):安裝所需數(shù)據(jù)庫(kù)軟件,如MySQL、Oracle、SQLServer等。(3)中間件:根據(jù)項(xiàng)目需求,部署相應(yīng)的中間件,如Tomcat、WebSphere等。(4)應(yīng)用軟件:部署被測(cè)軟件及其依賴的第三方軟件。4.2.3網(wǎng)絡(luò)要求(1)網(wǎng)絡(luò)帶寬:保證測(cè)試環(huán)境具有足夠的網(wǎng)絡(luò)帶寬,以滿足測(cè)試需求。(2)安全策略:配置合適的網(wǎng)絡(luò)防火墻和安全策略,以保證測(cè)試環(huán)境的安全。4.3自動(dòng)化測(cè)試工具自動(dòng)化測(cè)試在提高測(cè)試效率、降低人工成本方面具有重要作用。以下為自動(dòng)化測(cè)試工具的選擇和使用:4.3.1選擇原則(1)支持多種編程語(yǔ)言:便于與項(xiàng)目開發(fā)語(yǔ)言相結(jié)合,提高測(cè)試腳本的編寫效率。(2)支持多種測(cè)試類型:滿足功能測(cè)試、功能測(cè)試、接口測(cè)試等多種測(cè)試需求。(3)高度可定制:可根據(jù)項(xiàng)目需求,自定義測(cè)試流程、測(cè)試數(shù)據(jù)和測(cè)試報(bào)告。4.3.2推薦自動(dòng)化測(cè)試工具(1)Selenium:支持多種編程語(yǔ)言,適用于Web應(yīng)用的功能測(cè)試。(2)JMeter:可進(jìn)行功能測(cè)試、功能測(cè)試、接口測(cè)試等,具有良好的可擴(kuò)展性。(3)TestComplete:支持多種編程語(yǔ)言,適用于桌面和移動(dòng)端應(yīng)用的功能測(cè)試。4.4功能測(cè)試工具功能測(cè)試是評(píng)估軟件在高負(fù)載、高并發(fā)場(chǎng)景下的功能表現(xiàn)。以下為功能測(cè)試工具的選擇和使用:4.4.1選擇原則(1)支持多種協(xié)議:滿足不同類型應(yīng)用的功能測(cè)試需求。(2)易用性:具備友好的用戶界面,便于測(cè)試人員快速創(chuàng)建和執(zhí)行測(cè)試場(chǎng)景。(3)高度可擴(kuò)展:支持自定義腳本,以滿足復(fù)雜場(chǎng)景的功能測(cè)試需求。4.4.2推薦功能測(cè)試工具(1)LoadRunner:支持多種協(xié)議,適用于大型企業(yè)級(jí)應(yīng)用的功能測(cè)試。(2)JMeter:開源功能測(cè)試工具,支持多種協(xié)議,具有良好的可擴(kuò)展性。(3)Locust:基于Python的功能測(cè)試工具,適用于分布式功能測(cè)試。第5章測(cè)試用例設(shè)計(jì)5.1測(cè)試用例編寫規(guī)范5.1.1用例編號(hào)規(guī)則測(cè)試用例編號(hào)應(yīng)遵循一定的規(guī)則,便于管理和追溯。建議采用以下格式:項(xiàng)目簡(jiǎn)稱模塊名功能點(diǎn)序號(hào)。5.1.2用例標(biāo)題用例標(biāo)題應(yīng)簡(jiǎn)潔明了,能夠準(zhǔn)確表達(dá)測(cè)試用例的目的。5.1.3預(yù)置條件列出執(zhí)行該測(cè)試用例所需的預(yù)置條件,如環(huán)境配置、數(shù)據(jù)準(zhǔn)備等。5.1.4測(cè)試步驟詳細(xì)描述測(cè)試用例的執(zhí)行步驟,包括輸入數(shù)據(jù)、操作步驟等。5.1.5預(yù)期結(jié)果明確列出測(cè)試用例的預(yù)期結(jié)果,包括正常結(jié)果和異常結(jié)果。5.1.6實(shí)際結(jié)果記錄測(cè)試執(zhí)行過程中觀察到的實(shí)際結(jié)果。5.1.7測(cè)試結(jié)論根據(jù)實(shí)際結(jié)果和預(yù)期結(jié)果,判斷測(cè)試用例是否通過。5.1.8用例優(yōu)先級(jí)和難度為測(cè)試用例設(shè)置優(yōu)先級(jí)和難度,便于測(cè)試計(jì)劃的制定和執(zhí)行。5.2功能性測(cè)試用例設(shè)計(jì)5.2.1功能點(diǎn)劃分根據(jù)需求文檔,對(duì)系統(tǒng)功能進(jìn)行劃分,保證測(cè)試用例覆蓋所有功能點(diǎn)。5.2.2邊界值分析對(duì)輸入、輸出數(shù)據(jù)的邊界值進(jìn)行測(cè)試,保證系統(tǒng)能夠正確處理邊界情況。5.2.3等價(jià)類劃分將輸入數(shù)據(jù)劃分為多個(gè)等價(jià)類,從每個(gè)等價(jià)類中選擇代表性的數(shù)據(jù)進(jìn)行測(cè)試。5.2.4決策表利用決策表對(duì)復(fù)雜的業(yè)務(wù)邏輯進(jìn)行測(cè)試,保證各種組合情況都被覆蓋。5.2.5狀態(tài)轉(zhuǎn)換圖針對(duì)有狀態(tài)依賴的功能,使用狀態(tài)轉(zhuǎn)換圖進(jìn)行測(cè)試設(shè)計(jì)。5.2.6錯(cuò)誤猜測(cè)根據(jù)經(jīng)驗(yàn)和對(duì)系統(tǒng)的了解,對(duì)可能出現(xiàn)的錯(cuò)誤進(jìn)行猜測(cè),設(shè)計(jì)相應(yīng)的測(cè)試用例。5.3非功能性測(cè)試用例設(shè)計(jì)5.3.1功能測(cè)試設(shè)計(jì)測(cè)試用例,驗(yàn)證系統(tǒng)在高并發(fā)、大數(shù)據(jù)量等場(chǎng)景下的功能表現(xiàn)。5.3.2壓力測(cè)試對(duì)系統(tǒng)施加壓力,測(cè)試其在極限負(fù)載下的穩(wěn)定性和可靠性。5.3.3安全測(cè)試設(shè)計(jì)測(cè)試用例,檢測(cè)系統(tǒng)中的安全漏洞,保證系統(tǒng)安全。5.3.4兼容性測(cè)試測(cè)試系統(tǒng)在不同操作系統(tǒng)、瀏覽器、硬件等環(huán)境下的兼容性。5.3.5易用性測(cè)試驗(yàn)證系統(tǒng)的界面設(shè)計(jì)、操作流程等是否符合用戶使用習(xí)慣。5.3.6可靠性測(cè)試通過反復(fù)執(zhí)行測(cè)試用例,驗(yàn)證系統(tǒng)的穩(wěn)定性和可靠性。5.4測(cè)試用例評(píng)審5.4.1評(píng)審流程建立測(cè)試用例評(píng)審流程,保證測(cè)試用例的質(zhì)量。5.4.2評(píng)審內(nèi)容評(píng)審測(cè)試用例的完整性、正確性、可讀性、可維護(hù)性等方面。5.4.3評(píng)審人員組織開發(fā)、測(cè)試、產(chǎn)品等相關(guān)人員參與測(cè)試用例評(píng)審。5.4.4評(píng)審結(jié)果記錄評(píng)審過程中提出的問題和建議,并對(duì)測(cè)試用例進(jìn)行修改完善。第6章測(cè)試執(zhí)行與跟蹤6.1測(cè)試執(zhí)行策略6.1.1測(cè)試執(zhí)行準(zhǔn)備在測(cè)試執(zhí)行前,應(yīng)保證以下準(zhǔn)備工作已完成:(1)測(cè)試環(huán)境搭建:根據(jù)測(cè)試計(jì)劃,搭建符合測(cè)試需求的硬件、軟件及網(wǎng)絡(luò)環(huán)境。(2)測(cè)試數(shù)據(jù)準(zhǔn)備:準(zhǔn)備測(cè)試所需的數(shù)據(jù),包括正常數(shù)據(jù)、邊界數(shù)據(jù)和異常數(shù)據(jù)等。(3)測(cè)試用例確認(rèn):保證測(cè)試用例覆蓋了需求規(guī)格說明書中的所有功能點(diǎn)。6.1.2測(cè)試執(zhí)行方法(1)按照測(cè)試計(jì)劃,采用黑盒測(cè)試、白盒測(cè)試、灰盒測(cè)試等方法進(jìn)行測(cè)試。(2)遵循測(cè)試用例,按照預(yù)定的步驟執(zhí)行測(cè)試,并記錄測(cè)試結(jié)果。(3)對(duì)發(fā)覺的問題進(jìn)行詳細(xì)描述,并及時(shí)報(bào)告給相關(guān)人員。6.1.3測(cè)試執(zhí)行控制(1)監(jiān)控測(cè)試進(jìn)度,保證測(cè)試活動(dòng)按計(jì)劃進(jìn)行。(2)對(duì)測(cè)試過程中出現(xiàn)的問題進(jìn)行分類和優(yōu)先級(jí)排序,保證關(guān)鍵問題得到及時(shí)解決。(3)根據(jù)測(cè)試實(shí)際情況,調(diào)整測(cè)試計(jì)劃,保證測(cè)試目標(biāo)的實(shí)現(xiàn)。6.2缺陷報(bào)告與跟蹤6.2.1缺陷報(bào)告(1)發(fā)覺缺陷時(shí),應(yīng)及時(shí)編寫缺陷報(bào)告,包括缺陷的詳細(xì)描述、重現(xiàn)步驟、影響范圍等信息。(2)缺陷報(bào)告應(yīng)清晰、簡(jiǎn)潔,便于開發(fā)人員理解和復(fù)現(xiàn)。6.2.2缺陷跟蹤(1)建立缺陷跟蹤機(jī)制,對(duì)缺陷進(jìn)行有效管理。(2)跟蹤缺陷的狀態(tài)變化,保證缺陷得到及時(shí)解決。(3)定期對(duì)缺陷進(jìn)行分析,為產(chǎn)品改進(jìn)提供依據(jù)。6.3風(fēng)險(xiǎn)管理6.3.1風(fēng)險(xiǎn)識(shí)別(1)識(shí)別可能影響測(cè)試進(jìn)度、質(zhì)量和范圍的風(fēng)險(xiǎn)。(2)對(duì)風(fēng)險(xiǎn)進(jìn)行分類,包括技術(shù)風(fēng)險(xiǎn)、人員風(fēng)險(xiǎn)、環(huán)境風(fēng)險(xiǎn)等。6.3.2風(fēng)險(xiǎn)評(píng)估(1)對(duì)識(shí)別的風(fēng)險(xiǎn)進(jìn)行量化評(píng)估,確定風(fēng)險(xiǎn)等級(jí)。(2)分析風(fēng)險(xiǎn)的影響和可能性,制定相應(yīng)的應(yīng)對(duì)措施。6.3.3風(fēng)險(xiǎn)應(yīng)對(duì)(1)根據(jù)風(fēng)險(xiǎn)評(píng)估結(jié)果,制定風(fēng)險(xiǎn)應(yīng)對(duì)計(jì)劃。(2)采取預(yù)防措施,降低風(fēng)險(xiǎn)發(fā)生概率。(3)制定應(yīng)急措施,應(yīng)對(duì)已發(fā)生的風(fēng)險(xiǎn)。6.4測(cè)試結(jié)果評(píng)估6.4.1測(cè)試覆蓋率評(píng)估(1)對(duì)測(cè)試用例的執(zhí)行情況進(jìn)行統(tǒng)計(jì)分析,評(píng)估測(cè)試覆蓋率。(2)根據(jù)測(cè)試覆蓋率,評(píng)估測(cè)試活動(dòng)的充分性和有效性。6.4.2缺陷評(píng)估(1)對(duì)已發(fā)覺和已解決的缺陷進(jìn)行分析,評(píng)估缺陷分布和修復(fù)情況。(2)結(jié)合缺陷評(píng)估結(jié)果,為產(chǎn)品改進(jìn)提供參考。6.4.3測(cè)試總結(jié)(1)對(duì)測(cè)試活動(dòng)進(jìn)行總結(jié),分析測(cè)試過程中的成功經(jīng)驗(yàn)和不足之處。(2)為后續(xù)測(cè)試活動(dòng)提供借鑒和改進(jìn)建議。第7章回歸測(cè)試與持續(xù)集成7.1回歸測(cè)試策略7.1.1回歸測(cè)試定義回歸測(cè)試是指在軟件修改后,驗(yàn)證已有功能是否仍然正常的測(cè)試活動(dòng)。本章主要闡述回歸測(cè)試策略的制定與實(shí)施。7.1.2回歸測(cè)試范圍規(guī)定回歸測(cè)試的范圍,包括但不限于以下內(nèi)容:(1)修改的功能點(diǎn)及關(guān)聯(lián)功能點(diǎn);(2)系統(tǒng)的核心功能;(3)系統(tǒng)的關(guān)鍵業(yè)務(wù)流程;(4)之前發(fā)覺并已修復(fù)的缺陷。7.1.3回歸測(cè)試方法介紹以下回歸測(cè)試方法:(1)全量回歸測(cè)試:對(duì)整個(gè)系統(tǒng)進(jìn)行全面測(cè)試;(2)增量回歸測(cè)試:僅對(duì)修改的部分及其關(guān)聯(lián)部分進(jìn)行測(cè)試;(3)智能回歸測(cè)試:利用歷史測(cè)試數(shù)據(jù),結(jié)合機(jī)器學(xué)習(xí)等技術(shù),進(jìn)行精準(zhǔn)測(cè)試。7.1.4回歸測(cè)試流程描述回歸測(cè)試的具體流程,包括:(1)測(cè)試計(jì)劃制定;(2)測(cè)試用例篩選;(3)測(cè)試環(huán)境準(zhǔn)備;(4)執(zhí)行回歸測(cè)試;(5)缺陷跟蹤與修復(fù);(6)測(cè)試報(bào)告輸出。7.2持續(xù)集成與自動(dòng)化測(cè)試7.2.1持續(xù)集成概述持續(xù)集成(ContinuousIntegration,CI)是一種軟件開發(fā)實(shí)踐,通過自動(dòng)化構(gòu)建、測(cè)試和部署,保證代碼質(zhì)量。7.2.2自動(dòng)化測(cè)試策略(1)自動(dòng)化測(cè)試范圍:包括功能測(cè)試、功能測(cè)試、安全測(cè)試等;(2)自動(dòng)化測(cè)試工具選型:根據(jù)項(xiàng)目需求,選擇合適的自動(dòng)化測(cè)試工具;(3)自動(dòng)化測(cè)試用例編寫:遵循統(tǒng)一的用例編寫規(guī)范,保證用例質(zhì)量;(4)自動(dòng)化測(cè)試執(zhí)行:通過持續(xù)集成工具,實(shí)現(xiàn)自動(dòng)化測(cè)試的定期執(zhí)行。7.2.3持續(xù)集成流程描述持續(xù)集成的具體流程,包括:(1)代碼提交;(2)自動(dòng)化構(gòu)建;(3)自動(dòng)化測(cè)試;(4)代碼部署;(5)持續(xù)反饋。7.3持續(xù)集成工具7.3.1常用持續(xù)集成工具介紹以下常用的持續(xù)集成工具:(1)Jenkins;(2)GitLabCI/CD;(3)TravisCI;(4)CircleCI;(5)TeamCity。7.3.2工具選型依據(jù)從以下方面考慮持續(xù)集成工具的選型:(1)項(xiàng)目需求;(2)開發(fā)團(tuán)隊(duì)習(xí)慣;(3)社區(qū)支持;(4)易用性;(5)擴(kuò)展性。7.4持續(xù)集成優(yōu)化7.4.1優(yōu)化目標(biāo)持續(xù)集成優(yōu)化的目標(biāo)包括:(1)提高構(gòu)建速度;(2)提升測(cè)試覆蓋率;(3)降低人工干預(yù);(4)提高代碼質(zhì)量。7.4.2優(yōu)化措施介紹以下持續(xù)集成優(yōu)化措施:(1)代碼拆分與模塊化;(2)測(cè)試分層與并行化;(3)緩存利用與優(yōu)化;(4)資源分配與調(diào)度;(5)持續(xù)集成監(jiān)控與報(bào)警。第8章驗(yàn)收測(cè)試與上線8.1驗(yàn)收測(cè)試準(zhǔn)備8.1.1目標(biāo)與范圍驗(yàn)收測(cè)試旨在保證軟件產(chǎn)品滿足用戶需求及業(yè)務(wù)目標(biāo),驗(yàn)證軟件的功能、功能、穩(wěn)定性和可靠性。本節(jié)主要闡述驗(yàn)收測(cè)試的目標(biāo)、范圍及準(zhǔn)備工作。8.1.2測(cè)試資源準(zhǔn)備(1)確定測(cè)試環(huán)境:搭建與生產(chǎn)環(huán)境相似的測(cè)試環(huán)境,保證測(cè)試結(jié)果的準(zhǔn)確性。(2)準(zhǔn)備測(cè)試數(shù)據(jù):根據(jù)測(cè)試需求,準(zhǔn)備相應(yīng)的測(cè)試數(shù)據(jù),包括正常數(shù)據(jù)、異常數(shù)據(jù)等。(3)測(cè)試工具與設(shè)備:選擇合適的測(cè)試工具和設(shè)備,保證測(cè)試工作的順利進(jìn)行。8.1.3測(cè)試團(tuán)隊(duì)與職責(zé)(1)確定測(cè)試團(tuán)隊(duì)成員:包括項(xiàng)目經(jīng)理、開發(fā)人員、測(cè)試人員、運(yùn)維人員等。(2)明確職責(zé):明確各成員在驗(yàn)收測(cè)試過程中的職責(zé),保證測(cè)試工作高效推進(jìn)。8.1.4測(cè)試計(jì)劃與策略(1)制定測(cè)試計(jì)劃:明確驗(yàn)收測(cè)試的時(shí)間、地點(diǎn)、人員、進(jìn)度等。(2)確定測(cè)試策略:根據(jù)項(xiàng)目特點(diǎn),制定合適的測(cè)試策略,包括測(cè)試方法、測(cè)試類型等。8.2驗(yàn)收測(cè)試執(zhí)行8.2.1功能測(cè)試(1)驗(yàn)證軟件功能是否符合需求文檔描述。(2)檢查軟件界面、操作流程是否符合用戶習(xí)慣。(3)保證軟件在各種場(chǎng)景下的功能正確性。8.2.2功能測(cè)試(1)檢查軟件在各種負(fù)載情況下的響應(yīng)時(shí)間、并發(fā)能力等功能指標(biāo)。(2)保證軟件在高并發(fā)、大數(shù)據(jù)量等極端情況下的穩(wěn)定性。8.2.3安全測(cè)試(1)檢查軟件是否存在安全漏洞,如SQL注入、跨站腳本攻擊等。(2)保證軟件在遭受惡意攻擊時(shí),能夠有效防御并保護(hù)用戶數(shù)據(jù)。8.2.4兼容性測(cè)試(1)驗(yàn)證軟件在不同操作系統(tǒng)、瀏覽器、設(shè)備等環(huán)境下的兼容性。(2)保證軟件在各種環(huán)境下的功能、功能穩(wěn)定。8.3上線評(píng)審與決策8.3.1上線評(píng)審(1)組織項(xiàng)目相關(guān)人員參加上線評(píng)審會(huì)議。(2)分析驗(yàn)收測(cè)試結(jié)果,評(píng)估軟件是否符合上線要求。(3)對(duì)存在的問題進(jìn)行風(fēng)險(xiǎn)評(píng)估,制定解決方案。8.3.2上線決策(1)根據(jù)上線評(píng)審結(jié)果,決定是否上線。(2)制定上線時(shí)間、范圍及回滾計(jì)劃。(3)保證上線決策符合項(xiàng)目目標(biāo)及用戶需求。8.4上線支持與監(jiān)控8.4.1上線支持(1)提供上線前培訓(xùn),保證用戶能夠熟練使用軟件。(2)配置相關(guān)硬件、軟件環(huán)境,保證上線順利進(jìn)行。(3)提供上線后的技術(shù)支持,解答用戶疑問。8.4.2上線監(jiān)控(1)對(duì)上線后的軟件進(jìn)行實(shí)時(shí)監(jiān)控,保證運(yùn)行穩(wěn)定。(2)收集用戶反饋,及時(shí)解決上線后出現(xiàn)的問題。(3)定期對(duì)上線后的軟件進(jìn)行功能評(píng)估,優(yōu)化軟件功能。第9章測(cè)試質(zhì)量保證9.1測(cè)試過程改進(jìn)9.1.1目的本節(jié)旨在通過對(duì)測(cè)試過程的持續(xù)改進(jìn),提高測(cè)試活動(dòng)的質(zhì)量和效率。9.1.2方法(1)定期回顧測(cè)試過程,識(shí)別存在的問題和潛在風(fēng)險(xiǎn)。(2)分析問題原因,制定針對(duì)性的改進(jìn)措施。(3)實(shí)施改進(jìn)措施,并跟蹤效果。(4)匯總改進(jìn)成果,更新測(cè)試流程規(guī)范手冊(cè)。9.1.3責(zé)任與分工(1)測(cè)試經(jīng)理負(fù)責(zé)組織測(cè)試過程改進(jìn)活動(dòng)。(2)測(cè)試工程師參與過程改進(jìn),提出改進(jìn)建議。(3)項(xiàng)目經(jīng)理協(xié)助改進(jìn)措施的落實(shí)。9.2測(cè)試文檔管理9.2.1目的保證測(cè)試文檔的完整性、準(zhǔn)確性和可追溯性,為測(cè)試活動(dòng)提供有效支持。9.2.2方法(1)制定統(tǒng)一的測(cè)試。(2)規(guī)定文檔的編寫、審核、批準(zhǔn)和發(fā)布流程。(3)建立文檔變更管理機(jī)制。(4)定期檢查文檔的執(zhí)行情況。9.2.3責(zé)任與分工(1)測(cè)試工程師負(fù)責(zé)編寫、維護(hù)和更新測(cè)試文檔。(2)測(cè)試經(jīng)理負(fù)責(zé)審核、批準(zhǔn)和發(fā)布測(cè)試文檔。(3)項(xiàng)目經(jīng)理負(fù)責(zé)監(jiān)督測(cè)試文檔的執(zhí)行情況。9.3

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論