大語(yǔ)言模型賦能自動(dòng)化測(cè)試實(shí)踐、挑戰(zhàn)與展望-復(fù)旦大學(xué)（董震）

大語(yǔ)言模型賦能自動(dòng)化測(cè)試實(shí)踐、挑戰(zhàn)與展望報(bào)告人：董震復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院背景介紹案例分享001基于大語(yǔ)言模型的等價(jià)類劃分測(cè)試技術(shù)02基于大語(yǔ)言模型的測(cè)試輸入增強(qiáng)三挑戰(zhàn)與展望03基于大語(yǔ)言模型的場(chǎng)景測(cè)試用例生成04基于大語(yǔ)言模型的跨APP測(cè)試用例遷移三挑戰(zhàn)與展望一背景介紹大語(yǔ)言模型（LLM）的演變圖片來(lái)源：Yang,J.,Jin,H.,Tang,R.,Han,X.,Feng,Q.,Jia大語(yǔ)言模型（LLM）的應(yīng)用大語(yǔ)言模型（LLM）應(yīng)用案例圖片來(lái)源：Hong,S.,Zheng,X.,Chen,J.,Cheng,Y.,Wang,J.,Zhang,C.,...&Wu,C.(2023).Metagpt:Me軟件測(cè)試全流程中的大語(yǔ)言模型（LLM）l測(cè)試輸入生成ll測(cè)試輸入生成l測(cè)試用例生成lOracle生成ll回歸測(cè)試用例生成測(cè)試報(bào)告與評(píng)測(cè)試報(bào)告與評(píng)l業(yè)務(wù)邏輯分析l測(cè)試場(chǎng)景分析l邊界條件識(shí)別缺陷管理與回歸測(cè)缺陷管理與回歸測(cè)測(cè)試執(zhí)行測(cè)試執(zhí)行測(cè)試計(jì)劃制定測(cè)試計(jì)劃制定測(cè)試設(shè)計(jì)與實(shí)現(xiàn)結(jié)構(gòu)化報(bào)告生成l測(cè)試設(shè)計(jì)與實(shí)現(xiàn)結(jié)構(gòu)化報(bào)告生成l測(cè)試集優(yōu)化與選擇l測(cè)試集優(yōu)化與選擇l測(cè)試用例執(zhí)行l(wèi)反饋分析與策略調(diào)整l測(cè)試計(jì)劃生成l風(fēng)險(xiǎn)預(yù)測(cè)l測(cè)試優(yōu)先級(jí)建議案例分享案例分享二基于大語(yǔ)言模型的等價(jià)類劃分測(cè)試技術(shù)等價(jià)類劃分2.程序顯示此三角形是等邊三角形（三條邊都相等）、等腰三角形（只有兩條邊相等）或432不等邊三角形432等邊三角形22等腰三角形等價(jià)類劃分輸入非三角形輸入非三角形三角形三角形根據(jù)“輸出”情況細(xì)分“三角形”主類等邊等邊三角形等腰三角形等腰三角形不等邊三角形<200,100,200>代表所有“等腰三角形”大語(yǔ)言模型的常識(shí)推理與代碼理解能力用于判斷三角形的程序代碼大語(yǔ)言模型對(duì)代碼的理解大語(yǔ)言模型具備常識(shí)推理與代碼理解的能力利用大語(yǔ)言模型進(jìn)行等價(jià)類劃分測(cè)試由于大語(yǔ)言模型具備常識(shí)推理和代碼理解能力，我們可以利用其分析程序代碼，自動(dòng)劃分適當(dāng)?shù)牡葍r(jià)類。隨后，為每個(gè)等價(jià)類生成若干輸入，從而提升輸入生成的效率。用于判斷三角形的程序代碼任何一對(duì)邊的和不大于第三邊三條邊都相等有兩條邊相等，第三條邊不同三條邊都不相等大模型劃分出的等價(jià)類大模型生成的測(cè)試輸入基于大語(yǔ)言模型的等價(jià)類劃分測(cè)試工具由于大語(yǔ)言模型具備常識(shí)推理和代碼理解能力，我們可以利用其分析程序代碼，自動(dòng)劃分適當(dāng)?shù)牡葍r(jià)類。隨后，為每個(gè)等價(jià)類生成若干輸入，從而提升輸入生成的效率。程序源代碼我們從10個(gè)第三方開源庫(kù)中選取了共2205個(gè)方法對(duì)工具進(jìn)行了性能測(cè)試，并設(shè)計(jì)對(duì)比實(shí)驗(yàn)。結(jié)果如下：①基于大語(yǔ)言模型的等價(jià)類劃分測(cè)試工具使用更少的輸入，達(dá)到更高的覆蓋②在等價(jià)類劃分是增加更多的深層函數(shù)信息不能提升工具的覆蓋效果結(jié)論①基于大語(yǔ)言模型的等價(jià)類劃分測(cè)試工具的生成效果遠(yuǎn)好于傳統(tǒng)的基于搜索的軟件測(cè)試生成工具以及符號(hào)執(zhí)行工具，證明了將大語(yǔ)言模型與等價(jià)類劃分測(cè)試結(jié)合可以顯著提高測(cè)試效率。②提供待測(cè)方法調(diào)用的更深層次代碼并沒有顯著提高大語(yǔ)言模型劃分等價(jià)類的效果，反而大大增加了成本?；诖笳Z(yǔ)言模型的測(cè)試輸入增強(qiáng)測(cè)試輸入增強(qiáng)測(cè)試輸入增強(qiáng)：就是在現(xiàn)有測(cè)試用例的基礎(chǔ)上為測(cè)試生成更多樣化的輸入，來(lái)覆蓋不同的場(chǎng)景增強(qiáng)前增強(qiáng)前用戶名：user123密碼：password123增強(qiáng)后增強(qiáng)后用戶名：user123密碼：p用戶名：user!@#密碼：password123密碼：password123基于大語(yǔ)言模型的測(cè)試輸入增強(qiáng)大語(yǔ)言模型憑借其語(yǔ)義理解和常識(shí)推理能力，能夠在示例：測(cè)試應(yīng)用在不同區(qū)域下的搜索功能，軟件依據(jù)地區(qū)和時(shí)區(qū)提供符合當(dāng)前參數(shù)名參數(shù)含義region地區(qū)名稱query搜索的內(nèi)容tzname時(shí)區(qū)名稱version應(yīng)用的版本號(hào)有效輸入無(wú)效輸入地區(qū)與時(shí)區(qū)不匹配流量數(shù)據(jù)使用錄制使用系統(tǒng)用戶待測(cè)試系統(tǒng)流量數(shù)據(jù)基于流量數(shù)據(jù)的大語(yǔ)言模型測(cè)試輸入增強(qiáng)工具①工具從流量數(shù)據(jù)中提取參數(shù)間約束關(guān)系 統(tǒng)計(jì)學(xué)算法預(yù)分析&流量數(shù)據(jù)潛在約束關(guān)系的參數(shù)對(duì)經(jīng)過約減的流量數(shù)據(jù)模型推斷出的約束基于流量數(shù)據(jù)的大語(yǔ)言模型測(cè)試輸入增強(qiáng)工具②結(jié)合參數(shù)間約束關(guān)系，輔助大語(yǔ)言模型生成高質(zhì)量測(cè)試輸入以實(shí)現(xiàn)輸入增強(qiáng)LLM分析出的約束條件結(jié)合約束生成的有效輸入我們工具已在某企業(yè)的2個(gè)業(yè)務(wù)模塊上進(jìn)行落地實(shí)驗(yàn)，涵蓋不同的功能接口。結(jié)果如下：①基于流量數(shù)據(jù)的大語(yǔ)言模型測(cè)試輸入增強(qiáng)工具協(xié)助團(tuán)隊(duì)提升了代碼覆蓋率②去掉預(yù)分析及流量約減后，提取出的有效約束數(shù)量減少9結(jié)論①利用實(shí)際的流量數(shù)據(jù)與大語(yǔ)言模型結(jié)合進(jìn)行測(cè)試輸入增強(qiáng)，可以生成更多符合系統(tǒng)實(shí)際運(yùn)行場(chǎng)景的測(cè)試輸入，從而提高測(cè)試的全面性和覆蓋率。②預(yù)分析及流量約減對(duì)有效約束的提取至關(guān)重要，可以有效減少LLM處理過程中可能產(chǎn)生的幻覺問題，避免因數(shù)據(jù)過載或不相關(guān)信息干擾導(dǎo)致的錯(cuò)誤推斷?；诖笳Z(yǔ)言模型的場(chǎng)景測(cè)試用例生成測(cè)試場(chǎng)景：描述用戶在某個(gè)具體情況下會(huì)怎么操作軟件，用來(lái)檢查系統(tǒng)在這個(gè)情況下能不能正常工作。 搜索想購(gòu)買的商品名稱 點(diǎn)擊商品進(jìn)入詳情頁(yè) 點(diǎn)擊立即購(gòu)買 選擇地址和支付方式點(diǎn)擊支付按鈕點(diǎn)擊支付按鈕場(chǎng)景測(cè)試用例場(chǎng)景測(cè)試用例由操作、測(cè)試輸入、預(yù)期結(jié)果構(gòu)成操作搜索搜索查看詳情購(gòu)買修改提交測(cè)試輸入手機(jī)手機(jī)當(dāng)前詳情頁(yè)中的手機(jī)地址和支付方式其中一個(gè)手機(jī)結(jié)算詳情預(yù)期結(jié)果預(yù)期成功修改地址和支付方式預(yù)期成功修改地址和支付方式預(yù)期返回支付成功提示，并生成訂單號(hào)預(yù)期加載該手機(jī)詳情預(yù)期顯示手機(jī)商品預(yù)期進(jìn)入結(jié)算頁(yè)面?zhèn)鹘y(tǒng)人工編寫場(chǎng)景測(cè)試用例代碼①操作步驟：根據(jù)測(cè)試用例描述文檔，結(jié)合API文檔或與開發(fā)人員溝通，人工逐步模擬用戶的操作流程。②測(cè)試輸入：根據(jù)測(cè)試需求，手動(dòng)準(zhǔn)備場(chǎng)景需要的測(cè)試輸入。③預(yù)期結(jié)果：通過理解業(yè)務(wù)邏輯，手動(dòng)編寫斷言驗(yàn)證每一步操作后產(chǎn)生的結(jié)果是否正確。API文檔測(cè)試用例描述文檔 人工理解推斷后編寫 人工理解推斷后編寫場(chǎng)景測(cè)試用例代碼』場(chǎng)景測(cè)試用例代碼基于大語(yǔ)言模型生成場(chǎng)景測(cè)試用例的挑戰(zhàn)我們嘗試?yán)么笳Z(yǔ)言模型的自然語(yǔ)言理解和代碼生成能力，直接通過大語(yǔ)言模型解析測(cè)試用例描述文檔和API文檔，生成測(cè)試用例代碼，但效果不佳。經(jīng)分析，主要原因是：①測(cè)試用例描述文檔編寫質(zhì)量參差不齊②API文檔維護(hù)不及時(shí)需要真實(shí)且符合測(cè)試用例描述文檔的實(shí)時(shí)數(shù)據(jù)場(chǎng)景流量數(shù)據(jù)場(chǎng)景流量：在測(cè)試場(chǎng)景下，系統(tǒng)按順序發(fā)送和接收的所有網(wǎng)絡(luò)請(qǐng)求與響應(yīng)。條目2條目3條目4條目5操作步驟搜索搜索查看詳情購(gòu)買購(gòu)買修改修改提交提交用戶輸入手機(jī)手機(jī)當(dāng)前詳情頁(yè)中的手機(jī)地址和支付方式其中一個(gè)手機(jī)結(jié)算詳情系統(tǒng)輸出顯示進(jìn)入結(jié)算頁(yè)面顯示進(jìn)入結(jié)算頁(yè)面成功修改地址和支付方式返回支付成功提示，并顯示訂單號(hào)該手機(jī)的詳情手機(jī)商品列表基于大語(yǔ)言模型的測(cè)試用例生成工具基于錄制的場(chǎng)景流量數(shù)據(jù)，結(jié)合大模型對(duì)測(cè)試用例描述文檔的語(yǔ)義理解，生成場(chǎng)景測(cè)試用例場(chǎng)景流量信息測(cè)試用例描述文檔結(jié)合流量與文檔分析場(chǎng)景測(cè)試用例代碼工具效果與結(jié)論用于驗(yàn)證專輯信息修改功能的測(cè)試用例基于大語(yǔ)言模型的跨APP測(cè)試用例遷移移動(dòng)應(yīng)用測(cè)試移動(dòng)應(yīng)用測(cè)試的挑戰(zhàn)!測(cè)試用例遷移案例分析源購(gòu)物清單應(yīng)用的測(cè)試用例：測(cè)試價(jià)格降序功能，下圖為該測(cè)試案例分析而在目標(biāo)應(yīng)用中的價(jià)格降序功能的工作流卻 利用大模型克服挑戰(zhàn)利用大模型克服挑戰(zhàn) 方法控件上下文控件上下文 ?LLM#SuccessRate:成功遷移率#Time#SuccessRate:成功遷移率#Time:遷移1條測(cè)試用例的平均耗時(shí)(min)#SuccessRate提供上下文48不提供上下文69%4.5控件識(shí)別利用XML進(jìn)行控件識(shí)別LLMLLM利用圖像進(jìn)行控件識(shí)別圖像即應(yīng)用界面