生成式AI應(yīng)用程序安全測試和驗證標(biāo)準(zhǔn)2024

生成式AI應(yīng)用程序安全測試和驗證標(biāo)準(zhǔn)世界數(shù)字技術(shù)學(xué)院標(biāo)準(zhǔn)世界數(shù)字技術(shù)標(biāo)準(zhǔn)WDTAAI-STR-01被指定為WDTA規(guī)范。本文件是世界數(shù)字技術(shù)學(xué)院(WDTA)的財產(chǎn)，受國際版權(quán)法保護。未經(jīng)WDTA事先書面許可，禁止使用本文檔，包括復(fù)制、修改、分發(fā)或重新發(fā)布。WDTA不對本文檔中的世界數(shù)字技術(shù)學(xué)院(WDTA)致力于成為全球數(shù)字技術(shù)創(chuàng)新的開拓者，與作為非政府組織的聯(lián)合國框架保持一致。WDTA堅持其3s原則-速度，安全，共享-致力于加速數(shù)字規(guī)范的創(chuàng)建，帶頭通過合作努力，WDTA致力于推動數(shù)字技術(shù)的發(fā)展，以改善社會計劃是WDTA國際計劃的核心部分，旨在解決人工智能系統(tǒng)擴散帶來的復(fù)雜挑戰(zhàn)。認(rèn)識到術(shù)在全球范圍內(nèi)的快速擴展和整合，AISTR站在本標(biāo)準(zhǔn)文檔提供了一個框架，用于測試和驗證生成式AI應(yīng)用程序的安全性。該框架涵蓋了AI應(yīng)用程序生命周期中的關(guān)鍵領(lǐng)域，包括基本模型選擇，檢索增強生成設(shè)計模式中的嵌入和矢量數(shù)據(jù)庫，提示執(zhí)行/推理，代理行為，微調(diào)，響應(yīng)處理和AI應(yīng)用程序運行時安全性。主要目標(biāo)是確保AI應(yīng)用程序在其整個生命周期中按照其預(yù)期設(shè)計安全運行。通過為AI應(yīng)用程序堆棧的每一層提供一套測試和驗證標(biāo)準(zhǔn)和指南，重點關(guān)注安全性和合規(guī)性，本文檔旨在幫助開發(fā)人員和組織增強使用llm構(gòu)建的AI應(yīng)用程序的安全性和可靠性，減輕潛在的安全風(fēng)險，提高整體質(zhì)AISTR計劃代表了我們?nèi)绾翁幚鞟I技術(shù)的開發(fā)和部署的范式轉(zhuǎn)變。倡導(dǎo)人工智能系統(tǒng)中的安全、信任和責(zé)任，為更道德、安全和公平的數(shù)字未來奠定了基礎(chǔ)，在未來，人工智能技術(shù)是進步的推動者，而不是不確定性和傷害的來源。生成式AI應(yīng)用程序安全測試和驗證標(biāo)準(zhǔn)是AI主要作者道森廣告(OWASP?基礎(chǔ))(OpenAI)(亞馬遜)王永霞(騰訊)1生成式AI應(yīng)用程序安全測試和驗證標(biāo)準(zhǔn)生成式AI應(yīng)用程序安全測試和驗證標(biāo)準(zhǔn)文檔概述了一個全面的框架，用于測AI應(yīng)用程序的安全性，特別是那些使用大型語言模型(llm)構(gòu)建的應(yīng)用程序。它定義了AI應(yīng)用程序堆棧各層的測試和驗證范圍(圖1)。將生成的GenAI模型集成到更大的支持AI的系統(tǒng)或下游應(yīng)用程序中可能會引入安全問題。因此，所有下游AI應(yīng)用程序都需要安全測試和標(biāo)準(zhǔn)驗證，即使基本的GenAI模型在集成到下游應(yīng)用程序之前已經(jīng)過雖然本文檔作為初始版本，但其在本次迭代中的主要重點是LLM。但是，重要的是要注意范AI安全測試和驗證協(xié)同工作，以確保AI應(yīng)用程序安全且按預(yù)期運行。在可行的情況下，應(yīng)在整個開發(fā)生命周期中采用穩(wěn)健的方法，使用諸如快速注入，掃描和紅色團隊練習(xí)之類的技術(shù)來主動識別問題。然而，單獨的測試有局限性，特別是對于第三方組件，測試可能是不可能的或有限的。在這種情況下，聘請專門審計AI治理、流程和程序的外部專家或組織組件的安全性極為重要。徹底審核AI應(yīng)用程序以檢查所有生命周期部署環(huán)境中對下游AI應(yīng)用程序的徹底檢查可確保遵守安全標(biāo)準(zhǔn)，即使在模型級別評估不充分的如此。具有強大測試實踐的集成保證方法以及對策略，流程和性能的持續(xù)驗證，為系統(tǒng)繼續(xù)自主學(xué)習(xí)提供了負(fù)責(zé)任的AI結(jié)果的保證。它們共同提供有關(guān)系統(tǒng)優(yōu)缺點的信息，通2本規(guī)范涵蓋基于基本LLM模型構(gòu)建的下游應(yīng)用程序的安全測試，但不詳細(xì)說明基本LLM模型本身的安全測試一下規(guī)范。將來要發(fā)布的單獨文檔將涵蓋專門針對基本LLM模型的安全測試基礎(chǔ)模型選擇:在選擇之前，應(yīng)檢查下游AI應(yīng)用的候選模型。本節(jié)介紹驗證基本模型的合規(guī)性、適當(dāng)?shù)臄?shù)據(jù)使用和API安全性。該文件提供了指導(dǎo)，以確保所選擇的模型符合法律，道德和操作標(biāo)準(zhǔn)，這是確保AI應(yīng)用程序安全性的關(guān)鍵一步。范圍包括開嵌入和矢量數(shù)據(jù)庫:在大多數(shù)下游AI應(yīng)用程序中，這些都是關(guān)鍵組件，用于存儲和檢索語言數(shù)據(jù)塊。本文檔概述了測試數(shù)據(jù)完整性，質(zhì)量和匿名化過程的程序，以保護用戶隱私并遵守法規(guī)。該規(guī)范提供了測試矢量數(shù)據(jù)庫的機密性、完整提示和知識檢索與檢索增強生成(RAG):RAG可以顯著提高生成AI應(yīng)用程序的事實準(zhǔn)確性和可靠性，例如大型語言模型。它通過在文本生成期間實時地動態(tài)合并從外部源提取的相關(guān)的、特定領(lǐng)域的知識來實現(xiàn)這一點。本節(jié)將指導(dǎo)有效提示的構(gòu)建、提示模板的創(chuàng)建和使用以及外部api的集成。它還包括測試矢量數(shù)據(jù)庫的檢索過程，確保AI應(yīng)用程序可以準(zhǔn)確地訪問和利用相提示執(zhí)行/推理:文檔詳細(xì)介紹了提示執(zhí)行/推理層中LLMapi的測試過程，包括對緩存機制和驗證過程的測試，以優(yōu)化性能和準(zhǔn)確性。此層還包括用于檢查提示和確保llm不被用于執(zhí)行未經(jīng)代理行為:這些是高級LLM應(yīng)用程序功能。該規(guī)范概述了對快速解釋，內(nèi)存利用率，知識應(yīng)用，計劃和動作啟動的測試。這包括測試集成到AI應(yīng)用程序中的工具微調(diào):通常會針對特定的下游AI應(yīng)用程序?qū)enAI模型進行微調(diào)。本節(jié)包括數(shù)據(jù)隱私測試、基本模型選擇的重新評估和模型部署，以確保3響應(yīng)處理:對AI的響應(yīng)、相關(guān)性、毒性和倫理考慮進行事實核查測試，以維護AI交互的可信和AI應(yīng)用程序運行時安全性:運行時安全性涉及對AI應(yīng)用程序的持續(xù)實時監(jiān)控。它涵蓋數(shù)據(jù)保護、模型安全、基礎(chǔ)設(shè)施安全以及審計跟蹤合規(guī)性。這確保了全面的安全方法，保護總體而言，生成式AI應(yīng)用程序安全測試和驗證標(biāo)準(zhǔn)文檔提供了詳細(xì)和結(jié)構(gòu)化的方法來測試AI應(yīng)用程序堆棧的每一層，確保AI應(yīng)用程序的所有方面都經(jīng)過嚴(yán)格4本文檔的目標(biāo)受眾是參與確保生成式AI應(yīng)用程序的安全性和完整性的專業(yè)人員和利益相關(guān)AI安全工程師和分析師:主要負(fù)責(zé)實施和維護規(guī)范中概述的安全措施。他們評估AI應(yīng)用程序的威脅，設(shè)計安全架構(gòu)，并監(jiān)視系統(tǒng)以預(yù)防，檢測和響應(yīng)安全事件。這些工程師還會考慮偏見和人工智能開發(fā)人員、mlop和人工智能工程師:他們是構(gòu)建、維護和自動化人工智能應(yīng)用程序工作流程的人。他們使用安全規(guī)范來理解并將安全最佳實踐集成到應(yīng)合規(guī)官和監(jiān)管專家:負(fù)責(zé)確保AI應(yīng)用程序符合不斷發(fā)展的法律和監(jiān)管標(biāo)準(zhǔn)的專業(yè)人員使用該規(guī)數(shù)據(jù)保護官:確保AI應(yīng)用程序安全地處理數(shù)據(jù)，并遵守數(shù)據(jù)保護法律和政策。安全規(guī)范為他們IT和網(wǎng)絡(luò)管理員:這些管理員負(fù)責(zé)AI應(yīng)用程序的底層基礎(chǔ)架構(gòu)。這些專業(yè)人員將使用安全規(guī)范來保護網(wǎng)絡(luò)，服務(wù)器和其他組件，以防止不良行為者在AI相關(guān)風(fēng)險管理專業(yè)人員:評估和管理與人工智能應(yīng)用相關(guān)的風(fēng)險。安全規(guī)范幫助他們識別潛在的安道德審查委員會:負(fù)責(zé)監(jiān)督人工智能道德使用的委員會依賴于安全規(guī)范，以確保人工智能應(yīng)用項目經(jīng)理和產(chǎn)品所有者:這些利益相關(guān)者確保AI項目安全高效地交付。安全規(guī)范指導(dǎo)他們設(shè)置5第三方或外部安全審核員和顧問:由這些專家對AI應(yīng)用程序的安全狀況進行外部審查。他們使最終用戶或業(yè)務(wù)利益相關(guān)者:AI應(yīng)用程序的最終用戶或業(yè)務(wù)利益相關(guān)者雖然不直接參與實施安全性，但對這些系統(tǒng)的安全性具有既得利益。了解安全規(guī)范可以幫助他們評估AI應(yīng)用這些小組中的每一個都在確保AI應(yīng)用程序的安全性方面發(fā)揮著關(guān)鍵作用，從開發(fā)到部署和操3.規(guī)范性引用文件下面列出的參考文獻對于應(yīng)用和理解本文檔至關(guān)重要。它們提供了對安全和負(fù)責(zé)任地開發(fā)和部●生成式AI安全:理論與實踐●拜登關(guān)于安全、可靠和值得信賴的人工智能的行政命令●NIST值得信賴和負(fù)責(zé)任的AINISTAI100-2e●MITRE阿特拉斯?(人工智能系統(tǒng)的對抗性威脅景觀)●降低檢索增強生成(RAG)LLM64.術(shù)語和定義代理行為:LLM應(yīng)用程序通過諸如內(nèi)存利用，知識應(yīng)用，計劃和執(zhí)行基于提示的操作來展示代AI應(yīng)用程序運行時安全:為在操作期間保護AI應(yīng)用程序而實施的全面安全措施。它包括數(shù)據(jù)保人工智能治理:人工智能風(fēng)險的框架、要求、監(jiān)督和問責(zé)。這些結(jié)構(gòu)可以將風(fēng)險映射到組織環(huán)AI響應(yīng)處理:處理和評估AI響應(yīng)的準(zhǔn)確性、相關(guān)性、無毒性、隱私性、保API安全檢查:對與模型接口的API的安全措施進行驗證，如身份驗證、授權(quán)和數(shù)據(jù)加密，以防基本語言模型:基本模型(有時稱為基礎(chǔ)模型)是一種大型語言模型，其原始模型構(gòu)建者已經(jīng)使用諸如從人類反饋(RLHF)的強化學(xué)習(xí)等技術(shù)對其進行了一般功能的訓(xùn)練和微調(diào)。這些基本模型(例如OpenAI的GPT-4，Anthropic的Claude3，Google的Gemini1.5，CohereCommand，AmazonTitan或Meta的開源LLaMA2)為進一步的特定任務(wù)定制奠定了堅實的基礎(chǔ)。通常，開發(fā)人員會調(diào)整基本模型輸出，以顯示廣泛的語言能力和對下游應(yīng)用程序中專業(yè)用例的適應(yīng)性。然后，工程師和公司將這些基本模型作為有效開發(fā)和部署針對其精確需求和應(yīng)用程序量身定制的AI解決方案的起點?；灸Ｐ拖藦念^開始訓(xùn)練完整模型的需要，提供了封閉和開源的基礎(chǔ)模型選擇:在考慮AI安全性的情況下選擇合適的基礎(chǔ)模型。選擇涉及評估諸如性能基準(zhǔn)，培訓(xùn)數(shù)據(jù)質(zhì)量，潛在偏差，安全程序，潛在有害輸出，預(yù)期用例和法規(guī)遵從性要求等因素。可靠的模型來源，透明度，數(shù)據(jù)/培訓(xùn)方法的審核，跨職能審核流程以及遵守行為準(zhǔn)則是在負(fù)責(zé)任地部署llm時維護安全性，合規(guī)性和道德標(biāo)準(zhǔn)7緩存:用于存儲AI模型的推斷輸出的技術(shù)，以避免在推理過程中重復(fù)計算。由于深度神經(jīng)網(wǎng)絡(luò)模型的運行計算成本很高，因此緩存其輸出可以在實時請求期間提供更快的響應(yīng)時間。典型的解決方案包括緩存聊天機器人的問答對，計算機視覺模型的分類或大型語言緩存驗證:在將AI應(yīng)用程序的緩存輸出返回給用戶之前，檢查其準(zhǔn)確性、相關(guān)性和安全性。這可能涉及置信度檢查，語義分析，敏感主題的輸入阻止或人工確認(rèn)。驗證與緩存一起使用，以閉源模型:其權(quán)重、推理代碼和訓(xùn)練數(shù)據(jù)清單不公開的模型。數(shù)據(jù)清理和匿名化:從數(shù)據(jù)中刪除不準(zhǔn)確和不一致之處，并匿名化個人或敏感信息，以維護隱數(shù)據(jù)使用檢查:確保用于培訓(xùn)和操作模型的數(shù)據(jù)是適當(dāng)?shù)模系赖乱?guī)范的，并符合數(shù)據(jù)保護外部API集成:將外部API集成到LLM應(yīng)用程序中，以增強功能，例如訪問微調(diào):針對特定任務(wù)或數(shù)據(jù)集調(diào)整基于模型的過程，以提高性能，相關(guān)性和對數(shù)據(jù)隱私的合規(guī)LLM(大型語言模型):大型語言模型(LLM)是一種在大型文本語料庫上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，通過預(yù)測下一個單詞或令牌來生成智能文本，從而允許開放式文本生成應(yīng)用程序，模型合規(guī)性檢查:評估所選模型是否符合法律、法規(guī)和道德標(biāo)準(zhǔn)。這包括數(shù)據(jù)隱私法和偏差最小化等考慮因素。請記住，合規(guī)性會隨著時間的推移而改變，不要假設(shè)它總是給定的。也不要推斷一個供應(yīng)商對另一個供應(yīng)商的合規(guī)性。模型本身很少經(jīng)過認(rèn)證，但它模型注冊表:用于存儲、版本控制和編目機器學(xué)習(xí)/AI模型和相關(guān)元數(shù)據(jù)(例如，模型卡)的數(shù)據(jù)庫、存儲庫或系統(tǒng)。模型花園是注冊表的一個精選版本，其中包含提供商的精選模型。它通常需要模型與使用的訓(xùn)練數(shù)據(jù)和推理數(shù)據(jù)點8提示構(gòu)建和模板:為LLM創(chuàng)建有效且安全的提示，并開發(fā)模板以標(biāo)準(zhǔn)化和簡化提示生成。提示處理:LLM解釋并處理提示以生成響應(yīng)的過程。此過程涉及理解提示，訪問相關(guān)知識以及RAG，或檢索增強生成:檢索增強生成AI應(yīng)用程序的事實準(zhǔn)確性，如大型語言模型，通過從矢量數(shù)據(jù)庫中實時提取相關(guān)知識來增強它們。在推理期間，檢索器模塊首先使用生成器的內(nèi)部狀態(tài)向量來查詢存儲外部知識(文本、圖像等)的向量數(shù)據(jù)庫。然后，與生成上下文最相關(guān)的檢索到的向量與內(nèi)部狀態(tài)交叉，以產(chǎn)生下一個生成的輸出。這個過程動態(tài)地使模型的生成更接近現(xiàn)實，糾正錯誤的假設(shè)并減少幻覺內(nèi)容。這種可擴展的檢索基礎(chǔ)結(jié)構(gòu)在開放式推理期間為生成器提供了相關(guān)外部數(shù)據(jù)的連續(xù)供應(yīng)。這種檢索增強的生成方法抵消了生成器的知識限制和捏造信息的趨勢，從而提高了開放域生成AI應(yīng)用程序中的事實一致矢量數(shù)據(jù)庫:矢量數(shù)據(jù)庫充當(dāng)?shù)孛鎸崨r，幫助將知識擴展到訓(xùn)練時間以外的運行時間，并減少生成AI模型中的幻覺。它們允許將大量的真實世界數(shù)據(jù)(圖像、文本、分子結(jié)構(gòu)等)存儲為捕獲語義概念和特征的矢量表示。然后，這些矢量數(shù)據(jù)集在推理過程中充當(dāng)生成模型的參考，以使其輸出更接近現(xiàn)實，并避免制造錯誤的細(xì)節(jié)(幻覺)。從生成模型輸向量匹配提供了一種檢測和過濾超分辨率內(nèi)容的自動化方法。這個數(shù)據(jù)集條件對于生成AI的安全關(guān)鍵應(yīng)用至關(guān)重要，如藥物發(fā)現(xiàn)和內(nèi)容創(chuàng)建。優(yōu)化的矢量搜索和可擴展性使PGvector，Milvus，Weaviate和Pinecone等數(shù)據(jù)庫非常適合為現(xiàn)實世界中部署的生成AI應(yīng)用程序啟用此類95.AI應(yīng)用安全和驗證標(biāo)準(zhǔn)要確保AI應(yīng)用程序的安全性和完整性，需要對AI應(yīng)用程序堆棧中的所有組件進行結(jié)構(gòu)化和嚴(yán)格的測試。全面的測試制度可以驗證下游AI應(yīng)用程序的每個方面(從基礎(chǔ)模型選擇到運行時安全性)是否按預(yù)期安全運行，并且沒有漏洞。細(xì)致的測試規(guī)范設(shè)定了明確的要求，方法和預(yù)期結(jié)果，從而實現(xiàn)了透明的評估。本節(jié)提供了AI應(yīng)用程序體系結(jié)構(gòu)每一層的詳細(xì)測5.1基本模型選擇測試標(biāo)準(zhǔn)基礎(chǔ)模型選擇是確保AI應(yīng)用程序安全性和合規(guī)性的關(guān)鍵方面。選擇涉及對開源和閉源模型的不同考慮，認(rèn)識到雖然閉源模型可能有更容易獲得的合規(guī)性文檔，但開源模型可能缺乏已建立需要注意的是，基礎(chǔ)模型的測試和驗證是一個持續(xù)的過程，尤其是在上游基礎(chǔ)情況下。隨著基礎(chǔ)模型的發(fā)展和更新，重新驗證模型以確保它仍然滿足所需的安全性和合規(guī)性標(biāo)準(zhǔn)至關(guān)重要。這種持續(xù)的驗證過程有助于維護AI應(yīng)用程序的完整性和可靠性，即使5.1.1模型合規(guī)性和上下文測試檢查模型合規(guī)性涉及每種模型類型的不同方法，并考慮其獨特的特要求:基于人工智能的模型，無論是開源還是閉源，都符合法律、監(jiān)管、安全和道德標(biāo)準(zhǔn)。方法:對于閉源模型，根據(jù)相關(guān)法律、行業(yè)法規(guī)和道德準(zhǔn)則，對供應(yīng)商提供的可用合規(guī)性文檔進行詳細(xì)審查。為確保合規(guī)性，應(yīng)審查和評估模型的培訓(xùn)數(shù)據(jù)質(zhì)量(符合目的作參數(shù)和社區(qū)反饋。對已關(guān)閉模型的權(quán)限和訪問權(quán)限可能會限制此評估。對于所有模型，模型卡1和數(shù)據(jù)報表等工具2為模型和數(shù)據(jù)文檔提供基準(zhǔn)。這可能包括與法律和行業(yè)專家進行磋商，以解釋缺乏正式文件的領(lǐng)域的合規(guī)性。測試一下模型在特定任務(wù)上的準(zhǔn)確性、相關(guān)性、一致性和性能是否滿足預(yù)定要求。使用預(yù)設(shè)場景和數(shù)據(jù)集對模型進行基準(zhǔn)測試，以衡量其性能和輸出有用于測試的資源，但它們的效用可能會隨著時間的推移而變化和降低。對于封閉和開源模型，都有許多公開可用的即時安全測試結(jié)果。由于它們使用不同的測試一下數(shù)據(jù)集，因此這些安全評估工作可能會為同一模型產(chǎn)生不同的結(jié)果。盡管如此，咨詢多個公開可用的結(jié)果可以指出LLM更有可能表現(xiàn)出哪種類型的有害行為。隨著新的故障模型和攻擊的發(fā)現(xiàn)，基準(zhǔn)也會隨著時間的推移而變化;考慮并報告用于評估模型的此外，識別并列出來自MITREAtlas等來源的已知漏洞(?)3、AV預(yù)期結(jié)果:基礎(chǔ)模型完全滿足所有法律、法規(guī)、安全和道德要求，無論其來源如何。對于閉源模型，任何不合規(guī)的領(lǐng)域都被明確標(biāo)識，對于開源模型，則會2.檢查模型卡中存在每個模型的上下文元數(shù)據(jù)，訓(xùn)練和微調(diào)的血統(tǒng)。模型卡提1./doi/10.1145/3287560.32875962./數(shù)據(jù)-報表//34https://avidml。組織/5https://airisk.io/6https://incidentdatabase.ai/要求:無論是開源還是閉源，AI模型都要有模型卡，詳細(xì)說明模型的來源、數(shù)據(jù)敏感度、訓(xùn)練方法:對所有模型(包括托管模型)的可用模型卡進行詳細(xì)審查。確保模型卡具有模型沿襲和所有權(quán)的詳細(xì)信息。模型卡應(yīng)該能夠提供用于訓(xùn)練和微調(diào)的數(shù)據(jù)集(如果適用)。對于閉源模型，預(yù)期結(jié)果:無論其來源如何，基本模型都具有模型應(yīng)用程序的完整元數(shù)據(jù)。5.1.2數(shù)據(jù)使用檢查測試方法:對敏感數(shù)據(jù)和個人數(shù)據(jù)的用戶提示實施數(shù)據(jù)匿名化或偽匿名化技術(shù)。進行定期審核，以確保有效地掩蓋個人標(biāo)識符。此外，請確保存儲的提示和輸出不超過策略指定的內(nèi)容。這可以限制存儲的內(nèi)容和存儲時間的長度。進行對抗性測試以檢查數(shù)據(jù)是否泄漏，使用方法(例如，預(yù)期結(jié)果:在不泄露個人身份的情況下處理用戶提示，確保隱私并遵守數(shù)據(jù)保護法。如果需要求:數(shù)據(jù)的道德和法律使用方法:根據(jù)道德標(biāo)準(zhǔn)和法律要求制定數(shù)據(jù)使用指南。執(zhí)行常規(guī)合規(guī)性檢查和審核，以監(jiān)控對這預(yù)期結(jié)果:來自用戶提示、微調(diào)訓(xùn)練數(shù)據(jù)和矢量數(shù)據(jù)庫的數(shù)據(jù)在道德和法律上使用，沒有濫用要求:數(shù)據(jù)保護法規(guī)的遵守方法:獲得用戶同意，確保數(shù)據(jù)透明度，并為用戶提供對其數(shù)據(jù)的控制。數(shù)據(jù)最小化僅收集必要的個人數(shù)據(jù)，并避免過度收集。通過技術(shù)手段最大限度地減少個人數(shù)據(jù)的使用和存儲時間。根據(jù)數(shù)據(jù)的敏感性采取差異化的隱私保護措施。定期對員工進行數(shù)據(jù)保護法培訓(xùn)，并進行合規(guī)性審計。實施響應(yīng)訪問信息請求和被遺忘請預(yù)期結(jié)果:通過審計結(jié)果和用戶反饋，完全遵守GDPR或CCPA等數(shù)據(jù)保護法律。4.使用數(shù)據(jù)沿襲和元數(shù)據(jù)的數(shù)據(jù)起源過直接或間接訪問數(shù)據(jù)集的數(shù)據(jù)源、數(shù)據(jù)敏感性、合規(guī)方法:對數(shù)據(jù)卡和數(shù)據(jù)集進行審查。驗證每個數(shù)據(jù)集，尤其是那集，都有一個數(shù)據(jù)卡。確保數(shù)據(jù)卡具有數(shù)據(jù)集沿襲和維護和管理數(shù)據(jù)卡。數(shù)據(jù)卡中的集合和內(nèi)容將隨著數(shù)據(jù)管理員、所預(yù)期結(jié)果:無論其來源如何，基本模型都具有模型應(yīng)用程序的完整元數(shù)據(jù)。要求:AI應(yīng)用程序開發(fā)人員與基礎(chǔ)模型提供商之間的數(shù)據(jù)使用協(xié)議證次級要求:確定締約方和范圍方法:對協(xié)議進行審核，以驗證各方均已正確識別，并且協(xié)議的范圍(包括特定的基礎(chǔ)模型或預(yù)期結(jié)果:協(xié)議準(zhǔn)確地確定了所有各方并概述了范圍，對所涉及的模型或數(shù)據(jù)集的模糊性較子要求:使用權(quán)利和限制方法:對協(xié)議進行詳細(xì)分析，以確保明確說明和理解使用權(quán)和限制，包括對修改和重新分配的預(yù)期結(jié)果:對使用權(quán)有清晰的理解和文檔記錄，確保明確定義并遵守許可類型(排他性或非排子要求:數(shù)據(jù)處理和合規(guī)性方法:對處理用戶提示、精細(xì)圖靈訓(xùn)練數(shù)據(jù)和矢量數(shù)據(jù)庫內(nèi)容的流程進行回顧。檢查數(shù)據(jù)匿名預(yù)期結(jié)果:數(shù)據(jù)處理方法完全符合協(xié)議和法律標(biāo)準(zhǔn)，并采用安全和合規(guī)的數(shù)據(jù)管理做法。方法:確認(rèn)協(xié)議清楚地概述了有關(guān)基礎(chǔ)模型、微調(diào)模型、輸入數(shù)據(jù)、微調(diào)數(shù)據(jù)和輸出數(shù)據(jù)的知識產(chǎn)權(quán)。檢查實踐中的合規(guī)性。此外，請查看模型提供者授予其用戶的任何賠償條款。通過審預(yù)期結(jié)果:尊重知識產(chǎn)權(quán)，并為使用、修改和重新分配模型輸出提供明確的指導(dǎo)方針。任何賠子要求:保密和不披露方法:對保密和保密條款的執(zhí)行情況進行評估，預(yù)期結(jié)果:嚴(yán)格遵守保密義務(wù)，根據(jù)組織關(guān)于處理公司機密信息和重大非公開信息的政策保護方法:審查組織處理與AI系統(tǒng)相關(guān)的責(zé)任和擔(dān)保的方法。評估組織為理解和實施相關(guān)術(shù)語，應(yīng)對潛在的模型故障或數(shù)據(jù)泄露以及遵守該領(lǐng)域適用的標(biāo)準(zhǔn)和法規(guī)而做出預(yù)期結(jié)果:本組織承諾盡其所能妥善管理負(fù)債和履行擔(dān)保，并制定旨在處理可能出現(xiàn)的任何問題的政策和程序。我們努力遵守相關(guān)的行業(yè)標(biāo)準(zhǔn)、最佳做法和法律要求，以分配責(zé)任和補救失敗或違規(guī)行為，同時認(rèn)識到完美的執(zhí)行可能子要求:終止和續(xù)訂條款預(yù)期結(jié)果:定義明確的終止和續(xù)約條款，方法:在出現(xiàn)分歧或違約的情況下，檢查爭議解決條款并評估參與概述過程的準(zhǔn)備情況。預(yù)期結(jié)果:建立有效的爭端解決機制，符合協(xié)議條款。子要求:適用法律方法:明確規(guī)定和理解管轄法律和管轄權(quán)，并檢查是否與開發(fā)或使用AI應(yīng)用程序的當(dāng)?shù)胤捎凶右?簽名方式:經(jīng)雙方授權(quán)代表簽字確認(rèn)。5.1.3基礎(chǔ)模型推理API安全測試本節(jié)概述了用于全面評估客戶端應(yīng)用程序如何與第三方模型推理API集成的特定測試規(guī)范。當(dāng)應(yīng)用程序與外部API交互時，這些測試至關(guān)重要，需要采用與傳統(tǒng)API測試不同的方法。本節(jié)著重于從客戶端應(yīng)用程序的角度進行測試，這與5.4.1節(jié)中概述的由API提供者進行的測試不同。這種區(qū)別至關(guān)重要，因為我們正在處理將使用第三方推理api的客戶端應(yīng)用程序。為此用為了確保采用全面和結(jié)構(gòu)化的方法來測試與第三方模型推理API集成的客戶端應(yīng)用程序的安全要求:必須對API的所有請求進行身份驗證和授權(quán)，以確?？蛻舳藢φ埱蟮馁Y源具有權(quán)限和適方法:通過模擬各種身份驗證場景，測試一預(yù)期結(jié)果:客戶端必須在請求標(biāo)頭中包含有效的身份驗證令牌，通常作為承載令牌。API應(yīng)使●403如果經(jīng)過身份驗證的客戶端沒有執(zhí)行提供清晰簡潔的錯誤消息，以指示特定的授權(quán)問題，例如缺要求:必須在所有狀態(tài)下應(yīng)用加密:傳輸中，靜止和使用中。數(shù)據(jù)傳輸子要求:對通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)使用強大的加密協(xié)議，如TLS1.2或更高版本，以確保安全的機密性和完整性。實施完美的前向保密，以保護過去的加密通信免受解密，即使長期密鑰受到損害。在傳輸之前，必須對敏感數(shù)據(jù)進行加密，以確保在到達目方法:對基本模型推理API端點進行全面的漏洞評估和滲透測試，以評估其抵御潛在攻擊的能力。確保其加密配置和加密協(xié)議是健壯和不可穿透的。持續(xù)監(jiān)控進出端點的網(wǎng)絡(luò)流量，驗證嚴(yán)格加密標(biāo)準(zhǔn)的執(zhí)行情況和安全協(xié)議的采用情況，例如最新的TLS版本，優(yōu)先考慮保持完美的前預(yù)期結(jié)果:使用符合當(dāng)前加密標(biāo)準(zhǔn)的最新安全協(xié)議對所有傳輸?shù)臄?shù)據(jù)進行安全加密。加密密鑰應(yīng)在每個會話中動態(tài)更改，以防止在將來的密鑰受到損數(shù)據(jù)靜態(tài)子要求:采用多層安全方法對敏感數(shù)據(jù)進行去標(biāo)識，包括標(biāo)記化、匿名化和假名化。應(yīng)采用強大的加密標(biāo)準(zhǔn)，如AES-256或等效標(biāo)準(zhǔn)，以安全地存儲敏感數(shù)據(jù)，其中去識別敏感數(shù)據(jù)或個人信息是不可行的。加密密鑰應(yīng)與加密數(shù)據(jù)分開存儲，以增強安全性。必須實施嚴(yán)格的對于令牌化，請評估令牌生成安全性和隨機性。評估令牌字典訪問安全性。驗證所有標(biāo)記化操作的日志記錄/審核。評估令牌數(shù)據(jù)映射的加密和訪問控制。測試一下標(biāo)記化數(shù)據(jù)使用中的數(shù)對于匿名化，驗證不可逆的匿名化和無法重新識別數(shù)據(jù)。檢查匿名數(shù)據(jù)是否用于預(yù)期目的。對具有風(fēng)格代表性的數(shù)據(jù)進行風(fēng)險分析，以進行潛在的重新識別?；仡櫴褂玫哪涿夹g(shù)及其有效對于假名化，請確保假名的唯一性、安全性以及與源數(shù)據(jù)的分離。分析考慮數(shù)據(jù)相關(guān)性的重新數(shù)據(jù)應(yīng)在各種情況下得到充分保護，而不會損害其在合法業(yè)務(wù)流程中的實用性。根據(jù)數(shù)據(jù)敏感性，從匿名數(shù)據(jù)中重新識別個人的風(fēng)險應(yīng)理想地介于0.04%和0.1%之間或更低。只有經(jīng)過授權(quán)的個人才能訪問令牌或假名并將其鏈接到原始數(shù)據(jù)，并進行從匿名或假名數(shù)據(jù)中重新識別個人實際上是不可能的，從數(shù)據(jù)在用子要求:對內(nèi)存中處理的敏感數(shù)據(jù)實施加密。應(yīng)用程序必須使用安全編碼實踐來防止內(nèi)存轉(zhuǎn)儲和側(cè)信道攻擊。應(yīng)采用最小特權(quán)原則來限制在處理過程中對敏感數(shù)據(jù)的訪問。應(yīng)考慮提供機密計算聯(lián)盟定義的硬件信任根的機密計算硬方法:通過評估應(yīng)用程序和系統(tǒng)來驗證內(nèi)存加密的有效性，以確認(rèn)它們在內(nèi)存中有效地加密了評估應(yīng)用程序如何處理內(nèi)存中的敏感數(shù)據(jù)，重點是防止通過內(nèi)存轉(zhuǎn)儲泄漏和測試一下是否存在側(cè)信道攻擊的漏洞，檢查如何處理數(shù)據(jù)并將其存儲在內(nèi)存中，以識別潛在的根據(jù)最小特權(quán)原則，審查用戶和進程訪問權(quán)限，以確保它們是最小的和必要的，以降低未經(jīng)授可信執(zhí)行環(huán)境(tee)提供安全執(zhí)行環(huán)境，在處理期間將敏感數(shù)據(jù)隔離在受保護的CPU飛地中。證明是機密計算的關(guān)鍵部分，允許從信任根(RoT)預(yù)期結(jié)果:在處理敏感數(shù)據(jù)時，確保數(shù)據(jù)保持加密、假名、匿名和安全。只有必要的用戶和進程才能訪問正在使用的敏感數(shù)據(jù)，并且必須嚴(yán)格控制和記錄此類訪問。機密計算和TEE驗證結(jié)方法:評估應(yīng)用程序處理和清理各種潛在攻擊向量的能力，包括超出通常用例參數(shù)的輸入。執(zhí)行模糊測試，該測試應(yīng)涵蓋API接口的所有功能點，包括各種HTTP方法(例如GET，POST，PUT，DELETE等)。執(zhí)行滲透和安全漏洞測試，例如SQL注入，跨站點腳本(XSS)，命令注預(yù)期結(jié)果:應(yīng)用程序有效地過濾和清理輸入，防止注入，不相關(guān)的輸入和其他數(shù)據(jù)操作攻擊。要求:不暴露敏感信息的安全錯誤處理和日志記錄。方法:信息泄露時，觸發(fā)錯誤條件，分析日志。如果可能，在日志存儲之前自動刪除敏感信要求:通過使用秘密管理方法將API密鑰和憑證存儲在安全保管庫中來安全地管理它們。API密鑰和機密必須定期輪換，不得超過180天，或在出現(xiàn)潛在危害跡象時立即輪換。輪換過程必須方法:通過實施安全保管庫來存儲和檢索API密鑰和憑證，確保它們不會暴露或泄露。觀察并驗證安全密鑰管理流程，包括但不限于密鑰生成、密鑰輪換、禁用舊密鑰、密鑰銷毀和處理密鑰材料安全。采訪負(fù)責(zé)人員并審查培訓(xùn)材料，以確認(rèn)相關(guān)團隊對安全API密鑰輪換和機密管理流程的認(rèn)識和理解。通過嘗試使用舊的/已撤銷的API密鑰和機密訪問資源并驗證訪問是否被適當(dāng)預(yù)期結(jié)果:安全地存儲API密鑰和憑證要求:用于API通信的最新且安全的庫和依賴項。方法:進行漏洞掃描，檢查是否存在過時和不推薦使用的組件。預(yù)期結(jié)果:所有組件都是最新的，沒有已知漏洞。要求:符合API提供商的安全策略。預(yù)期結(jié)果:應(yīng)用程序符合API的所有指定安全準(zhǔn)則和協(xié)議。方法:為intAPI輸入和輸出確定用例的正常API行為基線，包括相關(guān)性、典型請求率、響應(yīng)大小和模式。此基線有助于檢測異常，尤其是由審核或用例篩選api觸發(fā)的異常。保留詳細(xì)的日預(yù)期結(jié)果:異常情況的快速檢測和事件響應(yīng)計劃的有效執(zhí)行。要求:數(shù)據(jù)保護法律和隱私設(shè)計原則的遵守。方法:應(yīng)用程序中的審計數(shù)據(jù)處理慣例和隱私措施。預(yù)期效果:應(yīng)用程序符合相關(guān)數(shù)據(jù)保護法規(guī)，有效保護用戶隱私。5.2嵌入和矢量數(shù)據(jù)庫對于AI應(yīng)用程序的嵌入和矢量數(shù)據(jù)庫組件，測試5.2.1數(shù)據(jù)清理和匿名測試通過驗證其清潔度和有效的匿名化來確保用于創(chuàng)建嵌入的數(shù)據(jù)的完要求:根據(jù)用例，確保用于創(chuàng)建嵌入的數(shù)據(jù)被有效地清理和匿名化，特別是對于面向公眾的應(yīng)方法:通過實施測試來評估數(shù)據(jù)清理過程的徹底性，確保不相關(guān)、冗余或錯誤的數(shù)據(jù)被識別并糾正或刪除。此外，根據(jù)GDPR等隱私標(biāo)準(zhǔn)，測試一下匿名化流程以確認(rèn)個人或敏感信息被有效地隱藏或刪除。這可能涉及審查匿名化算法、技預(yù)期結(jié)果:嵌入過程中使用的數(shù)據(jù)干凈，相關(guān)且無錯誤。匿名化過程可有效保護個人和敏感信5.2.2Vector數(shù)據(jù)庫安全測試通過實施和驗證高級加密、用于數(shù)據(jù)訪問的RBAC、強大的密鑰管理、全面的IAM策略和其他要求:對高級加密技術(shù)(包括端到端加密)的使用情況進行評方法:對使用中的加密協(xié)議和加密標(biāo)準(zhǔn)進行全面評估，分析預(yù)期結(jié)果:通過采用高級加密方法并在傳輸，使用和存要求:從創(chuàng)建到停用，檢查加密密鑰的整個生命周期，以確保遵守安全密鑰管理實踐。方法:對密鑰發(fā)放、更新、撤銷和銷毀過程進行測試一下，評估其穩(wěn)健性和對密鑰管理標(biāo)準(zhǔn)的預(yù)期結(jié)果:安全的密鑰管理生命周期，有效保護需求:針對不同的用戶角色和場景，實現(xiàn)和測試一下精細(xì)的身份和訪問管理(IAM)策略，為不方法:基于場景進行測試，驗證每個用戶角色只能根據(jù)定義預(yù)期結(jié)果:對訪問權(quán)限進行精細(xì)控制，確保用戶只要求:經(jīng)常進行全面的安全審計，超出標(biāo)準(zhǔn)檢查的范圍，包括評估是否符合國際標(biāo)準(zhǔn)和行業(yè)特方法:深入執(zhí)行審計、漏洞評估和合規(guī)性檢查，以確保符合相關(guān)安全標(biāo)準(zhǔn)和法規(guī)。要求:對零信任安全模型的實現(xiàn)進行評估，在該模型中，信任永方法:在零信任環(huán)境中評估矢量數(shù)據(jù)庫的部署，驗證是否基于身要求:實時實施和評估監(jiān)控系統(tǒng)和異常檢測算法，以實時識別和方法:通過模擬安全事件并監(jiān)控其檢測和響應(yīng)，測試一下實時監(jiān)預(yù)期結(jié)果:對安全威脅的早期檢測和快速響應(yīng)，要求:提供可靠的災(zāi)難恢復(fù)和數(shù)據(jù)備份流程。方法:對災(zāi)難恢復(fù)和備份系統(tǒng)進行測試一下，使其能夠在發(fā)生破預(yù)期結(jié)果:高效可靠的災(zāi)難恢復(fù)和數(shù)據(jù)備份流程，方法:對數(shù)據(jù)訪問的RBAC進行全面評估。使用不同的角色訪問數(shù)據(jù)，并確保正確的角色只能5.3使用RAG進行提示和知識檢索AI應(yīng)用程序的“使用RAG(檢索增強生成)進行提示和知識檢索”階段的測試規(guī)范包含以下組件:5.3.1及時施工測試要求:請確保為RAG模型構(gòu)建的提示有效且方法:為了清晰、相關(guān)和完整，測試一下快速構(gòu)建過程。這涉及評估各種提示，以確保它們有效地將預(yù)期的請求傳達給RAG模型，并且模型的響應(yīng)與提示的意圖一致。這些測試可能包括證明此要求可能需要大量資源或需要專業(yè)知識，具體取決于下游AI應(yīng)用程序。因需要一系列方法來證明這一要求。例如，有78和第三方公司的公共存儲庫可以幫助進行需求演預(yù)期結(jié)果:構(gòu)造良好的提示，明確無誤，并有效地指導(dǎo)RAG模型提供相關(guān)且準(zhǔn)確的響應(yīng)。2.驗證RAG模型的輸出是否與提供的用要求:確保RAG模型的結(jié)果準(zhǔn)確且相關(guān)7/microsoft/promptbench8/promptfoo/promptfoo方法:為不同的用例測試一下不同的提示，并查看輸出在清晰度和相關(guān)性方面是否與預(yù)期輸出證明此要求可能需要大量資源或需要專業(yè)知識，具體取決于下游AI應(yīng)用程序。因需要一系列方法來證明這一要求。例如，有預(yù)期結(jié)果:GenerativeAI輸出可以提供與用例無關(guān)的結(jié)果。確保輸出一致有助于確保輸出的可用方法:將模型的響應(yīng)測試一下到各種精心設(shè)計的潛在惡意輸入。這涉及模擬可能利用輸入處理中的漏洞的場景。測試一下應(yīng)包括直接和間接即時注射，如OWASPTop10為LLM應(yīng)用程序記預(yù)期結(jié)果:模型始終安全地處理精心設(shè)計的輸入，而不會執(zhí)行意外操作或顯示易受攻擊的行方法:在可能泄露敏感或機密信息的情況下評估模型的輸出。這包括測試可能通過提示工程，越獄以及各種策略和技術(shù)觸發(fā)此類披露的場景?；仡檶W(xué)術(shù)文獻和公開的獨立測試一下結(jié)果，評估信息泄漏。如果沒有公開的獨立測試，組織應(yīng)考慮是否可以選要求:采用多層方法，確保聊天機器人保持在其域內(nèi)。這種方法需要強大的故障安全機制，完方法:通過提供與其指定域無關(guān)的有意查詢來測試一下聊天機器人，評估其識別和管理此類情況的能力。模擬具有異常和噪聲的真實數(shù)據(jù)場景，確保聊天機器人提供準(zhǔn)確可靠的信息。進行A/B測試，將聊天機器人的性能與對照組進行比較，為其在特定領(lǐng)域的有效性提供有價值的見預(yù)期結(jié)果:聊天機器人展示了識別其領(lǐng)域之外的查詢的非凡能力，禮貌地承認(rèn)它們的無關(guān)性或引導(dǎo)對話回到正軌。該系統(tǒng)在模擬的真實世界場景中可靠地提取了準(zhǔn)確的特定領(lǐng)域數(shù)據(jù)，不受不相關(guān)或嘈雜信息的影響。在A/B測試期間，聊天機器人的性能超出了預(yù)期，特別是在響應(yīng)質(zhì)量、用戶滿意度和指定領(lǐng)域內(nèi)的相關(guān)性方面。它努力堅持實施的故障安全機制，護欄和專門的算法，確保強大和安全的用戶體驗。用戶對聊天機器人的準(zhǔn)確和有用的響應(yīng)表示很高的滿意5.3.2提示模板測試提示模板是預(yù)定義的結(jié)構(gòu)或準(zhǔn)則，用于生成提示，以促進來自模型的特定類型的響應(yīng)。這些模板旨在通過提供一致且優(yōu)化的方式來表達查詢或命令，從而簡化與模型的交互，確保模型盡可能準(zhǔn)確地理解用戶的意圖。提示模板的設(shè)計可以顯著影響模型響應(yīng)的有效性和效率，使其對于要求:請確保系統(tǒng)對提示模板的使用符合總體訪問控制策略，防止模板被利用來規(guī)避安全機制方法:進行系統(tǒng)級測試，以評估提示模板如何被不同角色/用戶訪問以及如何在系統(tǒng)的安全和訪問控制框架的上下文中使用。這涉及驗證系統(tǒng)在允許訪問特定模板或模板功能之前檢查用戶權(quán)限，尤其是那些可能觸發(fā)敏感操作或訪問特權(quán)信息的功能。測試應(yīng)模擬嘗試使用模板的各種用應(yīng)調(diào)查他們是否可以限制的方式使用模板，查看系統(tǒng)在處理模板之前是否預(yù)期結(jié)果:系統(tǒng)確保與提示模板的所有交互都受到適當(dāng)?shù)脑L問控制。用戶只能以符合其權(quán)限的方式使用模板，而不能使用模板繞過系統(tǒng)級訪問限制。拒絕用戶訪問或使用超出其授權(quán)級別的模板的嘗試，這表明系統(tǒng)有效實施了與提示模板要求:請確保提示模板具有強大的功能，以防止可能導(dǎo)致意外或不適當(dāng)輸出的誤解和誤用。模板應(yīng)清楚地指導(dǎo)用戶，減少利用歧義或?qū)е虏涣枷捣椒?對模板進行徹底的審查和用戶測試(涵蓋所有相關(guān)的用戶角色)，以評估其清晰度和誤解的可能性。這包括與各種用戶一起評估模板，包括那些打算測試一下模板有效性邊界的用戶。目標(biāo)是識別并糾正用戶可能(有意或無意)利用的任何歧義或弱點，以生成意外，不適當(dāng)或超出模板預(yù)期用途范圍的響應(yīng)。測試還應(yīng)評估模板對輸入格式和內(nèi)容期望的指導(dǎo)，以確保用戶了預(yù)期結(jié)果:模板有效地指導(dǎo)用戶提供與模板預(yù)期用途一致的輸入，同時將誤解或誤用的風(fēng)險降至最低。這些模板的設(shè)計和說明明顯減輕了對抗性操縱的可能性，確保系統(tǒng)的響應(yīng)保持在預(yù)期和適當(dāng)?shù)姆秶鷥?nèi)。用戶輸入和系統(tǒng)輸出是高度一致的，反映了模板在以安全和預(yù)期的方式指導(dǎo)實現(xiàn)動態(tài)訪問控制。應(yīng)用程序必須根據(jù)上下文(包括時間、位置、設(shè)備類型和網(wǎng)絡(luò)安全狀況)評估用戶請求。應(yīng)用程序必須根據(jù)上下文動態(tài)調(diào)整用戶權(quán)限，例如限制在工作時間以外對敏感利用基于屬性的訪問控制(ABAC)。應(yīng)用程序必須使用ABAC來管理基于各種屬性的用戶訪問，例如用戶角色和數(shù)據(jù)分類。應(yīng)用程序必須將ABAC與企業(yè)身份提供商和外部api集成，確保數(shù)據(jù)集成和訪問驗證。應(yīng)用程序必須安全地與外部系統(tǒng)集成，驗證API密鑰，并使用作用域訪問令牌來限制對授權(quán)數(shù)據(jù)的訪問。應(yīng)用程序必須將從集成平臺檢索到的訪問權(quán)限與用戶的實現(xiàn)上下文響應(yīng)過濾。應(yīng)用程序必須實現(xiàn)基于用戶上下文和權(quán)限過濾搜索結(jié)果的邏輯。應(yīng)序必須根據(jù)用戶的角色或上下文動態(tài)修改響應(yīng)，以排除方法:代碼審查:審查應(yīng)用程序代碼，以確保存在用于動態(tài)訪問控制、ABAC實現(xiàn)和數(shù)據(jù)訪問驗動態(tài)分析:必須使用安全測試工具來動態(tài)分析應(yīng)用程序在運行時的行為。應(yīng)模擬具有不同上下滲透測試:必須進行滲透測試，以嘗試通過各種技術(shù)對敏感數(shù)據(jù)進行未經(jīng)授權(quán)的訪問，以驗證預(yù)期結(jié)果:始終確保敏感信息免受未經(jīng)授權(quán)的訪問和泄漏。用戶應(yīng)該能夠僅訪問其特定上下文和角色所需的數(shù)據(jù)，從而在保持運營效率的同時增強安全性。系統(tǒng)必須適應(yīng)各種用戶環(huán)境，動態(tài)應(yīng)用適當(dāng)?shù)脑L問控制和過濾器。系統(tǒng)必須遵守相關(guān)的數(shù)據(jù)保護法律和標(biāo)準(zhǔn)，最大限度地降低5.3.3外部API集成測試(函數(shù)調(diào)用、插件)外部API集成是指將LLM應(yīng)用程序與外部API連接以擴展其功能并從其他系統(tǒng)訪問數(shù)據(jù)或服務(wù)確定外部api和RAG模型之間集成的可靠性和安全性，確保無縫連接、準(zhǔn)確的數(shù)據(jù)交換和強大要求:確保外部api與RAG和LLM模型的可靠和安全集成，包方法:對API連接、數(shù)據(jù)交換、錯誤處理和安全性進行測試。這包括測試正確的函數(shù)調(diào)用，數(shù)據(jù)傳輸準(zhǔn)確性，強大的錯誤和異常處理以及對安全協(xié)議(例如身份驗證和數(shù)據(jù)加密)的合規(guī)預(yù)期結(jié)果:將外部api與RAG和LLM模型安全地集成，展示可靠和安全的數(shù)據(jù)交換系統(tǒng)性能或安全性的情況下有效地處理錯誤。作為客戶端或API提供者，請參閱第5.4.1節(jié)和第5.3.4從矢量數(shù)據(jù)庫測試中檢索要求:從矢量數(shù)據(jù)庫中確保準(zhǔn)確有效地檢索信息。方法:對檢索過程的相關(guān)性、準(zhǔn)確性和速度進行測試一下。這涉及用各種輸入查詢矢量數(shù)據(jù)庫，并評估檢索到的信息的相關(guān)性和正確性。組織還可以評估其他性能預(yù)期結(jié)果:RAG系統(tǒng)有效地從矢量數(shù)據(jù)庫中檢索相關(guān)和準(zhǔn)確的信息，有助于對提示做出準(zhǔn)確和5.4即時執(zhí)行/推理AI應(yīng)用程序中“提示執(zhí)行/推理”階段的測試規(guī)范，主要側(cè)重于LLMapi以及緩存和驗證機制，5.41LLM應(yīng)用程序api測試如果您將LLM應(yīng)用程序提供商API提供給第三方，則需要求身份驗證:OAuth2.0、SAML2.0和OpenIDConnect等身份驗證協(xié)議的正確實現(xiàn)，以及API密鑰和令牌的安全處理。使用基于令牌的身份驗證機制(如JSONWeb令牌(JWT))在無狀態(tài)環(huán)方法:通過模擬各種身份驗證場景，測試一下協(xié)議實現(xiàn)和密鑰/令牌管理。如果使用JWT令牌，請通過驗證簽名，檢查頒發(fā)者并確保受眾與預(yù)期收件人匹配來驗證要求授權(quán):根據(jù)用戶的角色和權(quán)限實施全面的訪問控制，以管理和限制用戶操作。這些措施包授權(quán)矩陣必須以結(jié)構(gòu)化和機器可讀的格式記錄，同時易于被人類理解以進行更新。還應(yīng)采用分層方法設(shè)計，以定義授權(quán)的各種組合，這些組合應(yīng)適用于應(yīng)用程序的不同技術(shù)平臺和體系結(jié)構(gòu)方法:使用正確分配和實施的權(quán)限驗證基于角色的訪問控制(RBAC)或基于屬性的訪問控制(ABAC)系統(tǒng)。組織必須創(chuàng)建一組廣泛的集成測試，以驗證所測試應(yīng)用程序的授權(quán)矩陣的完整性和適用性。這些測試應(yīng)直接利用形式化矩陣作為其輸入。任何測試一下失敗實例都必須突出預(yù)期結(jié)果:訪問受控，確保只有授權(quán)的API用戶/客戶端才能根據(jù)允許的范圍訪問或修改數(shù)據(jù)，要求:對傳輸中和靜態(tài)的所有敏感數(shù)據(jù)采用高級加密，包括使用行業(yè)標(biāo)準(zhǔn)加密協(xié)議和定期更新預(yù)期結(jié)果:數(shù)據(jù)的強大加密，大大降低了未經(jīng)授權(quán)的數(shù)據(jù)訪問和違規(guī)的風(fēng)險。要求:通過驗證所有輸入數(shù)據(jù)并使用安全的數(shù)據(jù)庫訪問方法，保護API免受SQL、NoSQL和命方法:預(yù)準(zhǔn)備語句、存儲過程和徹底的輸入驗證。預(yù)期結(jié)果:注入漏洞的有效緩解，確保數(shù)據(jù)的完整性和安全性。方法:在整個設(shè)計和開發(fā)過程中應(yīng)用“設(shè)計安全”原則，進行威脅建模，并集成安全檢查點。預(yù)期結(jié)果:彈性的API架構(gòu)從設(shè)計階段就將安全風(fēng)險和漏洞降至最低。要求:系統(tǒng)地配置并定期審核所有安全設(shè)置，使所有系方法:使用自動化工具進行配置管理，定期進行安全審計。預(yù)期結(jié)果:配置良好的API環(huán)境，最大限度地降低由于配置錯誤而導(dǎo)致的漏洞風(fēng)險。方法:使用漏洞掃描工具定期修補和更新組件。要求:實現(xiàn)強大的身份驗證系統(tǒng)，包括多因素身份驗證和安全方法:通過部署多因素身份驗證，實施安全密碼實踐，并監(jiān)控異常身份驗證嘗試。預(yù)期結(jié)果:針對未經(jīng)授權(quán)的訪問的增強保護。預(yù)期結(jié)果:軟件和數(shù)據(jù)有保證的完整性和可信性。要求:通過嚴(yán)格驗證所有用戶提供的輸入，尤其是服務(wù)器端請求方法:嚴(yán)格執(zhí)行輸入驗證和清理程序，重點防范SSRF漏洞。預(yù)期結(jié)果:SSRF風(fēng)險的有效緩解，保護5.4.2緩存和驗證測試評估緩存機制在提高響應(yīng)時間方面的效率，以及驗證過程在確保LLMs響應(yīng)的準(zhǔn)確性和適當(dāng)性要求:在提高響應(yīng)時間和驗證過程的健壯性方面驗證緩存機制的有效性，以確保響應(yīng)的準(zhǔn)確方法:通過評估緩存系統(tǒng)對重復(fù)查詢的響應(yīng)時間的影響來測試一下緩存系統(tǒng)。這包括評估高速緩存命中率、高速緩存中的數(shù)據(jù)完整性以及高速緩存更新的效率。對于驗證測試，請執(zhí)行檢查以確保LLM的響應(yīng)準(zhǔn)確，相關(guān)且沒有錯誤或不適當(dāng)?shù)膬?nèi)容。這可能涉及自動驗證檢查和手動預(yù)期結(jié)果:緩存機制可顯著提高頻繁查詢的響應(yīng)時間，而不會影響數(shù)據(jù)完整性。驗證過程有效地確保LLM響應(yīng)的準(zhǔn)確性和適當(dāng)性，最大限度地減5.5代理行為人工智能代理是一個復(fù)雜的軟件系統(tǒng)，它根據(jù)預(yù)定義的目標(biāo)或?qū)μ囟ㄝ斎氲捻憫?yīng)自動執(zhí)行任務(wù)。其體系結(jié)構(gòu)的核心是不同的組件，包括提示機制，通過指令或問題激活代理;內(nèi)存模塊，致力于存儲過去對話的詳細(xì)信息，以通知上下文相關(guān)的響應(yīng);以及一個單獨的知識庫，代理用于準(zhǔn)確理解世界并與世界進行交互的最新信息。此外，戰(zhàn)略規(guī)劃和反思模塊包含用于決策的算法，使代理能夠通過一組工具評估選項，預(yù)測結(jié)盡管人工智能代理技術(shù)發(fā)展迅速，但其開發(fā)的通用標(biāo)準(zhǔn)仍未確定，這促進了持續(xù)創(chuàng)新的前景。在這個不斷發(fā)展的領(lǐng)域中，安全的重要性怎么強調(diào)都不為過。隨著人工智能代理變得越來越復(fù)雜，并越來越多地融入日常生活的各個方面，確保其抵御威脅和漏洞的能力至關(guān)重要，強調(diào)在人工智能代理開發(fā)過程中必須采取強有力的安全措施，以保持其運營人工智能應(yīng)用中的“代理行為”測試規(guī)范可以詳細(xì)描述如下，涵蓋了提示、記憶、知識、計5.5.1快速響應(yīng)測試方法:對AIagent理解和響應(yīng)各種提示的能力進行測試一下，評估響應(yīng)的清預(yù)期結(jié)果:AIagent始終能夠正確解釋提示，并提要求:請確保AI代理沒有采取自主操作，這可能是不允許的。它還要求在采取任何可能導(dǎo)致安方法:通常AI代理具有很高的權(quán)限。測試一下AI代理訪問和采取可能不允許的自主操作的能力。確保代理沒有訪問位置、文件或采取可能是敵對的或被對手使用的操作。還要確保人工智能代理在采取行動之前征求人類的批準(zhǔn)，如果人類不允許特定的預(yù)期結(jié)果:人工智能代理在采取任何行動之前不斷要求人類批準(zhǔn)，并按預(yù)期工作。5.5.2內(nèi)存利用率測試方法:通過評估AI如何將先前學(xué)習(xí)或提供的信息整合到其響應(yīng)和動作中，來測試一下AI的記憶預(yù)期結(jié)果:人工智能展示了對記憶的有效利用，在其響應(yīng)和決策中準(zhǔn)確地回憶和利用相關(guān)的過5.5.3知識應(yīng)用測試為了確定人工智能有效利用其知識庫(在大多數(shù)情況下，知識庫由矢量數(shù)據(jù)庫、圖形數(shù)據(jù)庫甚方法:通過呈現(xiàn)需要利用其存儲信息的場景或查詢來評估AI對其知識庫的使用。評估應(yīng)側(cè)重于預(yù)期結(jié)果:人工智能有效地應(yīng)用其知識庫，根據(jù)其積累的信息提供準(zhǔn)確和深入的響應(yīng)和行動。5.5.4規(guī)劃能力測試要求:人工智能測試一下計劃和執(zhí)行復(fù)雜任務(wù)的能力。方法:通過呈現(xiàn)需要行動或決策步驟的任務(wù)或場景來評估AI的規(guī)劃能力。這包括評估人工智能預(yù)期結(jié)果:人工智能展示了強大的規(guī)劃能力，為各種場景制定和執(zhí)行有效的戰(zhàn)略或行動計劃。5.5.5。動作執(zhí)行測試要求:有效且適當(dāng)?shù)仳炞CAI執(zhí)行操作的能力。方法:在模擬環(huán)境中或通過預(yù)定義的任務(wù)測試一下AI執(zhí)行操作。重點應(yīng)該放在AI采取的行動的5.5.6工具利用率測試確認(rèn)AI在集成和利用可用工具方面的有效性，從而提高其在任務(wù)執(zhí)行和快速響應(yīng)方面的性能方法:在執(zhí)行任務(wù)或響應(yīng)提示時，評估AI對各種工具(例如數(shù)據(jù)庫，軟件庫或硬件設(shè)備)的集成和使用。這包括測試AI利用這些工具來提高預(yù)期結(jié)果:人工智能成功地集成和利用了各種工具，在其響應(yīng)和行動中展示了增強的性能和能5.5.7過度的機構(gòu)測試基于場景的測試:開發(fā)廣泛的測試一下場景，涵蓋各種決策情況，包括邊緣案例和潛在的道德對抗性測試:采用模糊測試，輸入操作和故意嘗試“破壞”系統(tǒng)等技術(shù)，以識別AI代理決策過程模擬測試:創(chuàng)建真實環(huán)境的詳細(xì)模擬，以測試一下AI代理在現(xiàn)實條件下的決策能力。監(jiān)視代理訪問控制測試:實施并徹底測試一下訪問控制機制，以確保只有授權(quán)用戶才能與AI代理的決策過程進行交互或修改AI代理的決策過程。這包括測試正確的身份驗證，授權(quán)和審核止未經(jīng)授權(quán)的訪問或篡改?；谧钚√貦?quán)原則，只給人工智能代理有限的系統(tǒng)和數(shù)據(jù)訪問權(quán)限是至關(guān)重要的。這意味著授予代理執(zhí)行其預(yù)期功能所需的最低訪問級別，僅此而已。通過限制代理對敏感信息和關(guān)鍵系統(tǒng)的訪問，我們可以減輕與受損或故障AI代理相關(guān)的潛在風(fēng)險格測試此有限訪問方法，以確保代理不會超出其預(yù)期權(quán)限或獲得對受保護資源的未經(jīng)授權(quán)的訪問權(quán)限。應(yīng)定期進行審核和審查，以驗證訪問控制是否仍然有效，并且隨著AI代理Human-in-the-loop測試:讓人類專家參與測試過程，對AI代理的決策提供監(jiān)督、指導(dǎo)和反饋。這種協(xié)作有助于確保代理的行為與人類的判斷保持一致，并且可持續(xù)監(jiān)控和評估:實施機制，持續(xù)監(jiān)控和評估部署后AI代理的決策過程。根據(jù)既定的指標(biāo)、基人工智能應(yīng)用中“微調(diào)”的測試規(guī)范，側(cè)重于數(shù)據(jù)隱私檢查、基礎(chǔ)模型選擇、模型部署和訓(xùn)練5.6.1數(shù)據(jù)隱私檢查測試為了確保用于微調(diào)AI模型的數(shù)據(jù)嚴(yán)格遵守隱私和數(shù)據(jù)保護法規(guī)，確保道德采購和適當(dāng)?shù)哪涿?用于微調(diào)的數(shù)據(jù)應(yīng)確保尊重隱私并符合相關(guān)的數(shù)據(jù)保護法規(guī)。在微調(diào)的背景下，對數(shù)據(jù)收集、處理和存儲實踐進行全面審查。這包括驗證遵守隱私法(如GDPR或HIPAA)，確保在需要時對檢查差異隱私(DP)是否用于訓(xùn)練數(shù)據(jù)隱私:DP是一種在共享有關(guān)一組個人的信息時提供隱私的方法，方法是描述組內(nèi)的模式，同時保留有關(guān)特定個人的信息。它是通過對不改變感興趣的統(tǒng)計數(shù)據(jù)的單個數(shù)據(jù)進行任意小的更改來完成的。因此，數(shù)據(jù)不能用來推斷任何個人。如果使/nistpubs/SpecialPublications/NIST.SP.800-226.Ipd.pdf預(yù)期結(jié)果:微調(diào)過程中使用的數(shù)據(jù)完全符合隱私法規(guī)，經(jīng)過適當(dāng)?shù)哪涿蚣倜幚恚⒎系?.6.2用于微調(diào)的基本模型選擇測試為了確定所選的基礎(chǔ)模型與特定應(yīng)用和微調(diào)要求最佳匹配，如文檔第5.1節(jié)所述，確保其性能要求:針對特定應(yīng)用和微調(diào)過程，確認(rèn)所選的基礎(chǔ)模型是最合適的。另請參閱本文檔中的5.1方法:對基礎(chǔ)模型的性能、對目標(biāo)領(lǐng)域的適用性以及有效整合新數(shù)據(jù)的能力進行評估。這可以包括針對特定性能指標(biāo)對模型進行基準(zhǔn)測試，并評估其對微調(diào)期間引預(yù)期結(jié)果:選定的基本模型展示了與微調(diào)目標(biāo)的高度兼容性，顯示了調(diào)優(yōu)后的顯著性能改進和5.6.3用于微調(diào)的基本模型存儲測試要求:使用適當(dāng)?shù)脑L問權(quán)限確認(rèn)任何經(jīng)過微調(diào)的模型都已正確存儲。使用正確的模型卡適當(dāng)?shù)胤椒?基于模型被微調(diào)的數(shù)據(jù)來評估微調(diào)的模型訪問。確保對模型的特定敏感度沒有權(quán)限的用戶在使用較高敏感度數(shù)據(jù)對模型進行微調(diào)后無法訪問該模型。檢查模型卡是否具有正確的模型預(yù)期結(jié)果:選定的基本模型展示了與微調(diào)目標(biāo)的高度兼容性，顯示了調(diào)優(yōu)后的顯著性能改進和5.6.4訓(xùn)練數(shù)據(jù)中毒測試為了確保訓(xùn)練數(shù)據(jù)的完整性，檢測并防止篡改、偏差或損壞方法:檢查訓(xùn)練數(shù)據(jù)的完整性，尋找篡改的跡象，插入偏見，或其他形式的腐敗。預(yù)期結(jié)果:保證訓(xùn)練數(shù)據(jù)無篡改和偏差，保證模型的完整性和無偏性。5.6.5微調(diào)后的模型部署測試要求:確保微調(diào)后的模型在生產(chǎn)環(huán)境中有效且安全地執(zhí)行，并且不會暴露機密，敏感或?qū)Ｓ袛?shù)方法:在微調(diào)后測試一下部署的模型的性能、可伸縮性和安全性，并適當(dāng)控制可能誘使模型暴露機密、敏感或?qū)Ｓ袛?shù)據(jù)的輸入請求。這涉及評估模型的響應(yīng)準(zhǔn)確性，延遲，高負(fù)載場景的處預(yù)期結(jié)果:經(jīng)過微調(diào)的模型在生產(chǎn)中保持高性能和準(zhǔn)確性，在變化的負(fù)載下有效擴展，并針對AI應(yīng)用程序中“響應(yīng)處理”的測試規(guī)范，重點是基礎(chǔ)或事實檢查，相關(guān)性檢查，毒性檢查和道5.7.1接地或事實檢查測試方法:進行測試以驗證響應(yīng)的事實準(zhǔn)確性。這涉及將AI響應(yīng)與可靠的數(shù)據(jù)源或已建立的事實進預(yù)期結(jié)果:人工智能始終提供事實準(zhǔn)確和可驗證的響應(yīng)，展示了強大的現(xiàn)實基礎(chǔ)。要求:為用戶或其他系統(tǒng)建立和測試一下反饋系統(tǒng)，以報告AI生成內(nèi)容的問題，促進持續(xù)改評估反饋機制在收集用戶或系統(tǒng)報告問題方面的有效性。測試一下分評估AI應(yīng)用程序?qū)Ψ答伒捻憫?yīng)能力及其迭代增強5.7.2相關(guān)性檢查測試方法:通過將AI響應(yīng)與提示的上下文和內(nèi)容進行比較來評估AI響應(yīng)的相關(guān)性。這包括評估各種預(yù)期結(jié)果:AI的響應(yīng)始終與提示相關(guān)，表5.7.3毒性檢查測試方法:進行測試，以識別和測量AI響應(yīng)中是否存在有毒或不恰當(dāng)?shù)恼Z言。這可以涉及使用預(yù)定根據(jù)特定的下游AI應(yīng)用程序，證明此要求可能需要大量資源或需要專業(yè)知識。因需要一系列方法來證明這一要求。例如，有公共資源和第三方公司可以幫助進行需求演示。什么是有毒的，令人反感的或不合適的是高度依賴于上下文的，并且會根據(jù)特定的下游操作環(huán)境而有所不同。評估人員應(yīng)在測試過程中考預(yù)期結(jié)果:AI應(yīng)用程序始終避免生成有毒或不適當(dāng)?shù)?.7.4道德檢查測試確保AI的回應(yīng)在道德上是合理的，沒有有害的偏見或刻板印象，并且不認(rèn)可不道德的做法，要求:確保AI的回應(yīng)符合道德準(zhǔn)則，不會助長有害的偏見或不道德的觀點。方法:對人工智能對道德誠信的反應(yīng)進行評估，檢查偏見、刻板印象或促進不道德行為。這可根據(jù)特定的下游AI應(yīng)用程序，證明此要求可能需要大量資源或需要專業(yè)知識。因證明這一要求。例如，有公共資源和第三方公司可以幫助進行需求演示。什么是不道德的是高度依賴于上下文的，并且會根據(jù)特定的下游AI應(yīng)用程序和操作環(huán)境而有所不同。評預(yù)期結(jié)果:人工智能始終如一地提供沒有有害偏見和刻板印象的響應(yīng)，符合道德標(biāo)準(zhǔn)，不促進5.7.5不安全的輸出處理測試要求:確保模型輸出的安全處理，以防止被利用。5.7.6后門攻擊測試要求:針對后門攻擊測試一下AI系統(tǒng)的恢復(fù)能力，后門攻擊涉及惡意訓(xùn)練的模型，這些模型在典型情況下表現(xiàn)正常，但在特定觸發(fā)條件下表現(xiàn)評估旨在檢測和減輕后門攻擊的防御措施和AI系統(tǒng)展示了強大的抵御后門攻擊的能力，即使在存在潛在觸發(fā)的情況下也能保持預(yù)期的性該系統(tǒng)能夠抵御后門攻擊或從后門攻擊中恢復(fù)，而不會損害整5.7.7隱私和版權(quán)合規(guī)性檢查要求:AI系統(tǒng)的響應(yīng)和輸出符合相關(guān)隱私法規(guī)和版權(quán)法評估AI系統(tǒng)對用戶數(shù)據(jù)和個人信息的處理，驗證是否符合適用的隱私法規(guī)，如GDPR、CCPA測試一下AI系統(tǒng)通過匿名化或保護其響應(yīng)和輸出中的敏感信息來評估AI系統(tǒng)對知識產(chǎn)權(quán)的尊重，通過測試其適當(dāng)?shù)貧w因于內(nèi)容的能力，避免抄襲，利用內(nèi)容來源和真實性聯(lián)盟(C2PA)標(biāo)準(zhǔn)來驗證AI系統(tǒng)中使用的數(shù)據(jù)的來源，確保符合版權(quán)要該系統(tǒng)有效地匿名或保護敏感的用戶信息，確人工智能系統(tǒng)尊重知識產(chǎn)權(quán)，正確歸屬內(nèi)容，避免剽竊，并在其輸出中使用受版權(quán)保護的材料系統(tǒng)的響應(yīng)和輸出不受侵犯隱私和侵犯版權(quán)的影響，從而降低了部署A人工智能系統(tǒng)展示了適應(yīng)隱私法規(guī)和知識產(chǎn)權(quán)法更C2PA標(biāo)準(zhǔn)已成功實施，以驗證AI系統(tǒng)中使用的數(shù)據(jù)的來源，從而實現(xiàn)正確5.7.8正常處理未知或不支持的查詢要求:AI系統(tǒng)能夠優(yōu)雅地處理未知、不支持或不相關(guān)的人工智能系統(tǒng)優(yōu)雅地處理未知、不支持或不相關(guān)的查詢，該系統(tǒng)向用戶提供清晰且信息豐富的反饋，建議替代查詢，5.8AI應(yīng)用程序運行時安全5.8.1數(shù)據(jù)保護測試要求:數(shù)據(jù)的完整性和保密性。術(shù)(PET)時，至關(guān)重要的是驗證PET技術(shù)是否正確實現(xiàn)并按預(yù)期運行。PET實現(xiàn)的正確驗證有助于確保正在處理的數(shù)據(jù)的機密性和完整性以及隱私保護技術(shù)的有效性。如果沒有徹底的驗證，PET解決方案可能無法提供預(yù)期的保護級別，從而有可能將敏感數(shù)據(jù)或計算暴露給未經(jīng)授預(yù)期結(jié)果:靜態(tài)和傳輸中的數(shù)據(jù)完全加密，訪問控制可有效防止未經(jīng)授權(quán)的訪問，監(jiān)控系統(tǒng)可5.8.2模型安全測試使用以下測試規(guī)范保護經(jīng)過微調(diào)的AI模型免受對抗性攻擊要求:在AI模型中實現(xiàn)水印技術(shù)，以在模型中嵌入唯一標(biāo)識符。此標(biāo)識符應(yīng)有助于識別模型復(fù)方法:通過嘗試復(fù)制模型并驗證是否可以提取嵌入的標(biāo)識符來測試一下水印過程的有效性。此預(yù)期結(jié)果:通過水印成功識別模型所有權(quán)和來源，阻止了未經(jīng)授權(quán)的復(fù)制。模型性能下降(如方法:對用戶身份驗證過程、基于角色的訪問控制進行測試一下，并監(jiān)控訪問日志中是否存在預(yù)期結(jié)果:訪問控制強大，確保只有授權(quán)用戶才能訪問模型，并及時檢測和阻止未經(jīng)授權(quán)的嘗方法:通過全面測試來驗證API端點的安全性，包括通過速率限制來防止大量下載或抓取模型要求:使用代碼/參數(shù)混淆和加密技術(shù)，使模型不易理解，更難復(fù)制。方法:對可能允許未經(jīng)授權(quán)訪問或下載模型要求:使用入侵檢測系統(tǒng)和異常監(jiān)控工具，以識別可能表明模型盜竊企圖的可疑活動。方法:通過模擬入侵嘗試并監(jiān)視警報來測預(yù)期結(jié)果:可及早發(fā)現(xiàn)可疑活動，以便及時應(yīng)對潛在的安全威脅。要求:對版權(quán)、專利和商業(yè)秘密等法律保護的遵守情況進行審查和測試一下，這些法律保護為方法:進行法律和合規(guī)性檢查，以確保遵守知識產(chǎn)權(quán)、數(shù)據(jù)保護法律和任何應(yīng)用程序AI合規(guī)性5.8.3基礎(chǔ)設(shè)施安全測試方法:系統(tǒng)定期更新和打補丁，進行網(wǎng)絡(luò)安全評估，評估硬件安全。經(jīng)常進行漏洞掃描，以識別任何潛在的弱點或不必要的服務(wù)。利用強化驗證技術(shù)來確預(yù)期結(jié)果:基礎(chǔ)設(shè)施展示了強大的網(wǎng)絡(luò)威脅防御能力，并且所有組件都具有最新的安全補丁。5.8.4API安全測試應(yīng)用程序編程接口(api)必須經(jīng)過嚴(yán)格的測試，以驗證身份驗證，授權(quán)，速率限制和輸入清理方法:用于身份驗證、授權(quán)、速率限制和輸入驗證的測試一下。預(yù)期結(jié)果:針對未經(jīng)授權(quán)的訪問和濫用，api表現(xiàn)出強大的彈性，保持?jǐn)?shù)據(jù)完整性和系統(tǒng)穩(wěn)定5.8.5合規(guī)性和審計跟蹤測試遵守適用的法律和標(biāo)準(zhǔn)對于道德人工智能應(yīng)用至關(guān)重要，需要持續(xù)的合規(guī)性驗證和詳細(xì)的審計預(yù)期結(jié)果:應(yīng)用程序符合法律標(biāo)準(zhǔn)，審計跟蹤可準(zhǔn)確跟蹤系統(tǒng)訪問和更改。5.8.6實時監(jiān)控和異常檢測測試方法:從網(wǎng)絡(luò)、操作系統(tǒng)和應(yīng)用層實現(xiàn)和測試一下實時監(jiān)控和異常檢測系統(tǒng)。5.8.7配置和狀態(tài)管理測試為了確保安全基礎(chǔ)架構(gòu)內(nèi)SaaS應(yīng)用程序、身份和數(shù)據(jù)的完整性，通過安全狀態(tài)管理(SSPM)解決方案進行配置和狀態(tài)管理測試至關(guān)重要。SSPM解決方案可幫助安全團隊維護當(dāng)前的監(jiān)控和安全更新。通過建立安全基線，這些解決方案促進了對配置設(shè)置的監(jiān)督，并提醒安全團隊注意任何偏差，這對于管理配置漂移和識別其他與配置相關(guān)的漏洞至關(guān)重要。配置漂移-可能由于多種原因而發(fā)生的對系統(tǒng)的未經(jīng)授權(quán)的更改-對系統(tǒng)完整性構(gòu)成風(fēng)險。手動姿勢檢查是麻煩且容易出錯的。因此，采用具有集成AI和自動化的SSPM解決方案進行連續(xù)配置檢查非常有益。這些先進的工具可以自動校正配置或發(fā)生偏要求:確保SSPM有效監(jiān)控和維護SaaS應(yīng)用程序、身份和數(shù)據(jù)的安全狀態(tài)，并及時提供配置漂方法:使用AI驅(qū)動的自動化實施SSPM解決方案，以進行持續(xù)的配置驗證和管理。定期評估這預(yù)期結(jié)果:SSPM解決方案應(yīng)始終保持基線配置設(shè)置，自動檢測和糾正配置漂移，并確保IT審核就緒。這些解決方案應(yīng)提供對SaaS安全狀況的全面衡量，并支持隨著時間的推移進行風(fēng)險報5.8.8事件響應(yīng)計劃測試必須建立全面的事件響應(yīng)計劃，并通過模擬事件進行測試，以便及時和有組織地解決安全事件要求:制定有效的事件響應(yīng)計劃。預(yù)期結(jié)果:快速有效地執(zhí)行事件響應(yīng)協(xié)議，最大限度地減少影響和恢復(fù)時間。5.8.9用戶訪問管理測試用于限制用戶權(quán)限的精細(xì)訪問控制和多因素身份驗證系統(tǒng)提供了關(guān)鍵的防線，以防止對AI應(yīng)預(yù)期結(jié)果:適當(dāng)限制訪問，并且身份驗證機制可靠地防止未經(jīng)授權(quán)的訪問。5.8.10依賴項和第三方組件安全測試進行細(xì)致的驗證，并且還需要定期進行依賴預(yù)期結(jié)果:所有依賴項均來自受信任的來源，并且沒有已知漏洞，并且依賴項檢查是一個連續(xù)5.8.11強大的測試和驗證在人工智能應(yīng)用程序上模擬復(fù)雜的網(wǎng)絡(luò)攻擊，如滲透測試、漏洞掃描和道德黑客攻擊，對于揭要求:識別和緩解潛在的安全漏洞。預(yù)期結(jié)果:針對真實世界的攻擊，AI應(yīng)用程序具有強大的防御能力，并且可以及時識別和解決5.8.12可用性測試為了確保在強烈需求下的可用性和可靠性，人工智能系統(tǒng)必須在推動基礎(chǔ)設(shè)施負(fù)載限制的模擬方法:將模型應(yīng)用于高負(fù)載場景，以評估其性能以及在不中斷服務(wù)的情況下處理高流量的能5.8.13偵察防護測試保護人工智能應(yīng)用程序的敏感細(xì)節(jié)免受外部發(fā)現(xiàn)是當(dāng)務(wù)之急。審計和模擬攻擊對于發(fā)現(xiàn)和解決要求:在運行期間進行模擬和審核，以識別外部實體可能用于收集有關(guān)AI應(yīng)用程序的敏感信息預(yù)期結(jié)果:識別與信息泄露相關(guān)的漏洞，并確認(rèn)AI應(yīng)用程序的防御偵察能力。5.8.14持久性緩解測試:為了防止攻擊者獲得和維護秘密訪問以利用人工智能系統(tǒng)，嚴(yán)格的安全測試和補救措施必須不要求:定期掃描并消除可能允許攻擊者在運行時保持對A5.8.15權(quán)限提升防御測試:防止人工智能系統(tǒng)在運行時未經(jīng)授權(quán)的用戶權(quán)限提升對于維護訪問控制5.8.16防御規(guī)避檢測測試:為了維護強大的安全標(biāo)準(zhǔn)，人工智能系統(tǒng)必須能夠可靠地檢測和應(yīng)對在實時操作期間繞過或禁要求:系統(tǒng)在運行時檢測和響應(yīng)逃避現(xiàn)有安5.8.17發(fā)現(xiàn)電阻測試:保護人工智能系統(tǒng)的專有細(xì)節(jié)和敏感功能需要進行嚴(yán)格的測試，以驗證在實時操作期間防止未預(yù)期結(jié)果:在運行時驗證內(nèi)部系統(tǒng)詳細(xì)信息是否5.8.18收集保障測試:對保障措施的嚴(yán)格評估必須確認(rèn)人工智能系統(tǒng)可以防止在實時操作期間未經(jīng)授權(quán)的數(shù)據(jù)收集和方法:數(shù)據(jù)收集測試一下保護措施，并評估數(shù)據(jù)處理實踐。預(yù)期結(jié)果:確保數(shù)據(jù)收集受到控制，并在運行期間防止未經(jīng)授權(quán)的訪問或泄漏。5.9附加測試規(guī)范5.9.1供應(yīng)鏈漏洞測試要求:對應(yīng)用供應(yīng)鏈中使用的所有第三方組件、庫和依賴項進行評估，以識別漏洞或安全弱利用自動漏洞掃描工具來識別供應(yīng)鏈中第三方對供應(yīng)鏈中的第三方代碼執(zhí)行手動代碼審查和分析，以發(fā)現(xiàn)自動化工具可能無法檢測到的安全預(yù)期結(jié)果:詳細(xì)介紹供應(yīng)鏈中第三方組件的漏洞和安全弱點的綜合報告，以及緩解建議。要求:全面執(zhí)行軟件物料清單分析，以加強安全措施。這需要對集成到供應(yīng)鏈中的第三方代碼方法:針對供應(yīng)鏈中使用的第三方代碼，審查來自第三方的靜態(tài)和動態(tài)代碼評估結(jié)果，并進行SBOM分析，以進行漏洞審查、第三方依賴關(guān)系、軟件綜合分析(SCA)和許可證審查。利用靜態(tài)代碼分析工具自動檢測指示第三方代碼中的安全漏洞的代碼模式。如果發(fā)現(xiàn)漏洞，應(yīng)進行后續(xù)SCA和修復(fù)后的漏洞評估，以驗證已發(fā)現(xiàn)的問題預(yù)期結(jié)果:重點介紹供應(yīng)鏈中使用的第三方代碼中存在的安全漏洞，以及如何糾正這些問題的要求:在運行時使用動態(tài)測試技術(shù)來評估供應(yīng)鏈中與第測試一下供應(yīng)鏈集成中的輸入驗證問題、訪問控制問題和預(yù)期結(jié)果:在運行時檢測到供應(yīng)鏈集成中的安全漏要求:利用軟件組成分析工具來識別和跟蹤供應(yīng)鏈中使用的開源組件。根據(jù)已知漏洞數(shù)據(jù)庫檢查清單，以識別供應(yīng)鏈中預(yù)期結(jié)果:供應(yīng)鏈中開源組件的完整清單以要求:進行威脅建模練習(xí)，以識別特定于LLM應(yīng)用程序供應(yīng)鏈預(yù)期結(jié)果:提供對與第三方代碼相關(guān)的供應(yīng)鏈特定安全風(fēng)險的清晰理解的威脅模型以及解決這些要求:在供應(yīng)鏈中驗證從供應(yīng)商或第三方來源收到的軟件組實施安全更新機制，如數(shù)字簽名或校驗和，以確保供應(yīng)鏈中的第三方組件和更新在傳輸過驗證供應(yīng)商和第三方來源的身份和安全實踐，以預(yù)期結(jié)果:對第三方組件的真實性和完整性充滿信心，并從供應(yīng)鏈中的供應(yīng)商或第三方來源收要求:評估與外部系統(tǒng)和服務(wù)集成的安全性，強調(diào)LLM應(yīng)用程序與供應(yīng)鏈中第三方實體之間的驗證與供應(yīng)鏈內(nèi)第三方實體交換的數(shù)據(jù)是否預(yù)期結(jié)果:與供應(yīng)鏈中的外部系統(tǒng)和第三方實體進行安全集成，防止數(shù)據(jù)泄露和未經(jīng)授權(quán)的訪要求:開源AI應(yīng)用程序中的社區(qū)信任方法:為開源AI應(yīng)用程序建立透明和積極的社區(qū)審查流程。鼓