【CSA GCR】大語言模型威脅分類

EQ\*jc3\*hps30\o\al(\s\up8(o),s)致謝移動云中國移動云能力中心中國移動云能力中心，注冊名稱為中移(蘇州)軟件技術(shù)有限公司，是中國移動通信集團于2014年3月在蘇州成立的全資子公司。云能力中心主要承擔(dān)中國移動云的技術(shù)研發(fā)、資源建設(shè)、業(yè)務(wù)運營、服務(wù)支撐等相關(guān)業(yè)務(wù)，自研了彈性計算、數(shù)據(jù)庫、云存儲、云網(wǎng)絡(luò)、云安全等200余款覆蓋云計算全產(chǎn)業(yè)鏈的產(chǎn)品，產(chǎn)品豐富度行業(yè)第二，為全國的工業(yè)、政務(wù)、醫(yī)療、教育、交通、金融等行業(yè)提供云計算、大數(shù)據(jù)及各類信息化解決方案。參與本次報告的專家：王浩碩，云能力中心安全產(chǎn)品部負責(zé)人趙玲玲，云能力中心安全產(chǎn)品部研發(fā)管理專員付懷勇，云能力中心安全產(chǎn)品部產(chǎn)品經(jīng)理李雨含，云能力中心安全產(chǎn)品部產(chǎn)品經(jīng)理薛四青，云能力中心安全產(chǎn)品部軟件開發(fā)工程師吳云飛，云能力中心安全產(chǎn)品部綜合管理專員中國移動云能力中心作為云安全聯(lián)盟大中華區(qū)(CSAGCR)的理事單位，為該報告的翻譯工作提供了必要的支持。這種支持并不涉及對CSA在研究內(nèi)容開發(fā)和編輯方面的決策權(quán)和控制權(quán)，確保了CSA在這些核心領(lǐng)域的獨立性和自主性。4報告英文版編寫專家主要作者貢獻者AlessandroGrecoAkramSheriff59序言在人工智能技術(shù)迅速發(fā)展的背景下，大語言模型(LLM)已成為推動技術(shù)創(chuàng)新和業(yè)務(wù)轉(zhuǎn)型的核心力量。其在自然語言理解、生成與處理方面的強大能力，正深刻改變著人與信息、技術(shù)的互動方式。然而，隨著LLM應(yīng)用的廣泛推廣，伴隨而來的是一系列復(fù)雜的風(fēng)險和挑戰(zhàn)，尤其是在安全性、隱私保護和合規(guī)性方面，全球范圍內(nèi)的應(yīng)對壓力愈加凸顯。為應(yīng)對這些挑戰(zhàn)，CSA大中華區(qū)發(fā)布《大語言模型威脅分類》報告，旨在為行業(yè)提供一個全面的風(fēng)險管理框架，幫助各行業(yè)識別、評估和管理LLM應(yīng)用過程中可能遇到的風(fēng)險。本報告詳盡地分析了LLM的關(guān)鍵資產(chǎn)、服務(wù)生命周期、影響類別和威脅類別，為政策制定者、技術(shù)專家和行業(yè)決策者提供了一個清晰的理解和應(yīng)對LLM相關(guān)風(fēng)險的框架。報告的主要內(nèi)容包括LLM資產(chǎn)的分類，詳細描述了從數(shù)據(jù)資產(chǎn)到模型參數(shù)的各個方面；LLM服務(wù)生命周期的管理，涵蓋了從準備到退役的各個階段；以及LLM服務(wù)的影響和威脅類別，包括數(shù)據(jù)泄露、模型操縱、供應(yīng)鏈安全等關(guān)鍵領(lǐng)希望這份報告能成為LLM風(fēng)險管理和安全控制領(lǐng)域的關(guān)鍵參考資料，幫助各界在應(yīng)對LLM帶來的技術(shù)挑戰(zhàn)時做出更明智的決策，為未來的研究、政策制定以及行業(yè)發(fā)展提供堅實的理論支撐。李雨航Y(jié)aleLiCSA大中華區(qū)主席兼研究院院長 與CSAAI控制框架的關(guān)系 1.大語言模型概述 1.1.數(shù)據(jù)資產(chǎn) 1.4.服務(wù)編排 2.2開發(fā) 2.2.1設(shè)計階段 2.2.2發(fā)展供應(yīng)鏈 2.2.3訓(xùn)練階段 2.2.4開發(fā)過程中的關(guān)鍵考量 2.3評估與確認 2.3.2驗證/紅隊 2.3.3重新評估 2.3.4評估/驗證過程中的主要考量 2.4.2AI服務(wù)供應(yīng)鏈 2.4.4部署過程關(guān)鍵因素 2.5.1運營 2.5.3持續(xù)改進 2.5.4交付過程中的關(guān)鍵示項 2.6服務(wù)退出 2.6.2數(shù)據(jù)刪除 2.6.3模型處置 2.6.4服務(wù)退出期間的關(guān)鍵考慮因素 3.大語言模型服務(wù)影響分類 374.大語言模型服務(wù)威脅分類 4.1模型操縱 4.2數(shù)據(jù)投毒 4.4模型竊取 4.5模型故障/失靈 4.6不安全的供應(yīng)鏈 4.7不安全的應(yīng)用程序/插件 4.8拒絕服務(wù) 4.9缺少治理/合規(guī)性 405.參考文獻 目標與范圍本報告由云安全聯(lián)盟(CSA)人工智能(AI)控制框架工作組基于CSAAI安全計劃所撰寫。它為與大語言模型(LLM)的風(fēng)險場景和威脅相關(guān)的關(guān)鍵術(shù)語建立了通用的分類和定義。本報告的撰寫目的是希望能夠提供一個共享的語言和概念框架以供業(yè)界溝通交流，并指導(dǎo)其在CSAAI安全計劃下進行更多研究。具體來講，這項工作旨在協(xié)助CSAAI控制工作組和CSAAl技術(shù)風(fēng)險工作組做出更多的努力。報告的重點內(nèi)容如圖1所示：●LLM-服務(wù)生命周期●LLM-服務(wù)影響類別●LLM-服務(wù)威脅類別數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)大語言模型運維環(huán)境大模型服務(wù)編排AI應(yīng)用程序→產(chǎn)保護之責(zé)任分配矩陣準備開發(fā)評估、驗證部署交付服務(wù)棄用大語言模型服務(wù)影響因子模型操作數(shù)據(jù)投毒→敏感數(shù)據(jù)泄露→系統(tǒng)故障大語言模型服務(wù)威脅因子→不安全的供應(yīng)鏈→不安全的應(yīng)用程序/插件→拒絕服務(wù)攻擊(DOS)失去治理/合規(guī)大語言模型服務(wù)生命周期大語言模型分類法大語言模型概述本報告所采納的定義與分類體系是建立在現(xiàn)有文獻基礎(chǔ)之上，通過工作組成員與組長充分探討后所形成的。通過上述過程，形成了廣泛共識，建立了一套可以指導(dǎo)共同工作的通用術(shù)語。Mitigations"[Barrett有了這些定義和分類，針對評估人工智能威脅和風(fēng)險、制定適當?shù)目刂拼胧┮约肮芾碡撠?zé)任AI開發(fā)，可以使不同的CSA工作組和項目成員之間取得更高的目標一致性。建立通用術(shù)語的目的在于其可以避免語義上的混淆，增加相關(guān)概念上的連貫性，以保證對話精確性。本報告將關(guān)鍵術(shù)語統(tǒng)一匯總起來，也是為了能夠向CSAAI控制工作組和AI技術(shù)風(fēng)險工作組提供對于AI安全計劃的統(tǒng)一范圍。CSAAI控制框架工作組的目標是定義一個控制目標框架，以支持各機構(gòu)能夠在安全、負責(zé)任的原則下對AI技術(shù)進行開發(fā)、管理和使用。該框架將有助于評估生成式Al(GenAl)特別是LLM相關(guān)的風(fēng)險。本報告所定義的控制目標將涵蓋與網(wǎng)絡(luò)安全有關(guān)的各方面。此外，它還涵蓋了與網(wǎng)絡(luò)安全相關(guān)的安全、隱私、透明度、問責(zé)制和可解釋性等方面的內(nèi)容。可回顧異同點進行了充分探討。CSA控制框架著眼于B2B的影響，與政府在保護國家安全、公民權(quán)利和法律執(zhí)行方面的努力相輔相成，倡導(dǎo)符合全球標準和法規(guī)的安全且道德的AI應(yīng)用程序。1.大語言模型概述本章節(jié)定義了實施、管理大語言模型(LLM)系統(tǒng)所必需的基礎(chǔ)組件，涵蓋了 從模型訓(xùn)練、微調(diào)過程中重要的數(shù)據(jù)到確保AI系統(tǒng)完美部署和操作的復(fù)雜運維環(huán)境。同時，本章節(jié)也對LLM的必要性、架構(gòu)、性能和優(yōu)化技術(shù)作出了進一步闡述(詳見圖2)。除上述內(nèi)容外，本章節(jié)還探討了資產(chǎn)保護的注意事項，此外，本節(jié)還探討了資產(chǎn)保護過程中較為重要的幾點，利用RACI責(zé)任分配矩陣(誰負責(zé)、誰批準、咨詢誰、通知誰)來明確了開源社區(qū)組織在實施AI服務(wù)時的責(zé)任劃分。大語言模型資產(chǎn)大語言模型資產(chǎn)模型通用模型微調(diào)模型開源/閉源模型模型卡片訓(xùn)練數(shù)據(jù)服務(wù)編排部署服務(wù)緩存服務(wù)集成插件監(jiān)測服務(wù)優(yōu)化服務(wù)服務(wù)插件Al應(yīng)用程序用戶接口決策支撐系統(tǒng)持續(xù)性監(jiān)測數(shù)據(jù)資產(chǎn)圖2:大語言模型資產(chǎn)大模型運維部署環(huán)境安全性本地部署環(huán)境1.1.數(shù)據(jù)資產(chǎn)在LLM服務(wù)中，多種資產(chǎn)內(nèi)容在塑造服務(wù)的效能和功能方面起著不可或缺的作用。數(shù)據(jù)資產(chǎn)是這些資產(chǎn)中最為重要的，它是LLM運行不可或缺的基石與首要驅(qū)動力。以下是構(gòu)成LLM服務(wù)的典型資產(chǎn)范圍列表：●用于訓(xùn)練、基準測試、測試和驗證的數(shù)據(jù)●用于微調(diào)訓(xùn)練的數(shù)據(jù)●用于檢索增強生成(RAG)的數(shù)據(jù)●定義使用中數(shù)據(jù)的元數(shù)據(jù)的數(shù)據(jù)卡片●用戶會話數(shù)據(jù)●模型輸出數(shù)據(jù)●模型超參數(shù)●LLM系統(tǒng)的日志數(shù)據(jù)以下是對這些資產(chǎn)的定義：1.用于訓(xùn)練、基準測試、測試和驗證的數(shù)據(jù)：這包括用于訓(xùn)練、基準測試、測試和驗證模型的數(shù)據(jù)集，由文本來源組成，模型從中派生出對語言模式和語義的理解，這對打造模型最終的效果是至關(guān)重要的。每個數(shù)據(jù)元素都被單獨創(chuàng)建并管理。2.微調(diào)訓(xùn)練數(shù)據(jù)：模型經(jīng)過初始訓(xùn)練后會用到一些額外的數(shù)據(jù)對其進行微調(diào)或進一步的預(yù)訓(xùn)練，這有利于調(diào)整模型的參數(shù)，使其更緊密地與特定用例或領(lǐng)域保持一致，從而增強模型適應(yīng)性和準確性。3.檢索增強生成(RAG):即將外部知識庫與大語言模型集成到一起。模型在生成響應(yīng)之前會檢索外部知識庫中的相關(guān)信息，而RAG便是可以將模型內(nèi)部資源和外部資源有效連接起來的一種手段。RAG可以通過內(nèi)部系統(tǒng)、公開資源等各種渠道檢索相關(guān)信息，如互聯(lián)網(wǎng)，通過擴展輸入內(nèi)容及提煉模型的上下文語義，便可使模型生成更為精準的反饋。4.數(shù)據(jù)卡片：數(shù)據(jù)卡片是用作管理大模型所用到的各種數(shù)據(jù)集的。它有助于AI數(shù)據(jù)進行管理，并記錄了每個所使用的數(shù)據(jù)集的來源、流程軌跡、所有權(quán)歸屬、數(shù)據(jù)敏感度和合規(guī)性檢查等相關(guān)的信息。隨著數(shù)據(jù)內(nèi)容、所有權(quán)歸屬以及需求的變化，對數(shù)據(jù)卡片進行適應(yīng)性更新以確保數(shù)據(jù)的合規(guī)性和可見性也是十分重要的。5.輸入數(shù)據(jù)(系統(tǒng)級提示):輸入數(shù)據(jù)是指提供給大語言模型的用于確定上下文和邊界的內(nèi)容。在生成式對抗技術(shù)背景下，這類數(shù)據(jù)還可用于對模型主題邊界范圍進行設(shè)置。6.用戶會話數(shù)據(jù)：是指在用戶與Al系統(tǒng)互動過程中所收集的信息，包括所輸入的查詢語句、模型最終生成的反饋以及用戶在使用過程中所補充的內(nèi)容，收集該類信息能夠加強模型更為人性化的互動。7.模型輸出數(shù)據(jù)：是指模型收到輸入指令后的結(jié)果反饋，包含文本型內(nèi)容、用戶預(yù)期的數(shù)據(jù)形式，輸出數(shù)據(jù)反映了模型的理解和推理能力。8.模型參數(shù)(權(quán)重):是指模型在訓(xùn)練過程中調(diào)用的系統(tǒng)內(nèi)部參數(shù)或權(quán)重，這些參數(shù)或權(quán)重的設(shè)定會對模型的行為產(chǎn)生重要影響，進而影響模型響應(yīng)的能力。9.模型超參數(shù)：是指在模型訓(xùn)練期間所指定的配置參數(shù)，包括學(xué)習(xí)率、批大小或架構(gòu)選取等參數(shù)，這些參數(shù)在塑造模型的整體性能和行為方面至關(guān)重要。10.日志數(shù)據(jù)：是指模型在運行過程中記錄其各種事件響應(yīng)和交互行為的數(shù)據(jù)。包括所輸入的查詢語句、模型最終生成的反饋、模型性能指標以及發(fā)生的任何異常行為，這對監(jiān)控和完善模型的功能和性能至關(guān)重要。1.2.云上大語言模型運維環(huán)境LLM運維環(huán)境是指部署及操作大語言模型所涉及的基礎(chǔ)設(shè)施和流程。以下是與此環(huán)境相關(guān)的專業(yè)定義：●運行訓(xùn)練環(huán)境的云●運行模型推理點的云●混合和多云基礎(chǔ)設(shè)施●部署環(huán)境的安全性●持續(xù)監(jiān)控●云托管訓(xùn)練數(shù)據(jù)(存儲)以下是這些專業(yè)名詞在大語言模型運維框架中的具體描述及作用：1.運行訓(xùn)練環(huán)境的云：該環(huán)境中納管了由云平臺或云服務(wù)提供商所提供的模型訓(xùn)練過程中所需的計算資源、存儲設(shè)施、輔助基礎(chǔ)設(shè)施等，這些底層資源對于訓(xùn)練LLM是至關(guān)重要的。它決定了模型性能提升的上升空間。2.運行模型推理的云：該環(huán)境中納管了由云平臺或云服務(wù)提供商所提供的模型訓(xùn)練和模型推理過程中所需的計算資源、存儲設(shè)施、輔助基礎(chǔ)設(shè)施等，該環(huán)境下運行的LLM能夠根據(jù)用戶輸入生成預(yù)期響應(yīng)，確保交互連貫性。3.運行AI應(yīng)用的云(公有云/私有云/混合云):該環(huán)境中納管了由云平臺或云服務(wù)提供商所提供的運行AI應(yīng)用程序或AI服務(wù)所需的基礎(chǔ)設(shè)施，它們會使用已訓(xùn)練好的大語言模型的能力。它類似于一個服務(wù)中心，利用模型的推理能力向最終用戶提供增值服務(wù)。4.部署環(huán)境的安全性：指的是一系列簡單的訪問機制和政策，來規(guī)范外界對大模型各組件的訪問。包括身份和訪問管理(IAM)協(xié)議和網(wǎng)絡(luò)安全措施，以保護關(guān)鍵資產(chǎn)和功能的完整性和隱私性。5.持續(xù)監(jiān)控：指的是對大模型運維環(huán)境的性能、安全態(tài)勢、整體狀況持續(xù)監(jiān)測，包含了對訓(xùn)練環(huán)境、推理環(huán)境和應(yīng)用組件的監(jiān)測，確保模型在最佳狀態(tài)下運行，同時也會及時識別和糾正可能出現(xiàn)的任何異?；騿栴}。6.云托管訓(xùn)練數(shù)據(jù)(存儲):指的是云平臺或云服務(wù)提供商所提供的用于模型訓(xùn)練的大量數(shù)據(jù)集，它需要強大的存儲和數(shù)據(jù)管理能力，以適應(yīng)龐大和多樣化的數(shù)據(jù)類型，這些數(shù)據(jù)集對于訓(xùn)練和完善模型性能是至關(guān)重要的。1.3.模型在機器學(xué)習(xí)領(lǐng)域中，“模型”一詞指的是能夠通過訓(xùn)練來預(yù)測或執(zhí)行特定任務(wù)的數(shù)學(xué)表示或算法。所選取的模型架構(gòu)、所采用的微調(diào)方法以及使用的開源或閉源的模型都將會大大影響大語言模型在特定領(lǐng)域中的性能、效能以及靈活性。我們在以下小節(jié)中對基礎(chǔ)模型資產(chǎn)進行了定義：●通用大模型●微調(diào)模型●模型卡片通用大模型是大模型發(fā)展的起點。通常指的是大型、預(yù)訓(xùn)練的語言模型，它們借助自我監(jiān)督學(xué)習(xí)技術(shù)對大量未標記的數(shù)據(jù)進行學(xué)習(xí)，以獲得對自然語言的泛化理解。通常，通用大模型為后續(xù)的微調(diào)模型和專業(yè)化模型奠定了基礎(chǔ)，以滿足特定的任務(wù)或領(lǐng)域的需要。對于一些先進和創(chuàng)新的基礎(chǔ)模型，我們可以使用“前沿模型”這一術(shù)語來表示AI領(lǐng)域中的一個全新基礎(chǔ)模型。從AI的角度來看，有時“基礎(chǔ)模型”一詞表示的是應(yīng)用技術(shù)堆棧中的基礎(chǔ)模型。2.微調(diào)大模型：微調(diào)模型是從通用大模型演進而來，經(jīng)過改進和調(diào)整后能夠適應(yīng)特定任務(wù)或領(lǐng)域。微調(diào)過程，是利用了有監(jiān)督學(xué)習(xí)技術(shù)和有標記的特定數(shù)據(jù)來調(diào)整通用模型的參數(shù)。這一迭代過程使我們的微調(diào)模型能夠在保持原通用模型基礎(chǔ)知識和能力的同時，增強其在特定任務(wù)或領(lǐng)域上的適用性和完整度。3.開源與閉源大模型：開源大模型與閉源大模型的主要區(qū)別在于對模型源代碼、模型權(quán)重以及相關(guān)組件訪問的許可。開源模型可能會公布它們部分或全部的訓(xùn)練數(shù)據(jù)、源代碼、模型開發(fā)所用的數(shù)據(jù)、模型架構(gòu)、權(quán)重和工具，以開源許可證的形式向大眾開放，允許在特定條款和條件下免費使用。然而，閉源模型保持了私有化狀態(tài)，不會向大眾公開其源代碼、模型權(quán)重和技術(shù)細節(jié)，這通常出于保護知識產(chǎn)權(quán)或商業(yè)利益的目的。允許用戶訪問模型進行微調(diào)或推理的閉源模型稱為開放型訪問模型。以上這些模型共同構(gòu)成了模型開發(fā)的支柱，促進了生成式AI的創(chuàng)新性、適應(yīng)性和可訪問性。4.特定領(lǐng)域大模型：特定領(lǐng)域大模型指的是能夠在特定領(lǐng)域如金融、醫(yī)療、代碼開發(fā)等表現(xiàn)出優(yōu)異性能的機器學(xué)習(xí)模型。模型卡片是用來描述大模型特征的。它是一種維護大模型文本的文件，對于管理和確保AI模型的正確性是至關(guān)重要的。模型卡片包括模型文本的細節(jié)，如所有權(quán)、性能特征、模型訓(xùn)練的數(shù)據(jù)集、訓(xùn)練順序等。這也有助于用戶追溯、沿襲、理解模型的行為。模型卡片需要隨著文本元數(shù)據(jù)的變化不斷維護和更新。[CSA,2024]更多關(guān)于模型卡片的詳細信息可以在HuggingFace平臺上獲取到，該平臺是一個專門的機器學(xué)習(xí)社區(qū)，能夠提供大模型、數(shù)據(jù)集和應(yīng)用程序給學(xué)習(xí)者使用。1.4.服務(wù)編排這類服務(wù)包含了一系列組件和功能，能夠?qū)崿F(xiàn)大語言模型的高效性和安全性。以下是服務(wù)編排過程中可能涉及資產(chǎn)清單：●安全網(wǎng)關(guān)(LLM網(wǎng)關(guān))●部署服務(wù)●自定義和集成插件●大語言模型通用代理以下是各類編排服務(wù)資產(chǎn)的定義及其重要性闡述：1.緩存服務(wù)：緩存服務(wù)指的是一種系統(tǒng)或組件，它們通過緩存模型生成的響應(yīng)、輸入數(shù)據(jù)或其他數(shù)據(jù)來提高大模型的請求效率和性能，減少冗余計算。通過緩存服務(wù)臨時存儲頻繁訪問的數(shù)據(jù)，有助于降低請求響應(yīng)時間并且減輕大語言模型的計算壓力。2.安全網(wǎng)關(guān)(LLM網(wǎng)關(guān)):安全網(wǎng)關(guān)，也稱為LLM網(wǎng)關(guān)，是作為大語言模型和外部系統(tǒng)交互的中間件。這些網(wǎng)關(guān)通過實施訪問控制、輸入驗證、過濾惡意內(nèi)容(如提示注入攻擊)與個人/隱私信息的舉措，防范潛在威脅或濫用，來確保大語言模型所處理數(shù)據(jù)的完整性和機密性。3.部署服務(wù)：部署服務(wù)簡化了大語言模型在不同環(huán)境(包括云平臺和本地基礎(chǔ)設(shè)施)中的部署和擴展。這些服務(wù)能夠使部署過程自動化，促進版本管理，并優(yōu)化資源分配方案，以確保大語言模型的高效和無縫部署。4.監(jiān)測服務(wù)：監(jiān)測服務(wù)在監(jiān)督大語言模型的安全性、性能、安全狀況和使用情況方面至關(guān)重要。這些服務(wù)使用監(jiān)控工具和技術(shù)收集實時信息，來檢測異常、濫用(例如提示注入攻擊等)并發(fā)出警報，從而實現(xiàn)系統(tǒng)安全性，通過主動維護和及時干預(yù)，以維持大語言模型的最佳運行狀態(tài)。5.優(yōu)化服務(wù)：優(yōu)化服務(wù)旨在優(yōu)化大語言模型的性能和資源利用率。這些服務(wù)采用一系列技術(shù)，如模型量化、剪枝、高效的推理策略，來提高大語言模型的效率，降低計算開銷，并保證在不同的部署場景下整體性能的提升。6.安全插件：安全插件是通過提供數(shù)據(jù)加密、訪問控制機制、威脅檢測能力和合規(guī)性強制措施來擴展大語言模型安全性的一種組件，能夠增強網(wǎng)絡(luò)彈性。通過引入自定義和集成插件，大語言模型可以實現(xiàn)行為的個性化定制并無縫對接各類系統(tǒng)、應(yīng)用程序和數(shù)據(jù)源。這些插件使模型更具靈活性，不僅能夠根據(jù)特定場景或行業(yè)需要調(diào)整模型的功能，而且還提升了與既有架構(gòu)的兼容性，增強了大語言模型部署的多功能性和實用性。大語言模型通用代理是指與大語言模型協(xié)作以增強模型功能和性能的智能代理或組件。這些代理可用來執(zhí)行各種任務(wù)，如●功能調(diào)用●擴展和協(xié)作，●增強大語言模型部署在不同操作環(huán)境中的多功能性和適應(yīng)性。AI應(yīng)用已經(jīng)變得無處不在，滲透到我們?nèi)粘Ｉ詈蜕虡I(yè)運作的各個方面。從內(nèi)容生成到語言翻譯，由大語言模型驅(qū)動的AI應(yīng)用已經(jīng)徹底改變了行業(yè)，重塑了我們與信息技術(shù)交互的方式。然而，隨著AI應(yīng)用的普及，一個有效的控制框架用以指導(dǎo)AI應(yīng)用開發(fā)、部署和使用成為我們迫切要解決的問題。AI應(yīng)用使技術(shù)創(chuàng)新走向巔峰，提供了多種滿足不同商業(yè)領(lǐng)域和場景的能力。這些應(yīng)用程序利用大語言模型強大的功能來編譯和處理自然語言輸入，實現(xiàn)了內(nèi)容生成、智能問答、情感分析、語言翻譯等功能。本質(zhì)上來講，AI應(yīng)用程序是用戶與底層大語言模型間實現(xiàn)智能交互的接口，促進了不同領(lǐng)域間無障礙交互和任務(wù)自動化。而作為大語言模型的下游應(yīng)用，AI應(yīng)用程序是整體AI控制框架中最為重要的資產(chǎn)之一。它們是模型與最終用戶連接的直接觸點，影響用戶對AI系統(tǒng)的感知和交互方式。因此，AI應(yīng)用的好壞會一定程度上放大用戶對大模型優(yōu)劣評價。AI應(yīng)用也可能對經(jīng)濟產(chǎn)生重大影響。隨著企業(yè)日益依賴AI應(yīng)用以推動創(chuàng)新、簡化運營并獲取競爭優(yōu)勢，負責(zé)任的應(yīng)用開發(fā)與部署對于維護市場完整性和促進公平競爭愈發(fā)重要。鑒于上述考慮，AI控制框架必須以AI應(yīng)用的治理和監(jiān)督為首要考慮要素。這包括了為Al應(yīng)用開發(fā)、測試、部署、運營和維護建立指導(dǎo)方針和標準，確保各項環(huán)節(jié)符合法律法規(guī)，并保持在AI應(yīng)用全生命周期的透明度和問責(zé)制。除了達成上述既定目標，AI控制框架還應(yīng)聚焦于對AI應(yīng)用進行持續(xù)的監(jiān)測和性能評估，旨在及時識別潛在風(fēng)險并避免或減少意外發(fā)生。通過在AI控制框架中優(yōu)先考慮AI應(yīng)用程序，組織可以積極應(yīng)對與大語言模型驅(qū)動的應(yīng)用相關(guān)的挑戰(zhàn)和風(fēng)險，同時發(fā)揮其變革潛力以推動創(chuàng)新和改善生活。AI應(yīng)用卡片是維護AI應(yīng)用上下文的文件，在應(yīng)用程序治理方面發(fā)揮著至關(guān)重要的作用。Al應(yīng)用卡片封裝了應(yīng)用程序的所有相關(guān)數(shù)據(jù)，包括所使用的模型、所使用的數(shù)據(jù)集、應(yīng)用程序和AI案例、應(yīng)用歸屬人(見下一部分RACI模型中的不同所有者類型)和守護者。AI應(yīng)用卡片一種簡單的方式來傳達Al應(yīng)用數(shù)據(jù)并實現(xiàn)數(shù)據(jù)共享，能夠幫助AI治理組織、AI委員會和監(jiān)管機構(gòu)了解這些應(yīng)用及其使用的AI能力。而AI應(yīng)用卡片也可以逆向關(guān)聯(lián)到其背后的模型卡片和數(shù)據(jù)卡片。2.LLM服務(wù)的生命周期本章節(jié)主要概述LLM服務(wù)的不同生命階段，每個階段都對服務(wù)的效率、可靠性以及整個生命周期至關(guān)重要。從構(gòu)想和規(guī)劃的籌備階段到最終的歸檔和處置階段，每個階段都被納入一個綜合框架，該框架旨在改善服務(wù)交付以及保障需求和標準的一致性。組織可以通過這種結(jié)構(gòu)化方法清晰有效地管理服務(wù)開發(fā)、評估、部署、交付和退出?；谛屡d的標準，例如關(guān)于AI系統(tǒng)生命周期的標準ISO/IEC5338,以及來自英國數(shù)據(jù)倫理與創(chuàng)新中心(CDEI)等機構(gòu)的綜述，這個生命周期涵蓋了端到端的過程，從早期準備和設(shè)計到培訓(xùn)、評估、部署、交付，最終退出。下面我們對LLM服務(wù)生命周期各個階段進一步細分。O數(shù)據(jù)收集O數(shù)據(jù)管理O數(shù)據(jù)存儲O資源供應(yīng)O團隊和專業(yè)知識O設(shè)計O訓(xùn)練O開發(fā)過程中的關(guān)鍵考量O驗證/紅色團隊O重新評估O評估/驗證期間的主要考量OAI服務(wù)供應(yīng)鏈O持續(xù)監(jiān)察O持續(xù)改進●服務(wù)退出：O數(shù)據(jù)刪除O模型清除2.1準備這個階段為整個LLM開發(fā)過程奠定了基礎(chǔ)，并且極大地影響了模型的質(zhì)量和倫理行為。從數(shù)據(jù)開始，在本節(jié)中，我們定義以下術(shù)語：●數(shù)據(jù)存儲●團隊和專業(yè)知識在構(gòu)建大語言模型(LLM)的過程中，數(shù)據(jù)收集應(yīng)專注于識別那些多樣化、規(guī)模龐大且質(zhì)量上乘的數(shù)據(jù)源，包括文本和代碼等。我們不僅要遵循道德采購的最佳實踐，還要警惕數(shù)據(jù)中可能存在的偏見。確保我們所收集的數(shù)據(jù)不僅滿足有效訓(xùn)練的需求，而且能夠反映我們對長期管理制度的承諾，以避免產(chǎn)生帶有偏見或歧視性的輸出。數(shù)據(jù)管理是一個提升數(shù)據(jù)質(zhì)量的系統(tǒng)化過程，它包括數(shù)據(jù)的清洗(去除錯誤、不一致和不相關(guān)信息)、分類(根據(jù)邏輯主題或類別組織數(shù)據(jù))、標注(為監(jiān)督學(xué)習(xí)分配標簽),以及數(shù)據(jù)的匿名化和轉(zhuǎn)換(調(diào)整數(shù)據(jù)格式以確保兼容性)。數(shù)據(jù)存儲解決方案，如數(shù)據(jù)庫或云存儲服務(wù)，必須確保數(shù)據(jù)的可訪問性，同時采取嚴格的安全措施來保護敏感信息并遵守隱私法規(guī)。在準備階段，資源配置需要精心策劃，選擇適合的計算和云資源。硬件選擇應(yīng)考慮處理器類型(如CPU、GPU、TPU)以及為LLM優(yōu)化的內(nèi)存配置。軟件選擇則包括穩(wěn)定的操作系統(tǒng)、豐富的庫和編程環(huán)境。利用云基礎(chǔ)設(shè)施可以顯著提高系統(tǒng)的可擴展性、靈活性和成本效益此外，團隊的專業(yè)能力和知識同樣至關(guān)重要。數(shù)據(jù)科學(xué)家負責(zé)收集、處理和分析數(shù)據(jù)；機器學(xué)習(xí)工程師設(shè)計并微調(diào)LLM;軟件開發(fā)人員構(gòu)建必要的工具；語言學(xué)家提供深入的語言專業(yè)知識；倫理學(xué)家則評估模型的社會影響，并提出減輕潛在風(fēng)險的策略。在構(gòu)建大語言模型(LLM)的準備過程中，我們首先需要明確定義模型的目標和用途。這將指導(dǎo)我們在數(shù)據(jù)選擇和處理過程中做出負責(zé)任的決策。我們應(yīng)主動識別并處理數(shù)據(jù)中的潛在偏差，確保模型的公正性和準確性。在整個數(shù)據(jù)生命周期中，實施強有力的隱私保護措施是至關(guān)重要的。這不僅包括數(shù)據(jù)的收集和存儲，也涵蓋了數(shù)據(jù)的管理和使用。數(shù)據(jù)保管鏈(datachain-of-custoday)應(yīng)成為我們安全數(shù)據(jù)工作和模型開發(fā)的基石，在數(shù)據(jù)收集、管理和存儲的各階段，確保訓(xùn)練數(shù)據(jù)的完整性和未被篡改至關(guān)重要。2.2開發(fā)在這一階段，我們的目標是將精心準備的數(shù)據(jù)和強大的計算資源轉(zhuǎn)化為一個高效、可靠的功能性大語言模型(LLM)。主要活動包括：●開發(fā)過程中的關(guān)鍵考量2.2.1設(shè)計階段模型架構(gòu)選擇：我們首先需要根據(jù)模型的預(yù)期任務(wù)，精心挑選合適的LLM架構(gòu)，例如基于Transformer的模型或循環(huán)神經(jīng)網(wǎng)絡(luò)。在這一過程中，我們將綜合考慮性能需求、計算資源限制以及模型將要處理的數(shù)據(jù)類型。超參數(shù)優(yōu)化：接下來，我們將確定那些控制模型訓(xùn)練過程的關(guān)鍵超參數(shù)，包括學(xué)習(xí)率、批量大小和網(wǎng)絡(luò)層數(shù)等。這些參數(shù)的選擇將直接影響模型的訓(xùn)練效率、收斂速度以及最終的準確性。評估指標設(shè)定：為了全面跟蹤模型在訓(xùn)練期間的表現(xiàn)，我們將定義一系列評估指標，如準確率、困惑度和BLEU分數(shù)，這些指標將幫助我們識別模型性能的改進空間。2.2.2發(fā)展供應(yīng)鏈基礎(chǔ)模型利用：我們考慮采用預(yù)先訓(xùn)練好的基礎(chǔ)模型，例如GPT-3或BERT,它們?yōu)槲覀兲峁┝艘粋€強大的起點。通過對這些模型進行微調(diào)，我們可以針對特定數(shù)據(jù)集獲得定制化的結(jié)果。組件評估：我們將評估不同任務(wù)的需求，如命名實體識別、情感分析或文本摘要，并決定是選擇現(xiàn)成的開源或閉源組件，還是開發(fā)自定義組件來滿足這些需求。框架選擇：為了簡化模型的開發(fā)、訓(xùn)練和部署流程，我們將選擇一個功能強大的機器學(xué)習(xí)框架，如TensorFlow、PyTorch或Ray。2.2.3訓(xùn)練階段訓(xùn)練流程實施：我們將精心策劃的數(shù)據(jù)輸入到選定的模型架構(gòu)中，并運用優(yōu)化算法，如梯度下降法，迭代更新模型參數(shù)，以最小化訓(xùn)練數(shù)據(jù)中的誤差。訓(xùn)練監(jiān)控：在訓(xùn)練過程中，我們將使用之前定義的評估指標密切監(jiān)控模型的進展，及時發(fā)現(xiàn)過擬合或欠擬合的跡象，并相應(yīng)調(diào)整訓(xùn)練策略或超參數(shù)。實驗迭代：通過迭代方法，我們將測試不同的模型結(jié)構(gòu)、超參數(shù)和數(shù)據(jù)預(yù)處理技術(shù)，以探索最佳配置。標記化處理：這一步驟涉及將輸入文本分解為更小的單元，稱為“標記”,這些可以是單詞、子單詞單元或單個字符。標記化的主要目的是將原始文本轉(zhuǎn)換為數(shù)值格式，以便LLM的神經(jīng)網(wǎng)絡(luò)進行處理。通過將每個標記映射到一個唯一的整數(shù)值或嵌入向量，標記化不僅影響模型對輸入文本的表示和處理方式，而且是LLM工作流程中的基礎(chǔ)步驟。正確的標記化方法可以顯著提升模型理解和生成自然語言的能力，同時確保計算效率。2.2.4開發(fā)過程中的關(guān)鍵考量透明性：我們致力于記錄設(shè)計決策、模型架構(gòu)和訓(xùn)練流程，這不僅促進了項目的可重復(fù)性，也增強了結(jié)果的可靠性。透明度是構(gòu)建信任和確保研究誠信的基石?？山忉屝裕何覀儍?yōu)先采用能夠闡明模型決策過程的技術(shù)，特別是在那些涉及高風(fēng)險的應(yīng)用場景中。通過增強模型的可解釋性，我們能夠更好地理解其輸出，從而提高用戶對Al系統(tǒng)的信任。效率：我們在追求模型性能的同時，也注重計算資源的有效利用。我們探索各種優(yōu)化技術(shù)，如模型量化和剪枝，旨在提升模型運行效率，同時確保其準確性不受損害。版本控制：我們實施了一套強大的版本控制系統(tǒng)，用以追蹤模型、標記化策略、訓(xùn)練數(shù)據(jù)集以及其他組件的每一次變更。這一做法不僅確保了研究的可重復(fù)性，也為必要時的版本回退提供了可能，同時促進了開發(fā)團隊成員間的協(xié)作。2.3評估與確認評估階段是在部署大語言模型(LLM)之前，對其進行嚴格的性能、可靠性和適用性評估，以確保滿足預(yù)期目標。本節(jié)定義以下術(shù)語：●評估過程中的主要考量/驗證2.3.1評估度量：采用定量與定性指標相結(jié)合的方法，為LLM量身定制評估體系。定量指標涵蓋準確度、精確度、召回率、F1分數(shù)、針對語言生成任務(wù)的困惑度以及翻譯任務(wù)的BLEU分數(shù)。定性評估則可能包括人類評審員對輸出的流暢性、連貫性和相關(guān)性的專業(yè)判斷?；鶞蕼y試：對比LLM的表現(xiàn)與已建立的基準線及行業(yè)內(nèi)其他先進模型，以識別其相對優(yōu)勢和潛在不足。偏見和公平性檢驗：對模型輸出進行檢查，以識別可能存在于不同人群或敏感屬性中的潛在偏見。通過使用公平性指標來量化這些差異。2.3.2驗證/紅隊真實世界測試：將LLM置于與其預(yù)期用例相似的真實環(huán)境中測試，以評估模型面對未知數(shù)據(jù)時的表現(xiàn)，從而衡量其泛化能力。人在回路(Human-in-the-loop):讓專家參與到LLM輸出的評估中，尤其在對準確性和細節(jié)要求極高的敏感領(lǐng)域，并收集反饋以指導(dǎo)未來的優(yōu)化。紅色團隊：組建一支專業(yè)的對抗團隊，深入挖掘LLM的潛在漏洞、偏見和故障模式，有助于發(fā)現(xiàn)常規(guī)測試中可能遺漏的弱點。2.3.3重新評估監(jiān)控：在部署LLM后，對模型性能進行持續(xù)監(jiān)控。建立監(jiān)測機制，以識別數(shù)據(jù)和模型漂移以及性能隨時間下降的問題。數(shù)據(jù)漂移是指輸入數(shù)據(jù)隨著時間推移發(fā)生變化，這種變化可能導(dǎo)致模型性能下降。當模型真實輸入數(shù)據(jù)與模型訓(xùn)練數(shù)據(jù)有偏離時，模型的預(yù)測準確性和可靠性就會降低。模型漂移是指隨著時間推移，輸入特征和目標變量之間的統(tǒng)計關(guān)系發(fā)生變化，從而導(dǎo)致模型的預(yù)測能力下降。這種漂移可能由多種因素引起，包括但不限于：生成數(shù)據(jù)的基礎(chǔ)過程變化、消費者行為變化、外部環(huán)境因素等。數(shù)據(jù)漂移和模型漂移都會導(dǎo)致機器學(xué)習(xí)模型的性能下降，因此，對這些潛在問題進行持續(xù)監(jiān)控并采取有效措施至關(guān)重要。持續(xù)監(jiān)控、重新訓(xùn)練或用新數(shù)據(jù)更新模型等技術(shù)可以緩解這些問題。觸發(fā)再培訓(xùn)：設(shè)定明確標準，以判斷何時需要對LLM進行全面或部分的再培訓(xùn)，以響應(yīng)性能下降或數(shù)據(jù)分布的變化。彈性：為確保LLM在面對不可預(yù)見的輸入情況時仍能保持穩(wěn)定和一致的性能，需要從對抗性輸入魯棒性、異常值、異常數(shù)據(jù)模式等方面評估LLM。不確定性：探索模型對其預(yù)測的信心水平，以便在實際應(yīng)用中指導(dǎo)人類決策。數(shù)據(jù)代表性：確保評估數(shù)據(jù)集與LLM在實際應(yīng)用中處理的實時數(shù)據(jù)高度一致，以避免產(chǎn)生誤導(dǎo)性結(jié)果。2.4部署部署階段將經(jīng)過訓(xùn)練和驗證過的LLM集成到提供服務(wù)的系統(tǒng)中。●AI服務(wù)供應(yīng)鏈●部署過程關(guān)鍵因素●Guardrails護欄2.4.1編排容器化：為了提高LLM的可移植性并簡化其部署流程，采用容器化技術(shù)，將LLM及其必要的依賴項(包括庫、數(shù)據(jù)等)封裝進容器(如Docker)中。可擴展性：構(gòu)建一個可根據(jù)需求進行靈活擴展的部署架構(gòu)。同時使用負載均衡技術(shù)實現(xiàn)高效地分發(fā)傳入請求。版本控制：建立一個系統(tǒng)，用于跟蹤模型版本、配置及性能指標的系統(tǒng)，有助于確保LLM更新是可回滾和可比較的。laaC:采用基礎(chǔ)設(shè)施即代碼(InfrastructureasCode)的方法，將基礎(chǔ)設(shè)施的配置和管理過程自動化和代碼化。這可以帶來更改可追溯性、回滾可操作性等優(yōu)點。2.4.2AI服務(wù)供應(yīng)鏈代理：在構(gòu)建大對話式人工智能系統(tǒng)時，確保大模型能夠與自然語言理解(NLU)模塊、對話管理器和知識庫等關(guān)鍵組件進行交互。插件：為提升大模型能力，可考慮將其與特定領(lǐng)域的插件或擴展進行集成，(例如，醫(yī)療保健或金融等特定領(lǐng)域的插件)。同時，必須考慮這些外部組件集成所帶來的安全風(fēng)險。安全：在供應(yīng)鏈中應(yīng)優(yōu)先考慮安全性，包括保護API端點、實施用戶身份驗證和授權(quán)機制、安全管理訪問憑據(jù)，以及加密傳輸和存儲中的數(shù)據(jù)。2.4.3應(yīng)用應(yīng)用程序編程接口(APIs):為便于外部系統(tǒng)和用戶與由LLM驅(qū)動的應(yīng)用程序進行交互，開發(fā)結(jié)構(gòu)良好的API,提供清晰的API文檔，包括輸入/輸出格式、預(yù)期行為等。采用REST(REpresentationStateTransfer)等業(yè)界標準構(gòu)建API,同時實施版本控制。檢索增強生成(RAG):考慮將檢索組件集成到大模型中，以便模型能夠訪問并整合來自外部知識源的信息，從而提升響應(yīng)的精確性。輸入提示：為了指導(dǎo)LLM更有效地執(zhí)行特定任務(wù)并確保輸出的安全性，探索使用提示注入技術(shù)。不安全的輸出處理：對大模型的輸出進行嚴格審查，以預(yù)防可能引發(fā)安全漏洞的有害輸出，如系統(tǒng)損害或數(shù)據(jù)泄露等風(fēng)險。2.4.4部署過程關(guān)鍵因素用戶界面/用戶體驗(UI/UX):設(shè)計用戶友好的界面，確保用戶能夠與大模型應(yīng)用程序順暢交互。根據(jù)大模型的上下文環(huán)境，定制滿足特定場景下的需求。系統(tǒng)。記錄數(shù)據(jù)有助于指導(dǎo)模型的調(diào)試和持續(xù)優(yōu)化。透明性：向用戶清晰地闡述大模型的工作原理及其輸出的潛在局限性，增強用戶對模型輸出的理解，建立信任感。輸入過濾：識別并防止可能對模型造成數(shù)據(jù)污染的惡意輸入，以減少對模型輸出的影響。輸出過濾：防止生成不恰當或有害的內(nèi)容，如仇恨言論、暴力、露骨材料和其他被認為不可接受或有害內(nèi)容。隱私：為保障用戶隱私安全，應(yīng)實施控制措施以降低隱私風(fēng)險，防止模型生成可能泄露個人或?qū)Ｓ行畔⒌膬?nèi)容。濫用：限制LLM的使用，以防止其被用于生成欺詐性內(nèi)容、釣魚郵件等不當用途，或其他形式的操縱及不道德內(nèi)容。倫理準則和偏見緩解：為確保LLM的使用既符合倫理原則又遵循社會規(guī)范，應(yīng)減少產(chǎn)生與種族、性別、性取向等相關(guān)的偏見和歧視性內(nèi)容。2.5交付交付階段的核心在于對已部署的大模型進行持續(xù)管理，并通過不斷的迭代改進以保持該模型的標準和性能。通常認為，交付階段涵蓋了以下三個關(guān)鍵子階段：●持續(xù)改進2.5.1運營日志及監(jiān)控：持續(xù)監(jiān)控模型的關(guān)鍵性能指標，如準確性、延遲和資源利用率。一旦檢測到安全問題或性能下降，立即通過告警系統(tǒng)通知相關(guān)人員。事件響應(yīng)：制定詳細的應(yīng)急響應(yīng)計劃和程序，及時處理和解決系統(tǒng)故障，并及時響應(yīng)諸如網(wǎng)絡(luò)攻擊、漏洞或性能瓶頸等安全事件。用戶反饋：建立反饋機制，收集用戶對模型輸出的意見和建議。對收集到的用戶反饋進行分析，以確定需要改進的領(lǐng)域或潛在問題。2.5.2維護Bug修復(fù)：識別并解決在模型訓(xùn)練、微調(diào)或部署過程中出現(xiàn)的代碼錯誤或系統(tǒng)故障。發(fā)布補丁或更新，以確保系統(tǒng)的穩(wěn)定性和數(shù)據(jù)的完整性。安全更新：時刻經(jīng)替新出現(xiàn)的安全威脅和漏洞。根據(jù)既定的漏洞管理服務(wù)水平協(xié)議(SLA),為大模型和相關(guān)系統(tǒng)提供安全補丁和更新。修補的過程應(yīng)當全面覆蓋正在被使用的第三方或公共大模型(LLM)版本。重新訓(xùn)練模型：隨著與大語言模型(LLM)交互數(shù)據(jù)特性的變化，可能需要更新訓(xùn)練數(shù)據(jù)或重新訓(xùn)練模型以維持最佳性能。2.5.3持續(xù)改進重新訓(xùn)練：定期評估是否需要在新數(shù)據(jù)或更新的超參數(shù)上重新訓(xùn)練大模型。此舉旨在解決概念漂移和性能下降問題，或以此為契機，擴展模型的能力。持續(xù)反饋循環(huán)：將監(jiān)控系統(tǒng)與用戶反饋機制相結(jié)合，形成一個閉環(huán)反饋系統(tǒng)。通過監(jiān)控數(shù)據(jù)和用戶反饋指導(dǎo)模型重訓(xùn)練與持續(xù)優(yōu)化。實驗：不斷探索可能提高模型整體性能的新模型架構(gòu)、算法或訓(xùn)練技術(shù)。2.5.4交付過程中的關(guān)鍵事項在整個操作和維護過程中，持續(xù)監(jiān)控模型，以識別模型在部署后可能的任何惡意行為或偏差。通過主動監(jiān)控和及時干預(yù)，確保及時發(fā)現(xiàn)并解決問題，從而減輕對用戶或系統(tǒng)的潛在負面影響。變更管理在維護模型的穩(wěn)定性和性能方面至關(guān)重要。一方面可建立全面的變更管理流程，記錄所有的更新并跟蹤其對性能的影響。另一方面可通過制定強有力的變更管理程序，有效管理模型的演進，減少系統(tǒng)中斷和性能下降。此外，制定有效的回滾計劃，以便在變更或修改出現(xiàn)問題時迅速采取應(yīng)對措施。為潛在的停機情況制定計劃也是模型維護的關(guān)鍵內(nèi)容。對可能導(dǎo)致服務(wù)中斷的更新或維護要有一定的預(yù)見性并制定針對性工作計劃。一方面要充分告知用戶，確保他們了解停機窗口及伴隨的服務(wù)中斷。并確保利益相關(guān)方能夠了解情況并為可能對其運營造成的影響做好準備。通過主動解決停機問題，組織方在滿足用戶的期望和要求的同時，也可以保持大模型(LLM)的可靠性和可用性。2.6服務(wù)退出此階段的重點是當大模型被新模型取代或其繼續(xù)運行會帶來不可接受風(fēng)險時，正確的停用大語言模型。本節(jié)中定義如下術(shù)語：2.6.1歸檔模型保存：即對大模型及其所有相關(guān)組件，包括代碼、配置文件和訓(xùn)練數(shù)據(jù)，進行存檔。按照組織方(此處建議討論統(tǒng)一)的數(shù)據(jù)保留策略，對存檔內(nèi)容進行安全、合規(guī)的存儲。存檔內(nèi)容對歷史分析、審計、模型迭代或復(fù)用等場景具有重要價文檔記錄：保存大模型的所有文檔，涵蓋設(shè)計、開發(fā)過程、性能指標、使用限制等關(guān)鍵信息。同時記錄使用過程中遇到的所有事件。2.6.2數(shù)據(jù)刪除法規(guī)：遵守數(shù)據(jù)治理法規(guī)(如GDPR、CCPA),安全地刪除在大模型運行期間所收集或訓(xùn)練的任何個人或敏感數(shù)據(jù)。保留政策：制定明確的數(shù)據(jù)保留策略，規(guī)定數(shù)據(jù)的存儲期限和條件，確立數(shù)據(jù)安全處置的流程和方法。2.6.3模型處置再利用評估：對大模型及其組件進行全面評估，確定是否適合復(fù)用于其他應(yīng)用或研究項目。從而降低開發(fā)成本和環(huán)境影響。知識產(chǎn)權(quán)：針對退役的大模型，審慎處理所有相關(guān)的知識產(chǎn)權(quán)問題，特別是使用外部資源或許可技術(shù)開發(fā)的大模型。安全處置：如果確定大模型無法再利用，應(yīng)采取安全措施進行處置，防止未經(jīng)授權(quán)的訪問或潛在濫用。對于存儲在物理介質(zhì)(如硬盤、SSD或可移動存儲)上的模型，考慮采用物理銷毀方法，確保數(shù)據(jù)無法被恢復(fù)。即可以通過消磁、粉碎或物理銷毀等方式實現(xiàn)。2.6.4服務(wù)退出期間的關(guān)鍵考慮因素告知：在大模型服務(wù)退役前，通知所有用戶和利益相關(guān)方。如有必要，提供清晰的遷移指南，以將服務(wù)遷移到替代服務(wù)或解決方案。影響評估：仔細評估大模型服務(wù)退役的潛在影響，特別是對敏感領(lǐng)域或高度依賴該服務(wù)的用戶的影響。知識轉(zhuǎn)移：從退役模型的開發(fā)和運營過程中總結(jié)經(jīng)驗教訓(xùn)，并能夠有效地應(yīng)用到組織未來的人工智能項目中。3.大語言模型服務(wù)影響分類我們可以將影響類別直接對應(yīng)到已經(jīng)確立的CIA安全三要素(機密性、完整性以下是對LLM相關(guān)風(fēng)險的概括分類：●機密性：存在這樣一種風(fēng)險，即LLM的數(shù)據(jù)、模型本身或其生成的輸出可能會被泄露給未授權(quán)的個人，這涉及敏感信息，可能包括個人數(shù)據(jù)、商業(yè)秘密或其他機密材料?！裢暾裕捍嬖贚LM的數(shù)據(jù)或其生成的輸出被惡意或意外地修改或損壞的風(fēng)險，這可能導(dǎo)致結(jié)果不正確或具有誤導(dǎo)性。●可用性：對LLM操作可能存在遭受干擾的風(fēng)險，導(dǎo)致用戶在關(guān)鍵時刻無法訪問。這些干擾可能包括服務(wù)拒絕攻擊、系統(tǒng)故障、意外停機、過高的計費限額或計算資源不足等情況。大語言模型服務(wù)威脅分類的初始列表涵蓋一系列需要重點考慮并緩解的潛在風(fēng)險和漏洞。每個類別都代表一個獨特的挑戰(zhàn)，可能會損害大語言模型服務(wù)的完整性、安全性和有效性。具體分類如下：1.模型操縱2.數(shù)據(jù)投毒3.敏感數(shù)據(jù)泄露4.模型竊取5.模型故障/失靈6.不安全的供應(yīng)鏈7.不安全的應(yīng)用程序/插件8.拒絕服務(wù)9.缺少治理/合規(guī)性模型操縱涉及試圖逃避檢測或操縱大語言模型產(chǎn)生不正確或誤導(dǎo)性的結(jié)果。包括直接或間接指令注入(對抗性輸入)等技術(shù)，旨在利用模型學(xué)習(xí)訓(xùn)練和決策過程中的漏洞。4.2數(shù)據(jù)投毒數(shù)據(jù)投毒是指操縱大語言模型訓(xùn)練數(shù)據(jù)的一種行為，攻擊者可能故意向訓(xùn)練數(shù)據(jù)中注入虛假、誤導(dǎo)性或無用信息，或利用數(shù)據(jù)集中已有的錯誤和偏差。無論哪種情況，數(shù)據(jù)投毒都可能使模型受到污染，導(dǎo)致模型學(xué)習(xí)到錯誤的模式，產(chǎn)生帶有偏見的預(yù)測結(jié)果，并降低其可信度。4.3敏感數(shù)據(jù)泄露敏感數(shù)據(jù)泄露指的是對大語言模型服務(wù)在處理或存儲過程中的敏感信息進行未授權(quán)訪問、披露或泄露的威脅。這類敏感信息可能涵蓋個人隱私數(shù)據(jù)、商業(yè)專有數(shù)據(jù)或機密文件。一旦這些數(shù)據(jù)遭到泄露，可能會引發(fā)隱私侵犯和安全漏洞的問題。4.4模型竊取模型竊取(也稱為模型蒸餾)指的是惡意行為者未經(jīng)授權(quán)地訪問或復(fù)制大語言模型。攻擊者可能會嘗試對模型的架構(gòu)進行逆向工程，或者提取出專有的算法和參數(shù)。這種行為可能會導(dǎo)致知識產(chǎn)權(quán)被盜用，或者模型被未經(jīng)授權(quán)地復(fù)制和使用。模型故障/失靈指大語言模型服務(wù)中可能出現(xiàn)的軟件錯誤、硬件故障、操作錯誤等問題。此類事件可能會破壞服務(wù)可用性、降低性能、破壞模型輸出準確性和可靠4.6不安全的供應(yīng)鏈不安全的供應(yīng)鏈指的是在大語言模型的生態(tài)系統(tǒng)中，由于第三方組件、依賴項或服務(wù)的引入而產(chǎn)生的安全漏洞。這些漏洞可能被惡意利用，從而損害大語言模型服務(wù)的安全性和可靠性，例如通過使用被篡改的軟件庫或存在缺陷的硬件組件。4.7不安全的應(yīng)用程序/插件不安全的應(yīng)用程序/插件包括與大語言模型服務(wù)交互的插件、函數(shù)調(diào)用或擴展中引入的漏洞。不安全或惡意設(shè)計的應(yīng)用程序/插件可能會引入安全漏洞、特權(quán)提升或?qū)γ舾匈Y源進行未經(jīng)授權(quán)的訪問，這些都會對集成系統(tǒng)的輸入和輸出構(gòu)成風(fēng)險。4.8拒絕服務(wù)拒絕服務(wù)攻擊旨在通過大量請求或惡意流量壓垮LLM服務(wù)，從而破壞其可用性或功能。DoS攻擊可以使服務(wù)對合法用戶不可訪問，導(dǎo)致停機、服務(wù)質(zhì)量下降或信任喪失。4.9缺少治理/合規(guī)性這一類別涉及不遵守監(jiān)管要求、行業(yè)標準或管理LLM服務(wù)運營和使用的內(nèi)部治理與合規(guī)政策的風(fēng)險。未能遵循治理與合規(guī)標準可能導(dǎo)致法律責(zé)任、財務(wù)處罰或聲譽損失。采取全面的方法應(yīng)對大模型服務(wù)的威脅風(fēng)險，包括但不限于實施強有力的安全措施、進行持續(xù)的風(fēng)險評估、集成威脅情報，以及制定針對模型獨特特性的主動緩解策略。從安全控制和風(fēng)險管理的角度出發(fā)，我們需要識別與大模型系統(tǒng)相關(guān)的弱點和漏洞，以便采取相應(yīng)的預(yù)防和修復(fù)措施。大模型的弱點可能表現(xiàn)在多個方面，如訓(xùn)練數(shù)據(jù)的局限性、算法的偏差或模型架構(gòu)的缺陷。例如，模型對訓(xùn)練數(shù)據(jù)中統(tǒng)計模式的依賴可能導(dǎo)致在處理語言的細微差別或識別潛在的惡意輸入時存在不足。大語言模型的漏洞是指在特定情況下，攻擊者可以利用這些漏洞破壞模型的完整性、機密性、可用性或模型的輸出。這些漏洞可能源自模型實踐中的缺陷，例如編碼錯誤、配置不當、訓(xùn)練數(shù)據(jù)被操縱以引入偏見或通過反向示例進行攻擊。從風(fēng)險管理角度看，識別并減輕模型中的弱點和漏洞風(fēng)險對于防范潛在威脅并降低威脅影響十分重要。這涉及評估對模型攻擊的可能性及潛在影響、根據(jù)風(fēng)險的嚴重程度確定風(fēng)險的優(yōu)先級，并實施適當?shù)陌踩刂拼胧詼p輕或?qū)⑦@些風(fēng)險轉(zhuǎn)移到可接受的水平。作為安全策略的一部分，應(yīng)該通過紅/藍對抗提高系統(tǒng)的安全性。通過區(qū)分弱點、漏洞和攻擊，人工智能控制框架可以提供一種結(jié)構(gòu)化的方法來識別、評估和減輕與部署人工智能系統(tǒng)相關(guān)的風(fēng)險。這使得組織能夠制定有效的策略來防范潛在威脅，增強其人工智能系統(tǒng)的抗打擊能力，并保證其運營的可信度。5.參考文獻1.BARRETT,A.M.,NEWMAN,J.,NONNECKFoundationModels.[online]U/wp-content/uploads/2023/11/BerkeModel-Risk-Management-Standards-Prof2