TEE 技術(shù)在隱私計算和大模型訓(xùn)練場景下的探索和展望 2024

1本文介紹了可信執(zhí)行環(huán)境TEE（TrustedExecution域應(yīng)用的技術(shù)難點和解決方案，在此基礎(chǔ)上，本文還展望在人工智能領(lǐng)域，數(shù)據(jù)是至關(guān)重要的資源。無論是訓(xùn)練模型還是優(yōu)化算法，都離不開大量的數(shù)據(jù)支持。然而，這些數(shù)據(jù)往往包含了大量的敏感信息，如用戶的個人信息商業(yè)機密等。一旦這些數(shù)據(jù)被泄露或濫用，將會給個人和企業(yè)帶來巨大的損失。因此，保障數(shù)據(jù)的安全性對于維護2加密中間結(jié)果或使用加法同態(tài)加密技術(shù)來保護數(shù)據(jù)隱3TEE的概念最早可以追溯到20世紀(jì)90年代，當(dāng)時研究人員開始探索如何在不可信的環(huán)境中創(chuàng)建安全的執(zhí)行環(huán)境當(dāng)時的解決方案主要依賴于硬件輔助的虛擬化技術(shù)，如統(tǒng)一標(biāo)準(zhǔn)的重要性。全球平臺組織（GP）成立并推出了TEE的行業(yè)標(biāo)準(zhǔn)，包括全球平臺可信模塊（TPM）和全球平臺可提供了統(tǒng)一的框架，促進了不同廠商之間的互操作性。隨著標(biāo)準(zhǔn)的制定和相關(guān)安全芯片的設(shè)計，機密計算技術(shù)在42015年開始，隨著云計算和移動平臺的發(fā)展，對于平臺的安全性帶來了更大的挑戰(zhàn)，Intel于2013年推出了SGX技術(shù)，旨在通過硬件強制的方式提供一個更加安全的執(zhí)行環(huán)境增強其安全性。AMD也于2016年推出了SEV（SecureEncryptedVirtualization）技術(shù)，即安全加密虛擬化技術(shù)，這項技術(shù)使得虛擬機的內(nèi)存內(nèi)容即使在物理服務(wù)器上也能保持加密狀態(tài)，從而防止?jié)撛诘膼阂夤芾沓绦蚧蚱渌–onfidentialComputingConsortium）,進一步規(guī)范TEE硬件與TEE軟件(如統(tǒng)一SDK和API接口)，并推進機密計算技術(shù)和標(biāo)準(zhǔn)的快速落地，INTEL和AMD亦先后推出近年來隨著人工智能的發(fā)展，TEE技術(shù)在人工智能的數(shù)據(jù)安全保護領(lǐng)域也有著廣泛的應(yīng)用，以TEE技術(shù)輔助聯(lián)邦學(xué)習(xí)為例，為了保護梯度數(shù)據(jù)，聯(lián)邦學(xué)習(xí)可以使用差分隱私技術(shù)在模型訓(xùn)練結(jié)果參數(shù)中加入微弱噪音來降低其他方反推出梯度數(shù)據(jù)的可能性，而利用同態(tài)加密基本可以把這個風(fēng)險降低到逼近零因此安全性更高，但同態(tài)加密在計算性能的5對TEE環(huán)境外而言是密態(tài)的，系統(tǒng)中可以通過TEE和TEE之間點對點的密態(tài)通信來保證傳輸過程中的數(shù)據(jù)也是密態(tài)的在商業(yè)產(chǎn)品上，華為MindSpore就是一個支持基于TEE的縱向聯(lián)邦學(xué)習(xí)的開源平臺，MindSpore使用了IntelSGX技術(shù)來實現(xiàn)TEE，它允許在vFL（縱向聯(lián)邦學(xué)習(xí)）中使用TEE來保護中間結(jié)果和梯度，防止攻擊者反計算平臺，用戶可以把重要的數(shù)據(jù)和代碼放在一個特殊的6不會明顯下降，計算準(zhǔn)確度可以保證并且大模型的代碼遷CPU的，而大模型的計算主要在GPU，因此GPU側(cè)支持TEE78在商用上，微軟基于英偉達H100GPU搭建了Azure9byGlobalPlatform,WhitePapNVIDIA,White