聯(lián)邦學習應(yīng)用安全研究報告（2023年）

****研究報告（2020

年）聯(lián)邦學習應(yīng)用安全研究報告(2023

年)中國信息通信研究院安全研究所2023年12月1版

權(quán)

聲

明本報告版權(quán)屬于中國信息通信研究院，并受法律保護。轉(zhuǎn)載、摘編或利用其它方式使用本報告文字或者觀點的，應(yīng)注明“來源：中國信息通信研究院”。違反上述聲明者，編者將追究其相關(guān)法律責任。前

言“數(shù)據(jù)孤島”，是數(shù)據(jù)為“王”的時代的一個不可被忽視的現(xiàn)象，各組織機構(gòu)的數(shù)據(jù)如同大洋上的島嶼，隔海相望、孤立無援。這種現(xiàn)象來源于組織機構(gòu)對敏感數(shù)據(jù)域外共享的數(shù)據(jù)安全擔憂，隨著數(shù)據(jù)安全法律法規(guī)日趨嚴格，各組織機構(gòu)難以承擔數(shù)據(jù)泄露所帶來的嚴重后果，使數(shù)據(jù)既出不去，也進不來。在追求數(shù)據(jù)要素高效高質(zhì)流通的當下，“數(shù)據(jù)孤島”現(xiàn)象無疑是數(shù)據(jù)要素市場化建設(shè)進程中的障礙，于是“原始數(shù)據(jù)不出域，數(shù)據(jù)可用不可見”的新范式被提出，聯(lián)邦學習也作為能夠?qū)崿F(xiàn)該范式的代表技術(shù)之一，得到了快速的發(fā)展。聯(lián)邦學習技術(shù)可避免原始數(shù)據(jù)流出本地，轉(zhuǎn)而通過“本地存儲

+

分布式學習”的聯(lián)合機器學習建模方式完成多方數(shù)據(jù)價值的釋放，很好地解決了數(shù)據(jù)流通與數(shù)據(jù)安全之間的矛盾。聯(lián)邦學習作為能夠打破“數(shù)據(jù)孤島”的有力技術(shù)工具，為實現(xiàn)保障數(shù)據(jù)安全流通的初衷，仍然需要確保其自身的各屬性的安全可靠。本研究報告著眼于聯(lián)邦學習技術(shù)產(chǎn)品、系統(tǒng)、平臺等形式的應(yīng)用的安全，介紹了聯(lián)邦學習應(yīng)用的安全現(xiàn)狀，分析了聯(lián)邦學習在應(yīng)用中面臨的安全問題，并針對以上痛點問題，提出了聯(lián)邦學習應(yīng)用的未來發(fā)展建議。本報告的編寫得到了不少業(yè)界同仁的大力支持，希望本報告能為社會各界深入了解聯(lián)邦學習應(yīng)用安全的現(xiàn)狀與發(fā)展提供有價值的參考。目

錄版權(quán)聲明........................................................................................................................1一、

聯(lián)邦學習概述......................................................................................................1(一)

背景................................................................................................................1(二)

聯(lián)邦學習技術(shù)體系........................................................................................2二、

聯(lián)邦學習應(yīng)用概況..............................................................................................4(一)

跨機構(gòu)應(yīng)用是國內(nèi)聯(lián)邦學習應(yīng)用的主要形態(tài)............................................4(二)

中心化架構(gòu)在聯(lián)邦學習產(chǎn)品中占比最多....................................................5(三)

半誠實敵手環(huán)境是當下聯(lián)邦學習主要的應(yīng)用環(huán)境....................................7(四)

密碼技術(shù)是當下聯(lián)邦學習產(chǎn)品的主要安全保護技術(shù)................................9三、

聯(lián)邦學習應(yīng)用安全現(xiàn)狀與問題分析................................................................11(一)

數(shù)據(jù)泄露類風險是聯(lián)邦學習產(chǎn)品最易出現(xiàn)的安全風險..........................11(二)

聯(lián)邦學習應(yīng)用安全風險的隱蔽性高..........................................................14(三)

協(xié)調(diào)方的存在為聯(lián)邦學習應(yīng)用帶來了安全方面的不確定因素..............15(四)

聯(lián)邦學習應(yīng)用的安全保護強度與性能要求在一定程度上相互制約......16(五)

聯(lián)邦學習應(yīng)用安全相關(guān)標準尚未健全......................................................18四、

聯(lián)邦學習應(yīng)用安全學界研究現(xiàn)狀....................................................................19(一)

偏重于惡意安全環(huán)境下的安全研究..........................................................19(二)

如何優(yōu)化性能是熱門研究方向..................................................................20五、

聯(lián)邦學習應(yīng)用安全發(fā)展建議............................................................................21(一)

加速聯(lián)邦學習應(yīng)用安全的標準化建設(shè)......................................................21(二)

加強聯(lián)邦學習應(yīng)用安全的研究..................................................................22(三)

推動聯(lián)邦學習應(yīng)用安全的基礎(chǔ)設(shè)施建設(shè)..................................................23圖

目

錄圖

1

聯(lián)邦學習架構(gòu)....................................................................................................4圖

2

聯(lián)邦學習產(chǎn)品架構(gòu)總體分布統(tǒng)計....................................................................6圖

3

不同場景中的聯(lián)邦學習產(chǎn)品架構(gòu)分布統(tǒng)計....................................................7圖

4

聯(lián)邦學習產(chǎn)品安全保護技術(shù)使用占比統(tǒng)計..................................................10圖

5

聯(lián)邦學產(chǎn)品安全風險占比統(tǒng)計（半誠實環(huán)境）..........................................

11圖

6

聯(lián)邦學習產(chǎn)品安全風險分布統(tǒng)計（半誠實環(huán)境）......................................12表

目

錄表

1

聯(lián)邦學習應(yīng)用分類............................................................................................3表

2

聯(lián)邦學習應(yīng)用的安全假設(shè)................................................................................8聯(lián)邦學習應(yīng)用安全研究報告（2023

年）一、聯(lián)邦學習概述（一）背景在數(shù)據(jù)價值被充分重視的大數(shù)據(jù)時代，數(shù)據(jù)流通成為了數(shù)據(jù)價值釋放的重要步驟。2022

年

1

月

6

日國務(wù)院辦公廳印發(fā)的《要素市場化配置綜合改革試點總體方案》提出了要探索“原始數(shù)據(jù)不出域、數(shù)據(jù)可用不可見”的數(shù)據(jù)交易范式。聯(lián)邦學習技術(shù)是實現(xiàn)該交易范式的典型代表技術(shù)之一，具有巨大的發(fā)展?jié)摿?。近年來，?lián)邦學習的應(yīng)用實踐正在不斷落地，其實用性已經(jīng)得到了反復(fù)印證。聯(lián)邦學習作為數(shù)據(jù)流通領(lǐng)域的重要技術(shù)應(yīng)用，一旦其出現(xiàn)安全問題，則保護數(shù)據(jù)的初衷將無法實現(xiàn)。因此，聯(lián)邦學習的使用者對其安全性要求普遍較高。目前，聯(lián)邦學習多被用于金融、醫(yī)療、政務(wù)等行業(yè)

1，這些行業(yè)對數(shù)據(jù)安全及個人隱私保護有著嚴格要求，一旦聯(lián)邦學習應(yīng)用的安全性存疑，數(shù)據(jù)系統(tǒng)將面臨著數(shù)據(jù)泄露的風險，并可能對企業(yè)或組織機構(gòu)造成巨大損失。近年來，聯(lián)邦學習安全已經(jīng)得到了學界的高度重視。從研究熱度上看，在

2016

年至

2022

年的區(qū)間內(nèi)，聯(lián)邦學習安全方面的論文數(shù)量持續(xù)增加1，整體研究熱度呈現(xiàn)上升的趨勢。從研究廣度上看，聯(lián)邦學習安全方面的研究主題已經(jīng)涵蓋了惡意攻擊、網(wǎng)絡(luò)安全、隱私泄漏、容錯、以及與其他隱私保護技術(shù)融合應(yīng)用等多個領(lǐng)域

1。聯(lián)邦學習應(yīng)用的安全風險發(fā)現(xiàn)和防御理論持續(xù)得到更新。1

AM，2023

全球聯(lián)邦學習研究與應(yīng)用趨勢報告，20231聯(lián)邦學習應(yīng)用安全研究報告（2023

年）（二）聯(lián)邦學習技術(shù)體系聯(lián)邦學習的概念最初在

2016

年由谷歌提出，經(jīng)過一段時間的發(fā)展，有了比較明確的定義——“聯(lián)邦學習是一種機器學習的形式，這種形式中多個實體（客戶端）在中央服務(wù)器或服務(wù)提供商的協(xié)調(diào)下協(xié)作解決機器學習問題。每個客戶端的原始數(shù)據(jù)都存儲在本地，不進行交換或傳輸，并以聚合更新的方式達成學習目標”2。它的出現(xiàn)打破了傳統(tǒng)機器學習的集中式數(shù)據(jù)訓練模式，各組織、機構(gòu)的原始數(shù)據(jù)不必流出本地，各自使用本地原始數(shù)據(jù)參與模型訓練，通過迭代、聚合等過程最終得到全局模型。同時，各組織、機構(gòu)、設(shè)備間的交互被以保護隱私為目標而精心設(shè)計，使得聯(lián)邦學習應(yīng)用可以在保護隱私的前提下，完成多方數(shù)據(jù)聯(lián)合建模的任務(wù)。聯(lián)邦學習可以從以下三個維度進行分類，如表

1

所示。一是，根據(jù)參與方的性質(zhì)，聯(lián)邦學習可劃分為跨機構(gòu)（cross-silo）聯(lián)邦學習和跨設(shè)備(cross-device)聯(lián)邦學習。跨機構(gòu)聯(lián)邦學習指不同組織、機構(gòu)之間，或者地理分離的數(shù)據(jù)中心之間的聯(lián)邦學習，其特點是參與方數(shù)量少，各方的數(shù)據(jù)規(guī)模、質(zhì)量等方面相對一致，技術(shù)實現(xiàn)相對簡單；跨設(shè)備聯(lián)邦學習指大量移動通信設(shè)備或物聯(lián)網(wǎng)終端、邊緣計算設(shè)備等之間的多方數(shù)據(jù)建模模式，其特點是參與方數(shù)量規(guī)模巨大，且各方的數(shù)據(jù)質(zhì)量以及所處的網(wǎng)絡(luò)、硬件環(huán)境相差較大，因此需考慮數(shù)據(jù)不平衡、設(shè)備性能不平衡、網(wǎng)絡(luò)性能差等問題，實現(xiàn)難度較大。二是，根據(jù)多方訓練數(shù)據(jù)樣本和特征空間的異2

Peter

Kairouz，H.

Brendan

McMahan

等，Advances

and

Open

Problems

in

Federated

Learning，20192聯(lián)邦學習應(yīng)用安全研究報告（2023

年）同，聯(lián)邦學習可劃分為橫向應(yīng)用與縱向應(yīng)用。在橫向應(yīng)用中，各參與方數(shù)據(jù)集的特征相同，而樣本不同，其“橫向”擴展了訓練數(shù)據(jù)的樣本空間。縱向應(yīng)用則與橫向應(yīng)用相反，各參與方的數(shù)據(jù)擁有相同的樣本空間，但在特征上各不相同，縱向應(yīng)用實現(xiàn)了訓練數(shù)據(jù)特征空間的“縱向”擴展。三是，根據(jù)技術(shù)架構(gòu)的不同，聯(lián)邦學習可以劃分成中心化架構(gòu)和去中心化架構(gòu)。中心化架構(gòu)中需要中央服務(wù)器作為協(xié)調(diào)方協(xié)助完成聯(lián)邦學習過程，中央服務(wù)器及協(xié)調(diào)方程序通常部署于誠實的第三方中。去中心化架構(gòu)中則沒有處于中心地位、用以協(xié)調(diào)的第三方，如圖

1

所示。表

1

聯(lián)邦學習應(yīng)用分類樣本和特征維度參與方技術(shù)架構(gòu)空間分類

跨機構(gòu)

跨設(shè)備

橫向

縱向

中心化

去中心化架構(gòu)來源：中國信息通信研究院3聯(lián)邦學習應(yīng)用安全研究報告（2023

年）中心化架構(gòu)舉例客戶端

1去中心化架構(gòu)舉例客戶端客戶端

2客戶端

3中央服務(wù)器客戶端客戶端......客戶端

n客戶端客戶端來源：中國信息通信研究院圖

1

聯(lián)邦學習架構(gòu)二、聯(lián)邦學習應(yīng)用概況聯(lián)邦學習應(yīng)用已在我國多個行業(yè)落地實踐，在此背景下，中國信息通信研究院安全研究所（以下簡稱安全所）于

2021

年至

2023年間開展了聯(lián)邦學習安全測評活動（以下簡稱“活動”），對

40

余款聯(lián)邦學習產(chǎn)品進行了安全測評。同時期，中國信通院也針對

20

余項聯(lián)邦學習產(chǎn)品或應(yīng)用進行了安全性調(diào)研（以下簡稱“調(diào)研”）。本報告以本次“活動”與“調(diào)研”中積累的數(shù)據(jù)為基礎(chǔ)，從聯(lián)邦學習的應(yīng)用情況、存在的安全風險、技術(shù)保障措施等方面分析了當下聯(lián)邦學習技術(shù)的應(yīng)用現(xiàn)狀。(一)

跨機構(gòu)應(yīng)用是國內(nèi)聯(lián)邦學習應(yīng)用的主要形態(tài)目前國內(nèi)聯(lián)邦學習應(yīng)用需求主要來自金融、醫(yī)療、政務(wù)等行業(yè)3，實現(xiàn)的是跨“孤島”的聯(lián)合建模，即跨機構(gòu)的聯(lián)邦學習?？鐧C構(gòu)聯(lián)3

中國信息通信研究院，數(shù)據(jù)價值釋放與隱私保護計算應(yīng)用研究報告，20214聯(lián)邦學習應(yīng)用安全研究報告（2023

年）邦學習應(yīng)用的參與方數(shù)量少，相應(yīng)的計算和通信壓力相對較小，且成功的數(shù)據(jù)共享是各參與方的共同需求，在聯(lián)合建模過程中各參與方為達成共同目標通常不會主動發(fā)起攻擊行為，因而其對性能和安全性方面的技術(shù)要求相對較低，當下的聯(lián)邦學習技術(shù)已可滿足跨機構(gòu)應(yīng)用的大部分技術(shù)要求，這使得跨機構(gòu)的聯(lián)邦學習應(yīng)用能夠獲得相對廣泛的落地。相反，在跨設(shè)備的聯(lián)邦學習應(yīng)用中，參與方數(shù)量巨大，應(yīng)用對計算效率、通信開銷、安全防御等方面的要求更高。而現(xiàn)有技術(shù)在這些方面仍顯不足，不能滿足該類應(yīng)用的高性能計算、低通信開銷的要求，也難以應(yīng)對惡意設(shè)備的投毒與攻擊。技術(shù)上的不足使聯(lián)邦學習實踐難以向跨設(shè)備應(yīng)用方面擴展。因此，跨機構(gòu)應(yīng)用成為了目前聯(lián)邦學習應(yīng)用最主要的應(yīng)用形態(tài)。(二)

中心化架構(gòu)在聯(lián)邦學習產(chǎn)品中占比最多在技術(shù)架構(gòu)方面，從總體上看中心化架構(gòu)在各類聯(lián)邦學習產(chǎn)品中占比最高，如圖

2

所示。同時，聯(lián)邦學習產(chǎn)品采用何種技術(shù)架構(gòu)與其內(nèi)置算法有關(guān)，部分聯(lián)邦學習產(chǎn)品內(nèi)置了多種算法以適應(yīng)不同場景，因此出現(xiàn)了可同時支持中心化架構(gòu)與去中心化架構(gòu)的情況，如圖

2。5聯(lián)邦學習應(yīng)用安全研究報告（2023

年）來源：中國信息通信研究院圖

2

聯(lián)邦學習產(chǎn)品架構(gòu)總體分布統(tǒng)計在橫向與縱向的聯(lián)邦學習中，技術(shù)架構(gòu)的分布有所不同。絕大部分橫向聯(lián)邦學習產(chǎn)品采用了中心化架構(gòu)，如圖

3。其原因在于大部分橫向聯(lián)邦學習算法需要協(xié)調(diào)方（中央服務(wù)器）的加入，以完成參數(shù)的聚合與分發(fā)操作,如

fedAvg

算法4。在縱向聯(lián)邦學習方面，中心化架構(gòu)與去中心化架構(gòu)的分布占比近似，中心化架構(gòu)占據(jù)微弱優(yōu)勢，如圖

3。其原因是，縱向聯(lián)邦學習中，協(xié)調(diào)方（中央服務(wù)器）所負責的聚合、分發(fā)等任務(wù)在部分算法中是不必要的（如

secureboost

算法5），同時一些產(chǎn)品采用安全多方計算技術(shù)保護參數(shù)交互，無需協(xié)調(diào)方的介入。如此導(dǎo)致了兩種架構(gòu)分布的平分秋色。綜合以上數(shù)據(jù)，中心化架構(gòu)在聯(lián)邦學習產(chǎn)品各應(yīng)用場景中均占比最多。4

H.

B.

McMahan

等，F(xiàn)ederated

learning

of

deep

networks

using

model

averaging，20165

Kewei

Cheng

等，Secureboost:A

lossless

federated

learning

framework，20196聯(lián)邦學習應(yīng)用安全研究報告（2023

年）來源：中國信息通信研究院圖

3

不同場景類別中的聯(lián)邦學習產(chǎn)品架構(gòu)分布統(tǒng)計(三)

半誠實敵手環(huán)境是當下聯(lián)邦學習主要的應(yīng)用環(huán)境從參與方對聯(lián)邦學習協(xié)議的遵守程度看，聯(lián)邦學習的參與方可被劃分為誠實參與方、半誠實敵手、惡意敵手，相應(yīng)地，根據(jù)參與方的誠實程度，將聯(lián)邦學習的應(yīng)用環(huán)境劃分為誠實環(huán)境、半誠實敵手環(huán)境和惡意敵手環(huán)境，如表

2

所示。其中，誠實環(huán)境中的所有參與方均為誠實的；半誠實敵手環(huán)境中的參與方會誠實地遵守協(xié)議，但也有可能會被動接收或推測其他參與方的隱私信息，即該環(huán)境中存在半誠實的參與方；惡意敵手環(huán)境中的部分參與方會不遵守協(xié)議，而主動發(fā)起攻擊，即該環(huán)境中存在惡意的參與方。在安全風險的應(yīng)對措施上，惡意敵手環(huán)境下的應(yīng)用對安全措施要求最高，半誠實敵手環(huán)境其次?！盎顒印迸c“調(diào)研”顯示，所有統(tǒng)計對象均支持半誠實敵手環(huán)境，同時所有調(diào)研對象均不支持惡意敵手環(huán)境。造成這種7聯(lián)邦學習應(yīng)用安全研究報告（2023

年）現(xiàn)狀的原因，可從以下兩個方面進行分析。表

2

聯(lián)邦學習應(yīng)用的安全假設(shè)協(xié)議執(zhí)行不遵守協(xié)議遵守協(xié)議遵守協(xié)議行為特征主動攻擊隱私推理誠實防御難度高惡意敵手環(huán)境半誠實敵手環(huán)境誠實環(huán)境中等無需防御來源：中國信息通信研究院一方面，國內(nèi)聯(lián)邦學習應(yīng)用的參與方之間多存在一定的信任基礎(chǔ)，基于半誠實敵手假設(shè)的安全設(shè)計可以滿足大部分聯(lián)邦學習應(yīng)用的安全需求。目前國內(nèi)聯(lián)邦學習應(yīng)用多為跨機構(gòu)的應(yīng)用，各參與方之間為合作共贏的關(guān)系，順利且準確地訓練出最終結(jié)果符合聯(lián)邦學習應(yīng)用各參與方的利益，因此各參與方?jīng)]有必要針對聯(lián)邦學習過程發(fā)起攻擊。然而，不排除各組織或機構(gòu)在不影響聯(lián)合訓練結(jié)果的情況下“窺伺”其他參與方敏感數(shù)據(jù)的情況。多方交互中安全設(shè)計缺陷為這種“窺伺”行為提供了發(fā)生的可能，這使得“好奇”的參與方可直接獲取或間接推理出其他參與方的敏感數(shù)據(jù)。這種“好奇”的行為雖然造成了數(shù)據(jù)泄露，但并不影響聯(lián)邦學習過程的正常進行，因此其對應(yīng)的環(huán)境安全假設(shè)為半誠實敵手環(huán)境?？梢姡瑓⑴c方間的“合作”與“窺伺”是造成絕大多數(shù)聯(lián)邦學習應(yīng)用基于半誠實敵手環(huán)境進行設(shè)計開發(fā)的主要原因之一。另一方面，惡意敵手模型下的安全研究成果尚不足以支撐聯(lián)邦學習實際應(yīng)用。一是學界尚未探明惡意敵手模型中的安全風險。在8聯(lián)邦學習應(yīng)用安全研究報告（2023

年）惡意攻擊方面的學術(shù)研究近些年呈現(xiàn)出上升趨勢

1，不斷有新的安全風險被發(fā)現(xiàn)。在仍存在未知安全風險的背景下，很少會有用戶愿意在存在惡意參與方的環(huán)境下部署聯(lián)邦學習應(yīng)用。二是惡意敵手環(huán)境下的已有安全研究成果仍有待驗證。生產(chǎn)環(huán)境與實驗室環(huán)境存在較大區(qū)別，實驗室環(huán)境難以模擬大規(guī)模的參與方，各類的防御手段往往在計算性能、通信效率等方面具有局限性。因此，惡意敵手環(huán)境下的安全研究成果轉(zhuǎn)化緩慢，當下聯(lián)邦學習應(yīng)用的設(shè)計開發(fā)仍以應(yīng)對半誠實敵手為重點。(四)

密碼技術(shù)是當下聯(lián)邦學習產(chǎn)品的主要安全保護技術(shù)當前的聯(lián)邦學習產(chǎn)品采取了多種安全技術(shù)手段來應(yīng)對安全風險。圖

4

展示了各類安全保護技術(shù)的使用占比情況，其中，絕大多數(shù)聯(lián)邦學習產(chǎn)品使用了同態(tài)加密，使用率達到了

95%以上，在各類安全保護技術(shù)中處于第一梯隊；秘密分享、不經(jīng)意傳輸、安全密鑰交換等安全多方計算技術(shù)處于第二梯隊，使用率均達到

70%以上；差分隱私技術(shù)、其他加密（對稱密碼、非對稱密碼、Hash

函數(shù)）和混淆電路技術(shù)的使用率分別為

60.7%、47.8%、30.4%，其他安全保護技術(shù)，如布隆過濾器、梯度擾動等，合在一起使用率達到

43.5%。上述技術(shù)除差分隱私與“其他”技術(shù)外同屬密碼技術(shù)，可見密碼技術(shù)是當前聯(lián)邦學習產(chǎn)品的主流安全保護技術(shù)。9聯(lián)邦學習應(yīng)用安全研究報告（2023

年）來源：中國信息通信研究院圖

4

聯(lián)邦學習產(chǎn)品安全保護技術(shù)使用占比統(tǒng)計使用同態(tài)加密保護技術(shù)與使用安全多方計算技術(shù)保護是聯(lián)邦學習安全保護的兩條主要技術(shù)路線。一方面，同態(tài)加密主要應(yīng)用于聯(lián)邦學習的多方交互算法中，它的作用主要是使各方參數(shù)的運算在密態(tài)空間中進行，避免參數(shù)明文被他方獲知，從而達到保護敏感數(shù)據(jù)的目的。另一方面，安全多方計算技術(shù)亦可實現(xiàn)對聯(lián)邦學習過程的保護。除了負責完成匿蹤查詢、聯(lián)合運算等隱私場景的需求外，安全多方計算技術(shù)也作為底層庫在同一平臺內(nèi)為聯(lián)邦學習的上層應(yīng)用提供安全支撐。與同態(tài)加密類似，安全多方計算也保護了聯(lián)邦學習過程的參數(shù)交互。不同之處在于，以安全多方計算作為主要安全保護技術(shù)的聯(lián)邦學習產(chǎn)品通常不需要協(xié)調(diào)方的參與，適用于無可信第三方的場景下的多方數(shù)據(jù)安全流通共享。圖

4

中，秘密分享、不經(jīng)意傳輸、混淆電路同屬安全多方計算技術(shù)，它們常與聯(lián)邦學習集成10聯(lián)邦學習應(yīng)用安全研究報告（2023

年）于同一大平臺。三、聯(lián)邦學習應(yīng)用安全現(xiàn)狀與問題分析(一)

數(shù)據(jù)泄露類風險是聯(lián)邦學習產(chǎn)品最易出現(xiàn)的安全風險“活動”針對半誠實敵手環(huán)境下的安全風險進行了檢測，發(fā)現(xiàn)目前的聯(lián)邦學習產(chǎn)品主要存在未進行數(shù)據(jù)完整性驗證、存儲敏感信息未經(jīng)加密或脫敏、缺乏任務(wù)授權(quán)機制、泄露用戶隱私數(shù)據(jù)、泄露結(jié)果類數(shù)據(jù)、未對系統(tǒng)內(nèi)部錯誤進行容錯處理、日志存儲未達要求、密碼強度未達要求等安全風險。圖

5

展示了聯(lián)邦學習產(chǎn)品各類別安全風險的占比，存儲敏感信息未經(jīng)加密或脫敏、用戶隱私數(shù)據(jù)泄露、結(jié)果類數(shù)據(jù)泄露等數(shù)據(jù)泄露類風險在各類安全風險中占比最高，其中結(jié)果類數(shù)據(jù)泄露風險占比最為突出，達到了

48.2%。來源：中國信息通信研究院圖

5

聯(lián)邦學習產(chǎn)品安全風險占比統(tǒng)計（半誠實環(huán)境）11聯(lián)邦學習應(yīng)用安全研究報告（2023

年）圖

6

從聯(lián)邦學習流程的維度，統(tǒng)計了全流程中每個環(huán)節(jié)的安全風險分布，數(shù)據(jù)泄露類風險在聯(lián)邦學習流程中的模型訓練環(huán)節(jié)與模型預(yù)測環(huán)節(jié)占比最高。來源：中國信息通信研究院圖

6

聯(lián)邦學習產(chǎn)品安全風險分布統(tǒng)計（半誠實環(huán)境）從聯(lián)邦學習的運算過程看，多方交互協(xié)議的設(shè)計不當是導(dǎo)致數(shù)據(jù)泄漏風險多發(fā)的原因之一。在聯(lián)邦學習的運算過程中，各參與方僅擁有聯(lián)合建模所需的“部分”訓練數(shù)據(jù)，這些原始的訓練數(shù)據(jù)在經(jīng)過本地計算后產(chǎn)生了中間參數(shù)，各參與方以交換中間參數(shù)的方式進行協(xié)作，最終完成整個建模過程。其中，多方交互協(xié)議約定了各方參數(shù)交互的內(nèi)容和時序。在內(nèi)容上，協(xié)議規(guī)定了參數(shù)在各參與方本地的形成過程，形成的參數(shù)可能是密鑰、隨機數(shù)，甚至是經(jīng)過加密的原始數(shù)據(jù)。若這些參數(shù)沒有經(jīng)過一定程度的安全處理，半誠實12聯(lián)邦學習應(yīng)用安全研究報告（2023

年）的參與方往往會借此推導(dǎo)出其他參與方的敏感數(shù)據(jù)，從而造成數(shù)據(jù)泄露。在時序上，協(xié)議規(guī)定了各類參數(shù)在各參與方之間交互的時機和順序。各類參數(shù)之間存在著一定的依賴關(guān)系，前一個參數(shù)往往是后一個參數(shù)形成的計算條件，時序的錯誤一方面可能會造成聯(lián)邦協(xié)作過程無法繼續(xù)，另一方面，混亂的密鑰分配、滯后的安全保護措施等都會帶來安全風險。因此，多方交互過程是出現(xiàn)數(shù)據(jù)泄露安全風險的重災(zāi)區(qū)，嚴謹?shù)亩喾浇换f(xié)議對確保聯(lián)邦學習安全起著至關(guān)重要的作用。從聯(lián)邦學習的結(jié)果保護方面看，對結(jié)果聚合的疏于防護也是引發(fā)數(shù)據(jù)泄露風險的重要原因。在部分聯(lián)邦學習應(yīng)用中，需要由協(xié)調(diào)方對各參與方在本地產(chǎn)生的中間結(jié)果進行聚合運算，中間結(jié)果包括每輪迭代的模型參數(shù)、各參與方的本地預(yù)測結(jié)果參數(shù)等。這些中間結(jié)果屬于敏感數(shù)據(jù)，倘若沒有一定措施對其進行保護，中間結(jié)果與最終結(jié)果等敏感數(shù)據(jù)會直接暴露給部署了協(xié)調(diào)方程序的第三方，半誠實的第三方可能會利用中間結(jié)果，通過推導(dǎo)的方式獲知用戶的原始數(shù)據(jù)。在模型訓練和模型預(yù)測環(huán)節(jié)存在著較多的結(jié)果聚合場景，這使得結(jié)果類數(shù)據(jù)泄露的風險集中出現(xiàn)在這兩個環(huán)節(jié)中。例如，在FedAvg

算法

4

的橫向聯(lián)邦學習的訓練環(huán)節(jié)中，各參與方會將每一輪迭代的梯度或模型參數(shù)結(jié)果上傳到第三方進行加和平均；再如，在縱向聯(lián)邦學習的模型預(yù)測環(huán)節(jié)中，部分應(yīng)用將各參與方本地的預(yù)測結(jié)果匯總至第三方聚合以獲得最終預(yù)測結(jié)果。上述結(jié)果聚合過程中，若未采取同態(tài)加密等措施，那么便可能出現(xiàn)結(jié)果類數(shù)據(jù)暴露給第三13聯(lián)邦學習應(yīng)用安全研究報告（2023

年）方的問題。因此如何安全地進行結(jié)果聚合應(yīng)是聯(lián)邦學習應(yīng)用關(guān)注的重點問題之一。(二)

聯(lián)邦學習應(yīng)用安全風險的隱蔽性高聯(lián)邦學習應(yīng)用的安全風險不僅類型多、分布廣，而且這些安全風險也具備隱蔽性高的特點，其原因可以從下述兩方面分析。一方面，聯(lián)邦學習應(yīng)用中多方交互的高復(fù)雜性造成了其安全風險不易被發(fā)現(xiàn)。聯(lián)邦學習比集中式機器學習增加了分布式過程，其針對集中式機器學習的各類算法進行了拆分改造，并且將拆分后的計算參數(shù)分布到各參與方進行計算，同時通過多方交互的方式來滿足各拆分后參數(shù)的計算所需條件，從而完成計算。拆分后的計算參數(shù)在各參與方之間進行流轉(zhuǎn)，參與方的當前狀態(tài)亦隨時序的變化而變化，在特定時刻下，不易確定參與方是否可根據(jù)其自身狀態(tài)推導(dǎo)出其他參與方的敏感數(shù)據(jù)，因此其中的安全風險具有很強的隱蔽性。例如，在聯(lián)邦學習的特征處理過程中，非標簽擁有方可通過看似“無害”的

woe/iv

明文結(jié)合自身已有數(shù)據(jù)，推導(dǎo)出標簽擁有方的敏感數(shù)據(jù)，該風險隱藏在復(fù)雜的算法邏輯和數(shù)學推導(dǎo)之下，使得其難以被發(fā)現(xiàn)。因此聯(lián)邦交互過程的復(fù)雜性為安全風險提供了“掩護”。另一方面，聯(lián)邦學習應(yīng)用不易進行安全審計，也是其安全風險隱蔽性高的重要原因。聯(lián)邦學習應(yīng)用中大量采用了密碼技術(shù)，這些加密措施保護了聯(lián)邦學習應(yīng)用的多方交互過程的同時，也使流轉(zhuǎn)的參數(shù)經(jīng)歷了復(fù)雜的數(shù)學變形，改變了其原有形態(tài)。在這種情況下，14聯(lián)邦學習應(yīng)用安全研究報告（2023

年）使用常規(guī)審計手段難以復(fù)原聯(lián)邦學習過程的原貌，從而造成了聯(lián)邦學習應(yīng)用安全審計的困難。同時，聯(lián)邦學習是跨分布式計算、機器學習、密碼學等多領(lǐng)域的融合應(yīng)用，對安全審計人員的知識背景要求極高。目前企業(yè)安全部門中，兼具這些知識背景的安全審計人員較少，開展專業(yè)的聯(lián)邦學習審計活動比較困難。因此，聯(lián)邦學習過程是否按照“原始設(shè)計”無誤進行、操作人員是否執(zhí)行了不安全的操作、參與方是否存在惡意攻擊的行為等等安全問題，變得不易發(fā)現(xiàn)和評估。(三)

協(xié)調(diào)方的存在為聯(lián)邦學習應(yīng)用帶來了安全方面的不確定因素中心化架構(gòu)在當下的眾多聯(lián)邦學習產(chǎn)品中占據(jù)較大比例，采用該架構(gòu)的應(yīng)用使用協(xié)調(diào)方（中央服務(wù)器）協(xié)助完成聯(lián)邦學習的全過程。協(xié)調(diào)方的引入為聯(lián)邦學習應(yīng)用帶來了安全方面的不確定性，體現(xiàn)在如下三個方面。一是將敏感數(shù)據(jù)暴露給第三方是潛在的安全隱患。聯(lián)邦學習過程中，原則上由第三方擔任協(xié)調(diào)方角色。如此，作為協(xié)調(diào)方的第三方便承擔著密鑰分發(fā)、參數(shù)聚合等任務(wù)，其在服務(wù)的過程中可能會接觸到密鑰、模型參數(shù)等敏感數(shù)據(jù)。一旦多方交互協(xié)議設(shè)計不當或第三方存在不誠實行為，極易出現(xiàn)第三方獲取敏感數(shù)據(jù)的情況。同時，也存在著不誠實第三方與某些參與方利用自身參數(shù)合謀獲取隱私數(shù)據(jù)的情況。因此，讓第三方接觸敏感數(shù)據(jù)是潛在的安全風險。15聯(lián)邦學習應(yīng)用安全研究報告（2023

年）二是目前現(xiàn)實中難以找到誠實可信的第三方擔任協(xié)調(diào)方角色。絕對誠實的第三方，不會竊取隱私數(shù)據(jù)，是理想狀態(tài)下協(xié)調(diào)方角色的擔當。然而，現(xiàn)實中尚無誠實第三方的認定標準，難以對第三方進行有效的可信認定。因此，盲目的引入第三方，一方面可能會出現(xiàn)數(shù)據(jù)泄漏等安全風險，另一方面也可能會帶來安全合規(guī)方面的問題。三是協(xié)調(diào)方程序的部署易受到機構(gòu)間合作關(guān)系的影響而導(dǎo)致潛在安全風險。在機構(gòu)間的聯(lián)邦學習合作中，可能會出現(xiàn)話語權(quán)不對等的問題。譬如，機構(gòu)體量、數(shù)據(jù)量、數(shù)據(jù)價值等方面的差異，導(dǎo)致在聯(lián)邦學習合作中出現(xiàn)優(yōu)勢方。部分優(yōu)勢方為避免引入第三方而產(chǎn)生的安全隱患，而選擇將協(xié)調(diào)方程序部署到自身一側(cè)。如此，優(yōu)勢方同時擁有了參與方程序與協(xié)調(diào)方程序，若優(yōu)勢方是不誠實或半誠實的，則其可能會結(jié)合兩種角色程序所產(chǎn)生的中間參數(shù)，利用數(shù)據(jù)推導(dǎo)等手段，竊取其他方的敏感數(shù)據(jù)。這種部署方式保證了優(yōu)勢方在一定程度上的數(shù)據(jù)安全，卻使其他參與方存在敏感數(shù)據(jù)泄露的安全風險。因此，機構(gòu)間的合作關(guān)系不對等可能會成為聯(lián)邦學習應(yīng)用安全風險出現(xiàn)的誘因。(四)

聯(lián)邦學習應(yīng)用的安全保護強度與性能要求在一定程度上相互制約聯(lián)邦學習在應(yīng)用中通常會使用密碼等技術(shù)手段對多方交互的過程進行保護，而這些保護措施的強度往往與實際中的性能要求存在16聯(lián)邦學習應(yīng)用安全研究報告（2023

年）著相互牽制的關(guān)系。一方面，高強度的安全保護往往制約了聯(lián)邦學習應(yīng)用的性能。在通信開銷上，大部分聯(lián)邦學習應(yīng)用對多方交互中產(chǎn)生的中間參數(shù)進行了加密，這使多方交互過程相對于明文交互，增加了密鑰分發(fā)、加密、解密等過程，從而使聯(lián)邦學習整體的通信成本增加；同時，在密碼體系中，安全參數(shù)代表著加密的安全保護強度，安全參數(shù)越大，安全保護強度越強，在通常情況下，密文的體量不僅較明文會有明顯增加，而且會隨著安全參數(shù)的增大而增大。以訓練

DNN（深度神經(jīng)網(wǎng)絡(luò)）模型為例，生產(chǎn)環(huán)境的

DNN

模型往往擁有數(shù)百萬個參數(shù)，且該類模型在聯(lián)邦學習中的通信成本會隨著迭代倫次的增加而持續(xù)增大，因而在此基礎(chǔ)上的密文通信將會是巨大的開銷。在計算效率上，密碼技術(shù)帶來了加密、解密、密態(tài)運算等過程，而這些過程包含了大量的取模和冪等高復(fù)雜度計算，開銷相對較大，并且安全參數(shù)的增大會使此開銷進一步增加。因此安全保護強度會對聯(lián)邦學習應(yīng)用的性能有一定的影響。另一方面，可用性要求迫使聯(lián)邦學習應(yīng)用在實際應(yīng)用中降低部分安全配置。某些情況下，高級別的安全配置將使聯(lián)邦學習應(yīng)用的性能下降，甚至陷入“不可用”的狀態(tài)，設(shè)計者不得不降低安全配置，以獲得安全性與性能的平衡。以縱向聯(lián)邦學習中的聯(lián)邦數(shù)據(jù)對齊環(huán)節(jié)為例，絕大多數(shù)聯(lián)邦學習應(yīng)用為避免重復(fù)運算，在整體設(shè)計上進行了解耦，將數(shù)據(jù)對齊環(huán)節(jié)設(shè)計成獨立的功能模塊，使其能夠進行獨立運算、獨立存儲。而縱向場景下的聯(lián)邦數(shù)據(jù)對齊實質(zhì)上是17聯(lián)邦學習應(yīng)用安全研究報告（2023

年）對各參與方數(shù)據(jù)集中樣本

ID

的聯(lián)合求交。如此，在運算結(jié)束后，各參與方均可獲得樣本

ID

的交集，并可根據(jù)該

ID

交集及自身的已有數(shù)據(jù)推導(dǎo)出對方的用戶群體數(shù)據(jù)，從而造成用戶群體數(shù)據(jù)的暴露。反之，若將數(shù)據(jù)對齊環(huán)節(jié)與模型訓練環(huán)節(jié)集成起來，樣本交集以密文中間參數(shù)的形式繼續(xù)加入運算，即可避免上述的數(shù)據(jù)泄露風險。然而，此舉一方面使數(shù)據(jù)對齊的結(jié)果難以被重復(fù)利用，另一方面對規(guī)模巨大的樣本交集進行密態(tài)計算，將極大增加計算性能開銷，甚至可能使功能陷于癱瘓。因此，在實際應(yīng)用中，當技術(shù)手段無法解決安全與性能的矛盾時，犧牲部分安全性以換取性能上的“可用”便成了無奈之舉。安全與性能呈現(xiàn)出相互制約的關(guān)系，如何解決二者的矛盾仍是當下聯(lián)邦學習應(yīng)用面臨的嚴峻問題。(五)

聯(lián)邦學習應(yīng)用安全相關(guān)標準尚未健全聯(lián)邦學習技術(shù)多應(yīng)用于數(shù)據(jù)生命周期的共享階段，目前聯(lián)邦學習應(yīng)用安全相關(guān)的國家/行業(yè)標準較少，行業(yè)亟需標準化文件的規(guī)范和指導(dǎo)。當下各類聯(lián)邦學習應(yīng)用對安全尺度的把控不統(tǒng)一。對于聯(lián)邦學習應(yīng)用的設(shè)計者和使用者而言，是否可以降低安全尺度以提高性能、在特定場景下該采取何種安全強度，這些均是聯(lián)邦學習設(shè)計和使用過程中的關(guān)鍵問題，這些問題答案的不統(tǒng)一，使目前各類聯(lián)邦學習產(chǎn)品、系統(tǒng)、平臺等形式的應(yīng)用各自為戰(zhàn)，為數(shù)據(jù)應(yīng)用帶來極大的安全隱患。因此，需要有標準化文件對聯(lián)邦學習應(yīng)用的各環(huán)節(jié)的安18聯(lián)邦學習應(yīng)用安全研究報告（2023

年）全尺度進行規(guī)范指導(dǎo)。同時，當下已發(fā)布的安全標準主要集中于產(chǎn)品的安全要求上，聯(lián)邦學習應(yīng)用部署、運營階段的安全標準較少。聯(lián)邦學習應(yīng)用的部署、運營不當，會使數(shù)據(jù)安全風險出現(xiàn)于管理環(huán)節(jié)。例如，在無身份、權(quán)限的管理機制的情況下，操作人員可能會接觸到其不應(yīng)訪問到的數(shù)據(jù)。因此，健全、加速聯(lián)邦學習應(yīng)用安全的標準化建設(shè)十分必要。四、聯(lián)邦學習應(yīng)用安全的學界研究現(xiàn)狀(一)

偏重于惡意安全環(huán)境下的安全研究相較于聯(lián)邦學習在工業(yè)界的應(yīng)用，學界的研究更具有前瞻性。在研究對象上，工業(yè)界的實踐主要以

toB

的聯(lián)邦學習應(yīng)用為主，學界則更加關(guān)注性能、安全等方面技術(shù)要求更高的

toC

聯(lián)邦學習應(yīng)用。相應(yīng)的，在安全方面，研究也更偏重于與

toC

場景安全要求相適配的惡意環(huán)境下的安全攻防。目前，安全研究可大致分為三大類：投毒攻擊、對抗攻擊與合謀攻擊的相關(guān)研究。投毒攻擊是指聯(lián)邦學習中的惡意的參與方對訓練集進行惡意操縱，例如向訓練集中插入精心制作的惡意樣本，從而改變訓練數(shù)據(jù)的分布，以達到破壞訓練過程或結(jié)果的目的，其種類包括了數(shù)據(jù)投毒、模型投毒、后門投毒等。在存在多方訓練集參與的聯(lián)邦學習中，相較集中式機器學習，攻擊面更大，威脅更甚。學界提出了基于數(shù)據(jù)清洗、異常性探測等防御方法，以針對投毒攻擊進行防御。這些19聯(lián)邦學習應(yīng)用安全研究報告（2023

年）基于攻擊檢測的方法存在一定的誤報或漏報，提高攻擊發(fā)現(xiàn)的準確率是未來研究的重點方向。對抗攻擊是指聯(lián)邦學習中的惡意參與方對輸入樣本添加一些難以察覺的細微干擾，導(dǎo)致全局模型以高置信度給出一個錯誤的輸出，通過這種干擾，惡意參與方可在聯(lián)邦學習中發(fā)動無形的對抗攻擊，其他參與方無法提前預(yù)判對抗攻擊的時機和方式。對抗攻擊具有較強的隱蔽性，對此，學界提出了防御蒸餾、梯度正則化等防御方法。這些方法旨在提高模型的泛化能力，取得了良好的防御效果。合謀攻擊指的是多個聯(lián)邦學習的惡意參與方相互掩飾聯(lián)合破壞聯(lián)邦學習的過程與結(jié)果。惡意參與方可利用自身資源為其他惡意參與方提供攻擊便利，從而對聯(lián)邦學習計算、通信等多個層面進行破壞，具有較強的破化性。為應(yīng)對該攻擊，學界提出了收斂異常檢測、指紋嵌入等防御手段。這些防御手段多偏重于對合謀攻擊的發(fā)現(xiàn)和攻擊者的識別，如何提高識別的準確率并實時阻斷依然是學界面臨的嚴峻挑戰(zhàn)。(二)

如何優(yōu)化性能是熱門研究方向聯(lián)邦學習應(yīng)用的性能與安全存在著相互制約的關(guān)系，性能優(yōu)化技術(shù)的進步可以為更強的安全措施提供計算資源上的冗余，因此如何優(yōu)化聯(lián)邦學習的性能一直是學界的研究熱點。影響聯(lián)邦學習性能的主要因素包括通信性能和運算性能，其中，通信效率低是現(xiàn)階段制約聯(lián)邦學習發(fā)展最嚴重的問題。學界主要以20聯(lián)邦學習應(yīng)用安全研究報告（2023

年）如下幾個思路開展研究，一是通過減少全局模型訓練的迭代輪數(shù)，從而優(yōu)化通信的效率。例如，進行更多的本地模型參數(shù)更新等，這種方式減少了各客戶端節(jié)點向中央服務(wù)器通信的次數(shù)，但未解決單次迭代導(dǎo)致的信道擁堵問題。二是使用參數(shù)的壓縮技術(shù)，例如對梯度、模型參數(shù)進行量化與稀疏化等，這種方式減少交互信息的長度，但可能會損失一定的訓練精度。三是采用分散式的拓撲結(jié)構(gòu)，例如，去中心化拓撲、分層式拓撲等，這種方式能夠減少客戶端節(jié)點與中央服務(wù)器的高交互開銷，解決了各節(jié)點與中央服務(wù)器的信道擁堵問題。五、聯(lián)邦學習應(yīng)用安全發(fā)展建議(一)

加速聯(lián)邦學習應(yīng)用安全的標準化建設(shè)在聯(lián)邦學習應(yīng)用于各行業(yè)已有初步實踐的背景下，盡快健全聯(lián)邦學習應(yīng)用安全相關(guān)標準。一是出臺基于行業(yè)細分的聯(lián)邦學習應(yīng)用安全技術(shù)類標準。當下聯(lián)邦學習技術(shù)已在金融、電信、互聯(lián)網(wǎng)、能源等多個行業(yè)得到了應(yīng)用，一方面針對聯(lián)邦學習應(yīng)用相對較成熟的行業(yè)，出臺本行業(yè)的技術(shù)安全應(yīng)用的要求和規(guī)范類標準，幫助行業(yè)內(nèi)企業(yè)把控聯(lián)邦學習應(yīng)用的安全尺度；另一方面，針對尚處于聯(lián)邦學習應(yīng)用探索階段的行業(yè)，出臺本行業(yè)的聯(lián)邦學習安全方面的指南和方法類標準文件，以指導(dǎo)行業(yè)內(nèi)企業(yè)搭建具備該行業(yè)特征的安全聯(lián)邦學習應(yīng)用。二是出臺聯(lián)邦學習應(yīng)用安全部署、運營的規(guī)范類標準。以標準21聯(lián)邦學習應(yīng)用安全研究報告（2023

年）化的方式來解決聯(lián)邦學習應(yīng)用在部署、運營環(huán)節(jié)所面臨的諸多問題，例如，聯(lián)邦學習的協(xié)調(diào)方程序應(yīng)在何處部署、如何確保擔任協(xié)調(diào)方角色的第三方誠實可信、系統(tǒng)平臺的用戶域與運維域該如何進行隔離、產(chǎn)品應(yīng)用在物理機環(huán)境或云環(huán)境下部署的安全要求是否相同等等。為進一步推動聯(lián)邦學習技術(shù)的深化落地提供有力保