聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023年）

****研究報(bào)告（2020

年）聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告(2023

年)中國(guó)信息通信研究院安全研究所2023年12月1版

權(quán)

聲

明本報(bào)告版權(quán)屬于中國(guó)信息通信研究院，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報(bào)告文字或者觀(guān)點(diǎn)的，應(yīng)注明“來(lái)源：中國(guó)信息通信研究院”。違反上述聲明者，編者將追究其相關(guān)法律責(zé)任。前

言“數(shù)據(jù)孤島”，是數(shù)據(jù)為“王”的時(shí)代的一個(gè)不可被忽視的現(xiàn)象，各組織機(jī)構(gòu)的數(shù)據(jù)如同大洋上的島嶼，隔海相望、孤立無(wú)援。這種現(xiàn)象來(lái)源于組織機(jī)構(gòu)對(duì)敏感數(shù)據(jù)域外共享的數(shù)據(jù)安全擔(dān)憂(yōu)，隨著數(shù)據(jù)安全法律法規(guī)日趨嚴(yán)格，各組織機(jī)構(gòu)難以承擔(dān)數(shù)據(jù)泄露所帶來(lái)的嚴(yán)重后果，使數(shù)據(jù)既出不去，也進(jìn)不來(lái)。在追求數(shù)據(jù)要素高效高質(zhì)流通的當(dāng)下，“數(shù)據(jù)孤島”現(xiàn)象無(wú)疑是數(shù)據(jù)要素市場(chǎng)化建設(shè)進(jìn)程中的障礙，于是“原始數(shù)據(jù)不出域，數(shù)據(jù)可用不可見(jiàn)”的新范式被提出，聯(lián)邦學(xué)習(xí)也作為能夠?qū)崿F(xiàn)該范式的代表技術(shù)之一，得到了快速的發(fā)展。聯(lián)邦學(xué)習(xí)技術(shù)可避免原始數(shù)據(jù)流出本地，轉(zhuǎn)而通過(guò)“本地存儲(chǔ)

+

分布式學(xué)習(xí)”的聯(lián)合機(jī)器學(xué)習(xí)建模方式完成多方數(shù)據(jù)價(jià)值的釋放，很好地解決了數(shù)據(jù)流通與數(shù)據(jù)安全之間的矛盾。聯(lián)邦學(xué)習(xí)作為能夠打破“數(shù)據(jù)孤島”的有力技術(shù)工具，為實(shí)現(xiàn)保障數(shù)據(jù)安全流通的初衷，仍然需要確保其自身的各屬性的安全可靠。本研究報(bào)告著眼于聯(lián)邦學(xué)習(xí)技術(shù)產(chǎn)品、系統(tǒng)、平臺(tái)等形式的應(yīng)用的安全，介紹了聯(lián)邦學(xué)習(xí)應(yīng)用的安全現(xiàn)狀，分析了聯(lián)邦學(xué)習(xí)在應(yīng)用中面臨的安全問(wèn)題，并針對(duì)以上痛點(diǎn)問(wèn)題，提出了聯(lián)邦學(xué)習(xí)應(yīng)用的未來(lái)發(fā)展建議。本報(bào)告的編寫(xiě)得到了不少業(yè)界同仁的大力支持，希望本報(bào)告能為社會(huì)各界深入了解聯(lián)邦學(xué)習(xí)應(yīng)用安全的現(xiàn)狀與發(fā)展提供有價(jià)值的參考。目

錄版權(quán)聲明........................................................................................................................1一、

聯(lián)邦學(xué)習(xí)概述......................................................................................................1(一)

背景................................................................................................................1(二)

聯(lián)邦學(xué)習(xí)技術(shù)體系........................................................................................2二、

聯(lián)邦學(xué)習(xí)應(yīng)用概況..............................................................................................4(一)

跨機(jī)構(gòu)應(yīng)用是國(guó)內(nèi)聯(lián)邦學(xué)習(xí)應(yīng)用的主要形態(tài)............................................4(二)

中心化架構(gòu)在聯(lián)邦學(xué)習(xí)產(chǎn)品中占比最多....................................................5(三)

半誠(chéng)實(shí)敵手環(huán)境是當(dāng)下聯(lián)邦學(xué)習(xí)主要的應(yīng)用環(huán)境....................................7(四)

密碼技術(shù)是當(dāng)下聯(lián)邦學(xué)習(xí)產(chǎn)品的主要安全保護(hù)技術(shù)................................9三、

聯(lián)邦學(xué)習(xí)應(yīng)用安全現(xiàn)狀與問(wèn)題分析................................................................11(一)

數(shù)據(jù)泄露類(lèi)風(fēng)險(xiǎn)是聯(lián)邦學(xué)習(xí)產(chǎn)品最易出現(xiàn)的安全風(fēng)險(xiǎn)..........................11(二)

聯(lián)邦學(xué)習(xí)應(yīng)用安全風(fēng)險(xiǎn)的隱蔽性高..........................................................14(三)

協(xié)調(diào)方的存在為聯(lián)邦學(xué)習(xí)應(yīng)用帶來(lái)了安全方面的不確定因素..............15(四)

聯(lián)邦學(xué)習(xí)應(yīng)用的安全保護(hù)強(qiáng)度與性能要求在一定程度上相互制約......16(五)

聯(lián)邦學(xué)習(xí)應(yīng)用安全相關(guān)標(biāo)準(zhǔn)尚未健全......................................................18四、

聯(lián)邦學(xué)習(xí)應(yīng)用安全學(xué)界研究現(xiàn)狀....................................................................19(一)

偏重于惡意安全環(huán)境下的安全研究..........................................................19(二)

如何優(yōu)化性能是熱門(mén)研究方向..................................................................20五、

聯(lián)邦學(xué)習(xí)應(yīng)用安全發(fā)展建議............................................................................21(一)

加速聯(lián)邦學(xué)習(xí)應(yīng)用安全的標(biāo)準(zhǔn)化建設(shè)......................................................21(二)

加強(qiáng)聯(lián)邦學(xué)習(xí)應(yīng)用安全的研究..................................................................22(三)

推動(dòng)聯(lián)邦學(xué)習(xí)應(yīng)用安全的基礎(chǔ)設(shè)施建設(shè)..................................................23圖

目

錄圖

1

聯(lián)邦學(xué)習(xí)架構(gòu)....................................................................................................4圖

2

聯(lián)邦學(xué)習(xí)產(chǎn)品架構(gòu)總體分布統(tǒng)計(jì)....................................................................6圖

3

不同場(chǎng)景中的聯(lián)邦學(xué)習(xí)產(chǎn)品架構(gòu)分布統(tǒng)計(jì)....................................................7圖

4

聯(lián)邦學(xué)習(xí)產(chǎn)品安全保護(hù)技術(shù)使用占比統(tǒng)計(jì)..................................................10圖

5

聯(lián)邦學(xué)產(chǎn)品安全風(fēng)險(xiǎn)占比統(tǒng)計(jì)（半誠(chéng)實(shí)環(huán)境）..........................................

11圖

6

聯(lián)邦學(xué)習(xí)產(chǎn)品安全風(fēng)險(xiǎn)分布統(tǒng)計(jì)（半誠(chéng)實(shí)環(huán)境）......................................12表

目

錄表

1

聯(lián)邦學(xué)習(xí)應(yīng)用分類(lèi)............................................................................................3表

2

聯(lián)邦學(xué)習(xí)應(yīng)用的安全假設(shè)................................................................................8聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）一、聯(lián)邦學(xué)習(xí)概述（一）背景在數(shù)據(jù)價(jià)值被充分重視的大數(shù)據(jù)時(shí)代，數(shù)據(jù)流通成為了數(shù)據(jù)價(jià)值釋放的重要步驟。2022

年

1

月

6

日國(guó)務(wù)院辦公廳印發(fā)的《要素市場(chǎng)化配置綜合改革試點(diǎn)總體方案》提出了要探索“原始數(shù)據(jù)不出域、數(shù)據(jù)可用不可見(jiàn)”的數(shù)據(jù)交易范式。聯(lián)邦學(xué)習(xí)技術(shù)是實(shí)現(xiàn)該交易范式的典型代表技術(shù)之一，具有巨大的發(fā)展?jié)摿Α＝陙?lái)，聯(lián)邦學(xué)習(xí)的應(yīng)用實(shí)踐正在不斷落地，其實(shí)用性已經(jīng)得到了反復(fù)印證。聯(lián)邦學(xué)習(xí)作為數(shù)據(jù)流通領(lǐng)域的重要技術(shù)應(yīng)用，一旦其出現(xiàn)安全問(wèn)題，則保護(hù)數(shù)據(jù)的初衷將無(wú)法實(shí)現(xiàn)。因此，聯(lián)邦學(xué)習(xí)的使用者對(duì)其安全性要求普遍較高。目前，聯(lián)邦學(xué)習(xí)多被用于金融、醫(yī)療、政務(wù)等行業(yè)

1，這些行業(yè)對(duì)數(shù)據(jù)安全及個(gè)人隱私保護(hù)有著嚴(yán)格要求，一旦聯(lián)邦學(xué)習(xí)應(yīng)用的安全性存疑，數(shù)據(jù)系統(tǒng)將面臨著數(shù)據(jù)泄露的風(fēng)險(xiǎn)，并可能對(duì)企業(yè)或組織機(jī)構(gòu)造成巨大損失。近年來(lái)，聯(lián)邦學(xué)習(xí)安全已經(jīng)得到了學(xué)界的高度重視。從研究熱度上看，在

2016

年至

2022

年的區(qū)間內(nèi)，聯(lián)邦學(xué)習(xí)安全方面的論文數(shù)量持續(xù)增加1，整體研究熱度呈現(xiàn)上升的趨勢(shì)。從研究廣度上看，聯(lián)邦學(xué)習(xí)安全方面的研究主題已經(jīng)涵蓋了惡意攻擊、網(wǎng)絡(luò)安全、隱私泄漏、容錯(cuò)、以及與其他隱私保護(hù)技術(shù)融合應(yīng)用等多個(gè)領(lǐng)域

1。聯(lián)邦學(xué)習(xí)應(yīng)用的安全風(fēng)險(xiǎn)發(fā)現(xiàn)和防御理論持續(xù)得到更新。1

AM，2023

全球聯(lián)邦學(xué)習(xí)研究與應(yīng)用趨勢(shì)報(bào)告，20231聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）（二）聯(lián)邦學(xué)習(xí)技術(shù)體系聯(lián)邦學(xué)習(xí)的概念最初在

2016

年由谷歌提出，經(jīng)過(guò)一段時(shí)間的發(fā)展，有了比較明確的定義——“聯(lián)邦學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的形式，這種形式中多個(gè)實(shí)體（客戶(hù)端）在中央服務(wù)器或服務(wù)提供商的協(xié)調(diào)下協(xié)作解決機(jī)器學(xué)習(xí)問(wèn)題。每個(gè)客戶(hù)端的原始數(shù)據(jù)都存儲(chǔ)在本地，不進(jìn)行交換或傳輸，并以聚合更新的方式達(dá)成學(xué)習(xí)目標(biāo)”2。它的出現(xiàn)打破了傳統(tǒng)機(jī)器學(xué)習(xí)的集中式數(shù)據(jù)訓(xùn)練模式，各組織、機(jī)構(gòu)的原始數(shù)據(jù)不必流出本地，各自使用本地原始數(shù)據(jù)參與模型訓(xùn)練，通過(guò)迭代、聚合等過(guò)程最終得到全局模型。同時(shí)，各組織、機(jī)構(gòu)、設(shè)備間的交互被以保護(hù)隱私為目標(biāo)而精心設(shè)計(jì)，使得聯(lián)邦學(xué)習(xí)應(yīng)用可以在保護(hù)隱私的前提下，完成多方數(shù)據(jù)聯(lián)合建模的任務(wù)。聯(lián)邦學(xué)習(xí)可以從以下三個(gè)維度進(jìn)行分類(lèi)，如表

1

所示。一是，根據(jù)參與方的性質(zhì)，聯(lián)邦學(xué)習(xí)可劃分為跨機(jī)構(gòu)（cross-silo）聯(lián)邦學(xué)習(xí)和跨設(shè)備(cross-device)聯(lián)邦學(xué)習(xí)?？鐧C(jī)構(gòu)聯(lián)邦學(xué)習(xí)指不同組織、機(jī)構(gòu)之間，或者地理分離的數(shù)據(jù)中心之間的聯(lián)邦學(xué)習(xí)，其特點(diǎn)是參與方數(shù)量少，各方的數(shù)據(jù)規(guī)模、質(zhì)量等方面相對(duì)一致，技術(shù)實(shí)現(xiàn)相對(duì)簡(jiǎn)單；跨設(shè)備聯(lián)邦學(xué)習(xí)指大量移動(dòng)通信設(shè)備或物聯(lián)網(wǎng)終端、邊緣計(jì)算設(shè)備等之間的多方數(shù)據(jù)建模模式，其特點(diǎn)是參與方數(shù)量規(guī)模巨大，且各方的數(shù)據(jù)質(zhì)量以及所處的網(wǎng)絡(luò)、硬件環(huán)境相差較大，因此需考慮數(shù)據(jù)不平衡、設(shè)備性能不平衡、網(wǎng)絡(luò)性能差等問(wèn)題，實(shí)現(xiàn)難度較大。二是，根據(jù)多方訓(xùn)練數(shù)據(jù)樣本和特征空間的異2

Peter

Kairouz，H.

Brendan

McMahan

等，Advances

and

Open

Problems

in

Federated

Learning，20192聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）同，聯(lián)邦學(xué)習(xí)可劃分為橫向應(yīng)用與縱向應(yīng)用。在橫向應(yīng)用中，各參與方數(shù)據(jù)集的特征相同，而樣本不同，其“橫向”擴(kuò)展了訓(xùn)練數(shù)據(jù)的樣本空間?？v向應(yīng)用則與橫向應(yīng)用相反，各參與方的數(shù)據(jù)擁有相同的樣本空間，但在特征上各不相同，縱向應(yīng)用實(shí)現(xiàn)了訓(xùn)練數(shù)據(jù)特征空間的“縱向”擴(kuò)展。三是，根據(jù)技術(shù)架構(gòu)的不同，聯(lián)邦學(xué)習(xí)可以劃分成中心化架構(gòu)和去中心化架構(gòu)。中心化架構(gòu)中需要中央服務(wù)器作為協(xié)調(diào)方協(xié)助完成聯(lián)邦學(xué)習(xí)過(guò)程，中央服務(wù)器及協(xié)調(diào)方程序通常部署于誠(chéng)實(shí)的第三方中。去中心化架構(gòu)中則沒(méi)有處于中心地位、用以協(xié)調(diào)的第三方，如圖

1

所示。表

1

聯(lián)邦學(xué)習(xí)應(yīng)用分類(lèi)樣本和特征維度參與方技術(shù)架構(gòu)空間分類(lèi)

跨機(jī)構(gòu)

跨設(shè)備

橫向

縱向

中心化

去中心化架構(gòu)來(lái)源：中國(guó)信息通信研究院3聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）中心化架構(gòu)舉例客戶(hù)端

1去中心化架構(gòu)舉例客戶(hù)端客戶(hù)端

2客戶(hù)端

3中央服務(wù)器客戶(hù)端客戶(hù)端......客戶(hù)端

n客戶(hù)端客戶(hù)端來(lái)源：中國(guó)信息通信研究院圖

1

聯(lián)邦學(xué)習(xí)架構(gòu)二、聯(lián)邦學(xué)習(xí)應(yīng)用概況聯(lián)邦學(xué)習(xí)應(yīng)用已在我國(guó)多個(gè)行業(yè)落地實(shí)踐，在此背景下，中國(guó)信息通信研究院安全研究所（以下簡(jiǎn)稱(chēng)安全所）于

2021

年至

2023年間開(kāi)展了聯(lián)邦學(xué)習(xí)安全測(cè)評(píng)活動(dòng)（以下簡(jiǎn)稱(chēng)“活動(dòng)”），對(duì)

40

余款聯(lián)邦學(xué)習(xí)產(chǎn)品進(jìn)行了安全測(cè)評(píng)。同時(shí)期，中國(guó)信通院也針對(duì)

20

余項(xiàng)聯(lián)邦學(xué)習(xí)產(chǎn)品或應(yīng)用進(jìn)行了安全性調(diào)研（以下簡(jiǎn)稱(chēng)“調(diào)研”）。本報(bào)告以本次“活動(dòng)”與“調(diào)研”中積累的數(shù)據(jù)為基礎(chǔ)，從聯(lián)邦學(xué)習(xí)的應(yīng)用情況、存在的安全風(fēng)險(xiǎn)、技術(shù)保障措施等方面分析了當(dāng)下聯(lián)邦學(xué)習(xí)技術(shù)的應(yīng)用現(xiàn)狀。(一)

跨機(jī)構(gòu)應(yīng)用是國(guó)內(nèi)聯(lián)邦學(xué)習(xí)應(yīng)用的主要形態(tài)目前國(guó)內(nèi)聯(lián)邦學(xué)習(xí)應(yīng)用需求主要來(lái)自金融、醫(yī)療、政務(wù)等行業(yè)3，實(shí)現(xiàn)的是跨“孤島”的聯(lián)合建模，即跨機(jī)構(gòu)的聯(lián)邦學(xué)習(xí)?？鐧C(jī)構(gòu)聯(lián)3

中國(guó)信息通信研究院，數(shù)據(jù)價(jià)值釋放與隱私保護(hù)計(jì)算應(yīng)用研究報(bào)告，20214聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）邦學(xué)習(xí)應(yīng)用的參與方數(shù)量少，相應(yīng)的計(jì)算和通信壓力相對(duì)較小，且成功的數(shù)據(jù)共享是各參與方的共同需求，在聯(lián)合建模過(guò)程中各參與方為達(dá)成共同目標(biāo)通常不會(huì)主動(dòng)發(fā)起攻擊行為，因而其對(duì)性能和安全性方面的技術(shù)要求相對(duì)較低，當(dāng)下的聯(lián)邦學(xué)習(xí)技術(shù)已可滿(mǎn)足跨機(jī)構(gòu)應(yīng)用的大部分技術(shù)要求，這使得跨機(jī)構(gòu)的聯(lián)邦學(xué)習(xí)應(yīng)用能夠獲得相對(duì)廣泛的落地。相反，在跨設(shè)備的聯(lián)邦學(xué)習(xí)應(yīng)用中，參與方數(shù)量巨大，應(yīng)用對(duì)計(jì)算效率、通信開(kāi)銷(xiāo)、安全防御等方面的要求更高。而現(xiàn)有技術(shù)在這些方面仍顯不足，不能滿(mǎn)足該類(lèi)應(yīng)用的高性能計(jì)算、低通信開(kāi)銷(xiāo)的要求，也難以應(yīng)對(duì)惡意設(shè)備的投毒與攻擊。技術(shù)上的不足使聯(lián)邦學(xué)習(xí)實(shí)踐難以向跨設(shè)備應(yīng)用方面擴(kuò)展。因此，跨機(jī)構(gòu)應(yīng)用成為了目前聯(lián)邦學(xué)習(xí)應(yīng)用最主要的應(yīng)用形態(tài)。(二)

中心化架構(gòu)在聯(lián)邦學(xué)習(xí)產(chǎn)品中占比最多在技術(shù)架構(gòu)方面，從總體上看中心化架構(gòu)在各類(lèi)聯(lián)邦學(xué)習(xí)產(chǎn)品中占比最高，如圖

2

所示。同時(shí)，聯(lián)邦學(xué)習(xí)產(chǎn)品采用何種技術(shù)架構(gòu)與其內(nèi)置算法有關(guān)，部分聯(lián)邦學(xué)習(xí)產(chǎn)品內(nèi)置了多種算法以適應(yīng)不同場(chǎng)景，因此出現(xiàn)了可同時(shí)支持中心化架構(gòu)與去中心化架構(gòu)的情況，如圖

2。5聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）來(lái)源：中國(guó)信息通信研究院圖

2

聯(lián)邦學(xué)習(xí)產(chǎn)品架構(gòu)總體分布統(tǒng)計(jì)在橫向與縱向的聯(lián)邦學(xué)習(xí)中，技術(shù)架構(gòu)的分布有所不同。絕大部分橫向聯(lián)邦學(xué)習(xí)產(chǎn)品采用了中心化架構(gòu)，如圖

3。其原因在于大部分橫向聯(lián)邦學(xué)習(xí)算法需要協(xié)調(diào)方（中央服務(wù)器）的加入，以完成參數(shù)的聚合與分發(fā)操作,如

fedAvg

算法4。在縱向聯(lián)邦學(xué)習(xí)方面，中心化架構(gòu)與去中心化架構(gòu)的分布占比近似，中心化架構(gòu)占據(jù)微弱優(yōu)勢(shì)，如圖

3。其原因是，縱向聯(lián)邦學(xué)習(xí)中，協(xié)調(diào)方（中央服務(wù)器）所負(fù)責(zé)的聚合、分發(fā)等任務(wù)在部分算法中是不必要的（如

secureboost

算法5），同時(shí)一些產(chǎn)品采用安全多方計(jì)算技術(shù)保護(hù)參數(shù)交互，無(wú)需協(xié)調(diào)方的介入。如此導(dǎo)致了兩種架構(gòu)分布的平分秋色。綜合以上數(shù)據(jù)，中心化架構(gòu)在聯(lián)邦學(xué)習(xí)產(chǎn)品各應(yīng)用場(chǎng)景中均占比最多。4

H.

B.

McMahan

等，F(xiàn)ederated

learning

of

deep

networks

using

model

averaging，20165

Kewei

Cheng

等，Secureboost:A

lossless

federated

learning

framework，20196聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）來(lái)源：中國(guó)信息通信研究院圖

3

不同場(chǎng)景類(lèi)別中的聯(lián)邦學(xué)習(xí)產(chǎn)品架構(gòu)分布統(tǒng)計(jì)(三)

半誠(chéng)實(shí)敵手環(huán)境是當(dāng)下聯(lián)邦學(xué)習(xí)主要的應(yīng)用環(huán)境從參與方對(duì)聯(lián)邦學(xué)習(xí)協(xié)議的遵守程度看，聯(lián)邦學(xué)習(xí)的參與方可被劃分為誠(chéng)實(shí)參與方、半誠(chéng)實(shí)敵手、惡意敵手，相應(yīng)地，根據(jù)參與方的誠(chéng)實(shí)程度，將聯(lián)邦學(xué)習(xí)的應(yīng)用環(huán)境劃分為誠(chéng)實(shí)環(huán)境、半誠(chéng)實(shí)敵手環(huán)境和惡意敵手環(huán)境，如表

2

所示。其中，誠(chéng)實(shí)環(huán)境中的所有參與方均為誠(chéng)實(shí)的；半誠(chéng)實(shí)敵手環(huán)境中的參與方會(huì)誠(chéng)實(shí)地遵守協(xié)議，但也有可能會(huì)被動(dòng)接收或推測(cè)其他參與方的隱私信息，即該環(huán)境中存在半誠(chéng)實(shí)的參與方；惡意敵手環(huán)境中的部分參與方會(huì)不遵守協(xié)議，而主動(dòng)發(fā)起攻擊，即該環(huán)境中存在惡意的參與方。在安全風(fēng)險(xiǎn)的應(yīng)對(duì)措施上，惡意敵手環(huán)境下的應(yīng)用對(duì)安全措施要求最高，半誠(chéng)實(shí)敵手環(huán)境其次。“活動(dòng)”與“調(diào)研”顯示，所有統(tǒng)計(jì)對(duì)象均支持半誠(chéng)實(shí)敵手環(huán)境，同時(shí)所有調(diào)研對(duì)象均不支持惡意敵手環(huán)境。造成這種7聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）現(xiàn)狀的原因，可從以下兩個(gè)方面進(jìn)行分析。表

2

聯(lián)邦學(xué)習(xí)應(yīng)用的安全假設(shè)協(xié)議執(zhí)行不遵守協(xié)議遵守協(xié)議遵守協(xié)議行為特征主動(dòng)攻擊隱私推理誠(chéng)實(shí)防御難度高惡意敵手環(huán)境半誠(chéng)實(shí)敵手環(huán)境誠(chéng)實(shí)環(huán)境中等無(wú)需防御來(lái)源：中國(guó)信息通信研究院一方面，國(guó)內(nèi)聯(lián)邦學(xué)習(xí)應(yīng)用的參與方之間多存在一定的信任基礎(chǔ)，基于半誠(chéng)實(shí)敵手假設(shè)的安全設(shè)計(jì)可以滿(mǎn)足大部分聯(lián)邦學(xué)習(xí)應(yīng)用的安全需求。目前國(guó)內(nèi)聯(lián)邦學(xué)習(xí)應(yīng)用多為跨機(jī)構(gòu)的應(yīng)用，各參與方之間為合作共贏(yíng)的關(guān)系，順利且準(zhǔn)確地訓(xùn)練出最終結(jié)果符合聯(lián)邦學(xué)習(xí)應(yīng)用各參與方的利益，因此各參與方?jīng)]有必要針對(duì)聯(lián)邦學(xué)習(xí)過(guò)程發(fā)起攻擊。然而，不排除各組織或機(jī)構(gòu)在不影響聯(lián)合訓(xùn)練結(jié)果的情況下“窺伺”其他參與方敏感數(shù)據(jù)的情況。多方交互中安全設(shè)計(jì)缺陷為這種“窺伺”行為提供了發(fā)生的可能，這使得“好奇”的參與方可直接獲取或間接推理出其他參與方的敏感數(shù)據(jù)。這種“好奇”的行為雖然造成了數(shù)據(jù)泄露，但并不影響聯(lián)邦學(xué)習(xí)過(guò)程的正常進(jìn)行，因此其對(duì)應(yīng)的環(huán)境安全假設(shè)為半誠(chéng)實(shí)敵手環(huán)境。可見(jiàn)，參與方間的“合作”與“窺伺”是造成絕大多數(shù)聯(lián)邦學(xué)習(xí)應(yīng)用基于半誠(chéng)實(shí)敵手環(huán)境進(jìn)行設(shè)計(jì)開(kāi)發(fā)的主要原因之一。另一方面，惡意敵手模型下的安全研究成果尚不足以支撐聯(lián)邦學(xué)習(xí)實(shí)際應(yīng)用。一是學(xué)界尚未探明惡意敵手模型中的安全風(fēng)險(xiǎn)。在8聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）惡意攻擊方面的學(xué)術(shù)研究近些年呈現(xiàn)出上升趨勢(shì)

1，不斷有新的安全風(fēng)險(xiǎn)被發(fā)現(xiàn)。在仍存在未知安全風(fēng)險(xiǎn)的背景下，很少會(huì)有用戶(hù)愿意在存在惡意參與方的環(huán)境下部署聯(lián)邦學(xué)習(xí)應(yīng)用。二是惡意敵手環(huán)境下的已有安全研究成果仍有待驗(yàn)證。生產(chǎn)環(huán)境與實(shí)驗(yàn)室環(huán)境存在較大區(qū)別，實(shí)驗(yàn)室環(huán)境難以模擬大規(guī)模的參與方，各類(lèi)的防御手段往往在計(jì)算性能、通信效率等方面具有局限性。因此，惡意敵手環(huán)境下的安全研究成果轉(zhuǎn)化緩慢，當(dāng)下聯(lián)邦學(xué)習(xí)應(yīng)用的設(shè)計(jì)開(kāi)發(fā)仍以應(yīng)對(duì)半誠(chéng)實(shí)敵手為重點(diǎn)。(四)

密碼技術(shù)是當(dāng)下聯(lián)邦學(xué)習(xí)產(chǎn)品的主要安全保護(hù)技術(shù)當(dāng)前的聯(lián)邦學(xué)習(xí)產(chǎn)品采取了多種安全技術(shù)手段來(lái)應(yīng)對(duì)安全風(fēng)險(xiǎn)。圖

4

展示了各類(lèi)安全保護(hù)技術(shù)的使用占比情況，其中，絕大多數(shù)聯(lián)邦學(xué)習(xí)產(chǎn)品使用了同態(tài)加密，使用率達(dá)到了

95%以上，在各類(lèi)安全保護(hù)技術(shù)中處于第一梯隊(duì)；秘密分享、不經(jīng)意傳輸、安全密鑰交換等安全多方計(jì)算技術(shù)處于第二梯隊(duì)，使用率均達(dá)到

70%以上；差分隱私技術(shù)、其他加密（對(duì)稱(chēng)密碼、非對(duì)稱(chēng)密碼、Hash

函數(shù)）和混淆電路技術(shù)的使用率分別為

60.7%、47.8%、30.4%，其他安全保護(hù)技術(shù)，如布隆過(guò)濾器、梯度擾動(dòng)等，合在一起使用率達(dá)到

43.5%。上述技術(shù)除差分隱私與“其他”技術(shù)外同屬密碼技術(shù)，可見(jiàn)密碼技術(shù)是當(dāng)前聯(lián)邦學(xué)習(xí)產(chǎn)品的主流安全保護(hù)技術(shù)。9聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）來(lái)源：中國(guó)信息通信研究院圖

4

聯(lián)邦學(xué)習(xí)產(chǎn)品安全保護(hù)技術(shù)使用占比統(tǒng)計(jì)使用同態(tài)加密保護(hù)技術(shù)與使用安全多方計(jì)算技術(shù)保護(hù)是聯(lián)邦學(xué)習(xí)安全保護(hù)的兩條主要技術(shù)路線(xiàn)。一方面，同態(tài)加密主要應(yīng)用于聯(lián)邦學(xué)習(xí)的多方交互算法中，它的作用主要是使各方參數(shù)的運(yùn)算在密態(tài)空間中進(jìn)行，避免參數(shù)明文被他方獲知，從而達(dá)到保護(hù)敏感數(shù)據(jù)的目的。另一方面，安全多方計(jì)算技術(shù)亦可實(shí)現(xiàn)對(duì)聯(lián)邦學(xué)習(xí)過(guò)程的保護(hù)。除了負(fù)責(zé)完成匿蹤查詢(xún)、聯(lián)合運(yùn)算等隱私場(chǎng)景的需求外，安全多方計(jì)算技術(shù)也作為底層庫(kù)在同一平臺(tái)內(nèi)為聯(lián)邦學(xué)習(xí)的上層應(yīng)用提供安全支撐。與同態(tài)加密類(lèi)似，安全多方計(jì)算也保護(hù)了聯(lián)邦學(xué)習(xí)過(guò)程的參數(shù)交互。不同之處在于，以安全多方計(jì)算作為主要安全保護(hù)技術(shù)的聯(lián)邦學(xué)習(xí)產(chǎn)品通常不需要協(xié)調(diào)方的參與，適用于無(wú)可信第三方的場(chǎng)景下的多方數(shù)據(jù)安全流通共享。圖

4

中，秘密分享、不經(jīng)意傳輸、混淆電路同屬安全多方計(jì)算技術(shù)，它們常與聯(lián)邦學(xué)習(xí)集成10聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）于同一大平臺(tái)。三、聯(lián)邦學(xué)習(xí)應(yīng)用安全現(xiàn)狀與問(wèn)題分析(一)

數(shù)據(jù)泄露類(lèi)風(fēng)險(xiǎn)是聯(lián)邦學(xué)習(xí)產(chǎn)品最易出現(xiàn)的安全風(fēng)險(xiǎn)“活動(dòng)”針對(duì)半誠(chéng)實(shí)敵手環(huán)境下的安全風(fēng)險(xiǎn)進(jìn)行了檢測(cè)，發(fā)現(xiàn)目前的聯(lián)邦學(xué)習(xí)產(chǎn)品主要存在未進(jìn)行數(shù)據(jù)完整性驗(yàn)證、存儲(chǔ)敏感信息未經(jīng)加密或脫敏、缺乏任務(wù)授權(quán)機(jī)制、泄露用戶(hù)隱私數(shù)據(jù)、泄露結(jié)果類(lèi)數(shù)據(jù)、未對(duì)系統(tǒng)內(nèi)部錯(cuò)誤進(jìn)行容錯(cuò)處理、日志存儲(chǔ)未達(dá)要求、密碼強(qiáng)度未達(dá)要求等安全風(fēng)險(xiǎn)。圖

5

展示了聯(lián)邦學(xué)習(xí)產(chǎn)品各類(lèi)別安全風(fēng)險(xiǎn)的占比，存儲(chǔ)敏感信息未經(jīng)加密或脫敏、用戶(hù)隱私數(shù)據(jù)泄露、結(jié)果類(lèi)數(shù)據(jù)泄露等數(shù)據(jù)泄露類(lèi)風(fēng)險(xiǎn)在各類(lèi)安全風(fēng)險(xiǎn)中占比最高，其中結(jié)果類(lèi)數(shù)據(jù)泄露風(fēng)險(xiǎn)占比最為突出，達(dá)到了

48.2%。來(lái)源：中國(guó)信息通信研究院圖

5

聯(lián)邦學(xué)習(xí)產(chǎn)品安全風(fēng)險(xiǎn)占比統(tǒng)計(jì)（半誠(chéng)實(shí)環(huán)境）11聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）圖

6

從聯(lián)邦學(xué)習(xí)流程的維度，統(tǒng)計(jì)了全流程中每個(gè)環(huán)節(jié)的安全風(fēng)險(xiǎn)分布，數(shù)據(jù)泄露類(lèi)風(fēng)險(xiǎn)在聯(lián)邦學(xué)習(xí)流程中的模型訓(xùn)練環(huán)節(jié)與模型預(yù)測(cè)環(huán)節(jié)占比最高。來(lái)源：中國(guó)信息通信研究院圖

6

聯(lián)邦學(xué)習(xí)產(chǎn)品安全風(fēng)險(xiǎn)分布統(tǒng)計(jì)（半誠(chéng)實(shí)環(huán)境）從聯(lián)邦學(xué)習(xí)的運(yùn)算過(guò)程看，多方交互協(xié)議的設(shè)計(jì)不當(dāng)是導(dǎo)致數(shù)據(jù)泄漏風(fēng)險(xiǎn)多發(fā)的原因之一。在聯(lián)邦學(xué)習(xí)的運(yùn)算過(guò)程中，各參與方僅擁有聯(lián)合建模所需的“部分”訓(xùn)練數(shù)據(jù)，這些原始的訓(xùn)練數(shù)據(jù)在經(jīng)過(guò)本地計(jì)算后產(chǎn)生了中間參數(shù)，各參與方以交換中間參數(shù)的方式進(jìn)行協(xié)作，最終完成整個(gè)建模過(guò)程。其中，多方交互協(xié)議約定了各方參數(shù)交互的內(nèi)容和時(shí)序。在內(nèi)容上，協(xié)議規(guī)定了參數(shù)在各參與方本地的形成過(guò)程，形成的參數(shù)可能是密鑰、隨機(jī)數(shù)，甚至是經(jīng)過(guò)加密的原始數(shù)據(jù)。若這些參數(shù)沒(méi)有經(jīng)過(guò)一定程度的安全處理，半誠(chéng)實(shí)12聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）的參與方往往會(huì)借此推導(dǎo)出其他參與方的敏感數(shù)據(jù)，從而造成數(shù)據(jù)泄露。在時(shí)序上，協(xié)議規(guī)定了各類(lèi)參數(shù)在各參與方之間交互的時(shí)機(jī)和順序。各類(lèi)參數(shù)之間存在著一定的依賴(lài)關(guān)系，前一個(gè)參數(shù)往往是后一個(gè)參數(shù)形成的計(jì)算條件，時(shí)序的錯(cuò)誤一方面可能會(huì)造成聯(lián)邦協(xié)作過(guò)程無(wú)法繼續(xù)，另一方面，混亂的密鑰分配、滯后的安全保護(hù)措施等都會(huì)帶來(lái)安全風(fēng)險(xiǎn)。因此，多方交互過(guò)程是出現(xiàn)數(shù)據(jù)泄露安全風(fēng)險(xiǎn)的重災(zāi)區(qū)，嚴(yán)謹(jǐn)?shù)亩喾浇换f(xié)議對(duì)確保聯(lián)邦學(xué)習(xí)安全起著至關(guān)重要的作用。從聯(lián)邦學(xué)習(xí)的結(jié)果保護(hù)方面看，對(duì)結(jié)果聚合的疏于防護(hù)也是引發(fā)數(shù)據(jù)泄露風(fēng)險(xiǎn)的重要原因。在部分聯(lián)邦學(xué)習(xí)應(yīng)用中，需要由協(xié)調(diào)方對(duì)各參與方在本地產(chǎn)生的中間結(jié)果進(jìn)行聚合運(yùn)算，中間結(jié)果包括每輪迭代的模型參數(shù)、各參與方的本地預(yù)測(cè)結(jié)果參數(shù)等。這些中間結(jié)果屬于敏感數(shù)據(jù)，倘若沒(méi)有一定措施對(duì)其進(jìn)行保護(hù)，中間結(jié)果與最終結(jié)果等敏感數(shù)據(jù)會(huì)直接暴露給部署了協(xié)調(diào)方程序的第三方，半誠(chéng)實(shí)的第三方可能會(huì)利用中間結(jié)果，通過(guò)推導(dǎo)的方式獲知用戶(hù)的原始數(shù)據(jù)。在模型訓(xùn)練和模型預(yù)測(cè)環(huán)節(jié)存在著較多的結(jié)果聚合場(chǎng)景，這使得結(jié)果類(lèi)數(shù)據(jù)泄露的風(fēng)險(xiǎn)集中出現(xiàn)在這兩個(gè)環(huán)節(jié)中。例如，在FedAvg

算法

4

的橫向聯(lián)邦學(xué)習(xí)的訓(xùn)練環(huán)節(jié)中，各參與方會(huì)將每一輪迭代的梯度或模型參數(shù)結(jié)果上傳到第三方進(jìn)行加和平均；再如，在縱向聯(lián)邦學(xué)習(xí)的模型預(yù)測(cè)環(huán)節(jié)中，部分應(yīng)用將各參與方本地的預(yù)測(cè)結(jié)果匯總至第三方聚合以獲得最終預(yù)測(cè)結(jié)果。上述結(jié)果聚合過(guò)程中，若未采取同態(tài)加密等措施，那么便可能出現(xiàn)結(jié)果類(lèi)數(shù)據(jù)暴露給第三13聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）方的問(wèn)題。因此如何安全地進(jìn)行結(jié)果聚合應(yīng)是聯(lián)邦學(xué)習(xí)應(yīng)用關(guān)注的重點(diǎn)問(wèn)題之一。(二)

聯(lián)邦學(xué)習(xí)應(yīng)用安全風(fēng)險(xiǎn)的隱蔽性高聯(lián)邦學(xué)習(xí)應(yīng)用的安全風(fēng)險(xiǎn)不僅類(lèi)型多、分布廣，而且這些安全風(fēng)險(xiǎn)也具備隱蔽性高的特點(diǎn)，其原因可以從下述兩方面分析。一方面，聯(lián)邦學(xué)習(xí)應(yīng)用中多方交互的高復(fù)雜性造成了其安全風(fēng)險(xiǎn)不易被發(fā)現(xiàn)。聯(lián)邦學(xué)習(xí)比集中式機(jī)器學(xué)習(xí)增加了分布式過(guò)程，其針對(duì)集中式機(jī)器學(xué)習(xí)的各類(lèi)算法進(jìn)行了拆分改造，并且將拆分后的計(jì)算參數(shù)分布到各參與方進(jìn)行計(jì)算，同時(shí)通過(guò)多方交互的方式來(lái)滿(mǎn)足各拆分后參數(shù)的計(jì)算所需條件，從而完成計(jì)算。拆分后的計(jì)算參數(shù)在各參與方之間進(jìn)行流轉(zhuǎn)，參與方的當(dāng)前狀態(tài)亦隨時(shí)序的變化而變化，在特定時(shí)刻下，不易確定參與方是否可根據(jù)其自身狀態(tài)推導(dǎo)出其他參與方的敏感數(shù)據(jù)，因此其中的安全風(fēng)險(xiǎn)具有很強(qiáng)的隱蔽性。例如，在聯(lián)邦學(xué)習(xí)的特征處理過(guò)程中，非標(biāo)簽擁有方可通過(guò)看似“無(wú)害”的

woe/iv

明文結(jié)合自身已有數(shù)據(jù)，推導(dǎo)出標(biāo)簽擁有方的敏感數(shù)據(jù)，該風(fēng)險(xiǎn)隱藏在復(fù)雜的算法邏輯和數(shù)學(xué)推導(dǎo)之下，使得其難以被發(fā)現(xiàn)。因此聯(lián)邦交互過(guò)程的復(fù)雜性為安全風(fēng)險(xiǎn)提供了“掩護(hù)”。另一方面，聯(lián)邦學(xué)習(xí)應(yīng)用不易進(jìn)行安全審計(jì)，也是其安全風(fēng)險(xiǎn)隱蔽性高的重要原因。聯(lián)邦學(xué)習(xí)應(yīng)用中大量采用了密碼技術(shù)，這些加密措施保護(hù)了聯(lián)邦學(xué)習(xí)應(yīng)用的多方交互過(guò)程的同時(shí)，也使流轉(zhuǎn)的參數(shù)經(jīng)歷了復(fù)雜的數(shù)學(xué)變形，改變了其原有形態(tài)。在這種情況下，14聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）使用常規(guī)審計(jì)手段難以復(fù)原聯(lián)邦學(xué)習(xí)過(guò)程的原貌，從而造成了聯(lián)邦學(xué)習(xí)應(yīng)用安全審計(jì)的困難。同時(shí)，聯(lián)邦學(xué)習(xí)是跨分布式計(jì)算、機(jī)器學(xué)習(xí)、密碼學(xué)等多領(lǐng)域的融合應(yīng)用，對(duì)安全審計(jì)人員的知識(shí)背景要求極高。目前企業(yè)安全部門(mén)中，兼具這些知識(shí)背景的安全審計(jì)人員較少，開(kāi)展專(zhuān)業(yè)的聯(lián)邦學(xué)習(xí)審計(jì)活動(dòng)比較困難。因此，聯(lián)邦學(xué)習(xí)過(guò)程是否按照“原始設(shè)計(jì)”無(wú)誤進(jìn)行、操作人員是否執(zhí)行了不安全的操作、參與方是否存在惡意攻擊的行為等等安全問(wèn)題，變得不易發(fā)現(xiàn)和評(píng)估。(三)

協(xié)調(diào)方的存在為聯(lián)邦學(xué)習(xí)應(yīng)用帶來(lái)了安全方面的不確定因素中心化架構(gòu)在當(dāng)下的眾多聯(lián)邦學(xué)習(xí)產(chǎn)品中占據(jù)較大比例，采用該架構(gòu)的應(yīng)用使用協(xié)調(diào)方（中央服務(wù)器）協(xié)助完成聯(lián)邦學(xué)習(xí)的全過(guò)程。協(xié)調(diào)方的引入為聯(lián)邦學(xué)習(xí)應(yīng)用帶來(lái)了安全方面的不確定性，體現(xiàn)在如下三個(gè)方面。一是將敏感數(shù)據(jù)暴露給第三方是潛在的安全隱患。聯(lián)邦學(xué)習(xí)過(guò)程中，原則上由第三方擔(dān)任協(xié)調(diào)方角色。如此，作為協(xié)調(diào)方的第三方便承擔(dān)著密鑰分發(fā)、參數(shù)聚合等任務(wù)，其在服務(wù)的過(guò)程中可能會(huì)接觸到密鑰、模型參數(shù)等敏感數(shù)據(jù)。一旦多方交互協(xié)議設(shè)計(jì)不當(dāng)或第三方存在不誠(chéng)實(shí)行為，極易出現(xiàn)第三方獲取敏感數(shù)據(jù)的情況。同時(shí)，也存在著不誠(chéng)實(shí)第三方與某些參與方利用自身參數(shù)合謀獲取隱私數(shù)據(jù)的情況。因此，讓第三方接觸敏感數(shù)據(jù)是潛在的安全風(fēng)險(xiǎn)。15聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）二是目前現(xiàn)實(shí)中難以找到誠(chéng)實(shí)可信的第三方擔(dān)任協(xié)調(diào)方角色。絕對(duì)誠(chéng)實(shí)的第三方，不會(huì)竊取隱私數(shù)據(jù)，是理想狀態(tài)下協(xié)調(diào)方角色的擔(dān)當(dāng)。然而，現(xiàn)實(shí)中尚無(wú)誠(chéng)實(shí)第三方的認(rèn)定標(biāo)準(zhǔn)，難以對(duì)第三方進(jìn)行有效的可信認(rèn)定。因此，盲目的引入第三方，一方面可能會(huì)出現(xiàn)數(shù)據(jù)泄漏等安全風(fēng)險(xiǎn)，另一方面也可能會(huì)帶來(lái)安全合規(guī)方面的問(wèn)題。三是協(xié)調(diào)方程序的部署易受到機(jī)構(gòu)間合作關(guān)系的影響而導(dǎo)致潛在安全風(fēng)險(xiǎn)。在機(jī)構(gòu)間的聯(lián)邦學(xué)習(xí)合作中，可能會(huì)出現(xiàn)話(huà)語(yǔ)權(quán)不對(duì)等的問(wèn)題。譬如，機(jī)構(gòu)體量、數(shù)據(jù)量、數(shù)據(jù)價(jià)值等方面的差異，導(dǎo)致在聯(lián)邦學(xué)習(xí)合作中出現(xiàn)優(yōu)勢(shì)方。部分優(yōu)勢(shì)方為避免引入第三方而產(chǎn)生的安全隱患，而選擇將協(xié)調(diào)方程序部署到自身一側(cè)。如此，優(yōu)勢(shì)方同時(shí)擁有了參與方程序與協(xié)調(diào)方程序，若優(yōu)勢(shì)方是不誠(chéng)實(shí)或半誠(chéng)實(shí)的，則其可能會(huì)結(jié)合兩種角色程序所產(chǎn)生的中間參數(shù)，利用數(shù)據(jù)推導(dǎo)等手段，竊取其他方的敏感數(shù)據(jù)。這種部署方式保證了優(yōu)勢(shì)方在一定程度上的數(shù)據(jù)安全，卻使其他參與方存在敏感數(shù)據(jù)泄露的安全風(fēng)險(xiǎn)。因此，機(jī)構(gòu)間的合作關(guān)系不對(duì)等可能會(huì)成為聯(lián)邦學(xué)習(xí)應(yīng)用安全風(fēng)險(xiǎn)出現(xiàn)的誘因。(四)

聯(lián)邦學(xué)習(xí)應(yīng)用的安全保護(hù)強(qiáng)度與性能要求在一定程度上相互制約聯(lián)邦學(xué)習(xí)在應(yīng)用中通常會(huì)使用密碼等技術(shù)手段對(duì)多方交互的過(guò)程進(jìn)行保護(hù)，而這些保護(hù)措施的強(qiáng)度往往與實(shí)際中的性能要求存在16聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）著相互牽制的關(guān)系。一方面，高強(qiáng)度的安全保護(hù)往往制約了聯(lián)邦學(xué)習(xí)應(yīng)用的性能。在通信開(kāi)銷(xiāo)上，大部分聯(lián)邦學(xué)習(xí)應(yīng)用對(duì)多方交互中產(chǎn)生的中間參數(shù)進(jìn)行了加密，這使多方交互過(guò)程相對(duì)于明文交互，增加了密鑰分發(fā)、加密、解密等過(guò)程，從而使聯(lián)邦學(xué)習(xí)整體的通信成本增加；同時(shí)，在密碼體系中，安全參數(shù)代表著加密的安全保護(hù)強(qiáng)度，安全參數(shù)越大，安全保護(hù)強(qiáng)度越強(qiáng)，在通常情況下，密文的體量不僅較明文會(huì)有明顯增加，而且會(huì)隨著安全參數(shù)的增大而增大。以訓(xùn)練

DNN（深度神經(jīng)網(wǎng)絡(luò)）模型為例，生產(chǎn)環(huán)境的

DNN

模型往往擁有數(shù)百萬(wàn)個(gè)參數(shù)，且該類(lèi)模型在聯(lián)邦學(xué)習(xí)中的通信成本會(huì)隨著迭代倫次的增加而持續(xù)增大，因而在此基礎(chǔ)上的密文通信將會(huì)是巨大的開(kāi)銷(xiāo)。在計(jì)算效率上，密碼技術(shù)帶來(lái)了加密、解密、密態(tài)運(yùn)算等過(guò)程，而這些過(guò)程包含了大量的取模和冪等高復(fù)雜度計(jì)算，開(kāi)銷(xiāo)相對(duì)較大，并且安全參數(shù)的增大會(huì)使此開(kāi)銷(xiāo)進(jìn)一步增加。因此安全保護(hù)強(qiáng)度會(huì)對(duì)聯(lián)邦學(xué)習(xí)應(yīng)用的性能有一定的影響。另一方面，可用性要求迫使聯(lián)邦學(xué)習(xí)應(yīng)用在實(shí)際應(yīng)用中降低部分安全配置。某些情況下，高級(jí)別的安全配置將使聯(lián)邦學(xué)習(xí)應(yīng)用的性能下降，甚至陷入“不可用”的狀態(tài)，設(shè)計(jì)者不得不降低安全配置，以獲得安全性與性能的平衡。以縱向聯(lián)邦學(xué)習(xí)中的聯(lián)邦數(shù)據(jù)對(duì)齊環(huán)節(jié)為例，絕大多數(shù)聯(lián)邦學(xué)習(xí)應(yīng)用為避免重復(fù)運(yùn)算，在整體設(shè)計(jì)上進(jìn)行了解耦，將數(shù)據(jù)對(duì)齊環(huán)節(jié)設(shè)計(jì)成獨(dú)立的功能模塊，使其能夠進(jìn)行獨(dú)立運(yùn)算、獨(dú)立存儲(chǔ)。而縱向場(chǎng)景下的聯(lián)邦數(shù)據(jù)對(duì)齊實(shí)質(zhì)上是17聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）對(duì)各參與方數(shù)據(jù)集中樣本

ID

的聯(lián)合求交。如此，在運(yùn)算結(jié)束后，各參與方均可獲得樣本

ID

的交集，并可根據(jù)該

ID

交集及自身的已有數(shù)據(jù)推導(dǎo)出對(duì)方的用戶(hù)群體數(shù)據(jù)，從而造成用戶(hù)群體數(shù)據(jù)的暴露。反之，若將數(shù)據(jù)對(duì)齊環(huán)節(jié)與模型訓(xùn)練環(huán)節(jié)集成起來(lái)，樣本交集以密文中間參數(shù)的形式繼續(xù)加入運(yùn)算，即可避免上述的數(shù)據(jù)泄露風(fēng)險(xiǎn)。然而，此舉一方面使數(shù)據(jù)對(duì)齊的結(jié)果難以被重復(fù)利用，另一方面對(duì)規(guī)模巨大的樣本交集進(jìn)行密態(tài)計(jì)算，將極大增加計(jì)算性能開(kāi)銷(xiāo)，甚至可能使功能陷于癱瘓。因此，在實(shí)際應(yīng)用中，當(dāng)技術(shù)手段無(wú)法解決安全與性能的矛盾時(shí)，犧牲部分安全性以換取性能上的“可用”便成了無(wú)奈之舉。安全與性能呈現(xiàn)出相互制約的關(guān)系，如何解決二者的矛盾仍是當(dāng)下聯(lián)邦學(xué)習(xí)應(yīng)用面臨的嚴(yán)峻問(wèn)題。(五)

聯(lián)邦學(xué)習(xí)應(yīng)用安全相關(guān)標(biāo)準(zhǔn)尚未健全聯(lián)邦學(xué)習(xí)技術(shù)多應(yīng)用于數(shù)據(jù)生命周期的共享階段，目前聯(lián)邦學(xué)習(xí)應(yīng)用安全相關(guān)的國(guó)家/行業(yè)標(biāo)準(zhǔn)較少，行業(yè)亟需標(biāo)準(zhǔn)化文件的規(guī)范和指導(dǎo)。當(dāng)下各類(lèi)聯(lián)邦學(xué)習(xí)應(yīng)用對(duì)安全尺度的把控不統(tǒng)一。對(duì)于聯(lián)邦學(xué)習(xí)應(yīng)用的設(shè)計(jì)者和使用者而言，是否可以降低安全尺度以提高性能、在特定場(chǎng)景下該采取何種安全強(qiáng)度，這些均是聯(lián)邦學(xué)習(xí)設(shè)計(jì)和使用過(guò)程中的關(guān)鍵問(wèn)題，這些問(wèn)題答案的不統(tǒng)一，使目前各類(lèi)聯(lián)邦學(xué)習(xí)產(chǎn)品、系統(tǒng)、平臺(tái)等形式的應(yīng)用各自為戰(zhàn)，為數(shù)據(jù)應(yīng)用帶來(lái)極大的安全隱患。因此，需要有標(biāo)準(zhǔn)化文件對(duì)聯(lián)邦學(xué)習(xí)應(yīng)用的各環(huán)節(jié)的安18聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）全尺度進(jìn)行規(guī)范指導(dǎo)。同時(shí)，當(dāng)下已發(fā)布的安全標(biāo)準(zhǔn)主要集中于產(chǎn)品的安全要求上，聯(lián)邦學(xué)習(xí)應(yīng)用部署、運(yùn)營(yíng)階段的安全標(biāo)準(zhǔn)較少。聯(lián)邦學(xué)習(xí)應(yīng)用的部署、運(yùn)營(yíng)不當(dāng)，會(huì)使數(shù)據(jù)安全風(fēng)險(xiǎn)出現(xiàn)于管理環(huán)節(jié)。例如，在無(wú)身份、權(quán)限的管理機(jī)制的情況下，操作人員可能會(huì)接觸到其不應(yīng)訪(fǎng)問(wèn)到的數(shù)據(jù)。因此，健全、加速聯(lián)邦學(xué)習(xí)應(yīng)用安全的標(biāo)準(zhǔn)化建設(shè)十分必要。四、聯(lián)邦學(xué)習(xí)應(yīng)用安全的學(xué)界研究現(xiàn)狀(一)

偏重于惡意安全環(huán)境下的安全研究相較于聯(lián)邦學(xué)習(xí)在工業(yè)界的應(yīng)用，學(xué)界的研究更具有前瞻性。在研究對(duì)象上，工業(yè)界的實(shí)踐主要以

toB

的聯(lián)邦學(xué)習(xí)應(yīng)用為主，學(xué)界則更加關(guān)注性能、安全等方面技術(shù)要求更高的

toC

聯(lián)邦學(xué)習(xí)應(yīng)用。相應(yīng)的，在安全方面，研究也更偏重于與

toC

場(chǎng)景安全要求相適配的惡意環(huán)境下的安全攻防。目前，安全研究可大致分為三大類(lèi)：投毒攻擊、對(duì)抗攻擊與合謀攻擊的相關(guān)研究。投毒攻擊是指聯(lián)邦學(xué)習(xí)中的惡意的參與方對(duì)訓(xùn)練集進(jìn)行惡意操縱，例如向訓(xùn)練集中插入精心制作的惡意樣本，從而改變訓(xùn)練數(shù)據(jù)的分布，以達(dá)到破壞訓(xùn)練過(guò)程或結(jié)果的目的，其種類(lèi)包括了數(shù)據(jù)投毒、模型投毒、后門(mén)投毒等。在存在多方訓(xùn)練集參與的聯(lián)邦學(xué)習(xí)中，相較集中式機(jī)器學(xué)習(xí)，攻擊面更大，威脅更甚。學(xué)界提出了基于數(shù)據(jù)清洗、異常性探測(cè)等防御方法，以針對(duì)投毒攻擊進(jìn)行防御。這些19聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）基于攻擊檢測(cè)的方法存在一定的誤報(bào)或漏報(bào)，提高攻擊發(fā)現(xiàn)的準(zhǔn)確率是未來(lái)研究的重點(diǎn)方向。對(duì)抗攻擊是指聯(lián)邦學(xué)習(xí)中的惡意參與方對(duì)輸入樣本添加一些難以察覺(jué)的細(xì)微干擾，導(dǎo)致全局模型以高置信度給出一個(gè)錯(cuò)誤的輸出，通過(guò)這種干擾，惡意參與方可在聯(lián)邦學(xué)習(xí)中發(fā)動(dòng)無(wú)形的對(duì)抗攻擊，其他參與方無(wú)法提前預(yù)判對(duì)抗攻擊的時(shí)機(jī)和方式。對(duì)抗攻擊具有較強(qiáng)的隱蔽性，對(duì)此，學(xué)界提出了防御蒸餾、梯度正則化等防御方法。這些方法旨在提高模型的泛化能力，取得了良好的防御效果。合謀攻擊指的是多個(gè)聯(lián)邦學(xué)習(xí)的惡意參與方相互掩飾聯(lián)合破壞聯(lián)邦學(xué)習(xí)的過(guò)程與結(jié)果。惡意參與方可利用自身資源為其他惡意參與方提供攻擊便利，從而對(duì)聯(lián)邦學(xué)習(xí)計(jì)算、通信等多個(gè)層面進(jìn)行破壞，具有較強(qiáng)的破化性。為應(yīng)對(duì)該攻擊，學(xué)界提出了收斂異常檢測(cè)、指紋嵌入等防御手段。這些防御手段多偏重于對(duì)合謀攻擊的發(fā)現(xiàn)和攻擊者的識(shí)別，如何提高識(shí)別的準(zhǔn)確率并實(shí)時(shí)阻斷依然是學(xué)界面臨的嚴(yán)峻挑戰(zhàn)。(二)

如何優(yōu)化性能是熱門(mén)研究方向聯(lián)邦學(xué)習(xí)應(yīng)用的性能與安全存在著相互制約的關(guān)系，性能優(yōu)化技術(shù)的進(jìn)步可以為更強(qiáng)的安全措施提供計(jì)算資源上的冗余，因此如何優(yōu)化聯(lián)邦學(xué)習(xí)的性能一直是學(xué)界的研究熱點(diǎn)。影響聯(lián)邦學(xué)習(xí)性能的主要因素包括通信性能和運(yùn)算性能，其中，通信效率低是現(xiàn)階段制約聯(lián)邦學(xué)習(xí)發(fā)展最嚴(yán)重的問(wèn)題。學(xué)界主要以20聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）如下幾個(gè)思路開(kāi)展研究，一是通過(guò)減少全局模型訓(xùn)練的迭代輪數(shù)，從而優(yōu)化通信的效率。例如，進(jìn)行更多的本地模型參數(shù)更新等，這種方式減少了各客戶(hù)端節(jié)點(diǎn)向中央服務(wù)器通信的次數(shù)，但未解決單次迭代導(dǎo)致的信道擁堵問(wèn)題。二是使用參數(shù)的壓縮技術(shù)，例如對(duì)梯度、模型參數(shù)進(jìn)行量化與稀疏化等，這種方式減少交互信息的長(zhǎng)度，但可能會(huì)損失一定的訓(xùn)練精度。三是采用分散式的拓?fù)浣Y(jié)構(gòu)，例如，去中心化拓?fù)?、分層式拓?fù)涞?，這種方式能夠減少客戶(hù)端節(jié)點(diǎn)與中央服務(wù)器的高交互開(kāi)銷(xiāo)，解決了各節(jié)點(diǎn)與中央服務(wù)器的信道擁堵問(wèn)題。五、聯(lián)邦學(xué)習(xí)應(yīng)用安全發(fā)展建議(一)

加速聯(lián)邦學(xué)習(xí)應(yīng)用安全的標(biāo)準(zhǔn)化建設(shè)在聯(lián)邦學(xué)習(xí)應(yīng)用于各行業(yè)已有初步實(shí)踐的背景下，盡快健全聯(lián)邦學(xué)習(xí)應(yīng)用安全相關(guān)標(biāo)準(zhǔn)。一是出臺(tái)基于行業(yè)細(xì)分的聯(lián)邦學(xué)習(xí)應(yīng)用安全技術(shù)類(lèi)標(biāo)準(zhǔn)。當(dāng)下聯(lián)邦學(xué)習(xí)技術(shù)已在金融、電信、互聯(lián)網(wǎng)、能源等多個(gè)行業(yè)得到了應(yīng)用，一方面針對(duì)聯(lián)邦學(xué)習(xí)應(yīng)用相對(duì)較成熟的行業(yè)，出臺(tái)本行業(yè)的技術(shù)安全應(yīng)用的要求和規(guī)范類(lèi)標(biāo)準(zhǔn)，幫助行業(yè)內(nèi)企業(yè)把控聯(lián)邦學(xué)習(xí)應(yīng)用的安全尺度；另一方面，針對(duì)尚處于聯(lián)邦學(xué)習(xí)應(yīng)用探索階段的行業(yè)，出臺(tái)本行業(yè)的聯(lián)邦學(xué)習(xí)安全方面的指南和方法類(lèi)標(biāo)準(zhǔn)文件，以指導(dǎo)行業(yè)內(nèi)企業(yè)搭建具備該行業(yè)特征的安全聯(lián)邦學(xué)習(xí)應(yīng)用。二是出臺(tái)聯(lián)邦學(xué)習(xí)應(yīng)用安全部署、運(yùn)營(yíng)的規(guī)范類(lèi)標(biāo)準(zhǔn)。以標(biāo)準(zhǔn)21聯(lián)邦學(xué)習(xí)應(yīng)用安全研究報(bào)告（2023

年）化的方式來(lái)解決聯(lián)邦學(xué)習(xí)應(yīng)用在部署、運(yùn)營(yíng)環(huán)節(jié)所面臨的諸多問(wèn)題，例如，聯(lián)邦學(xué)習(xí)的協(xié)調(diào)方程序應(yīng)在何處部署、如何確保擔(dān)任協(xié)調(diào)方角色的第三方誠(chéng)實(shí)可信、系統(tǒng)平臺(tái)的用戶(hù)域與運(yùn)維域該如何進(jìn)行隔離、產(chǎn)品應(yīng)用在物理機(jī)環(huán)境或云環(huán)境下部署的安全要求是否相同等等。為進(jìn)一步推動(dòng)聯(lián)邦學(xué)習(xí)技術(shù)的深化落地提供有力保