聯(lián)邦學習-從多云機器學習到數(shù)據(jù)生態(tài)方案

聯(lián)邦學習：從多云機器學習到數(shù)據(jù)生態(tài)技術創(chuàng)新，變革未來PRIVATE

CLOUDEDGETKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8sTKG或任意K8s…………………TKG或任意K8s…跨云一致性VMware云服務云應用平臺云管理平臺云與邊緣設施安全與網(wǎng)絡AnywhereWorkspace?平臺?容器拓展機器學習負載到多云環(huán)境?不同云平臺間的數(shù)據(jù)交互成本機器學習不同云平臺間的數(shù)據(jù)交互成本跨云傳輸數(shù)據(jù)成本非常高，所以我們希望：如何減少不同云平臺間數(shù)據(jù)交互讓訓練發(fā)生在數(shù)據(jù)產(chǎn)生處?不同云平臺間的數(shù)據(jù)交互成本跨云傳輸數(shù)據(jù)成本非常高，所以我們希望：如何減少不同云平臺間數(shù)據(jù)交互讓訓練發(fā)生在數(shù)據(jù)產(chǎn)生處(來源:

Federated

Learning:Collaborative

Machine

Learning

withoutCentralizedTrainingData,GoogleAIBlog,

2017）?不同云平臺間的數(shù)據(jù)交互成本跨云傳輸數(shù)據(jù)成本非常高，所以我們希望：如何減少不同云平臺間數(shù)據(jù)交互讓訓練發(fā)生在數(shù)據(jù)產(chǎn)生處(來源:

Federated

Learning:Collaborative

Machine

Learning

withoutCentralizedTrainingData,GoogleAIBlog,

2017）聯(lián)邦學習(來源:Federatedlearning,Wikipedia,URL/wiki/Federated_learning）?在數(shù)據(jù)產(chǎn)生的云內進行局部（多輪次）訓練；匯聚平均全局模型；更新全局模型到各云內。使用跨云數(shù)據(jù)進行訓練成本與訓練效果的平衡?單機構多團隊/單集團公司?多機構，跨地理環(huán)境，多種設備環(huán)境單機構多團隊/單集團公司?數(shù)據(jù)源（數(shù)據(jù)提供方）互聯(lián)網(wǎng)企業(yè)信用機構…企業(yè)機構

（數(shù)據(jù)使用方）銀行保險醫(yī)療機構廣告，市場…電信公司監(jiān)管機構技術提供方聯(lián)邦學習框架多方安全計算可信執(zhí)行環(huán)境一體機…技術輸出技術需求監(jiān)管合規(guī)監(jiān)管合規(guī)技術輸出技術需求技術輸出?(來源：

iR)不同技術提供方的方案如何保證合作建模？組織

1算法層框架A組織

2算法層框架B?框架

A框架

B管理平臺工作流引擎聯(lián)邦學習算法聯(lián)邦學習算法執(zhí)行引擎層管理平臺工作流引擎執(zhí)行引擎層計算服務存儲服務傳輸服務計算服務存儲服務傳輸服務管理APIs統(tǒng)一控制APIs及DAG計算能力服務:MapReduceHDFS傳輸協(xié)議及設施互聯(lián)互通規(guī)范基礎機器學習及安全協(xié)議算子基礎機器學習及安全協(xié)議算子基礎算子規(guī)范用戶向互聯(lián)互通算法層互聯(lián)互通算子層互通?全球首個工業(yè)級聯(lián)邦學習開源框架:?有效幫助多個機構在符合數(shù)據(jù)安全和政府法規(guī)前提下，進行數(shù)據(jù)使用和聯(lián)合建模支持多種主流算法：為機器學習、深度學習、遷移學習提供高性能聯(lián)邦學習機制支持多種多方安全計算協(xié)議：同態(tài)加密、秘密共享、哈希散列等友好的跨域交互信息管理方案，解決了聯(lián)邦學習信息安全審計難的問題:有效幫助多個機構在符合數(shù)據(jù)安全和政府法規(guī)前提下，進行數(shù)據(jù)使用和聯(lián)合建模支持多種主流算法：為機器學習、深度學習、遷移學習提供高性能聯(lián)邦學習機制支持多種多方安全計算協(xié)議：同態(tài)加密、秘密共享、哈希散列等友好的跨域交互信息管理方案，解決了聯(lián)邦學習信息安全審計難的問題VMware FATE:?技術指導委員會成員FATE和KubeFATE等開源項目的維護者（maintainer）組織和參與聯(lián)邦學習開源社區(qū)建設線下&線上活動技術交流論壇學術界和產(chǎn)業(yè)界會議多方聯(lián)邦通信網(wǎng)絡：跨站點傳輸網(wǎng)絡Tensorflow

/

Pytorch(

深度學習)EggRoll

/

Spark

(分布式計算框架)縱向聯(lián)邦統(tǒng)計縱向聯(lián)邦特征工程縱向聯(lián)邦學習聯(lián)邦遷移學習RSADH密鑰交換Paillier同態(tài)加密安全聚合模型加密預測多方聯(lián)邦橫縱融合異步聯(lián)邦學習聯(lián)邦SQL查詢安全數(shù)據(jù)檢索聯(lián)邦多云生命周期管理FedLCM集群自動化部署升級可視化易用向導多聯(lián)邦多框架支持聯(lián)邦建模pipeline調度FATE-FlowDAG解析聯(lián)邦任務管理多方任務協(xié)同調度聯(lián)邦在線推理FATE-Serving實時在線聯(lián)邦推理集群管理與監(jiān)控在線模型管理聯(lián)邦學習算法庫FederatedML橫向聯(lián)邦學習 聯(lián)邦深度學習聯(lián)邦安全協(xié)議Secure

ProtocolsSecret-Sharing（SPDZ） OT 可交換加密聯(lián)邦任務可視化平臺FATE-Board聯(lián)邦模型可視化聯(lián)邦任務dashboard任務/日志管理云原生聯(lián)邦學習管理平臺KubeFATE云原生容器化平臺靈活部署，動態(tài)管理，自動化運維支持K8s，多云和跨云能力?FATE

開源技術框架KubeFATEvs.測試、體驗多方FATE集群；上手簡單。面向生產(chǎn)環(huán)境：支持多個FATE環(huán)境及集群；聲明式擴展能力；升級，遷移；4)

日志及監(jiān)控功能2.

強大的定制功能ContainersML

ExpertSWESRE公有云/私有云?KubeFATE基本功能對FATE集群安裝更新刪除部署任務的狀態(tài)監(jiān)控訪問權限控制?KubeFATE高級功能收集查看所有日志離線部署取消部署任務子任務狀態(tài)監(jiān)控TanzuKubernetesGrid

ServiceTanzuRuntime

ServicePodService|RegisterService|NetworkService|Storage

ServiceHybridInfrastructure

ServicesvSphereNSX-TvSANvRealizeCPUMemoryStorage聯(lián)邦學習加速硬件硬件加速驅動橫向聯(lián)邦學習算法

|

縱向聯(lián)邦學習算法

|

聯(lián)邦遷移學習數(shù)據(jù)處理工具多方安全計算協(xié)議計算引擎?zhèn)鬏斠嬲军c管理數(shù)據(jù)訪問數(shù)據(jù)工程數(shù)據(jù)可視化日志與審計聯(lián)邦學習管理數(shù)據(jù)管理模型管理推理服務認證和鑒權審計服務聯(lián)邦學習管理VCFwith

Tanzu基礎設施硬件支持站點管理

白皮書訪問地址:

/fmlwpKubeFML(KubeFATE)?TanzuKubernetesGrid

ServiceTanzuRuntime

ServicePodService|RegisterService|NetworkService|Storage

ServiceHybridInfrastructure

ServicesvSphereNSX-TvSANvRealizeCPUMemoryStorage聯(lián)邦學習加速硬件硬件加速驅動橫向聯(lián)邦學習算法

|

縱向聯(lián)邦學習算法

|

聯(lián)邦遷移學習數(shù)據(jù)處理工具多方安全計算協(xié)議計算引擎?zhèn)鬏斠嬲军c管理數(shù)據(jù)訪問數(shù)據(jù)工程數(shù)據(jù)可視化日志與審計聯(lián)邦學習管理數(shù)據(jù)管理模型管理推理服務認證和鑒權審計服務聯(lián)邦學習管理VCFwith

Tanzu基礎設施硬件支持站點管理KubeFML(KubeFATE)FedLCM(FederationLifecycle

Manager)?KubeFMLParticipant

11(聯(lián)邦學習協(xié)調方)12本地訓練2234434加密模型參數(shù)上報加密模型匯總Participant

21Participant

31KubeFMLKubeFMLKubeFMLFedLCM生命周期管理：部署、監(jiān)控、運維等FLManager數(shù)據(jù)管理、模型管理、認證及鑒權等聯(lián)邦學習多個參與方FLFramework…FLFramework…FLFramework…FLFramework…24加密模型更新下發(fā)聯(lián)邦學習框架部署管理和互聯(lián)配置多種聯(lián)邦學習框架部署管理納管多個K8s集群管理不同集群中KubeFML服務無需命令行介入部署FATE、OpenFL等不同框架以聯(lián)邦形式統(tǒng)一組織多個參與方靈活的證書、Chart、Token管理?多種聯(lián)邦學習框架部署管理納管多個K8s集群管理不同集群中KubeFML服務無需命令行介入部署FATE、OpenFL等不同框架以聯(lián)邦形式統(tǒng)一組織多個參與方靈活的證書、Chart、Token管理?聯(lián)邦學習任務全流程支持低代碼的聯(lián)邦學習開發(fā)平臺本地數(shù)據(jù)管理項目創(chuàng)建與邀請數(shù)據(jù)關聯(lián)支持多種橫向和縱向算法的圖形化任務創(chuàng)建模型管理與發(fā)布離線和在線推理功能支持?聯(lián)邦學習可用于多云環(huán)境下機器學習場景，解決數(shù)據(jù)分散在跨云平臺問題；聯(lián)邦學習不僅可用于一個組織內部數(shù)據(jù)合作建模，甚至推廣到多組織合作，解決數(shù)據(jù)孤島問題；圍繞聯(lián)邦學習，逐漸形成了以數(shù)據(jù)資產(chǎn)為核心的生態(tài)，賦能各行各業(yè)；VMware是國內外聯(lián)邦學習領域積極參與者，是全球首個工業(yè)級聯(lián)邦學習開源框架FATE的主要貢獻者之