分布式模型重用-FedPAN

分布式模型重用-FedPANDistributedModelReuse:FedPAN聯(lián)邦學習簡介然而在很多實際任務場景下，數(shù)據(jù)呈現(xiàn)“孤島式”分布：設備1設備2設備K…某些數(shù)據(jù)因為傳輸限制而呈現(xiàn)孤島分布，例如在無線通信網(wǎng)絡情況下的便攜式設備設備1設備2設備K…某些數(shù)據(jù)因為隱私保護限制而呈現(xiàn)孤島分布，例如在醫(yī)療、企業(yè)、軍事領域聯(lián)邦學習的目的是在數(shù)據(jù)天然分散的情況下協(xié)同多方參與計算，有組織、有協(xié)作、有目的地完成傳統(tǒng)的機器學習任務聯(lián)邦學習工業(yè)界應用現(xiàn)狀微眾銀行跨銀行反洗錢應用：900多種金融活動特征，單邊模式訓練只能獲得有限洗錢行為數(shù)據(jù)，聯(lián)合多方一起訓練谷歌虛擬鍵盤Gboard應用：上千萬邊緣設備需要對用戶的輸入習慣進行建模并用戶的下一個輸入進行預測聯(lián)邦學習經(jīng)典算法FedAvgBrendanMcMahan,EiderMoore,etal.Communication-EfficientLearningofDeepNetworksfromDecentralizedData.AISTATS2017.M1M2M3PersonalizationM1M2M3ModelAggregationL1L2L3PrivateDataDownloadUpload局部訓練過程：客戶端下載全局模型，在本地數(shù)據(jù)上更新多輪服務器訓練過程：收集客戶端更新之后的模型，在服務器執(zhí)行聚合操作點對點參數(shù)聚合的局限？本地訓練點對點參數(shù)聚合目錄項目背景痛點難點分析現(xiàn)有解決方案提出的解決方案可擴展方向技術落地應用Non-IID數(shù)據(jù)PeterKairouz,H.BrendanMcMahan,etal.AdvancesandOpenProblemsinFederatedLearning.CoRRabs/1912.04977(2019).不同用戶、設備等參與方所在的環(huán)境是天然異質(zhì)的，導致聯(lián)邦學習中的數(shù)據(jù)是非獨立同分布的,即NonIndependentlyandIdenticallyDistributed(Non-IID)

Featuredistributionskew

LabelDistributionSkew概念漂移：同樣的標簽可能在不同領域具有非常差異的特征SameLabel,DifferentFeatures概念漂移：同樣的特征向量表示的語義信息不一致SameFeature,DifferentLabels數(shù)量偏移：數(shù)量差異很大QuantitySkew手寫數(shù)字識別：不同用戶字體風格差異很大人臉識別/驗證：部分人臉只在某個區(qū)域或設備上出現(xiàn)對于一個概念，不同用戶的理解差異很大同樣的語言在不同的地域場合下表現(xiàn)的情緒不一致不同的客戶端擁有的訓練數(shù)據(jù)量大小不一致聯(lián)邦學習面臨的挑戰(zhàn)：隱私保護安全：隱私泄露；惡意攻擊…系統(tǒng)層級異構：有限傳輸、計算和存儲；不穩(wěn)定；設備眾多…統(tǒng)計層面異構：數(shù)據(jù)、模型、任務、目標異構…神經(jīng)網(wǎng)絡重排不變性輸入層輸出層輸入層輸出層神經(jīng)元重排預測結果不變

Server…………Client1ClientK由于訓練的隨機性，即便是同一模型在相同數(shù)據(jù)分布上訓練，神經(jīng)元也會發(fā)生錯位現(xiàn)象，但不影響最終輸出結果再加上本地數(shù)據(jù)的NonIID分布，參數(shù)之間更難點對點對齊點對點參數(shù)對齊的缺陷數(shù)據(jù)集中訓練10.01.00.50.1SVHN94.5961.0854.2646.5617.68CIFAR-1092.3183.7782.7382.1877.42CIFAR-10069.1044.0034.4023.9214.65

目錄項目背景痛點難點分析現(xiàn)有解決方案提出的解決方案可擴展方向技術落地應用FedMA使用中國餐館過程(ChineseRestaurantProcess,CRP)和印度自助餐過程(IndianBuffetProcess,IBP)對各個客戶端神經(jīng)元進行匹配，然后“對號入座”進行聚合IBP示意圖貝葉斯建模過程BayesianNonparametricFederatedLearningofNeuralNetworks.ICML2019.FederatedLearningwithMatchedAveraging.ICLR2020.IndianBuffetProcessOTForModelFusion使用最優(yōu)傳輸(OptimalTransport)對神經(jīng)元對齊聯(lián)邦學習中神經(jīng)元發(fā)生錯位怎么辦？如果想聚合不是相同初始化的模型，怎么辦？--對齊神經(jīng)元SidakPalSingh,MartinJaggi:ModelFusionviaOptimalTransport.NeurIPS2020

OptimalTransport最優(yōu)傳輸問題最早是由法國數(shù)學家蒙日（Monge）于1780年代提出；其解的存在性被俄國數(shù)學家Kantorovich證明，由此Kantorovich獲得1975年諾貝爾經(jīng)濟獎；法國數(shù)學家Brenier建立了最優(yōu)傳輸問題和凸函數(shù)之間的內(nèi)在聯(lián)系。現(xiàn)有方法缺陷對齊方式：現(xiàn)有方法屬于后處理進行對齊的方式，神經(jīng)元已經(jīng)在客戶端訓練過程發(fā)生錯位，然后在服務器進行聚合——“亡羊補牢，為時未晚”？已經(jīng)錯位后處理對齊參數(shù)聚合對齊代價：現(xiàn)有方法的對齊過程需要求解OT或者最優(yōu)指派問題，并且需要額外無標記數(shù)據(jù)，F(xiàn)edMA還需要微調(diào)處理，聚合代價高昂——“補牢代價”？源代碼復雜，只是主文件1000+行目錄項目背景痛點難點分析現(xiàn)有解決方案提出的解決方案可擴展方向技術落地應用解決思路客戶端A異構數(shù)據(jù)有序模型有序特征客戶端B異構數(shù)據(jù)有序模型有序特征有序模型更容易聚合有序模型或者有序特征學習--在客戶端就對神經(jīng)元施加約束，強制不同客戶端神經(jīng)元有序有哪些技術可以實現(xiàn)有序模型學習？解決思路學習有序特征的可能性方案：相關研究查詢(關鍵詞)：Ordered,Aligned,…或許NestedDropout可以實現(xiàn)神經(jīng)元有序？嘗試方案：NestedDropoutNestedDropout原理：OrenRippel,MichaelA.Gelbart,RyanP.Adams:LearningOrderedRepresentationswithNestedDropout.ICML2014:1746-1754Dropout隨機去掉一些結點

NestedDropout會隨機選取一個位置i，然后將最后面的K-i個結點去掉嘗試方案：NestedDropout代碼實現(xiàn)：DropoutPyTorch實現(xiàn)NestedDropoutPyTorch實現(xiàn)嘗試方案：NestedDropout實驗效果：MNISTMNISTMSVHNCIFAR-10CIFAR-100FedAvg96.0246.0518.2572.6844.63FedAvg+Dropout(0.5)95.5454.248.7841.2623.94FedAvg+Dropout(0.1)96.0459.8411.2170.8046.16FedAvg+NestedDropout95.5951.5313.5667.2539.30對比方法：FedAvg，F(xiàn)edAvg和不同概率下的Dropout實驗分析：部分場景下直接使用Dropout會帶來性能提升：客戶端本地數(shù)據(jù)經(jīng)常數(shù)量較少且有偏，使用Dropout可以避免過擬合，因此可以提升性能Dropout的比例不能太大：設置為0.5相當于每次訓練丟棄的神經(jīng)元太多，造成訓練不穩(wěn)定NestedDropout效果不好：這種方法強制神經(jīng)元有序太過“暴力”，沒有免費的午餐，強制有序自然會帶來性能損失思路轉(zhuǎn)變客戶端A異構數(shù)據(jù)位置相關模型位置相關特征位置相關模型也容易聚合有序

位置相關--強制神經(jīng)元有序的約束太強，或許只需要做到“位置相關即可”聯(lián)想到NLP中的位置相關處理技術：--Transformer中的位置編碼Transformer中的位置編碼PositionEncoding:FixedShape=(K,d)SelfAttentionDecoderSelfAttentionEncoder神經(jīng)網(wǎng)絡+位置編碼PositionEncoding：通過位置編碼學習位置相關的表示全連接網(wǎng)絡：按照神經(jīng)元位置進行編碼卷積神經(jīng)網(wǎng)絡：按照通道位置進行編碼設計PANs位置相關神經(jīng)元(PositionAwareNeurons,PANs)具體形式：--可加性和可乘性PANs，以余弦函數(shù)設置位置編碼具體值在神經(jīng)元輸出上加上或者乘以相應的位置編碼，位置編碼只和位置有關，不可學習…神經(jīng)元位置（Index）PANs和重排不變性輸入層輸出層輸入層輸出層神經(jīng)元重排現(xiàn)象：神經(jīng)網(wǎng)絡的重排不變性+異構數(shù)據(jù)分布結果：客戶端模型對應的神經(jīng)元可能會錯位，參數(shù)平均的聚合方式性能很差

如果可以限制神經(jīng)網(wǎng)絡的重排不變性?…神經(jīng)元位置（Index）

預期效果：--神經(jīng)網(wǎng)絡不再具有重排不變性PANs和重排不變性為什么加入位置編碼可以限制神經(jīng)網(wǎng)絡重排不變性：

具有重排不變性丟失重排不變性分布式訓練+PANs效果：本地訓練神經(jīng)元通過位置編碼進行預對齊，在中心服務器即可進行有效點對點參數(shù)平均分布式訓練+PANs為什么帶有位置編碼的神經(jīng)網(wǎng)絡應用到分布式訓練會有效：直觀解釋：PANs將神經(jīng)元和其位置緊密關聯(lián)，在異構數(shù)據(jù)情況下，局部模型的神經(jīng)元會盡量避免錯位現(xiàn)象，因為神經(jīng)元錯位之后會使得輸出變化，從而導致訓練誤差變大以及訓練不穩(wěn)定為了求穩(wěn)，神經(jīng)元不會錯位理論解釋：各個客戶端前向訓練過程有共同的成分，位置編碼。梯度更新過程也有一致的成分，位置編碼越強，梯度更新方向越一致客戶端共享信息：梯度正則化研發(fā)算法FedPAN左圖：提出“位置相關的神經(jīng)元”(Position-AwareNeurons,PANs)，將其封裝為一個“開關”：打開/關閉PANs，即可禁用/啟用神經(jīng)網(wǎng)絡的重排不變性右圖：將PANs應用到分布式訓練，客戶端上預對齊特征研發(fā)算法FedPAN在多個數(shù)據(jù)集、多種設置下均可提升聚合模型的性能(紅色部分)目錄項目背景痛點難點分析現(xiàn)有解決方案提出的解決方案可擴展方向技術落地應用分布式模塊化集成學習深度網(wǎng)絡模塊化集成框架：將模型按照縱向、橫向切分為多個模塊，每個客戶端只選擇部分模塊，如何切分？如何聚合？Server如何為每個客戶端選擇合適的模塊？如何聚合？ClientAClientBClients異構數(shù)據(jù)有序/位置相關模型有序/位置相關特征有序/位置相關模型更容易劃分有序/位置相關模型更容易聚合學習有序/位置相關模型目錄項目背景痛點難點分析現(xiàn)有解決方案提出的解決方案可擴展方向技術落地應用技術落地應用技術研究深化：研究基于位置編碼的特征預對齊技術(已和華為合作申請專利+CVPR2022中稿)研究基于有序/位置相關模型的分布式集成學習框架技術落地實際應用場景多APP智能業(yè)務感知：根據(jù)流量包對APP類型進行識別，但是不能將用戶流量包聚集到服務器訓練（已驗證）ONT/OLT應用識別：對家庭光貓的用戶流量進行應用識別，需根據(jù)以往模型構建新場景下的模型（待驗證）DC節(jié)能模型構建：節(jié)能模型隨時間場景特異，需根據(jù)現(xiàn)有的節(jié)能模型推導出合適的新節(jié)點模型，減少成本（待驗證）隱私保護數(shù)據(jù)異構分布式模型重用多APP智能業(yè)務感知背景智能業(yè)務感知(ServiceAwareness,SA)：--通過機器學習從字節(jié)流中檢測該流量來自的具體應用問題描述：單一局點上訓練SA模型需要大量的數(shù)據(jù)支持若要借助多方之間的數(shù)據(jù)進行合作，需要保護數(shù)據(jù)隱私現(xiàn)有數(shù)據(jù)包括3個局點，SA目標分類是36分類項目目標：在數(shù)據(jù)隱私保護的條件下聯(lián)合三方數(shù)據(jù)來提升SA模型的性能SA機器學習問題抽象：--從字節(jié)流中檢測具體應用的過程使用CNN分類模型進行建模X：字節(jié)流數(shù)據(jù)大小為3*256CNN多APP智能業(yè)務感知難點數(shù)據(jù)分布NonIID：--標記分布差異--特征分布差異右圖展示了三個局點的標記分布，以及全局測試集的標記分布，僅看標記分布就存在很大差異，個別局點上還會有缺失類別，導致直接應用FedAvg會出現(xiàn)模型參數(shù)點對點聚合不準的問題SA卷積網(wǎng)絡設計1*3