新型智算中心以太網(wǎng)物理層安全PHYSec架構(gòu)白皮書

中國移動(dòng)新型智算中心以太 6 6 中國移動(dòng)新型智算中心以太1隨著AI大模型的迭代速度呈指數(shù)級(jí)增長，AIGC（AI-GeneratedContent）等應(yīng)用預(yù)計(jì)將在全球范圍內(nèi)產(chǎn)生數(shù)萬億美元的經(jīng)濟(jì)價(jià)值。全調(diào)度以太網(wǎng)（GSE）在兼容現(xiàn)有以太生態(tài)前提下，提出基于虛擬容技術(shù),獲得業(yè)內(nèi)廣泛認(rèn)可，并在中國通信標(biāo)準(zhǔn)化協(xié)會(huì)（CCSA）TC3工當(dāng)前，智算中心以大量數(shù)據(jù)為資源，利用強(qiáng)大算力驅(qū)動(dòng)AI大模用戶設(shè)備實(shí)時(shí)上傳的敏感或隱私數(shù)據(jù)須經(jīng)過廣域網(wǎng)或城域網(wǎng)等入算網(wǎng)絡(luò)到達(dá)智算中心用于AI大模型訓(xùn)練，這些數(shù)據(jù)在傳輸過程中存在泄露的風(fēng)險(xiǎn)。對(duì)于算內(nèi)場景，AI訓(xùn)練與推理過程中使用到的模型、中國移動(dòng)新型智算中心以太2對(duì)日益嚴(yán)峻的安全挑戰(zhàn)?？紤]到智算中心場景所承載的AI與HPC業(yè)二是低時(shí)延、低開銷的數(shù)據(jù)加解密能力。隨著AIGC等應(yīng)用的發(fā)中國移動(dòng)新型智算中心以太3無法同時(shí)滿足上述的關(guān)鍵能力需求。在傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)中，RDMA技術(shù)得到了廣泛應(yīng)用。部分標(biāo)準(zhǔn)組織提出在RDMA改進(jìn)方案，來嘗試滿足智算中心的安全需求[2]。此外，基于IEEE802.1AE標(biāo)準(zhǔn)的MACSec可以為以太網(wǎng)設(shè)備之間提供數(shù)據(jù)鏈路層逐幀對(duì)短幀場景，會(huì)明顯擠占業(yè)務(wù)帶寬，影響AI業(yè)務(wù)算效。3）暴露以太利用進(jìn)行流量分析攻擊[3,4]。無法保護(hù)基于優(yōu)先級(jí)的流量控制幀要消耗大量的CPU資源及網(wǎng)卡內(nèi)存資源來維護(hù)節(jié)點(diǎn)間建立的安全會(huì)中國移動(dòng)新型智算中心以太4針對(duì)上述智算中心安全需求以及RDMASec時(shí)延、低開銷、協(xié)議透明的數(shù)據(jù)加解密。本白皮書的發(fā)布有望推動(dòng)PHYSec技術(shù)的標(biāo)準(zhǔn)共識(shí)、技術(shù)成熟與商用落地，支撐智算中心的安中國移動(dòng)新型智算中心以太5但基于物理層加密的以太網(wǎng)技術(shù)還未曾出現(xiàn)[5]。現(xiàn)有網(wǎng)絡(luò)安全技術(shù)望解決上述RDMASec及MACSec所不能解決的問題。同時(shí)，物理層的圖2-1安全機(jī)制演進(jìn)趨勢(shì)本白皮書提出將物理層加密的理念與以太網(wǎng)物理層技術(shù)相融合中國移動(dòng)新型智算中心以太6有上層協(xié)議的信息防護(hù)。如前所述，PHYSec是一種工作在以太網(wǎng)物所有的管控協(xié)議以及幀間空隙均被物理層統(tǒng)一編碼，可以被PHYSec有效保護(hù)，從而掩蓋流量特征，具有極高的安全性。如圖2-2所示,為明文數(shù)據(jù)、MACSec加密以及PHYSec加密三種傳輸方式的示例。PHYSec可以加密包括以太幀頭部在內(nèi)的全部用戶信息，掩蓋幀頻率以及幀長度等流量特征，解決了RDMASec和MACSec難以防護(hù)流量分析攻擊的問題。與此同時(shí)，PHYSec的加密對(duì)象是物理層的比特流，轉(zhuǎn)發(fā)邏輯和協(xié)議處理無關(guān)。在構(gòu)造合適的加密對(duì)象之后，PHYSec利圖2-2明文傳輸、MACSec加密以及PHYSec加密示例PHYSec技術(shù)可以在以太網(wǎng)物理層PHY的不同位置實(shí)現(xiàn)。在PHY中國移動(dòng)新型智算中心以太7PHYSec原則上可支持鏈路級(jí)和通道級(jí)的技術(shù)方案，類似MACSecPHYSec作為網(wǎng)絡(luò)安全技術(shù)，技術(shù)邏輯同MACSec（解決如何將密應(yīng)用于網(wǎng)絡(luò)層的問題解決如何將密碼學(xué)算法應(yīng)用于網(wǎng)絡(luò)物理層的本白皮書提出的PHYSec技術(shù)體系架構(gòu)主要包括三個(gè)層次：認(rèn)證通道層、密鑰管理層和數(shù)據(jù)加解密層，如圖2-3所示。中國移動(dòng)新型智算中心以太8圖2-3PHYSec技術(shù)體系架構(gòu)?認(rèn)證通道層：負(fù)責(zé)對(duì)設(shè)備及光模塊的身份認(rèn)證與身份管理，確保相互通信的兩端是合法的以太網(wǎng)設(shè)備。認(rèn)證通過后，需要對(duì)認(rèn)證?密鑰管理層：負(fù)責(zé)運(yùn)行過程中密鑰的派生與管理、密鑰定期更新分發(fā)以及密鑰超期等異常狀態(tài)處理。密鑰分發(fā)完成后，還需要對(duì)使用該密鑰的加密鏈路進(jìn)行?；?。密鑰管理層的功能主要由平臺(tái)?數(shù)據(jù)加解密層：分為鏈路級(jí)加解密與通道級(jí)加解密。基于系統(tǒng)下發(fā)的密鑰，分別通過加密引擎和解密引擎對(duì)信號(hào)進(jìn)行加密和解密PHYSec的認(rèn)證通道層、密鑰管理層以及數(shù)據(jù)加解密層都可以與9應(yīng)用接入與控制平臺(tái)也可以實(shí)時(shí)對(duì)認(rèn)證通道層的安全身份進(jìn)行管理PHYSec的整體流程包含加密能力查詢及初始化、身份認(rèn)證、密鑰協(xié)商與管理以及數(shù)據(jù)加解密，如圖2-4所示。圖2-4PHYSec整體技術(shù)流程?加密能力查詢及初始化：在加密協(xié)商開始前，軟件通過調(diào)用驅(qū)動(dòng)如果不支持加密則中止流程；如果支持加密，則向?qū)Χ送ǜ婕用苣芰?，并協(xié)商加密方式，平臺(tái)業(yè)務(wù)軟件根據(jù)協(xié)商結(jié)果進(jìn)行加密初設(shè)備協(xié)商出相同的對(duì)稱密鑰，并負(fù)責(zé)加解密運(yùn)行過程中密鑰的更部署層級(jí)架構(gòu)如圖2-5所示。圖2-5PHYSec部署層級(jí)位置2.3.1物理層身份認(rèn)證機(jī)制PHYSec的身份認(rèn)證機(jī)制主要是確保相互通信的兩端是合法的以中國移動(dòng)新型智算中心以太無法確認(rèn)光模塊的合法性，存在一定的安全風(fēng)險(xiǎn)。如圖2-6所示為圖2-6PHYSec身份認(rèn)證框架放在光模塊中的標(biāo)識(shí)ID讀取到設(shè)備內(nèi)，雙方設(shè)備通過交互認(rèn)證信息2.3.2物理層密鑰管理機(jī)制PHYSec的密鑰管理機(jī)制主要是解決數(shù)據(jù)加密密鑰派生、分發(fā)和中國移動(dòng)新型智算中心以太圖2-7安全通道建立示意圖2-9所示，對(duì)于每個(gè)通信節(jié)點(diǎn)，在worstcase下每個(gè)節(jié)點(diǎn)需要和其會(huì)話數(shù)是N×(N-1)。若考慮節(jié)點(diǎn)A和節(jié)點(diǎn)B之間通常只需要建立一條雙向的安全會(huì)話，則總的安全會(huì)話數(shù)是N×(N-1)/2。對(duì)于大規(guī)模圖2-8示例拓?fù)洌?個(gè)通信節(jié)點(diǎn)圖2-9傳統(tǒng)安全機(jī)制通信節(jié)點(diǎn)間數(shù)據(jù)面與管控面安全鏈接針對(duì)類似圖2-8所示的組網(wǎng)連接，PHYSec的密鑰管理機(jī)制選定與分發(fā)，其他節(jié)點(diǎn)只接收密鑰，簡化密鑰管理。如圖2-10與圖2-11圖2-10PHYSec數(shù)據(jù)面安全連接示意圖圖2-11PHYSec管控面安全連接示意圖點(diǎn)共同執(zhí)行同一AI訓(xùn)練任務(wù)，PHYSec密鑰管理機(jī)制對(duì)屬于同一個(gè)業(yè)中國移動(dòng)新型智算中心以太2.3.3物理層數(shù)據(jù)加解密機(jī)制PHYSec的數(shù)據(jù)加密解密主要提供數(shù)據(jù)的機(jī)密性保護(hù)與完整性保等設(shè)備的通道級(jí)方案，滿足未來網(wǎng)絡(luò)安全訴求，如圖2-12所示。圖2-12PHYSec鏈路級(jí)與通道級(jí)解決方案示意PHYSec基于對(duì)稱加密算法對(duì)數(shù)據(jù)進(jìn)行加解密，可選算法有NIST安全性極高。PHYSec在物理層將加解密算法卸載到底層芯片或模塊中，實(shí)現(xiàn)線速加解密，加密和解密流程如圖2-13所示。圖2-13PHYSec數(shù)據(jù)加密流程中國移動(dòng)新型智算中心以太理層處理流程后進(jìn)入光模塊。發(fā)端光模塊的oDSP先對(duì)收到的比特流圖2-14PHYSec鏈路級(jí)加密解密架構(gòu)中國移動(dòng)新型智算中心以太圖2-15復(fù)幀結(jié)構(gòu)構(gòu)如圖2-16所示。數(shù)據(jù)幀從發(fā)端MAC層經(jīng)過RS進(jìn)入發(fā)端PHY芯片最后首位添加S、T碼塊，構(gòu)造一個(gè)完整的加密段（Segment然后密所需的參數(shù)，對(duì)其余D碼塊內(nèi)的用戶信息實(shí)施解密，然后還原為中國移動(dòng)新型智算中心以太圖2-16PHYSec通道級(jí)加密解密架構(gòu)解密側(cè)是加密側(cè)的逆操作。考慮壓縮部分IDLE，PHYSec密技術(shù)方案可以做到不占用用戶開銷；考慮Worstcase情況下，不圖2-17PHYSec通道級(jí)技術(shù)方案加密側(cè)流程相比于RDMASec、MACSec等加密機(jī)制，PHYSec在安全性、帶寬中國移動(dòng)新型智算中心以太表2-1不同加密機(jī)制對(duì)比RDMASecMACSecPHYSec表2-2RDMASec、MACSec及PHYSec保護(hù)能力對(duì)比MACSecPHYSec是是是是是是是是是否是是否是否否是否否是否是是否是是否否是否否是是是是中國移動(dòng)新型智算中心以太否否是否否是否是是否是是否否是否是是示。PHYSec使用以太網(wǎng)物理層的OAM碼塊來承載加解密參數(shù)，不引圖2-18RDMASec、MACSec及PHYSec加密開銷對(duì)比相較于RDMASec和MACSec，PHYSecRDMASec/MACSecPHY架構(gòu)將加密功能下沉到PHY芯片內(nèi)實(shí)現(xiàn)，只需要對(duì)交換機(jī)/路由器等設(shè)備端口進(jìn)行升級(jí)便可支持加密功能，對(duì)模塊，處理過程如圖2-19所示。這種背靠背的架構(gòu)實(shí)現(xiàn)需要在PHY中引入更多的芯片實(shí)現(xiàn)代價(jià)、處理時(shí)延和功耗。PHYSec是針對(duì)物理圖2-19MACSec/RDMASec芯片架構(gòu)PHYSec的加密對(duì)象是物理層的比特流，可以做到對(duì)上層業(yè)務(wù)和協(xié)議進(jìn)行透明加解密，即不感知上層業(yè)務(wù)和協(xié)議，如圖2-20所示。中國移動(dòng)新型智算中心以太圖2-20PHYSec加密層級(jí)中國移動(dòng)新型智算中心以太PHYSec技術(shù)可以被應(yīng)用于各種以太網(wǎng)鏈路級(jí)安全場景，本白皮書重點(diǎn)介紹PHYSec在智算中心相關(guān)應(yīng)用場景，包括智算中心入算流AI大模型及其應(yīng)用需要大量的數(shù)據(jù)作為訓(xùn)練集，企業(yè)等高價(jià)值用戶敏感數(shù)據(jù)到智算中心或從智算中心下載訓(xùn)練好的模型及參數(shù)等RDMASec/MACSec帶來的20%以上的開銷，PHYSec占用寬，節(jié)省專線成本。此外，PHYSec可以對(duì)用戶所有信息和所有的網(wǎng)中國移動(dòng)新型智算中心以太圖3-1智算中心流量入算場景傳統(tǒng)的數(shù)據(jù)中心內(nèi)無網(wǎng)絡(luò)安全機(jī)制，對(duì)東西向流量無安全防護(hù)，戰(zhàn)。PHYSec適用于這兩種常見的智算中心組網(wǎng)拓?fù)洌梢詫⒓咏饷芡ㄟ^光模塊實(shí)現(xiàn)PHYSec,則無需更換服中國移動(dòng)新型智算中心以太圖3-2智算中心典型拓?fù)涫纠?。①CLOS架構(gòu)②直連架構(gòu)智算中心間的高速互聯(lián)光纖以及鋪設(shè)光纖的管井等暴露的物理設(shè)施，存在被攻擊竊聽的風(fēng)險(xiǎn)。使用PHYSec光模塊可以杜絕光纖信MACSec對(duì)互聯(lián)鏈路進(jìn)行保護(hù)，PHYSec可以對(duì)用戶所有信息和所有的圖3-3智算中心互聯(lián)場景PHYSec可以根據(jù)不同場景來靈活選擇合適的部署模式。不同的1)面向以太網(wǎng)中已有存量設(shè)備無法進(jìn)行硬件芯片更換的場景，可以在存量設(shè)備中插入已部署PHYSec的光模塊實(shí)兼容現(xiàn)有網(wǎng)絡(luò)設(shè)備，迅速升級(jí)鏈路安全通信能力，保護(hù)現(xiàn)有設(shè)備與通信資產(chǎn)。加解密功能主要運(yùn)行在以太網(wǎng)物理層的PCS底層，中國移動(dòng)新型智算中心以太圖3-4PHYSec實(shí)現(xiàn)方式—光模塊部署加解密功能主要運(yùn)行在以太網(wǎng)物理層的PCS層，其架構(gòu)如圖3-5圖3-5PHYSec實(shí)現(xiàn)方式—PHY芯片部署3)面向以太網(wǎng)鏈路兩端分別為存量設(shè)備和新增設(shè)備的安全場景，可以在新增設(shè)備的PHY芯片中部署PHYSec，在存量設(shè)備中插入已部所示。其中，PHY芯片主要在PCS層實(shí)現(xiàn)PHYSec，光模塊中由電芯片（如數(shù)字信號(hào)處理芯片）實(shí)現(xiàn)PHYSec。圖3-6PHYSec實(shí)現(xiàn)方式—混合部署中國移動(dòng)新型智算中心以太隨著AI技術(shù)的快速發(fā)展，大量敏感數(shù)據(jù)與AI模型參數(shù)在以太網(wǎng)上進(jìn)行傳輸。PHYSec作為以太網(wǎng)物理層安全技術(shù)，可以保護(hù)智算中易部署等優(yōu)點(diǎn)，符合技術(shù)與產(chǎn)業(yè)的發(fā)展趨勢(shì)。同時(shí)，PHYSec在衛(wèi)星應(yīng)用潛力，將為IT和電信領(lǐng)域的安全市場創(chuàng)造巨大的價(jià)值增長點(diǎn)。要求。PHYSec在保護(hù)衛(wèi)星通信鏈路安全的前提下，實(shí)現(xiàn)極低開銷，滿足衛(wèi)星通信高帶寬利用率的需求。在可以預(yù)見的未來，PHYSec作會(huì)被監(jiān)聽或截取的密鑰分發(fā)技術(shù)。如果利用量子密鑰分發(fā)技術(shù)為PHYSec提供密鑰，將為以太網(wǎng)帶來史無前例的安全性，可以應(yīng)對(duì)高中國移動(dòng)新型智算中心以太縮略語列表縮略語英文全名中文解釋AIArtificialIntelligence人工智能AIGCAIGeneratedContent人工智能生成內(nèi)容HPCHighPerformanceComputing高性能計(jì)算CPUCentralProcessingUnit中央處理單元EEPROMElectricallyErasableProgrammableReadOnlyMemory電可擦除可編程只讀存儲(chǔ)器IEEEInstituteofElectricalandElectronicsEngineers電氣與電子工程師協(xié)會(huì)UDPUserDatagramProtocol用戶數(shù)據(jù)報(bào)協(xié)議InternetProtocol網(wǎng)際協(xié)議RDMARemoteDirectMemoryAccess遠(yuǎn)程直接內(nèi)存訪問NPNetworkProcessor網(wǎng)絡(luò)處理器ECUElectronicControlUnit電子控制單元PFCPriority-basedFlowControl基于優(yōu)先級(jí)的流量控制TLSTransportLayerSecurity傳輸層安全協(xié)議IPSecInternetProtocolSecurity因特網(wǎng)協(xié)議安全協(xié)議RDMASecRemoteDirectMemoryAccessSecurity遠(yuǎn)程直接內(nèi)存訪問安全協(xié)議MACSecMediaAccessControlSecurity媒體接入控制