2023信息技術(shù) 人工智能 計算設(shè)備調(diào)度與協(xié)同 第2部分 分布式計算框架

2IIII目 次前 言 III引 言 IV1范圍 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 25概述 36計算設(shè)備 46.1云側(cè)設(shè)備 46.2邊緣設(shè)備 46.3終端設(shè)備 57分布式AI計算協(xié)同管理框架 57.1概述 57.2關(guān)鍵組件技術(shù)要求 77.3云云協(xié)同 107.4云邊端協(xié)同 10參考文獻(xiàn) 16PAGEPAGE16信息技術(shù)人工智能計算設(shè)備調(diào)度與協(xié)同第2部分：分布式計算框架范圍本文件規(guī)定了人工智能計算設(shè)備分布式計算的參考架構(gòu)及其軟硬件系統(tǒng)的功能、性能技術(shù)要求。本文件適用于分布式人工智能計算系統(tǒng)的設(shè)計、開發(fā)和測試。規(guī)范性引用文件本文件沒有規(guī)范性引用文件。術(shù)語和定義本文件第1部分界定的以及下列術(shù)語和定義適用于本文件。3.1分布式機(jī)器學(xué)習(xí)distributedmachinelearning習(xí)任務(wù)。注：互聯(lián)網(wǎng)絡(luò)可包含局域互聯(lián)網(wǎng)及廣域互聯(lián)網(wǎng)。[來源：ISO/IEC2382―2015,2178059，有修改]3.2聯(lián)邦機(jī)器學(xué)習(xí) federatedmachinelearning一種機(jī)器學(xué)習(xí)方法或過程，能讓多個參加者協(xié)作構(gòu)建及使用機(jī)器學(xué)習(xí)模型而不暴露參加者所擁有的原始數(shù)據(jù)或私有數(shù)據(jù)。[來源：IEEE3652.1，3.1]3.3增量學(xué)習(xí) incrementallearning階段的新知識提供基礎(chǔ)。注：基于機(jī)器學(xué)習(xí)實(shí)現(xiàn)的增量學(xué)習(xí)過程，稱為“增量訓(xùn)練”。[來源：ISO/IEC2382―2015，2123002，有修改，加上了注]3.4邊緣計算edgecomputing一種分布式計算方法或過程，其中處理及存儲過程發(fā)生在分布式系統(tǒng)的邊緣。注：計算發(fā)生靠近邊緣的程度按系統(tǒng)的需求定義設(shè)定。[來源：ISO/IECTR23188―2020,3.1.3]3.5集合通信collectivecommunication一種通信模式，其所傳遞數(shù)據(jù)在一組處理器單元（稱為節(jié)點(diǎn)）上處理[1]。注：一次通信一般包含有多個接受者和發(fā)送者。3.6終生學(xué)習(xí)lifelonglearning持續(xù)學(xué)習(xí)continuouslearning作階段持續(xù)發(fā)生。[來源：ISO/IECFDIS22989―2021，3.1.9]3.7分布式訓(xùn)練 distributedtraining一種人工智能學(xué)習(xí)過程，其訓(xùn)練任務(wù)的部分或者全部分配在多個計算節(jié)點(diǎn)完成。3.8分布式推理 distributedinference一種人工智能推理過程，其中全部或者部分推理任務(wù)分配在多個計算節(jié)點(diǎn)完成。3.9協(xié)同collaboration一種過程或方法，特意安排多個實(shí)體共同工作，以完成事先商定的同一個任務(wù)（目標(biāo)）。注1：實(shí)體指計算節(jié)點(diǎn)。注2：任務(wù)（目標(biāo)）指模型訓(xùn)練或推理。注3：工作分解為子項，并在實(shí)體間分配和集中。[來源：ISO30401―2018，3.23，有修改]縮略語AI人工智能（ArtificialIntelligence）API應(yīng)用程序接口（ApplicationProgrammingInterface）CPU中央處理單元（CentralProcessingUnit）FPGA現(xiàn)場可編程邏輯門陣列（FieldProgrammableGateArray）GPU圖形處理單元（GraphicsProcessingUnit）NPU神經(jīng)網(wǎng)絡(luò)處理單元（Neural―networkProcessingUnit）PCIE外設(shè)組件互連（PeripheralComponentInterconnectExpress）RDMA遠(yuǎn)程直接內(nèi)存訪問（RemoteDirectMemoryAccess）TCP/IP傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議（TransmissionControlProtocol/InternetProtocol）概述基于AI計算設(shè)備構(gòu)建的分布式AI應(yīng)用運(yùn)行環(huán)境，符合以下規(guī)定：計算設(shè)備作為運(yùn)行環(huán)境，支持圖1中機(jī)器學(xué)習(xí)生命周期中的主要過程：1AI任務(wù)生命周期支持分布式訓(xùn)練，包含以下要求：方或用戶根據(jù)場景特性再訓(xùn)練，更新參數(shù)，保證模型準(zhǔn)確率水平；云側(cè)設(shè)備應(yīng)支持云、邊緣和端側(cè)模型的訓(xùn)練，并在部署或運(yùn)行時分發(fā)到對應(yīng)位置；云側(cè)、邊緣側(cè)設(shè)備應(yīng)支持模型部署及推理，端側(cè)設(shè)備宜支持模型部署及推理；應(yīng)支持聯(lián)邦學(xué)習(xí)，在端側(cè)或邊緣側(cè)數(shù)據(jù)使用本地數(shù)據(jù)訓(xùn)練；應(yīng)包含云側(cè)、邊緣側(cè)和終端側(cè)；應(yīng)支持通信、控制、設(shè)備接入等多功能集成，提供管理和控制接入等功能；應(yīng)支持虛擬機(jī)資源池等池化能力；應(yīng)使用時延、截止時間、作業(yè)吞吐率等指標(biāo)衡量、檢測性能水平；宜使用終端設(shè)備電池電量等指標(biāo)衡量、檢測能耗水平。計算設(shè)備云側(cè)設(shè)備概述云側(cè)AI計算設(shè)備及其使用，符合以下要求：應(yīng)支持以下應(yīng)用類型：云側(cè)訓(xùn)練；108的訓(xùn)練；訓(xùn)練集樣本數(shù)不小于108的訓(xùn)練；在云側(cè)部署和運(yùn)行AI推理任務(wù)，推理過程計算資源彈性伸縮；增量訓(xùn)練；聯(lián)邦學(xué)習(xí)；應(yīng)遵循以下使用原則：訓(xùn)練過程與數(shù)據(jù)源分離；AI任務(wù)全生命周期過程；多租戶共享計算、存儲資源；數(shù)據(jù)集中處理和分析；使用虛擬化技術(shù)管理計算資源。技術(shù)要求云側(cè)AI計算設(shè)備，符合以下要求：應(yīng)具備用于AI計算的加速處理器（如CPU、GPU、NPU、FPGA等）；宜實(shí)施針對異構(gòu)AI加速處理器的虛擬化，形成資源池統(tǒng)一調(diào)度AI計算；應(yīng)支持模型訓(xùn)練所需的軟件和模式，包含：1）機(jī)器學(xué)習(xí)框架（如MindSpore、TensorFlow、PyTorch）；2）云側(cè)分布式集群訓(xùn)練；模型可視化，包含訓(xùn)練過程，數(shù)據(jù)處理過程等；自動學(xué)習(xí)；應(yīng)提供與邊緣設(shè)備、終端設(shè)備兼容的互操作協(xié)議及接口；應(yīng)支持訓(xùn)練或推理任務(wù)鏡像管理。邊緣設(shè)備概述邊緣側(cè)AI計算設(shè)備參與協(xié)同計算，遵循以下使用原則：a）b）d）宜在本地執(zhí)行數(shù)據(jù)處理，避免數(shù)據(jù)網(wǎng)絡(luò)傳輸中的風(fēng)險；e）宜考慮業(yè)務(wù)場景要求的實(shí)時性。技術(shù)要求邊緣側(cè)AI計算設(shè)備，符合以下要求：AI邊緣計算設(shè)備包含但不限于AI服務(wù)器、AI加速卡、AI加速模組；應(yīng)提供與終端設(shè)備、云側(cè)設(shè)備的協(xié)同接口；宜支持推理任務(wù)或訓(xùn)練任務(wù)；應(yīng)支持至少1中機(jī)器學(xué)習(xí)框架（如TensorFlow、PyTorch、MindSpore等）；應(yīng)支持視頻分析、文字識別、圖像識別、聲音處理等應(yīng)用；宜支持流數(shù)據(jù)的實(shí)時處理；宜能在邊緣存儲實(shí)時信息；宜能監(jiān)控邊緣節(jié)點(diǎn)的運(yùn)行狀態(tài)；f）應(yīng)具備數(shù)據(jù)隔離措施，在受攻擊時，只影響本地設(shè)備，而非其他參與協(xié)同的設(shè)備。終端設(shè)備概述終端側(cè)AI（如數(shù)據(jù)源的位置附近。技術(shù)要求終端側(cè)AI計算設(shè)備，符合以下要求：宜支持基于全量框架的深度學(xué)習(xí)推理；宜支持?jǐn)?shù)據(jù)預(yù)處理（如圖像縮放、圖像填充、圖像旋轉(zhuǎn)、聲音去噪等）；應(yīng)支持基于輕量化機(jī)器學(xué)習(xí)框架的運(yùn)行（訓(xùn)練或推理）；應(yīng)支持脫離機(jī)器學(xué)習(xí)框架的模型下沉，在設(shè)備上直接運(yùn)行；宜支持與邊緣設(shè)備或云側(cè)設(shè)備的交互，完成推理；宜支持多端協(xié)同，包含但不限于：管理多個終端設(shè)備；多個終端設(shè)備之間的數(shù)據(jù)協(xié)同與共享；多個終端設(shè)備之間計算任務(wù)的調(diào)度與分發(fā)。應(yīng)支持分布式訓(xùn)練，包含：能與其他終端設(shè)備、云側(cè)設(shè)備、邊緣設(shè)備協(xié)同，完成訓(xùn)練；兼容分布式訓(xùn)練框架，包含但不限于TensorFlow、PyTorch、MindSpore等；3）AI概述分布式AI計算協(xié)同管理框架見圖2。管理框架的應(yīng)用，應(yīng)符合以下要求及原則：2分布式管理框架圖能管理機(jī)器學(xué)習(xí)算法的運(yùn)行環(huán)境配置，包括支持云側(cè)設(shè)備、邊緣設(shè)備和終端設(shè)備；b）a）提出的計算設(shè)備上的運(yùn)行：支持基于AI緣和終端部署；聯(lián)邦學(xué)習(xí)；協(xié)同推理；基于云側(cè)或邊緣側(cè)集群的分布式訓(xùn)練；邊―云協(xié)同的增量訓(xùn)練；c）機(jī)器學(xué)習(xí)框架；深度學(xué)習(xí)模型編譯器；集合通信庫；虛擬化與調(diào)度組件；云側(cè)、邊緣側(cè)支持容器化微服務(wù)架構(gòu)；d）應(yīng)保持一致；具備容錯性，對分布式協(xié)同訓(xùn)練的集群，在訓(xùn)練過程中有節(jié)點(diǎn)出現(xiàn)故障（如宕機(jī)）保證原有任務(wù)持續(xù)進(jìn)行并完成；具備統(tǒng)一的編程模型，對于開發(fā)者和用戶屏蔽機(jī)器學(xué)習(xí)框架和不同計算設(shè)備的差異；具備分布式存儲能力，能根據(jù)不同的分布式計算場景（如分布式集群、端云，邊云等）置相應(yīng)的存儲方式；支持計算設(shè)備管理，對不同的AI加速卡或AI加速處理器，根據(jù)AI增加計算設(shè)備利用率；注：計算設(shè)備的管理和調(diào)度，涉及虛擬化和集群調(diào)度的部分，參考第1部分。分布式多終端協(xié)同，應(yīng)符合以下要求：去中心化，即多個終端設(shè)備協(xié)同完成AI任務(wù)時，不存在常設(shè)的中心節(jié)點(diǎn)；實(shí)時維護(hù)與共享集群中節(jié)點(diǎn)狀態(tài)，以實(shí)施調(diào)度決策；在調(diào)度時考慮網(wǎng)絡(luò)傳輸?shù)囊蛩?，具備?shí)時性保障機(jī)制（如超時機(jī)制等）；注：集群組網(wǎng)使用無線連接（如WIFI或藍(lán)牙）時，會出現(xiàn)傳輸速率有限且不穩(wěn)定的情況。在調(diào)度時考慮設(shè)備實(shí)際能力，并具備適應(yīng)性協(xié)同策略（如按計算能力調(diào)度）；注：多終端設(shè)備結(jié)構(gòu)不同，能力不同，優(yōu)勢的外設(shè)和算力資源往往不在同一節(jié)點(diǎn)上。視頻播放任務(wù)不應(yīng)被打斷，或?qū)е虏シ趴D等；考慮非常插電設(shè)備接受調(diào)度后計算能耗。關(guān)鍵組件技術(shù)要求機(jī)器學(xué)習(xí)框架用于分布式機(jī)器學(xué)習(xí)任務(wù)的機(jī)器學(xué)習(xí)框架，符合以下要求：a）應(yīng)能在云側(cè)、邊緣側(cè)、終端測等設(shè)備上運(yùn)行；支持模型部署，符合以下要求，包含但不限于：應(yīng)能以云服務(wù)的形式在云側(cè)部署，提供推理任務(wù)執(zhí)行環(huán)境；應(yīng)支持能被裁剪的輕量化框架，在云側(cè)訓(xùn)練的模型，能部署在端側(cè)和邊緣側(cè)；應(yīng)支持脫離框架或只依賴輕量化框架的模型的運(yùn)行；應(yīng)支持在內(nèi)存受限的設(shè)備或環(huán)境中的運(yùn)行；宜支持模型量化，并在用戶允許的誤差范圍內(nèi)，使模型能從云側(cè)遷移至端側(cè)或邊緣側(cè)。c）的模型在端、邊、云三種設(shè)備上的無（格式）轉(zhuǎn)換部署；d）云側(cè)訓(xùn)練—端側(cè)推理；云側(cè)訓(xùn)練—端側(cè)增量訓(xùn)練—終端側(cè)推理；云側(cè)—終端側(cè)的聯(lián)邦學(xué)習(xí)；云側(cè)訓(xùn)練—邊緣側(cè)推理；云側(cè)訓(xùn)練—邊緣側(cè)增量訓(xùn)練—邊緣側(cè)推理；云側(cè)—邊緣側(cè)聯(lián)邦學(xué)習(xí)；云側(cè)訓(xùn)練—邊緣側(cè)增量訓(xùn)練—終端側(cè)推理；云側(cè)—邊緣側(cè)—終端側(cè)聯(lián)合推理。虛擬化與調(diào)度異構(gòu)AI加速處理器或帶有異構(gòu)AI加速處理器的加速卡的虛擬化與調(diào)度組件，符合以下技術(shù)要求：a）應(yīng)符合本文件第1部分的要求；宜支持基于以下類型處理器的AI加速卡的調(diào)度，包括：CPU（邊緣，終端）；GPU；FPGA；NPU或其他定制化處理器；資源調(diào)度系統(tǒng)應(yīng)能調(diào)用AI加速卡或AI加速處理器及其虛擬化實(shí)例，包含：僅能用于訓(xùn)練任務(wù)的加速卡；僅能用于推理任務(wù)的加速卡；能用于訓(xùn)練及推理任務(wù)的加速卡。分布管理中的異構(gòu)資源調(diào)度系統(tǒng)，應(yīng)支持以下調(diào)度模式：云側(cè)的訓(xùn)練卡調(diào)度，實(shí)施云側(cè)分布式訓(xùn)練；邊緣側(cè)的訓(xùn)練卡調(diào)度，支持邊緣側(cè)增量訓(xùn)練；云側(cè)或邊緣側(cè)的推理加速卡調(diào)度，支持大模型推理，克服單卡運(yùn)行時內(nèi)存限制；云側(cè)和邊緣側(cè)的訓(xùn)練加速卡的調(diào)度，能完成云側(cè)訓(xùn)練—邊緣側(cè)增量訓(xùn)練的任務(wù)；云側(cè)和邊緣推理加速卡的調(diào)度，能完成云側(cè)訓(xùn)練—邊緣推理的任務(wù)；云側(cè)和終端側(cè)加速卡的調(diào)度，能完成云側(cè)—端側(cè)的聯(lián)邦學(xué)習(xí)任務(wù)；云側(cè)訓(xùn)練加速卡和端側(cè)推理加速卡的調(diào)度，能完成云側(cè)訓(xùn)練—端側(cè)推理任務(wù)；邊緣側(cè)訓(xùn)練加速卡的調(diào)度，能完成邊緣側(cè)的分布式訓(xùn)練任務(wù)。深度學(xué)習(xí)編譯器AI現(xiàn)模型跨平臺移植。安全組件安全原則分布式AI計算協(xié)同管理框架的使用，應(yīng)按圖1規(guī)定的生命周期和流程，識別風(fēng)險，包含但不限于：a）易受竊取等攻擊的資產(chǎn)及相關(guān)攻擊模式，包含：訓(xùn)練腳本或代碼文件；訓(xùn)練數(shù)據(jù)集文件；模型文件（包含預(yù)訓(xùn)練模型文件、訓(xùn)練結(jié)果文件和在計算節(jié)點(diǎn)中的模型文件）；b）（如被修改）；c）（的機(jī)密性被破壞；d）推理輸入數(shù)據(jù)不被截獲或修改；云側(cè)、邊緣側(cè)的容器安全，包括容器構(gòu)建時安全、容器部署時安全、容器運(yùn)行時安全。安全要求分布式AI計算協(xié)同管理框架，符合以下要求：a）訓(xùn)練階段，應(yīng)實(shí)現(xiàn)以下安全防護(hù)機(jī)制：1）云側(cè)，支持：對訓(xùn)練文件的簽名，能加密AI模型和訓(xùn)練腳本并上傳至云側(cè)；對上傳數(shù)據(jù)的加密；運(yùn)行訓(xùn)練腳本前，對訓(xùn)練鏡像文件的身份校驗；對預(yù)訓(xùn)練模型的解密；對訓(xùn)練數(shù)據(jù)的解密；2）對云側(cè)下發(fā)鏡像的身份校驗和模型的加解密；對聯(lián)邦學(xué)習(xí)梯度信息的加解密；對增量訓(xùn)練數(shù)據(jù)的簽名和加密；對端側(cè)設(shè)備上傳的數(shù)據(jù)的簽名和加密；3）對云側(cè)、邊緣側(cè)下發(fā)模型的身份校驗和加解密；對端側(cè)聯(lián)邦學(xué)習(xí)梯度數(shù)據(jù)的加密；b）1）云側(cè)，支持：在云側(cè)環(huán)境中配置含有AI模型的容器運(yùn)行的最小訪問權(quán)限；對AI模型身份的合法解密；在加載鏡像到云側(cè)運(yùn)行環(huán)境時，檢查身份合法性；2）秘鑰管理，對云側(cè)下發(fā)的鏡像或模型實(shí)施身份校驗；對推理數(shù)據(jù)的加解密；入侵檢測；3）秘鑰管理，對云側(cè)下發(fā)到端側(cè)模型實(shí)施身份合法性檢查；推理數(shù)據(jù)在本地的加解密；在模型上傳至云側(cè)或邊緣側(cè)進(jìn)行推理前，加密模型。集合通信集合通信組件，應(yīng)符合以下要求：算設(shè)備；支持AI加速卡間通信，包含云側(cè)內(nèi)部分布式訓(xùn)練和端邊云協(xié)同訓(xùn)練所需通信。c）1）基礎(chǔ)類：全網(wǎng)狀結(jié)構(gòu)(FullMesh);（Star）；（Ring）；樹拓?fù)浣Y(jié)構(gòu)（Tree）；2）3DTorus拓?fù)浣Y(jié)構(gòu)；Dragonfly拓?fù)浣Y(jié)構(gòu)；由以上兩種或以上網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)混合而成的混合拓?fù)浣Y(jié)構(gòu)；通信無法完成的問題；支持通信協(xié)議，包含但不限于：PCIE，RDMA和TCP/IP等。f）集合通信耗時均值；集合通信耗時方差。支持集合通信能力表征指標(biāo)的測量方法，包含：單AI加速卡或者計算設(shè)備上集合通信耗時測量；全部AI加速卡或者計算設(shè)備上的集合通信耗時的均值和方差的計算；時間的統(tǒng)計，符合以下要求：單AI時間測量的結(jié)束時刻為：集合通信的使用者感知到集合通信完成的時刻；集合通信的啟動和結(jié)束如果存在固定開銷，應(yīng)被計入到通信耗時里；提供面向機(jī)器學(xué)習(xí)框架的統(tǒng)一接口，屏蔽異構(gòu)硬件的差異。云云協(xié)同云云協(xié)同的框架如圖3所示，協(xié)同過程符合以下要求：圖3云云協(xié)同框架云云協(xié)同框架，應(yīng)能完成基于中心調(diào)度器的調(diào)度或無中心的調(diào)度（如基于云聯(lián)邦的調(diào)度）；b）應(yīng)支持全網(wǎng)計算資源的狀態(tài)的收集和檢視；應(yīng)支持跨云（或計算中心）的作業(yè)調(diào)度，作業(yè)運(yùn)行數(shù)據(jù)轉(zhuǎn)發(fā)和傳輸；應(yīng)支持負(fù)載感知調(diào)度、價格感知調(diào)度、網(wǎng)絡(luò)感知調(diào)度或數(shù)據(jù)感知調(diào)度等策略；c）應(yīng)能適配不同云中內(nèi)異構(gòu)調(diào)度器的實(shí)現(xiàn)；應(yīng)能收集調(diào)度器資源和作業(yè)執(zhí)行狀態(tài)信息，并上報至中心調(diào)度器；宜支持向用戶提供統(tǒng)一視圖，使用戶能使用、全網(wǎng)計算資源執(zhí)行計算任務(wù)；d）e）宜支持統(tǒng)一計算消耗計量和計費(fèi)。云邊端協(xié)同云邊端協(xié)同管理框架圖4云邊端協(xié)同框架云邊云邊端協(xié)同的框架如圖4所示，包含：邊云管理系統(tǒng)；邊云通道；邊端通道；邊緣節(jié)點(diǎn)管理，包括：——應(yīng)用管理，如雙機(jī)備份、容器故障檢測、模型管理、AI加速卡插件管理；——邊緣中間件，如消息總線、規(guī)則引擎等；——端設(shè)備服務(wù)；——安全可信模塊；——設(shè)備管理。云邊模型部署圖5邊云模型部署流程云邊模型部署流程如圖5所示，符合以下要求：將云側(cè)模型部署到邊緣側(cè)，邊云管理系統(tǒng)：應(yīng)支持對邊緣階段管納，關(guān)聯(lián)邊緣節(jié)點(diǎn)的設(shè)備；云側(cè)應(yīng)支持將AI應(yīng)用或模型以容器鏡像的形式下發(fā)，部署到邊緣節(jié)點(diǎn)；b）支持容器和函數(shù)兩種運(yùn)行方式，滿足用戶輕量化部署的要求；支持邊緣節(jié)點(diǎn)以注冊的方式接入云側(cè)；支持云側(cè)的業(yè)務(wù)以容器的形式部署到邊緣側(cè)；支持對邊緣側(cè)AI加速卡的利用率監(jiān)控；可管理的邊緣節(jié)點(diǎn)數(shù)量宜不少于128。AI6AI任務(wù)協(xié)同框架云邊協(xié)同框架如圖6所示，符合以下要求：邊云管理系統(tǒng)：應(yīng)支持增量訓(xùn)練；7.2.5架滿足7.2.1的要求。應(yīng)支持訓(xùn)練樣本篩選：——支持根據(jù)推理結(jié)果的置信度篩選增量訓(xùn)練的數(shù)據(jù)；——支持對數(shù)據(jù)的去重；——支持對數(shù)據(jù)的聚合。應(yīng)支持梯度數(shù)據(jù)和增量樣本數(shù)據(jù)的壓縮和傳輸。應(yīng)支持支持?jǐn)?shù)據(jù)加密，滿足7.2.4中邊緣側(cè)安全要求。應(yīng)支持邊緣存儲，能按7.1d）4）的要求存儲終端側(cè)的推理數(shù)據(jù)和云側(cè)的模型。b）AI任務(wù)協(xié)同框架。端邊云數(shù)據(jù)協(xié)同圖7邊云數(shù)據(jù)協(xié)同框架端、邊、云側(cè)數(shù)據(jù)協(xié)同的框架如圖7所示，符合以下要求：a）終端側(cè)設(shè)備與邊緣側(cè)的協(xié)同：應(yīng)支持端側(cè)設(shè)備