鯤鵬智能計算導論 課件 第12章 基于鯤鵬智能計算平臺的深度學習案例實踐

第12章

基于鯤鵬智能計算平臺的深度學習案例實踐鯤鵬智能計算導論12.1鯤鵬智能計算平臺12.2基于昇騰AI處理器的口罩檢測案例實踐學習要點12.1.1昇騰AI處理器昇騰910處理器主要用于深度學習模型訓練場景，可以為模型訓練提供強大算力。昇騰910芯片采用7nm先進工藝，單芯片計算密度在業(yè)內(nèi)領先，是同時代的英偉達TeslaV100GPU的兩倍，16位浮點數(shù)（FP16）算力達到256TFLOPS，8位整數(shù)（INT8）算力達到512TOPS，同時支持128位通道全高清視頻解碼（H.264/H.265）。昇騰310處理器主要用于模型推理場景。推理場景對算力的需求相對較小，昇騰310芯片采用12nm制造工藝，最大能耗僅為8W，16位浮點數(shù)（FP16）算力達到8TFLOPS，8位整數(shù)（INT8）算力達到16TOPS，支持16位通道全高清視頻解碼，可以很好地滿足邊緣計算產(chǎn)品和移動端設備進行模型推理的算力需求。昇騰AI處理器910昇騰AI處理器31012.1.1昇騰AI處理器昇騰AI處理器使用華為自研的達·芬奇架構(gòu)，針對深度神經(jīng)網(wǎng)絡大量矩陣運算的特點，設計了高性能的3DCube矩陣計算單元，每個矩陣計算單元在一個時鐘周期內(nèi)可以完成4096次乘加計算，再結(jié)合向量計算單元和標量計算單元，可以非常靈活且高效地完成各種運算。達·芬奇架構(gòu)使用了統(tǒng)一硬件架構(gòu)，可以進行多核靈活擴展以適應不同應用場景。一次開發(fā)可支持多場景部署、遷移和協(xié)同，統(tǒng)一的架構(gòu)提升了上層軟件開發(fā)效率，也帶來了能耗上的優(yōu)勢。達·芬奇架構(gòu)可以支持能耗從幾十毫瓦到幾百瓦的芯片，可靈活應對不同場景，滿足性能與能耗的需求。除搭載基于達·芬奇架構(gòu)的AI加速模塊外，昇騰AI處理器還搭載了硬件級別的圖像處理模塊，可以快速完成常見的圖像預處理操作，如圖片編/解碼、縮放、色域轉(zhuǎn)換等。此外，昇騰AI處理器還擁有高效的緩存系統(tǒng)和豐富的I/O接口，能靈活應對各場景下的計算需求，為各場景下的AI應用提供強勁的基礎算力。12.1.2

鯤鵬AI計算服務器Atlas800訓練服務器華為的Atlas800訓練服務器（型號為9000）是基于鯤鵬920和昇騰910處理器的AI訓練服務器，具有極強算力密度、超高能效與高速網(wǎng)絡帶寬等特點。該服務器廣泛應用于深度學習模型開發(fā)和訓練，適用于智慧城市、智慧醫(yī)療、天文探索、石油勘探等需要大算力的行業(yè)領域。Atlas800推理服務器Atlas800推理服務器（型號為3000）是基于鯤鵬920處理器的服務器，可支持8個Atlas300I推理卡（型號為3000），可提供強大的實時推理能力。12.1.2

鯤鵬AI計算服務器鯤鵬AI推理加速型實例kAi1s是以昇騰310芯片為加速核心的AI加速型云服務器；基于昇騰310芯片低能耗、高算力的特性，實現(xiàn)了能效比的大幅提升，助力AI推理業(yè)務的快速普及；通過鯤鵬AI推理加速型實例kAi1s將昇騰310芯片的計算加速能力在公有云上開放出來，方便用戶快速、簡捷地使用昇騰310芯片強大的處理能力。鯤鵬智能計算平臺基于昇騰AI處理器的口罩檢測案例實踐學習要點12.112.212.2.1任務概述訓練并部署口罩檢測模型對算力有較高需求，鯤鵬智能計算平臺基于鯤鵬處理器和昇騰AI處理器提供靈活且高效的算力支持，可以方便高效地訓練、部署口罩檢測模型。本案例將探索基于昇騰AI服務器完成口罩檢測模型的訓練及部署。本案例包含以下兩個任務。（1）基于Atlas服務器的口罩檢測模型訓練，模型訓練部分對算力有較高的要求，搭載了鯤鵬920CPU和昇騰910AI處理器的Atlas系列訓練服務器可以高效地完成訓練過程。（2）基于kAi1s的口罩檢測模型推理部署，邊緣側(cè)的AI模型推理部署需要平衡算力和能耗，搭載了鯤鵬920CPU和昇騰310AI處理器的kAi1s云服務器可以很好地滿足推理部署對性能和能耗的要求。12.2.2基于Atlas服務器的口罩檢測模型訓練環(huán)境準備01OPTION（1）安裝驅(qū)動。要想在搭載鯤鵬處理器和昇騰AI處理器的服務器上訓練深度學習模型，首先要安裝相關的驅(qū)動、軟件，具體可參考相應的產(chǎn)品文檔。12.2.2基于Atlas服務器的口罩檢測模型訓練環(huán)境準備01OPTION（2）獲取訓練環(huán)境下的Docker鏡像驅(qū)動并安裝完畢后，還需要安裝TensorFlow等軟件環(huán)境，昇騰社區(qū)提供內(nèi)置訓練環(huán)境的Docker鏡像，可以通過Docker鏡像啟動訓練環(huán)境。Docker鏡像獲取界面如圖所示。12.2.2基于Atlas服務器的口罩檢測模型訓練數(shù)據(jù)集準備02OPTION本案例使用已標注好的口罩檢測數(shù)據(jù)集，其中包含500張已標注圖片用于訓練、驗證，8張未標注圖片用于在線測試。標簽數(shù)據(jù)為XML格式，標注信息包括檢測框的類別（person、face、mask），以及檢測框的坐標（分別是左上角的x坐標，左上角的y坐標，右下角的x坐標及右下角的y坐標）。標簽數(shù)據(jù)樣例如下。算法選擇03OPTION12.2.2基于Atlas服務器的口罩檢測模型訓練目標檢測任務不僅要判斷目標的類別，還要定位目標的位置。在本案例中，不僅要判斷目標的類別，包括人（person）、臉（face）、口罩（mask），還要定位目標框的位置。實現(xiàn)目標檢測的算法有很多，經(jīng)典的深度學習算法包括更快的區(qū)域卷積神經(jīng)網(wǎng)絡（FasterRegion-basedConvolutionalNeuralNetwork，F(xiàn)asterR-CNN）、YOLO（YouOnlyLookOnce）、單次多邊框檢測（SingleShotMultiboxDetector）等。YOLOv3是YOLO算法演進的第3個版本，也是目前應用得最多的版本之一。YOLOv3的精度稍好于SSD，比RetinaNet差，但是速度是SSD、RetinaNet、FasterR-CNN的2倍以上。YOLOv3處理單張輸入尺寸為320像素×320像素的圖片僅需22ms，可以很好地滿足實際生產(chǎn)環(huán)境對實時性的要求。模型訓練04OPTION12.2.2基于Atlas服務器的口罩檢測模型訓練在配置好軟件環(huán)境后，便可在鯤鵬智能計算平臺上進行代碼編寫、調(diào)測、運行。此處以TensorFlow為例編碼實現(xiàn)YOLOv3模型，并啟動訓練。YOLOv3訓練源碼可從昇騰社區(qū)獲取。模型訓練04OPTION12.2.2基于Atlas服務器的口罩檢測模型訓練其代碼結(jié)構(gòu)如下。模型訓練04OPTION12.2.2基于Atlas服務器的口罩檢測模型訓練（1）啟動訓練任務，命令如下。bashnpu_train_1p_single.sh（2）測試集評估，命令如下。basheval.sh（3）模型導出。將訓練生成的TensorFlowcheckpoint模型文件導出為獨立的pb格式的文件。pb是一種序列化格式，具有語言獨立性，可獨立運行，任何語言都可以解析它。將模型文件轉(zhuǎn)換成pb文件后，后續(xù)的模型轉(zhuǎn)換及推理操作可以脫離原有的TensorFlow框架。pythonfrozen_graph.py--ckpt_path=./training/t1/D0/model-final_step_182000_loss_20.7885_lr_0環(huán)境準備01OPTION12.2.3

基于kAi1s的口罩檢測模型推理部署kAi1s是搭載了鯤鵬處理器和昇騰310AI處理器的云服務器，提供了完整的軟硬件開發(fā)環(huán)境，可以在kAi1s上方便地進行AI推理應用的開發(fā)和測試。參考華為云的官方文檔模型轉(zhuǎn)換02OPTION12.2.3基于kAi1s的口罩檢測模型推理部署ATC工具不僅可以完成對昇騰AI處理器的適配，還可以在轉(zhuǎn)換過程中實現(xiàn)算子調(diào)度的優(yōu)化、權(quán)值數(shù)據(jù)重排、內(nèi)存使用優(yōu)化等，可以脫離設備完成模型的預處理。本案例中使用ATC工具將TensorFlow訓練出的pb格式的口罩檢測模型轉(zhuǎn)換為昇騰芯片支持的om格式的離線模型，轉(zhuǎn)換命令如下。atc--framework=3--model="/home/Ascend/projects/mask_detection/model/yolov3_mask_100.pb"--input_shape="input_data:1,416,416,3"--input_format=NHWC--output="/home/Ascend/projects/mask_detection/model/yolov3_mask_100"--soc_version=Ascend310轉(zhuǎn)換成功后會生成對應的om格式的模型文件算子開發(fā)03OPTION12.2.3基于kAi1s的口罩檢測模型推理部署當遇到算子庫不支持的算子或想提高算子性能的時候，可以使用昇騰軟件棧提供的張量加速引擎（TensorBoostEngine，TBE）來進行自定義算子的開發(fā)。領域特定語言（Domain-SpecificLanguage，DSL）對外提供高階封裝接口，開發(fā)者僅需要使用DSL接口完成計算過程的表達，后續(xù)的計劃創(chuàng)建、優(yōu)化及編譯都可通過已有接口一鍵完成，適合初級開發(fā)者。DSL開發(fā)的算子性能可能較低。張量迭代內(nèi)核（TensorIteratorKernel，TIK）對外提供底層的封裝接口，提供對緩存的管理和數(shù)據(jù)自動同步機制，需要開發(fā)者手動計算數(shù)據(jù)的分片和索引，這要求開發(fā)者對達·芬奇架構(gòu)有一定的了解，入門難度更高。TIK對矩陣的操作更加靈活，性能更優(yōu)。領域特定語言張量迭代內(nèi)核算子開發(fā)03OPTION12.2.3基于kAi1s的口罩檢測模型推理部署DSL和TIK的開發(fā)流程在本質(zhì)上是一樣的，只不過抽象層次不一樣。基于TBE的DSL實現(xiàn)的自定義算子的代碼結(jié)構(gòu)如下?；赥BE的DSL的自定義算子開發(fā)流程通常有4個步驟：定義輸入占位符、編寫計算邏輯、自動調(diào)度和算子編譯。模型推理04OPTION12.2.3基于kAi1s的口罩檢測模型推理部署昇騰軟件棧提供了一套昇騰計算語言（AscendComputingLanguage，ACL）接口，以便管理和使用昇騰軟硬件計算資源，并進行機器學習相關計算。使用ACL接口可以快速完成推理代碼的編寫，無須關注底層的硬件細節(jié)。目前，ACL接口提供C++和Python兩種編程語言接口。模型推理04OPTION12.2.3基于kAi1s的口罩檢測模型推理部署下面以Python編程語言接口為例介紹基于昇騰AI處理器的模型推理過程。（1）運行資源管理，具體代碼如下。模型推理04OPTION12.2.3基于kAi1s的口罩檢測模型推理部署（2）加載模型，具體代碼如下。（3）預處理，具體代碼如下。模型推理04OPTION12.2.3基于kAi1s的口罩檢測模型推理部署（4）模型推理，具體代