嵌入式AI需要什么樣的解決方案

嵌入式AI需要什么樣的解決方案近年來(lái)，AI在邊緣端的應(yīng)用已成為不可阻擋的趨勢(shì)，嵌入式AI指的就是這種在邊緣端即可高效處理各種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用加速模式。嵌入式AI能夠讓產(chǎn)品在設(shè)備層即可發(fā)揮智能化的檢測(cè)、識(shí)別、分類等功能，因此成為智能產(chǎn)品開(kāi)發(fā)或產(chǎn)業(yè)升級(jí)換代的熱點(diǎn)。然而，嵌入式AI不僅涉及軟件層面的算法設(shè)計(jì)，工具設(shè)計(jì)，也涉及硬件層面的芯片設(shè)計(jì)等一系列集成問(wèn)題，因此也是一個(gè)門檻和復(fù)雜度極高的領(lǐng)域。嵌入式AI/ML的主要應(yīng)用市場(chǎng)及趨勢(shì)ADAS和自動(dòng)駕駛、智慧城市、智慧醫(yī)療和工業(yè)視覺(jué)應(yīng)用，是嵌入式AI應(yīng)用的典型場(chǎng)景，也是賽靈思一直專注的市場(chǎng)領(lǐng)域。汽車領(lǐng)域在汽車領(lǐng)域，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區(qū)檢測(cè)、自動(dòng)泊車、智能座艙及、傳感器融合和域控等覆蓋從L2到L5級(jí)別的ADAS及自動(dòng)駕駛。我們知道，汽車是一個(gè)特殊的場(chǎng)景，它對(duì)整個(gè)ADAS或自動(dòng)駕駛系統(tǒng)的實(shí)時(shí)性和正確性有極高的要求，這就需要嵌入式芯片同時(shí)具備卓越的AI加速能力、靈活應(yīng)變的芯片架構(gòu)，還需要滿足行業(yè)最高的可靠性測(cè)試標(biāo)準(zhǔn)。賽靈思在今年6月份推出的7nmVersalTMAIEdge系列，和當(dāng)前ZynqTMUltraScale+MPSoC系列，都涵蓋了汽車等級(jí)，并提供行業(yè)領(lǐng)先的AI算力及靈活性。值得一提的是，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個(gè)必然的趨勢(shì)。如今，汽車搭載了越來(lái)越多的傳感器，如攝像頭、雷達(dá)、激光雷達(dá)、毫米波雷達(dá)、超聲波等，賽靈思也為這種多傳感器架構(gòu)帶來(lái)了巨大價(jià)值。賽靈思產(chǎn)品一方面能夠增強(qiáng)高級(jí)信號(hào)處理、點(diǎn)云預(yù)處理，另一方面，通過(guò)VitisAI還可以實(shí)現(xiàn)點(diǎn)云機(jī)器學(xué)習(xí)加速、Image-Lidar融合算法加速、4D雷達(dá)機(jī)器學(xué)習(xí)加速等；這些在汽車多傳感器方案，甚至5G結(jié)合AI的車路協(xié)同中都扮演重要的角色。智慧城市領(lǐng)域賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應(yīng)用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP支持策略、H264/H265視頻編解碼處理單元等能力以外，還具備強(qiáng)大的實(shí)時(shí)AI處理能力。今年4月，賽靈思面向邊緣計(jì)算推出了基于ZynqUltraScale+MPSoC的KriaK26SOM卡和KV260視覺(jué)開(kāi)發(fā)套件。同樣得益于VitisTMAI所帶來(lái)的AI性能加速，用戶能夠在這塊邊緣設(shè)備上實(shí)現(xiàn)多路、最高分辨率達(dá)4k、60幀的實(shí)時(shí)人臉檢測(cè)、ID跟蹤等功能；此外，KriaSoM也完全兼容賽靈思開(kāi)放式AI模型庫(kù)，用戶可以從中選取模型任意切換或重新訓(xùn)練部署，總之，KriaSoM非常適合智能相機(jī)、嵌入式視覺(jué)及其它安全、零售分析、智慧城市和機(jī)器視覺(jué)應(yīng)用的生產(chǎn)和原型開(kāi)發(fā)。醫(yī)療及工業(yè)視覺(jué)領(lǐng)域醫(yī)療及工業(yè)視覺(jué)領(lǐng)域也是賽靈思嵌入式AI落地的重要場(chǎng)景。在醫(yī)療領(lǐng)域，我們可以提供基于深度學(xué)習(xí)的醫(yī)療影像分析或超分辨率增強(qiáng)，用AI為醫(yī)護(hù)人員在內(nèi)窺鏡、超聲、核磁、X光檢測(cè)等場(chǎng)景提供更準(zhǔn)確的判斷。自2019年新冠病毒蔓延以來(lái)，賽靈思及業(yè)內(nèi)合作伙伴Spline.ai利用VitisAI，將集成了深度學(xué)習(xí)處理單元DPU的MPSoC邊緣器件和AWS物聯(lián)網(wǎng)服務(wù)結(jié)合，針對(duì)肺部感染及新冠病毒預(yù)測(cè)系統(tǒng)開(kāi)發(fā)了可擴(kuò)展的智能解決方案。工業(yè)視覺(jué)領(lǐng)域在工業(yè)視覺(jué)領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠、智能工業(yè)相機(jī)、視覺(jué)控制及機(jī)器人等方面發(fā)揮重要的影響力，AI的作用主要體現(xiàn)在缺陷檢測(cè)、文字識(shí)別、實(shí)時(shí)分析等機(jī)器學(xué)習(xí)支持的預(yù)測(cè)性維護(hù)控制、遠(yuǎn)程診斷等嵌入式端上智能化。嵌入式AI場(chǎng)景落地的挑戰(zhàn)及解決方案在嵌入式AI產(chǎn)品落地的過(guò)程中，開(kāi)發(fā)者遇到的挑戰(zhàn)主要是：l首先，該方案是否靈活可擴(kuò)展，能夠適配不同產(chǎn)品規(guī)?；蜃远x模塊？l其次，對(duì)于缺乏FPGA開(kāi)發(fā)經(jīng)驗(yàn)的用戶，是否有簡(jiǎn)單易用的AI開(kāi)發(fā)工具以降低開(kāi)發(fā)難度？l第三，如何突破瓶頸，在算力有限的邊緣端實(shí)現(xiàn)AI加速性能的最大化？為了應(yīng)對(duì)這些挑戰(zhàn)，賽靈思在2020年初正式推出了VitisAI解決方案，它是一套面向XilinxZynqSoC，ZynqMPSoC，Alveo及VersalACAP的AI開(kāi)發(fā)平臺(tái)，它能夠?yàn)橛脩魩?lái)最強(qiáng)大的機(jī)器學(xué)習(xí)加速性能，這主要通過(guò)方案中的神經(jīng)網(wǎng)絡(luò)加速引擎DPU、一系列自動(dòng)化軟件工具（定點(diǎn)器、編譯器、優(yōu)化器）和AI運(yùn)行時(shí)及加速庫(kù)來(lái)實(shí)現(xiàn)。與傳統(tǒng)的基于硬件RTL語(yǔ)言開(kāi)發(fā)AI加速IP方案的最大不同在于，VitisAI向用戶提供一個(gè)通用的且可配置的神經(jīng)網(wǎng)絡(luò)加速引擎DPU，在ZU+及Versal平臺(tái)上用戶可以根據(jù)實(shí)際的邏輯資源選擇最佳的DPU配置，最大處理效率超過(guò)80%；同時(shí)，在最新的VitisAI方案中，用戶可以通過(guò)調(diào)用GraphRunnerAPI實(shí)現(xiàn)在DPU和CPU上對(duì)自定義算子的流暢部署，這也保證了開(kāi)發(fā)者可以在不同大小的器件、不同模型之間靈活切換。其次，VitisAI可以支持主流的機(jī)器學(xué)習(xí)框架，如Pytorch，Tensorflow和Caffe；在開(kāi)放模型庫(kù)AIModelZoo中涵蓋了上百個(gè)經(jīng)過(guò)充分優(yōu)化、驗(yàn)證及硬件部署的模型文件，其中不乏業(yè)界最先進(jìn)的3D目標(biāo)檢測(cè)算法、多任務(wù)學(xué)習(xí)算法、超分辨率增強(qiáng)算法，或時(shí)下流行的Yolo、Mobilenet、RefineDet、ResNet系列，用戶可以免費(fèi)下載或基于不同場(chǎng)景數(shù)據(jù)集的重新訓(xùn)練。此外，針對(duì)嵌入式AI的部署環(huán)節(jié)，賽靈思也做了專門的軟件加速優(yōu)化，除了用自動(dòng)化的定點(diǎn)器和編譯器將模型轉(zhuǎn)化為可部署形式外，用戶還可以直接調(diào)用相應(yīng)的軟件加速庫(kù)AILibrary，無(wú)需額外開(kāi)發(fā)模型的前后處理模塊，從而實(shí)現(xiàn)在FPGA和ACAP上的快速部署。最后，為了幫助客戶實(shí)現(xiàn)邊緣端的性能突破，賽靈思在基于Vitis軟件開(kāi)發(fā)環(huán)境中，集成了大量經(jīng)過(guò)底層優(yōu)化的加速庫(kù)，通過(guò)C++、OpenCLlibrary的方式提供給用戶，所以除了DPU對(duì)AI部分的加速以外，我們對(duì)端到端的前處理、后處理的全流程都可以加速，這樣即可實(shí)現(xiàn)邊緣端上的最大化性能。賽靈思是深耕嵌入式領(lǐng)域數(shù)十年的可編程邏輯器件主要供應(yīng)商，公司轉(zhuǎn)型后成為基于FPGA器件的自適應(yīng)計(jì)算平臺(tái)供應(yīng)商。幾年前通過(guò)新一代自適應(yīng)計(jì)算架構(gòu)ACAP的推出，以及人工智能科技公司深鑒科技的收購(gòu)，在嵌入式AI領(lǐng)域日益扮演重要角色。尤其是隨著VitisAI的推出，讓高性