《邊緣智能計算應用》課件 項目一 邊緣計算開發(fā)板基礎運用

項目一：邊緣計算開發(fā)板基礎應用邊緣智能計算應用項目引導案例邊緣計算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡邊緣側，通過融合網(wǎng)絡、計算、存儲、應用核心能力的分布式開放平臺，就近提供邊緣智能服務。為什么需要邊緣計算?為了解決傳統(tǒng)數(shù)據(jù)處理方式下時延高、數(shù)據(jù)實時分析能力匱乏等弊端，邊緣計算技術應運而生。應用：邊緣計算非常適合被應用于物聯(lián)網(wǎng)領域，通過具有邊緣計算能力的物聯(lián)網(wǎng)關就近（網(wǎng)絡邊緣節(jié)點）提供設備管理控制等服務，解決物聯(lián)網(wǎng)通信“最后一公里”的問題，最終實現(xiàn)物聯(lián)網(wǎng)設備的智慧連接和高效管理。項目引導案例本項目將帶著大家掌握了解邊緣計算開發(fā)板的具體應用。邊緣計算開發(fā)板是什么？邊緣計算開發(fā)板旨在通過快速原型開發(fā)為各種類型的應用提供強大的深度學習功能。例如右圖所示邊緣計算開發(fā)板：NLE-AI800開發(fā)板介紹及應用案例體驗任務一職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗掌握NLE-AI800開發(fā)板基本組成；掌握開發(fā)板的核心組件；了解開發(fā)板的操作系統(tǒng)；掌握開發(fā)板的RKNN組件。能夠掌握MobaXterm命令行工具的基本使用；能夠掌握人臉識別項目包的上傳部署和運行。職業(yè)能力目標01知識目標技能目標職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗

此任務的主要內容是學習MobaXterm命令行工具的基本使用方法，學習如何連接開發(fā)板并使用開發(fā)板上的JupyterLab環(huán)境，使用命令控制開發(fā)板上的LED指示燈，了解掌握使用MobaXterm工具上傳部署人臉識別項目，運行體驗邊緣智能計算的應用案例。任務描述任務要求學習MobaXterm命令行工具的基本使用。連接開發(fā)板并使用開發(fā)板上的JupyterLab環(huán)境。使用命令控制開發(fā)板上的LED指示燈。使用MobaXterm工具上傳部署人臉識別項目。任務描述與要求02職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗任務分析使用NLE-AI800開發(fā)板會涉及到哪些步驟？MobaXterm命令行工具使用中應注意什么？任務分析與計劃03任務計劃表項目名稱邊緣計算開發(fā)板基礎應用任務名稱NLE-AI800開發(fā)板介紹及案例體驗計劃方式自主設計計劃要求請用4個計劃步驟來完整描述出如何完成本次任務序號任務計劃1

2

3

4

通過上面的思考，你是否對本任務要完成的工作有所了解？讓我們一起來制訂完成本次任務的實施計劃吧！任務分析與計劃03職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNN

JupyterLab是一個基于Web交互式的開發(fā)環(huán)境，是JupyterNotebook的下一代產(chǎn)品，可以使用它編寫Notebook、操作終端、編輯MarkDown文本、打開交互模式、查看csv文件及圖片等功能。04JupyterLab環(huán)境簡介思考一下，什么是交互式的開發(fā)環(huán)境呢？21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNN本課程采用的邊緣計算硬件為：NLE-AI800人工智能開發(fā)板，內置雙核ARMCortexA72@1.8GHz+四核ARMCortexA53@1.4GHz，GPU采用ARMMaliT860MP4@800MHz，提供3TNPU算力

USB攝像頭04邊緣智能計算的基本硬件組成1ARM架構2NPU、算力基本介紹0404ARM架構ARM架構，曾稱進階精簡指令集機器（Advanced

RISC

Machine）更早稱作AcornRISCMachine，是一個32位精簡指令集（RISC）處理器架構。還有基于ARM設計的派生產(chǎn)品，重要產(chǎn)品包括Marvell的XScale架構和德州儀器的OMAP系列。ARM家族占比所有32位嵌入式處理器的75%，成為占全世界最多數(shù)的32位架構。ARM處理器廣泛使用在嵌入式系統(tǒng)設計，低耗電節(jié)能，非常適用移動通訊領域。消費性電子產(chǎn)品，例如可攜式裝置（PDA、移動電話、多媒體播放器、掌上型電子游戲，和計算機），電腦外設（硬盤、桌上型路由器），甚至導彈的彈載計算機等軍用設施。1ARM架構NPU、算力基本介紹20404NPU、算力基本介紹思考一下，為什么NPU處理器應運而生？NPU是網(wǎng)絡處理器，可把其認為是一個組件（或者子系統(tǒng)），有的時也可稱呼為NPU協(xié)處理器。嵌入式神經(jīng)網(wǎng)絡處理器（NPU）采用“數(shù)據(jù)驅動并行計算”的架構，特別擅長處理視頻、圖像類的海量多媒體數(shù)據(jù)。21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNN人臉識別應用案例是邊緣智能計算的簡單的效果展示，其目的就是為了給大家體驗一下效果。而人臉識別應用案例，主要由以下幾部分組成：PyQt5的UI界面后臺邏輯，包括人臉注冊，人臉識別sqlite3數(shù)據(jù)庫首先需要把人臉特征數(shù)據(jù)注冊到數(shù)據(jù)庫中，然后再將視頻流采集的最新的圖片與數(shù)據(jù)庫中特征進行對比，進行人臉識別。04人臉識別應用案例的功能介紹1PyQt5介紹2Sqlite3簡介0404PyQt5介紹PyQt是Qt框架的Python語言實現(xiàn)，由RiverbankComputing開發(fā)，是最強大的GUI庫之一。PyQt提供了一個設計良好的窗口控件集合，每一個PyQt控件都對應一個Qt控件，因此PyQt的API接口與Qt的API接口很接近，但PyQt不再使用QMake系統(tǒng)和Q_OBJECT宏。PyQt5有如下特性：（1）基于高性能的Qt的GUI控件集。（2）能夠跨平臺運行在Linux、Window和MacOS系統(tǒng)上。（3）使用信號槽機制進行通信。（4）對Qt庫進行完全封裝。（5）可以使用成熟的IDE進行界面設計，并自動生成可執(zhí)行的Python代碼。（6）提供一整套種類齊全的窗口控件。1PyQt5介紹Sqlite3簡介20404Sqlite3簡介SQLite，是一款輕型的數(shù)據(jù)庫，是遵守ACID的關系型數(shù)據(jù)庫管理系統(tǒng)，它包含在一個相對小的C庫中。它的設計目標是嵌入式的，而且已經(jīng)在很多嵌入式產(chǎn)品中使用了它，它占用資源非常的低，在嵌入式設備中，可能只需要幾百K的內存就夠了。它能夠支持Windows/Linux/Unix等等主流的操作系統(tǒng)，同時能夠跟很多程序語言相結合，比如Tcl、C#、PHP、Java等，還有ODBC接口，同樣比起Mysql、PostgreSQL這兩款開源的世界著名數(shù)據(jù)庫管理系統(tǒng)來講，它的處理速度比他們都快。21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNN1SSH協(xié)議、SFTP協(xié)議3SSH遠程步驟2MobaXterm終端工具介紹04數(shù)字類型04SSH協(xié)議、SFTP協(xié)議安全外殼協(xié)議（SSH）是一種在不安全網(wǎng)絡上提供安全遠程登錄及其它安全網(wǎng)絡服務的協(xié)議。SSH是較可靠，專為遠程登錄會話和其他網(wǎng)絡服務提供安全性的協(xié)議。利用SSH協(xié)議可以有效防止遠程管理過程中的信息泄露問題。SSH在正確使用時可彌補網(wǎng)絡中的漏洞。SSH客戶端適用于多種平臺。幾乎所有UNIX平臺—包括HP-UX、Linux、AIX、Solaris、Irix，以及其他平臺，都可運行SSH。

04SSH協(xié)議、SFTP協(xié)議SFTP（SecureFileTransferProtocol）：安全文件傳送協(xié)議。可以為傳輸文件提供一種安全的加密方法。SFTP為SSH的一部份，是一種傳輸文件到服務器的安全方式。SFTP同樣是使用加密傳輸認證信息和傳輸?shù)臄?shù)據(jù)，使用SFTP是非常安全的。1SSH協(xié)議、SFTP協(xié)議3SSH遠程步驟2MobaXterm終端工具介紹04數(shù)字類型04MobaXterm終端工具介紹MobaXterm又名MobaXVT，是一款增強型終端、X服務器和Unix命令集(GNU/Cygwin)工具箱。MobaXterm可以開啟多個終端視窗，以最新的X服務器為基礎的X.Org，可以輕松地來試用Unix/Linux上的GNUUnix命令。MobaXterm還有很強的擴展能力，可以集成插件來運行Gcc,Perl、Curl、Tcl/Tk/Expect等程序。04MobaXterm終端工具介紹MobaXterm主要功能：支持各種連接SSH，X11，RDP，VNC，F(xiàn)TP，MOSH支持Unix命令(bash，ls，cat，sed，grep，awk，rsync，…)連接SSH終端后支持SFTP傳輸文件各種豐富的插件(git/dig/aria2…)可運行Windows或軟件1SSH協(xié)議、SFTP協(xié)議3SSH遠程步驟2MobaXterm終端工具介紹04數(shù)字類型SSH遠程步驟04SSH兩種級別的遠程登錄：（我們可以通過Ctrl+D或者exit命令退出遠程登錄。）一、口令登錄：口令登錄非常簡單，只需要一條命令，命令格式為：ssh客戶端用戶名@服務器ip地址。例:如果需要調用圖形界面程序可以使用-X選項。例:如果客戶機的用戶名和服務器的用戶名相同，登錄時可以省略用戶名。例：還要說明的是，SSH服務的默認端口是22，也就是說，若不設置端口的話登錄請求會自動送到遠程主機的22端口。我們可以使用-p選項來修改端口號，比如連接到服務器的1234端口：例：SSH遠程步驟04二、公鑰登錄每次登錄遠程主機都需要輸入密碼是很不方便的，如果想要省去這一步驟，可以利用密鑰對進行連接，還可以提高安全性。1、在本機生成密鑰對

使用ssh-keygen命令生成密鑰對：然后根據(jù)提示一步步按enter鍵即可（其中有一個提示要求設置私鑰口令passphrase，不設置則為空），執(zhí)行結束以后會在/home/當前用戶目錄下生成一個.ssh

文件夾,其中包含私鑰文件id_rsa

和公鑰文件id_rsa.pub。2、將公鑰復制到遠程主機中使用ssh-copy-id命令將公鑰復制到遠程主機。ssh-copy-id會將公鑰寫到遠程主機的~/.ssh/authorized_key

文件中。21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNN外設接口羅列及介紹04NLE-AI800開發(fā)板其豐富的外設接口（包括網(wǎng)口，HDMI，USB3.0，USB2.0，音頻口，type-C，I2C，WiFi、藍牙，指示燈，UART串口，RS485串口，步進電機接口，以及兩路繼電器DI/DO接口）1.視頻接口HDMI視頻輸出口，1路HDMI2.0視頻輸出（最大支持4K）。音頻接口：音頻輸出，3.5耳機孔；音頻輸入，3.5耳機孔。1路千兆以太網(wǎng)口，POE（選配件），可選POE受電。

2.用戶接口用戶常用的接口，包括UART，RS485，I2C，電機驅動口，Debug口，DI/DO口。UART：UART串口（4pin白色端子TTL電平）RS485：RS485串口（2pin綠色接線端子）I2C：1路I2C接口（4pin白色端子）電機驅動：一路2相電機驅動輸出接口（4pin白色端子）Debug口：3pin間距1.25mm調試串口DI/DO：連接繼電器的兩路DI，兩路DO座，兩路繼電器已集成在板子上按鍵：兩個按鍵接口21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNNecho命令簡介與基本用法04echo是一種最常用的與廣泛使用的內置于Linux的bash和Cshell的命令，通常用在腳本語言和批處理文件中來在標準輸出或者文件中顯示一行文本或者字符串。echo命令的語法是：Linuxecho命令的使用示例:示例1：在標準輸出上顯示一行文本。輸出：echo命令簡介與基本用法04示例2：顯示包含雙引號的文本行要輸出雙引號，需要將其括在單引號內，或使用反斜杠字符對其進行轉義。示例3：顯示包含單引號的文本行要打印單引號，需要將其括在雙引號內，或使用ANSI-C引號。示例5：返回當前目錄中所有.php文件的名稱說明：echo命令可以與模式匹配字符一起使用，例如通配符。示例6：重定向到文件我們可以使用>、>>運算符將輸出重定向到文件，而不是在屏幕上顯示輸出。說明：如果file.txt不存在，將創(chuàng)建它。使用>時，文件將被覆蓋；使用>>時，會將輸出附加到文件中。21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNNLinux與Debian操作系統(tǒng)簡介04Linux，全稱GNU/Linux，是一種免費使用和自由傳播的類UNIX操作系統(tǒng)，是一個基于POSIX的多用戶、多任務、支持多線程和多CPU的操作系統(tǒng)。它能運行主要的Unix工具軟件、應用程序和網(wǎng)絡協(xié)議。它支持32位和64位硬件。Linux繼承了Unix以網(wǎng)絡為核心的設計思想，是一個性能穩(wěn)定的多用戶網(wǎng)絡操作系統(tǒng)。Linux有上百種不同的發(fā)行版，如基于社區(qū)開發(fā)的debian、archlinux，和基于商業(yè)開發(fā)的RedHatEnterpriseLinux、SUSE、OracleLinux等。Debian是一個自由的操作系統(tǒng)，由Debian計劃開發(fā)和維護。Debian是一個自由的Linux發(fā)行版，添加了數(shù)以千計的應用程序以滿足用戶的需要。21346578知識儲備04JupyterLab環(huán)境簡介邊緣智能計算的基本硬件組成人臉識別應用案例的功能介紹SSH介紹外設接口羅列及介紹echo命令簡介與基本用法Linux與Debian操作系統(tǒng)簡介瑞芯微RockchipRKNN04瑞芯微RockchipRKNN福州瑞芯微電子Rockchip宣布旗下AI平臺重大升級，正式面向全球AI開發(fā)者發(fā)布三大開發(fā)套件：AI開發(fā)工具包RKNN-Toolkit、AISDK軟件開發(fā)工具包Rock-XSDK，以及AI人工智能計算棒RK1808

AIComputeStick。一、RKNN-ToolkitAI開發(fā)工具包通過該工具，開發(fā)者可以完成TensorFlow、Caffe、PyTorch、MXNet等模型的轉換、量化、性能Profile、內存耗費統(tǒng)計等任務，快速將AI模型部署到嵌入式硬件平臺上。其新增了混合量化模式，并對模型加載速度、執(zhí)行速度進行優(yōu)化，兼容支持計算棒，支持同時連接多個設備。采用新版RKNNToolkit工具能夠讓AI模型部署的精度更高，速度更快，開發(fā)更便捷。職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗05任務實施NLE-AI800開發(fā)板基本組成2將notebook文件上傳至NLE-AI800開發(fā)板1NLE-AI800核心板介紹3NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證4人臉識別應用案例的體驗5422.SSH協(xié)議連接開發(fā)板11.命令行工具MobaXterm的基本使用33.將文件或文件夾上傳至開發(fā)板4.進入開發(fā)板上的JupyterLab環(huán)境將notebook文件上傳至NLE-AI800開發(fā)板05將notebook文件上傳至NLE-AI800開發(fā)板將notebook文件上傳至NLE-AI800開發(fā)板051.命令行工具MobaXterm的基本使用052.SSH協(xié)議連接開發(fā)板052.SSH協(xié)議連接開發(fā)板052.SSH協(xié)議連接開發(fā)板052.SSH協(xié)議連接開發(fā)板將notebook文件上傳至NLE-AI800開發(fā)板053將文件或文件夾上傳至開發(fā)板在瀏覽器中輸入開發(fā)板的IP地址，如2，進入JupyterLab環(huán)境：4進入開發(fā)板上的JupyterLab環(huán)境05任務實施NLE-AI800開發(fā)板基本組成2將notebook文件上傳至NLE-AI800開發(fā)板1NLE-AI800核心板介紹3NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證4人臉識別應用案例的體驗5NLE-AI800開發(fā)板基本組成05NLE-AI800開發(fā)板由新大陸生產(chǎn)的人工智能邊緣端開發(fā)板，主要是為了提供給廣大人工智能學習者的一個學習平臺，該開發(fā)板采用的是RK3399Pro的強大的人工智能芯片，其算力達到了3.0Tflops，輕松應對各種人工智能開發(fā)，加上其豐富的外設接口（包括網(wǎng)口，HDMI，USB3.0，USB2.0，音頻口，type-C，I2C，WiFi、藍牙，指示燈，UART串口，RS485串口，步進電機接口，以及兩路繼電器DI/DO接口），更是為人工智能結合物聯(lián)網(wǎng)，進行場景化應用開發(fā)提供了很好的保障。右圖是開發(fā)板的正面圖：NLE-AI800開發(fā)板基本組成0505任務實施NLE-AI800開發(fā)板基本組成2將notebook文件上傳至NLE-AI800開發(fā)板1NLE-AI800核心板介紹3NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證4人臉識別應用案例的體驗5NLE-AI800核心板介紹05GPU:是MaliT860,支持OpenGL2.x和OpenC主控CPU：RK3399PRO，雙核A72+四核A53core0-core3是小核，core4-core5是大核，編程深度優(yōu)化時候可以把cpu的某些運算手動綁定在大核上，可提高通用運算的速度。GPU:是MaliT860,支持OpenGL2.x和OpenCL1.2NLE-AI800核心板介紹NLE-AI800核心板介紹05VPU:RKVdec,VPU2（視頻編解碼單元）Rockchip最厲害的地方之一莫過于他的視頻編解碼模塊RGA：二維圖像輔助計算單元，該單元可以在極短時間內拷貝、旋轉、格式轉換、縮放、混合圖片，能在短短幾個毫秒內內存拷貝一張4K圖片，還能同時縮放、旋轉、把YUV轉成RGB之類的格式轉換。NPU內存：神經(jīng)網(wǎng)絡計算單元，大小為2G的DDR4內存。這是RK3399Pro獨有的運算單元，他可以通過傳遞一張計算圖初始化后，不斷的喂給他輸入數(shù)據(jù)，而吐出輸出數(shù)據(jù)。CPU內存：大小為4G的LPDDR4內存存儲：大小為32G的eMMC5.1閃存實時時鐘：支持RTC功能NLE-AI800核心板介紹05任務實施NLE-AI800開發(fā)板基本組成2將notebook文件上傳至NLE-AI800開發(fā)板1NLE-AI800核心板介紹3NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證4人臉識別應用案例的體驗542無線通信1

視頻接口3用戶接口板載預留口5LED指示燈說明NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證05NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證05視頻接口視頻接口HDMI視頻輸出口，1路HDMI2.0視頻輸出（最大支持4K）音頻接口：音頻輸出，3.5耳機孔；音頻輸入，3.5耳機孔1路千兆以太網(wǎng)口，POE（選配件），可選POE受電05無線通信無線通信Wifi：雙頻2T2Rwifi模組；支持IEEE802.11a/b/g/n/ac藍牙：板載藍牙模組；支持Bluetooth5.0WiFi天線：WIFI天線：一個標準SMA座，一個模塊端IPEX座藍牙天線：IPEX座5G（選配件）LTE-FDD，LTE-TDD，WCDMA，CDMA，GSM900/1800MHz05用戶接口板載預留口用戶常用的接口，包括UART，RS485，I2C，電機驅動口，Debug口，DI/DO口05用戶接口板載預留口板載預留口風扇口：核心板預留5V風扇接口M.2(BKEY)外擴M.2接口的4G/5G模塊SSD固態(tài)硬盤：預留M2(MKEY)接口，可接標準NVMe的固態(tài)硬盤擴展接口：雙排排母，含USB2.0一路，I2C一路，I2S一路，模擬輸入兩路，3.3V和5V電源05LED指示燈說明1.

系統(tǒng)燈是用戶可以自己控制的，控制命令(需要在root用戶下)：linux控制命令echo1>/sys/class/leds/system_work_led1/brightness#亮echo0>/sys/class/leds/system_work_led1/brightness#滅Python控制命令importos

os.system("echo1>/sys/class/leds/system_work_led1/brightness")05LED指示燈說明2.兩個自定義燈是用戶可以自己控制的，控制命令(需要在root用戶下)：linux控制命令echo1>/sys/class/leds/system_work_led2/brightness#亮#從上到下，第一個自定義燈echo0>/sys/class/leds/system_work_led2/brightness#滅echo1>/sys/class/leds/system_work_led3/brightness#亮#從上到下，第二個自定義燈echo0>/sys/class/leds/system_work_led3/brightness#滅Python控制命令，打開從上到下，第一個自定義燈和第二個自定義燈importos

os.system("echo1>/sys/class/leds/system_work_led2/brightness")#從上到下，第一個自定義燈

Os.system("echo1>/sys/class/leds/system_work_led3/brightness")#從上到下，第二個自定義燈05任務實施NLE-AI800開發(fā)板基本組成2將notebook文件上傳至NLE-AI800開發(fā)板1NLE-AI800核心板介紹3NLE-AI800開發(fā)板的底板板接口介紹綜合管理平臺系統(tǒng)驗證4人臉識別應用案例的體驗52使用JupyterLab自帶終端運行演示案例1使用MobaXterm運行演示案例3輸出結果展示人臉識別應用案例的體驗05PC端智慧校園綜合管理平臺系統(tǒng)驗證人臉識別應用案例的體驗051.使用MobaXterm運行演示案例（1）使用cd命令進入FaceDetectDemo所在目錄；cdnotebook/board-basic-app/FaceDetectDemo（2）使用ls命令查看該路徑下的文件和目錄（可選）；ls（3）然后執(zhí)行主入口文件FaceDetectDemo.py，運行項目，并輸入密碼nlesudopython3FaceDetectDemo.py人臉識別應用案例的體驗052.使用JupyterLab自帶終端運行演示案例（1）點擊JupyterLab頁面左上方的“+”人臉識別應用案例的體驗052.使用JupyterLab自帶終端運行演示案例（2）在啟動頁中選擇“終端”；人臉識別應用案例的體驗05（3）使用命令切換至FaceDetectDemo路徑下，然后執(zhí)行主入口文件FaceDetectDemo.py，運行項目cdFaceDetectDemols

sudopython3FaceDetectDemo.py人臉識別應用案例的體驗053.輸出結果展示：職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗任務檢查與評價06序號評價內容評價標準分值得分1知識運用（20%）掌握相關理論知識，理解本次任務要求，制定詳細計劃，計劃條理清晰，邏輯正確（20分）20分

理解相關理論知識，能根據(jù)本次任務要求、制定合理計劃（15分）了解相關理論知識，有制定計劃（10分）無制定計劃（0分）2專業(yè)技能（40%）完成部署邊緣應用程序、配置邊緣網(wǎng)關參數(shù)、智慧校園場景驗證、PC端智慧校園綜合管理平臺系統(tǒng)驗證。（40分）40分

完成部署邊緣應用程序、配置邊緣網(wǎng)關參數(shù)、智慧校園場景驗證。（30分）完成部署邊緣應用程序、配置邊緣網(wǎng)關參數(shù)。（20分）完成部署邊緣應用程序。（10分）沒有完成部署邊緣應用程序。（0分）3核心素養(yǎng)（20%）具有良好的自主學習能力、分析解決問題的能力、整個任務過程中有指導他人（20分）20分

具有較好的學習能力和分析解決問題的能力，任務過程中無指導他人（15分）能夠主動學習并收集信息，有請教他人進行解決問題的能力（10分）不主動學習（0分）4課堂紀律（20%）設備無損壞、設備擺放整齊、工位區(qū)域內保持整潔、無干擾課堂秩序（20分）20分

設備無損壞、無干擾課堂秩序（15分）無干擾課堂秩序（10分）干擾課堂秩序（0分）總得分1、請參照評價標準完成自評和對其他小組的互評。2、各組請代表分析本組任務實施經(jīng)驗。職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗任務小結07職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務一NLE-AI800開發(fā)板介紹及應用案例體驗任務拓展08使用MobaXterm和JupyterLab自帶終端進行人臉識別應用案例的體驗：注冊一張人臉信息；提示任務要求使用MobaXterm運行使用JupyterLab自帶終端運行謝謝大家學習項目一邊緣計算開發(fā)板基礎運用邊緣智能計算應用任務二基于OpenCV的USB攝像頭的使用

邊緣智能計算應用職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務二基于OpenCV的USB攝像頭的使用了解Linux操作系統(tǒng)相關知識；了解OpenCV的應用領域以及常用的API；了解線程與進程的概念。掌握USB攝像頭的連接方式；掌握OpenCV調用攝像頭的基本使用；掌握OpenCV利用線程方式實現(xiàn)視頻流。職業(yè)能力目標01知識目標技能目標職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務二基于OpenCV的USB攝像頭的使用

此任務的主要內容是學習USB攝像頭的連接和查看，OpenCV調用攝像頭的基本使用，OpenCV結合線程實現(xiàn)視頻流的相關知識，基于OpenCV實現(xiàn)對USB攝像頭的靈活使用。任務描述任務要求完成USB攝像頭的連接和查看；完成OpenCV調用攝像頭的基本使用；完成OpenCV結合線程實現(xiàn)視頻流。任務描述與要求02職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務二基于OpenCV的USB攝像頭的使用任務分析利用OpenCV調用USB攝像頭會涉及到哪些步驟？如何將OpenCV與線程結合起來實現(xiàn)視頻流？任務分析與計劃03任務計劃表項目名稱邊緣計算開發(fā)板基礎應用任務名稱基于OpenCV的USB攝像頭的使用計劃方式自主設計計劃要求請用3個計劃步驟來完整描述出如何完成本次任務序號任務計劃1

2

3

通過上面的思考，你是否對本任務要完成的工作有所了解？讓我們一起來制訂完成本次任務的實施計劃吧！任務分析與計劃03職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務二基于OpenCV的USB攝像頭的使用

OpenCV的介紹及應用領域204知識儲備USB攝像頭的應用場景11智慧辦公，讓工作更輕松高效2智能電視，多功能沉浸式娛樂體驗04攝像頭融入AI功能逐步成為趨勢，當前智能USB攝像頭方案已廣泛應用于會議場景，可以實現(xiàn)人型追蹤、背景分割、人臉唇動檢測和聲源定位等多種功能。04智慧辦公，讓工作更輕松高效智能USB攝像頭有效的提升了會議體驗和視頻通話的質量，打造新一代簡單高效的辦公場景。04智慧辦公，讓工作更輕松高效智能USB攝像頭的出現(xiàn)提高了企業(yè)的溝通效率，降低企業(yè)運營成本，滿足了企業(yè)管理的需要，使企業(yè)在瞬息萬變的競爭環(huán)境中贏得先機。04智慧辦公，讓工作更輕松高效2智慧辦公，讓工作更輕松高效1智能電視，多功能沉浸式娛樂體驗04隨著電視行業(yè)的發(fā)展，很多智能電視都配備了攝像頭，它所搭載的功能也越來越豐富。智能USB攝像頭方案可應用于智能電視的使用場景中。04智能電視，多功能沉浸式娛樂體驗攝像頭融入了豐富的AI功能，可以在大屏實現(xiàn)視頻通話、AI健身、AIKids、AI娛樂、智能識人、面部識別定制專屬VR形象等多種功能04智能電視，多功能沉浸式娛樂體驗OpenCV的介紹及應用領域204知識儲備USB攝像頭的應用場景11OpenCV簡介2應用領域3OpenCV涉及的技術04OpenCV簡介OpenCV是一個開源的跨平臺計算機視覺庫，可以運行在Linux、Windows、Android和MacOS操作系統(tǒng)上。提供了Python、Ruby、MATLAB等語言的接口，并且實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法，可以給開發(fā)者調用。04OpenCV簡介04在官網(wǎng)下載并安裝OpenCVOpenCV簡介04配置OpenCV的環(huán)境2OpenCV簡介1應用領域3OpenCV涉及的技術04應用領域04OpenCV的應用領域十分廣泛，包括計算機視覺領域方向、人機互動、物體識別、圖像分割、人臉識別、動作識別、運動跟蹤、機器人、運動分析、機器視覺、結構分析、汽車安全駕駛等諸多領域。應用領域04OpenCV自從1.0版本發(fā)布以來，立刻吸引許多公司目光，被廣泛應用在許多領域的產(chǎn)品研發(fā)與創(chuàng)新上，相關應用包括衛(wèi)星地圖與電子地圖拼接、醫(yī)學中圖像噪聲處理、對象檢測、安防監(jiān)控領域安全與入侵檢測、自動監(jiān)視報警、制造業(yè)與工業(yè)中的產(chǎn)品質量檢測、攝像機標定。軍事領域的無人機飛行、無人駕駛與水下機器人等眾多領域。應用領域04醫(yī)學中圖像噪聲處理安防監(jiān)控領域安全與入侵檢測移動物體檢測3OpenCV簡介1應用領域2OpenCV涉及的技術04OpenCV涉及的技術04（1）圖像數(shù)據(jù)的操作：分配、釋放、復制、設置和轉換。圖像是視頻的輸入輸出I/O，文件與攝像頭的輸入、圖像和視頻文件輸出）。（2）矩陣和向量的操作以及線性代數(shù)的算法程序：矩陣積、解方程、特征值以及奇異值等。（3）各種動態(tài)數(shù)據(jù)結構：列表、隊列、集合、樹、圖等。（4）基本的數(shù)字圖像處理：濾波、邊緣檢測、角點檢測、采樣與差值、色彩轉換、形態(tài)操作、直方圖、圖像金字塔等。（5）結構分析：連接部件、輪廓處理、距離變換、各自距計算、模板匹配、Hough變換、多邊形逼近、直線擬合、橢圓擬合、Delaunay三角劃分等。OpenCV涉及的技術04（6）攝像頭定標：發(fā)現(xiàn)與跟蹤定標模式、定標、基本矩陣估計、齊次矩陣估計、立體對應。（7）運動分析：光流、運動分割、跟蹤。（8）目標識別：特征法、隱馬爾可夫模型：HMM。（9）基本的GUI：圖像與視頻顯示、鍵盤和鼠標事件處理、滾動條。（10）圖像標注：線、二次曲線、多邊形、畫文字。職業(yè)能力目標01任務描述與要求02任務分析與計劃03知識儲備04任務實施05任務檢查與評價06任務小結07任務拓展08任務二基于OpenCV的USB攝像頭的使用05任務實施OpenCV調用攝像頭的基本使用2USB攝像頭的連接和查看1OpenCV利用線程的方式實現(xiàn)視頻流312查看攝像頭video設備05

USB攝像頭的連接USB攝像頭的連接05USB攝像頭，這個名字已經(jīng)很明顯，采用的就是USB接口的連接方式，而USB的接口，在開發(fā)板上有四個，兩個USB2.0和兩個USB3.0，這兩種接口的區(qū)別就是支持USB3.0的設備接在USB3.0接口上速度會更快一些，所以通常建議使用USB3.0的接口來連接。21查看攝像頭video設備05

USB攝像頭的連接查看攝像頭video設備05在Linux中任何對象都是文件，查看當前是否有攝像頭掛載到Debian上，可以在開發(fā)板命令行終端，執(zhí)行下面的命令Linux!ls-ltrh/dev/video*ls參數(shù)：

-l：列出文件的詳細信息。

-t：以時間排序。

-r：對目錄反向排序。

-h：顯示出了文件的大小/dev/video*：表示/dev/目錄下所有以video為開頭的文件

/dev/video0表示有一個攝像頭掛載在開發(fā)板上，編號為0知識補充權限crw其中：c：表示字符設備文件r：表示可讀權限w：表示可寫權限05任務實施OpenCV調用攝像頭的基本使用2USB攝像頭的連接和查看1OpenCV利用線程的方式實現(xiàn)視頻流342利用OpenCV打開攝像頭1導入cv2并查看版本3查看VideoCapture狀態(tài)設置顯示畫面并創(chuàng)建顯示窗口5讀取圖像后處理圖片，釋放資源OpenCV調用攝像頭的基本使用05OpenCV調用攝像頭的基本使用已經(jīng)查看到攝像頭信息，接下來使用OpenCV從USB攝像頭讀取圖像，并在開發(fā)板中顯示出來。使用之前需要安裝opencv的包，命令為：pip3installopencv-python，默認板子上已經(jīng)集成了OpenCV包OpenCV調用攝像頭的基本使用05opencv-python在python的編碼使用中，名稱叫做cv2。cv2實現(xiàn)圖像處理和計算機視覺方面的很多通用算法。importcv2importtimecv2.__version_1.導入cv2并查看版本2.利用opencv打開攝像頭要想讀取攝像頭的圖片，則需要打開攝像頭，而VideoCapture就是創(chuàng)建一個實例對象，并打開攝像頭創(chuàng)建VideoCapture對象的時候，我們需要傳入一個合適的攝像頭編號。cv2.VideoCapture(X)參數(shù)說明:VideCapture接受的參數(shù)為序號0:默認為系統(tǒng)插入的第一個攝像頭，筆記本上是自帶的那個攝像頭1:USB攝像頭22：USB攝像頭3以此類推-1：代表最新插入的USB設備OpenCV調用攝像頭的基本使用053.查看VideoCapture狀態(tài)實例化VideoCapture對象后，攝像頭會自動打開使用cap.isOpened()方法查看攝像頭狀態(tài)若攝像頭已打開則返回True，否則返回Falseprint("攝像頭是否已經(jīng)打開？{}".format(cap.isOpened()))OpenCV調用攝像頭的基本使用054.設置顯示畫面并創(chuàng)建顯示窗口接下來利用cap.set方法對窗口像素進行設置cap.set(propId,value)#畫面寬度設定為1920cap.set(cv2.CAP_PROP_FRAME_WIDTH,1920)#畫面高度度設定為1080cap.set(cv2.CAP_PROP_FRAME_HEIGHT,1080)參數(shù)說明：propId表示VideoCaptureProperties中的屬性標識符，cv2.CAP_PROP_FRAME_WIDTH表示設置攝像頭采集畫面寬的像素大小cv2.CAP_PROP_FRAME_HEIGHT表示設置攝像頭采集畫面高的像素大小value表示屬性標識符的值，下面代碼中，把采集畫面像素寬度設置為1920，高度設置為1080;但是通常我們用于深度學習的更多是640*480OpenCV調用攝像頭的基本使用054.設置顯示畫面并創(chuàng)建顯示窗口下面創(chuàng)建一個名為image_win的窗口，設置窗口屬性為可調整大小，保持圖像比例，繪制窗口dWindow('image_win',flags=cv2.WINDOW_NORMAL|cv2.WINDOW_KEEPRATIO|cv2.WINDOW_GUI_EXPANDED)cv2.setWindowProperty('image_win',cv2.WND_PROP_FULLSCREEN,cv2.WINDOW_FULLSCREEN)#全屏展示dWindow(winname,flags)：構建視頻的窗口，用于放置圖片參數(shù)說明：winname：表示窗口的名字,可用作窗口標識符的窗口名稱。flags：用于設置窗口的屬性，常用屬性如下WINDOW_NORMAL：可以調整大小窗口WINDOW_KEEPRATIO：保持圖像比例WINDOW_GUI_EXPANDED：繪制一個新的增強GUI窗口OpenCV調用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源ret：若畫面讀取成功，則返回True，反之返回Falseframe：是讀取到的圖片對象(NumPy的ndarray格式)使用cap.read()獲取一幀圖片，cap.read()返回值有兩個，分別賦值給ret，frameOpenCV調用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源讀取圖像后，那么該如何顯示圖像呢？cv2.imshow(winname,mat)函數(shù)可以在窗口中顯示圖像。winname：窗口名稱（也就是我們對話框的名稱），它是一個字符串類型。mat：是每一幀的畫面圖像?？梢詣?chuàng)建任意數(shù)量的窗口，但必須使用不同的窗口名稱。cv2.waitKey：waitKey控制著imshow的持續(xù)時間，當imshow之后不跟waitKey時，相當于沒有給imshow提供時間展示圖像，只會有一個空窗口一閃而過。cv2.waitKey(100)表示窗口中顯示圖像時間為100毫秒cv2.imshow之后一定要跟cv2.waitKey函數(shù)OpenCV調用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源獲取到的圖像又該如何保存呢？cv2.imwrite(filename,img)函數(shù)用于保存圖片參數(shù)說明：filename：要保存的文件名，img：要保存的圖像。OpenCV調用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源操作結束后要記得釋放資源哦！cap.release()：停止捕獲視頻，用cv2.VideoCapture(0)創(chuàng)建對象，操作結束后要用cap.release()來釋放資源，否則會占用攝像頭導致攝像頭無法被其他程序使用。cv2.destroyAllWindows()：用來刪除所有窗口#釋放VideoCapturecap.release()#銷毀所有的窗口cv2.destroyAllWindows()05任務實施OpenCV調用攝像頭的基本使用2USB攝像頭的連接和查看1OpenCV利用線程的方式實現(xiàn)視頻流32導入相應的包1初識線程3編寫線程類4啟動線程和停止線程OpenCV利用線程的方式實現(xiàn)視頻流05OpenCV利用線程的方式實現(xiàn)視頻流OpenCV利用線程的方式實現(xiàn)視頻流05進程是由若干線程組成的，一個進程至少有一個線程。多任務可以由多進程完成，也可以由一個進程內的多線程完成，每條線程并行執(zhí)行不同的任務1.初識線程用你自己的話來說一說什么是進程，什么又是線程，多線程又是什么？OpenCV利用線程的方式實現(xiàn)視頻流05由于線程是操作系統(tǒng)直接支持的執(zhí)行單元，因此，高級語言通常都內置多線程的支持，Python也不例外，并且，Python的線程是真正的PosixThread，而不是模擬出來的線程。Python的標準庫提供了兩個模塊：_thread和threadin