邊緣智能計(jì)算應(yīng)用課件：基于OpenCV的USB攝像頭的使用

邊緣計(jì)算開發(fā)板基礎(chǔ)運(yùn)用邊緣智能計(jì)算應(yīng)用

基于OpenCV的USB攝像頭的使用

邊緣智能計(jì)算應(yīng)用職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于OpenCV的USB攝像頭的使用了解Linux操作系統(tǒng)相關(guān)知識(shí)；了解OpenCV的應(yīng)用領(lǐng)域以及常用的API；了解線程與進(jìn)程的概念。掌握USB攝像頭的連接方式；掌握OpenCV調(diào)用攝像頭的基本使用；掌握OpenCV利用線程方式實(shí)現(xiàn)視頻流。職業(yè)能力目標(biāo)01知識(shí)目標(biāo)技能目標(biāo)職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于OpenCV的USB攝像頭的使用

此任務(wù)的主要內(nèi)容是學(xué)習(xí)USB攝像頭的連接和查看，OpenCV調(diào)用攝像頭的基本使用，OpenCV結(jié)合線程實(shí)現(xiàn)視頻流的相關(guān)知識(shí)，基于OpenCV實(shí)現(xiàn)對(duì)USB攝像頭的靈活使用。任務(wù)描述任務(wù)要求完成USB攝像頭的連接和查看；完成OpenCV調(diào)用攝像頭的基本使用；完成OpenCV結(jié)合線程實(shí)現(xiàn)視頻流。任務(wù)描述與要求02職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于OpenCV的USB攝像頭的使用任務(wù)分析利用OpenCV調(diào)用USB攝像頭會(huì)涉及到哪些步驟？如何將OpenCV與線程結(jié)合起來實(shí)現(xiàn)視頻流？任務(wù)分析與計(jì)劃03任務(wù)計(jì)劃表項(xiàng)目名稱邊緣計(jì)算開發(fā)板基礎(chǔ)應(yīng)用任務(wù)名稱基于OpenCV的USB攝像頭的使用計(jì)劃方式自主設(shè)計(jì)計(jì)劃要求請(qǐng)用3個(gè)計(jì)劃步驟來完整描述出如何完成本次任務(wù)序號(hào)任務(wù)計(jì)劃1

2

3

通過上面的思考，你是否對(duì)本任務(wù)要完成的工作有所了解？讓我們一起來制訂完成本次任務(wù)的實(shí)施計(jì)劃吧！任務(wù)分析與計(jì)劃03職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于OpenCV的USB攝像頭的使用

OpenCV的介紹及應(yīng)用領(lǐng)域204知識(shí)儲(chǔ)備USB攝像頭的應(yīng)用場(chǎng)景11智慧辦公，讓工作更輕松高效2智能電視，多功能沉浸式娛樂體驗(yàn)04攝像頭融入AI功能逐步成為趨勢(shì)，當(dāng)前智能USB攝像頭方案已廣泛應(yīng)用于會(huì)議場(chǎng)景，可以實(shí)現(xiàn)人型追蹤、背景分割、人臉唇動(dòng)檢測(cè)和聲源定位等多種功能。04智慧辦公，讓工作更輕松高效智能USB攝像頭有效的提升了會(huì)議體驗(yàn)和視頻通話的質(zhì)量，打造新一代簡(jiǎn)單高效的辦公場(chǎng)景。04智慧辦公，讓工作更輕松高效智能USB攝像頭的出現(xiàn)提高了企業(yè)的溝通效率，降低企業(yè)運(yùn)營成本，滿足了企業(yè)管理的需要，使企業(yè)在瞬息萬變的競(jìng)爭(zhēng)環(huán)境中贏得先機(jī)。04智慧辦公，讓工作更輕松高效2智慧辦公，讓工作更輕松高效1智能電視，多功能沉浸式娛樂體驗(yàn)04隨著電視行業(yè)的發(fā)展，很多智能電視都配備了攝像頭，它所搭載的功能也越來越豐富。智能USB攝像頭方案可應(yīng)用于智能電視的使用場(chǎng)景中。04智能電視，多功能沉浸式娛樂體驗(yàn)攝像頭融入了豐富的AI功能，可以在大屏實(shí)現(xiàn)視頻通話、AI健身、AIKids、AI娛樂、智能識(shí)人、面部識(shí)別定制專屬VR形象等多種功能04智能電視，多功能沉浸式娛樂體驗(yàn)OpenCV的介紹及應(yīng)用領(lǐng)域204知識(shí)儲(chǔ)備USB攝像頭的應(yīng)用場(chǎng)景11OpenCV簡(jiǎn)介2應(yīng)用領(lǐng)域3OpenCV涉及的技術(shù)04OpenCV簡(jiǎn)介OpenCV是一個(gè)開源的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows、Android和MacOS操作系統(tǒng)上。提供了Python、Ruby、MATLAB等語言的接口，并且實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法，可以給開發(fā)者調(diào)用。04OpenCV簡(jiǎn)介04在官網(wǎng)下載并安裝OpenCVOpenCV簡(jiǎn)介04配置OpenCV的環(huán)境2OpenCV簡(jiǎn)介1應(yīng)用領(lǐng)域3OpenCV涉及的技術(shù)04應(yīng)用領(lǐng)域04OpenCV的應(yīng)用領(lǐng)域十分廣泛，包括計(jì)算機(jī)視覺領(lǐng)域方向、人機(jī)互動(dòng)、物體識(shí)別、圖像分割、人臉識(shí)別、動(dòng)作識(shí)別、運(yùn)動(dòng)跟蹤、機(jī)器人、運(yùn)動(dòng)分析、機(jī)器視覺、結(jié)構(gòu)分析、汽車安全駕駛等諸多領(lǐng)域。應(yīng)用領(lǐng)域04OpenCV自從1.0版本發(fā)布以來，立刻吸引許多公司目光，被廣泛應(yīng)用在許多領(lǐng)域的產(chǎn)品研發(fā)與創(chuàng)新上，相關(guān)應(yīng)用包括衛(wèi)星地圖與電子地圖拼接、醫(yī)學(xué)中圖像噪聲處理、對(duì)象檢測(cè)、安防監(jiān)控領(lǐng)域安全與入侵檢測(cè)、自動(dòng)監(jiān)視報(bào)警、制造業(yè)與工業(yè)中的產(chǎn)品質(zhì)量檢測(cè)、攝像機(jī)標(biāo)定。軍事領(lǐng)域的無人機(jī)飛行、無人駕駛與水下機(jī)器人等眾多領(lǐng)域。應(yīng)用領(lǐng)域04醫(yī)學(xué)中圖像噪聲處理安防監(jiān)控領(lǐng)域安全與入侵檢測(cè)移動(dòng)物體檢測(cè)3OpenCV簡(jiǎn)介1應(yīng)用領(lǐng)域2OpenCV涉及的技術(shù)04OpenCV涉及的技術(shù)04（1）圖像數(shù)據(jù)的操作：分配、釋放、復(fù)制、設(shè)置和轉(zhuǎn)換。圖像是視頻的輸入輸出I/O，文件與攝像頭的輸入、圖像和視頻文件輸出）。（2）矩陣和向量的操作以及線性代數(shù)的算法程序：矩陣積、解方程、特征值以及奇異值等。（3）各種動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)：列表、隊(duì)列、集合、樹、圖等。（4）基本的數(shù)字圖像處理：濾波、邊緣檢測(cè)、角點(diǎn)檢測(cè)、采樣與差值、色彩轉(zhuǎn)換、形態(tài)操作、直方圖、圖像金字塔等。（5）結(jié)構(gòu)分析：連接部件、輪廓處理、距離變換、各自距計(jì)算、模板匹配、Hough變換、多邊形逼近、直線擬合、橢圓擬合、Delaunay三角劃分等。OpenCV涉及的技術(shù)04（6）攝像頭定標(biāo)：發(fā)現(xiàn)與跟蹤定標(biāo)模式、定標(biāo)、基本矩陣估計(jì)、齊次矩陣估計(jì)、立體對(duì)應(yīng)。（7）運(yùn)動(dòng)分析：光流、運(yùn)動(dòng)分割、跟蹤。（8）目標(biāo)識(shí)別：特征法、隱馬爾可夫模型：HMM。（9）基本的GUI：圖像與視頻顯示、鍵盤和鼠標(biāo)事件處理、滾動(dòng)條。（10）圖像標(biāo)注：線、二次曲線、多邊形、畫文字。職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于OpenCV的USB攝像頭的使用05任務(wù)實(shí)施OpenCV調(diào)用攝像頭的基本使用2USB攝像頭的連接和查看1OpenCV利用線程的方式實(shí)現(xiàn)視頻流312查看攝像頭video設(shè)備05

USB攝像頭的連接USB攝像頭的連接05USB攝像頭，這個(gè)名字已經(jīng)很明顯，采用的就是USB接口的連接方式，而USB的接口，在開發(fā)板上有四個(gè)，兩個(gè)USB2.0和兩個(gè)USB3.0，這兩種接口的區(qū)別就是支持USB3.0的設(shè)備接在USB3.0接口上速度會(huì)更快一些，所以通常建議使用USB3.0的接口來連接。21查看攝像頭video設(shè)備05

USB攝像頭的連接查看攝像頭video設(shè)備05在Linux中任何對(duì)象都是文件，查看當(dāng)前是否有攝像頭掛載到Debian上，可以在開發(fā)板命令行終端，執(zhí)行下面的命令Linux!ls-ltrh/dev/video*ls參數(shù)：

-l：列出文件的詳細(xì)信息。

-t：以時(shí)間排序。

-r：對(duì)目錄反向排序。

-h：顯示出了文件的大小/dev/video*：表示/dev/目錄下所有以video為開頭的文件

/dev/video0表示有一個(gè)攝像頭掛載在開發(fā)板上，編號(hào)為0知識(shí)補(bǔ)充權(quán)限crw其中：c：表示字符設(shè)備文件r：表示可讀權(quán)限w：表示可寫權(quán)限05任務(wù)實(shí)施OpenCV調(diào)用攝像頭的基本使用2USB攝像頭的連接和查看1OpenCV利用線程的方式實(shí)現(xiàn)視頻流342利用OpenCV打開攝像頭1導(dǎo)入cv2并查看版本3查看VideoCapture狀態(tài)設(shè)置顯示畫面并創(chuàng)建顯示窗口5讀取圖像后處理圖片，釋放資源OpenCV調(diào)用攝像頭的基本使用05OpenCV調(diào)用攝像頭的基本使用已經(jīng)查看到攝像頭信息，接下來使用OpenCV從USB攝像頭讀取圖像，并在開發(fā)板中顯示出來。使用之前需要安裝opencv的包，命令為：pip3installopencv-python，默認(rèn)板子上已經(jīng)集成了OpenCV包OpenCV調(diào)用攝像頭的基本使用05opencv-python在python的編碼使用中，名稱叫做cv2。cv2實(shí)現(xiàn)圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。importcv2importtimecv2.__version_1.導(dǎo)入cv2并查看版本2.利用opencv打開攝像頭要想讀取攝像頭的圖片，則需要打開攝像頭，而VideoCapture就是創(chuàng)建一個(gè)實(shí)例對(duì)象，并打開攝像頭創(chuàng)建VideoCapture對(duì)象的時(shí)候，我們需要傳入一個(gè)合適的攝像頭編號(hào)。cv2.VideoCapture(X)參數(shù)說明:VideCapture接受的參數(shù)為序號(hào)0:默認(rèn)為系統(tǒng)插入的第一個(gè)攝像頭，筆記本上是自帶的那個(gè)攝像頭1:USB攝像頭22：USB攝像頭3以此類推-1：代表最新插入的USB設(shè)備OpenCV調(diào)用攝像頭的基本使用053.查看VideoCapture狀態(tài)實(shí)例化VideoCapture對(duì)象后，攝像頭會(huì)自動(dòng)打開使用cap.isOpened()方法查看攝像頭狀態(tài)若攝像頭已打開則返回True，否則返回Falseprint("攝像頭是否已經(jīng)打開？{}".format(cap.isOpened()))OpenCV調(diào)用攝像頭的基本使用054.設(shè)置顯示畫面并創(chuàng)建顯示窗口接下來利用cap.set方法對(duì)窗口像素進(jìn)行設(shè)置cap.set(propId,value)#畫面寬度設(shè)定為1920cap.set(cv2.CAP_PROP_FRAME_WIDTH,1920)#畫面高度度設(shè)定為1080cap.set(cv2.CAP_PROP_FRAME_HEIGHT,1080)參數(shù)說明：propId表示VideoCaptureProperties中的屬性標(biāo)識(shí)符，cv2.CAP_PROP_FRAME_WIDTH表示設(shè)置攝像頭采集畫面寬的像素大小cv2.CAP_PROP_FRAME_HEIGHT表示設(shè)置攝像頭采集畫面高的像素大小value表示屬性標(biāo)識(shí)符的值，下面代碼中，把采集畫面像素寬度設(shè)置為1920，高度設(shè)置為1080;但是通常我們用于深度學(xué)習(xí)的更多是640*480OpenCV調(diào)用攝像頭的基本使用054.設(shè)置顯示畫面并創(chuàng)建顯示窗口下面創(chuàng)建一個(gè)名為image_win的窗口，設(shè)置窗口屬性為可調(diào)整大小，保持圖像比例，繪制窗口dWindow('image_win',flags=cv2.WINDOW_NORMAL|cv2.WINDOW_KEEPRATIO|cv2.WINDOW_GUI_EXPANDED)cv2.setWindowProperty('image_win',cv2.WND_PROP_FULLSCREEN,cv2.WINDOW_FULLSCREEN)#全屏展示dWindow(winname,flags)：構(gòu)建視頻的窗口，用于放置圖片參數(shù)說明：winname：表示窗口的名字,可用作窗口標(biāo)識(shí)符的窗口名稱。flags：用于設(shè)置窗口的屬性，常用屬性如下WINDOW_NORMAL：可以調(diào)整大小窗口WINDOW_KEEPRATIO：保持圖像比例WINDOW_GUI_EXPANDED：繪制一個(gè)新的增強(qiáng)GUI窗口OpenCV調(diào)用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源ret：若畫面讀取成功，則返回True，反之返回Falseframe：是讀取到的圖片對(duì)象(NumPy的ndarray格式)使用cap.read()獲取一幀圖片，cap.read()返回值有兩個(gè)，分別賦值給ret，frameOpenCV調(diào)用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源讀取圖像后，那么該如何顯示圖像呢？cv2.imshow(winname,mat)函數(shù)可以在窗口中顯示圖像。winname：窗口名稱（也就是我們對(duì)話框的名稱），它是一個(gè)字符串類型。mat：是每一幀的畫面圖像。可以創(chuàng)建任意數(shù)量的窗口，但必須使用不同的窗口名稱。cv2.waitKey：waitKey控制著imshow的持續(xù)時(shí)間，當(dāng)imshow之后不跟waitKey時(shí)，相當(dāng)于沒有給imshow提供時(shí)間展示圖像，只會(huì)有一個(gè)空窗口一閃而過。cv2.waitKey(100)表示窗口中顯示圖像時(shí)間為100毫秒cv2.imshow之后一定要跟cv2.waitKey函數(shù)OpenCV調(diào)用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源獲取到的圖像又該如何保存呢？cv2.imwrite(filename,img)函數(shù)用于保存圖片參數(shù)說明：filename：要保存的文件名，img：要保存的圖像。OpenCV調(diào)用攝像頭的基本使用055.讀取圖像后處理圖片，釋放資源操作結(jié)束后要記得釋放資源哦！cap.release()：停止捕獲視頻，用cv2.VideoCapture(0)創(chuàng)建對(duì)象，操作結(jié)束后要用cap.release()來釋放資源，否則會(huì)占用攝像頭導(dǎo)致攝像頭無法被其他程序使用。cv2.destroyAllWindows()：用來刪除所有窗口#釋放VideoCapturecap.release()#銷毀所有的窗口cv2.destroyAllWindows()05任務(wù)實(shí)施OpenCV調(diào)用攝像頭的基本使用2USB攝像頭的連接和查看1OpenCV利用線程的方式實(shí)現(xiàn)視頻流32導(dǎo)入相應(yīng)的包1初識(shí)線程3編寫線程類4啟動(dòng)線程和停止線程OpenCV利用線程的方式實(shí)現(xiàn)視頻流05OpenCV利用線程的方式實(shí)現(xiàn)視頻流OpenCV利用線程的方式實(shí)現(xiàn)視頻流05進(jìn)程是由若干線程組成的，一個(gè)進(jìn)程至少有一個(gè)線程。多任務(wù)可以由多進(jìn)程完成，也可以由一個(gè)進(jìn)程內(nèi)的多線程完成，每條線程并行執(zhí)行不同的任務(wù)1.初識(shí)線程用你自己的話來說一說什么是進(jìn)程，什么又是線程，多線程又是什么？OpenCV利用線程的方式實(shí)現(xiàn)視頻流05由于線程是操作系統(tǒng)直接支持的執(zhí)行單元，因此，高級(jí)語言通常都內(nèi)置多線程的支持，Python也不例外，并且，Python的線程是真正的PosixThread，而不是模擬出來的線程。Python的標(biāo)準(zhǔn)庫提供了兩個(gè)模塊：_thread和threading，_thread是低級(jí)模塊，threading是高級(jí)模塊，對(duì)_thread進(jìn)行了封裝。絕大多數(shù)情況下，我們只需要使用threading這個(gè)高級(jí)模塊。threading模塊中最核心的內(nèi)容是Thread這個(gè)類。創(chuàng)建Thread對(duì)象,然后執(zhí)行線程，每個(gè)Thread對(duì)象代表一個(gè)線程，每個(gè)線程可以讓程序處理不同的任務(wù)，這就是多線程編程。1.初識(shí)線程OpenCV利用線程的方式實(shí)現(xiàn)視頻流05threading：threading模塊提供了管理多個(gè)線程執(zhí)行的API。importcv2importthreadingimporttime2導(dǎo)入相應(yīng)的包3編寫線程類直接從Thread繼承，創(chuàng)建一個(gè)新的class，把線程執(zhí)行的代碼放到這個(gè)新的class里。即編寫一個(gè)自定義類繼承Thread，然后復(fù)寫run()方法，在run()方法中編寫任務(wù)處理代碼，然后創(chuàng)建這個(gè)Thread的子類。將函數(shù)封裝成線程類，便于線程的調(diào)用與停止，大多用于這種方式來啟動(dòng)線程，屬于面向?qū)ο缶幊?。OpenCV利用線程的方式實(shí)現(xiàn)視頻流053編寫線程類。self：Python中就規(guī)定，函數(shù)的第一個(gè)參數(shù)，就必須是實(shí)例對(duì)象本身，并且建議，約定俗成，把其名字寫為self,以self為前綴的變量都可供類中的所有方法使用。def__init__(self)：在實(shí)例化類時(shí)定義變量super：函數(shù)是用于調(diào)用父類(超類)的一個(gè)方法。這里表示繼承線程類threading.Threaddefrun(self)：把要執(zhí)行的代碼寫到run函數(shù)里面，線程在創(chuàng)建后，通過.start()會(huì)直接運(yùn)行run函數(shù)退出線程的方式：在類中定義標(biāo)志位，通過編寫stop函數(shù)來控制標(biāo)志位，達(dá)到退出循環(huán)。這樣就能做到退出線程了。

defstop(self)：線程停止函數(shù)，用于控制標(biāo)志位變量，從而達(dá)到控制線程OpenCV利用線程的方式實(shí)現(xiàn)視頻流054啟動(dòng)線程和停止線程實(shí)例化一個(gè)videoThread()線程類，實(shí)例化對(duì)象為a線程對(duì)象a調(diào)用start()方法,開始執(zhí)行videoThread()線程類中的run()函數(shù)。a=videoThread()a.start()實(shí)例化對(duì)象a調(diào)用videoThread()線程類中的stop()函數(shù)，來退出線程a.stop()線程是如何實(shí)現(xiàn)視頻流的呢？職業(yè)能力目標(biāo)01任務(wù)描述與要求02任務(wù)分析與計(jì)劃03知識(shí)儲(chǔ)備04任務(wù)實(shí)施05任務(wù)檢查與評(píng)價(jià)06任務(wù)小結(jié)07任務(wù)拓展08基于OpenCV的USB攝像頭的使用任務(wù)檢查與評(píng)價(jià)06序號(hào)評(píng)價(jià)內(nèi)容評(píng)價(jià)標(biāo)準(zhǔn)分值得分1知識(shí)運(yùn)用（20%）掌握相關(guān)理論知識(shí)，理解本次任