《AI硬件與Pyhthon編程實(shí)踐》02視頻捕捉與處理Python編程寫字字帖

視頻捕捉與處理

Python編程2023/1/30人工智能開源硬件與python編程實(shí)踐情境導(dǎo)入火車站“刷臉”進(jìn)站模式采用了人臉識(shí)別技術(shù)。檢票閘機(jī)上都安裝了攝像頭，旅客走近機(jī)器時(shí)，攝像頭實(shí)時(shí)采集含有人臉的視頻流，并自動(dòng)在圖像幀中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行特征識(shí)別，與身份證芯片里的照片進(jìn)行比對(duì)。票證信息相符以及人臉與證件照比對(duì)通過，閘機(jī)就會(huì)自動(dòng)放行。任務(wù)與目標(biāo)了解視頻與圖像的基本原理、相關(guān)技術(shù)和應(yīng)用框架；掌握運(yùn)用人工智能開源硬件進(jìn)行攝像頭工作控制的方法，掌握Python語言的編程方法；應(yīng)用人工智能開源硬件和Python相關(guān)算法模塊設(shè)計(jì)視頻采集與捕捉功能；針對(duì)生活應(yīng)用場(chǎng)景，進(jìn)一步開展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)具有實(shí)用價(jià)值的視頻采集與捕捉應(yīng)用系統(tǒng)。2023/1/30知識(shí)拓展：數(shù)字圖像基礎(chǔ)知識(shí)分辨率圖像存儲(chǔ)格式灰度圖像色溫白平衡2023/1/30知識(shí)拓展：視頻圖像的采集視頻由一組連續(xù)變化的圖像組成，其中的每幅圖像就是視頻幀。當(dāng)連續(xù)的圖像幀以每秒超過20幀以上速率變化時(shí)，根據(jù)視覺暫留原理，形成平滑連續(xù)的視覺效果；數(shù)字?jǐn)z像頭可以直接捕捉圖像，通過串口或者USB接口傳到計(jì)算機(jī)里。。2023/1/30知識(shí)拓展：分辨率攝像頭的分辨率是指攝像頭解析圖象的能力，也即攝像頭的影像傳感器的像素?cái)?shù)。最高分辨率就是指攝像頭能最高分辨圖像的能力，即攝像頭的最高像素?cái)?shù)。30萬像素CMOS攝像頭的最高分辨率一般是分辨率為640×480。分辨率的兩個(gè)參數(shù)表示的是圖片在長(zhǎng)和寬上所占的像素的數(shù)目。2023/1/30set_framesize(sensor.QVGA) #設(shè)置圖像的分辨率；知識(shí)拓展：圖像存儲(chǔ)格式彩色圖像由RGB三個(gè)分量組成。Bitmap圖像格式由三個(gè)顏色通道組成，每個(gè)通道用8位數(shù)據(jù)來表示，各有256個(gè)可能的值。所以，Bitmap圖像又稱為24位真彩色圖像，也被稱為RGB888格式。RGB565彩色模式，一個(gè)像素占兩個(gè)字節(jié)，即16位。第一個(gè)字節(jié)的前5位用來表示R(Red)，第一個(gè)字節(jié)的后三位連同第二個(gè)字節(jié)的前三位用來表示G(Green)，第二個(gè)字節(jié)的后5位用來表示B(Blue)。一個(gè)像素的16位顏色信息中，高5位為R分量，中間6位為G分量，低5位為B分量。2023/1/30set_pixformat(sensor.RGB565)#設(shè)置為565彩色；知識(shí)拓展：灰度圖像灰度圖像是每個(gè)像素只有一個(gè)采樣顏色的圖像，通常顯示為從最暗黑色到最亮的白色的灰度。黑白圖像只有黑白兩種顏色，灰度圖像在黑色與白色之間還有許多級(jí)的顏色深度。圖像灰度級(jí)指圖像中的色度分量亮度的最大值與最小值之差的級(jí)別。一般使用8位數(shù)據(jù)來表示灰度，這樣灰度共有256級(jí)。RGB圖像轉(zhuǎn)灰度圖像，使用不同的經(jīng)驗(yàn)公式，會(huì)得到不同的灰度圖像。2023/1/30gray=0.2989*r+0.5870*g+0.1140*b彩色轉(zhuǎn)灰度圖像編程實(shí)現(xiàn)def

rgb2gray(rgb):

r,

g,

b

=

rgb[:,

:,

0],

rgb[:,

:,

1],

rgb[:,

:,

2]

gray

=

0.2989

*

r

+

0.5870

*

g

+

0.1140

*

b

return

gray2023/1/30知識(shí)拓展：色溫色溫是表示光線中包含顏色成分的一個(gè)計(jì)量單位。色溫是指絕對(duì)黑體從絕對(duì)零度(-273℃)開始加溫后所呈現(xiàn)的顏色。黑體在受熱后，逐漸南黑變紅，轉(zhuǎn)黃，發(fā)白，最后發(fā)出藍(lán)色光。當(dāng)加熱到一定的溫度，黑體發(fā)出的光所含的光譜成分，就稱為這一溫度下的色溫。色溫越高，光色越偏藍(lán)，色溫越低則偏紅。某一種色光比其它色光的色溫高時(shí)，說明該色光比其它色光偏藍(lán)，反之則偏紅。同樣，當(dāng)一種色光比其它色光偏藍(lán)時(shí)說明該色光的色溫偏高，反之偏低。2023/1/30知識(shí)拓展：白平衡白平衡的概念是“不管在任何光源下，都能將白色物體還原為白色”，對(duì)在特定光源下拍攝時(shí)出現(xiàn)的偏色現(xiàn)象，通過加強(qiáng)對(duì)應(yīng)的補(bǔ)色來進(jìn)行補(bǔ)償。攝像機(jī)的白平衡設(shè)定用來校準(zhǔn)色溫的偏差。白平衡調(diào)節(jié)是通過對(duì)白色被攝物的顏色還原，進(jìn)而達(dá)到其他物體色彩準(zhǔn)確還原。2023/1/30sensor.set_auto_whitebal()#自動(dòng)白平衡開啟或者關(guān)閉設(shè)計(jì)與實(shí)踐Python程序基本結(jié)構(gòu)OV7725攝像頭編程基礎(chǔ)攝像頭參數(shù)設(shè)置及控制視頻捕捉Python編程調(diào)試、驗(yàn)證及完善2023/1/30Python程序基本結(jié)構(gòu)順序條件循環(huán)2023/1/30以While循環(huán)結(jié)構(gòu)為例，體會(huì)Python的縮進(jìn)規(guī)則；以if、for等條件結(jié)構(gòu)為例，體會(huì)Python的縮進(jìn)規(guī)則；如果不遵守縮進(jìn)規(guī)則，會(huì)是什么結(jié)果？OV7725攝像頭編程基礎(chǔ)分辨率（VGA、QVGA、QQVGA）；圖像存儲(chǔ)格式（RGB565等）；幀率；增益；白平衡；畸變矯正2023/1/30攝像頭參數(shù)設(shè)置及控制importsensor #引入攝像頭控制模塊#設(shè)置攝像頭工作參數(shù)sensor.reset() #初始化攝像頭；sensor.set_pixformat(sensor.RGB565) #設(shè)置為彩色，每個(gè)像素16bit；sensor.set_framesize(sensor.QVGA) #設(shè)置圖像分辨率大??；sensor.skip_frames()#更改設(shè)置后，跳過若干幀，等待感光元件穩(wěn)定；#sensor.set_pixformat() #設(shè)置像素模式；#sensor.GRAYSCALE #灰度，每個(gè)像素8bit。#自動(dòng)增益／白平衡sensor.set_auto_gain() #自動(dòng)增益開啟或者關(guān)閉。sensor.set_auto_whitebal() #自動(dòng)白平衡開啟或者關(guān)閉。2023/1/30視頻捕捉Python編程案例sensor.reset() #初始化攝像頭；#持續(xù)拍照while(True):img=sensor.snapshot() #拍攝一張照片，其中img為一個(gè)image對(duì)象實(shí)例；#跳過一些幀sensor.skip_frames(n=10) #在更改設(shè)置后，跳過若干幀，等待感光元件的穩(wěn)定；#獲取一張圖像sensor.snapshot()#拍攝一張照片，返回一個(gè)image對(duì)象。2023/1/30功能拓展通過攝像頭捕捉到視頻圖像；按下板上按鍵，保存圖像幀到板上Flash存儲(chǔ)中；模擬實(shí)現(xiàn)相機(jī)功能。2023/1/30完整案例：importsensor,image,timefromopenaieimport*sensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)sensor.skip_frames(time=2000)clock=time.clock()while(True):clock.tick()img=sensor.snapshot()ifbutton.is_pressed():#檢測(cè)到按鍵按下time.sleep(10)#延時(shí)消抖ifbutton.is_pressed():img.save(“example.jpg”)#保存圖片，重置AIE控制板進(jìn)行查看2023/1/30保存成外部文件的圖像幀分析與思考為什么在嵌入式視覺應(yīng)用中，常用QQVGA、QVGA等低分辨率以及RGB565等圖像格式，而不使用高分辨率及Bitmap等圖像格式？在視頻采集過程中，為什么要使用sen