《視頻傳輸中圖像處理》141017

1、圖像處理的介紹圖像處理的介紹圖像的基本處理圖像的基本處理視頻圖像的處理視頻圖像的處理 視頻傳輸中的圖像處理 萬德 劉珂銘圖像處理的介紹 數(shù)字圖像處理，用計(jì)算機(jī)對(duì)圖像進(jìn)行分析，以達(dá)到所需結(jié)果。 圖像處理可以增強(qiáng)圖像的質(zhì)量，或者改變圖像的大小以適應(yīng)傳輸環(huán)境。 常用軟件PS 常用工具FFMPEG（工業(yè)級(jí)圖像格式庫）過程 視頻傳輸中，視頻采集設(shè)備（如攝像頭）將采集的圖像數(shù)字化后，進(jìn)過壓縮后傳輸給遠(yuǎn)程接收端，接收端收到解壓，這時(shí)就需要進(jìn)一步地進(jìn)行處理。圖像的基本處理 圖像處理時(shí)，常用16位和32位表示一個(gè)像素 16位：R（5）G（6）B（5） 32位： A（8） R（8）G（8）B（8），A（透明度在視

2、頻處理中一般不用）16位到32位轉(zhuǎn)換方法 運(yùn)用SHL,SHR指令對(duì)RGB進(jìn)行偏移，實(shí)現(xiàn)RGB的擴(kuò)展或壓縮 所以32位到16位時(shí)會(huì)丟失顏色值，造成圖像質(zhì)量下降 但是16位的像素單元處理速度非常快圖像的基本處理旋轉(zhuǎn) 首先旋轉(zhuǎn)要確定一個(gè)中心點(diǎn)。 旋轉(zhuǎn)的實(shí)現(xiàn)并不是根據(jù)源點(diǎn)計(jì)算目標(biāo)點(diǎn)的位置，因?yàn)槟菢拥脑?，你?huì)在屏幕上看到有很多小洞的千倉百孔的旋轉(zhuǎn)圖像。 正確的方式是先計(jì)算旋轉(zhuǎn)以后的圖像的長(zhǎng)和寬，然后依次計(jì)算其在源圖中的位置。 旋轉(zhuǎn)效果圖片向左旋轉(zhuǎn)45度圖像的基本處理縮放 縮放和旋轉(zhuǎn)一樣，也是“反過來”取得像素的。 圖像縮放的實(shí)現(xiàn)方法主要有以下3種，質(zhì)量越高，消耗時(shí)間越長(zhǎng)臨近插值法雙線性插值法立方卷積插值

3、法 tips：現(xiàn)代瀏覽器由于都支持GPU加速，所以不管采用什么算法，他們的渲染效率都不會(huì)相差太遠(yuǎn)圖像的基本處理雙線性插值法 插值公式: f(i+u,j+v) = (1-u)*(1-v)*f(i,j) + (1-u)*v*f(i,j+1) + u*(1-v)*f(i+1,j) + u*v*f(i+1,j+1)詳細(xì)說明: 比如一個(gè)點(diǎn)縮放后是x,y，那么要去尋找的坐標(biāo)一共有4個(gè)，叫做采樣點(diǎn)，分別是(i,j),(i,j+1),(i+1,j),(i+1,j+1) 。i,j是被縮放圖片中的坐標(biāo)點(diǎn)。先計(jì)算縮放比例scale_x,scale_yx*scale_x = i+uy*scale_y = j+vu,v

4、是坐標(biāo)的小數(shù)部分，也就是說：假如縮放比例為1.25 , x = 10,那么 i = 12 , u = (12.5-12) = 0.5圖像的基本處理 原圖 雙線性插值法 臨近插值法視頻圖像的處理FFMPEGffmpeg是一個(gè)開源免費(fèi)跨平臺(tái)的視頻和音頻流方案，屬于自由軟件，采用LGPL或GPL許可證（依據(jù)你選擇的組件）。它提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案。 ffmpeg支持asf，avi，bfi，iff，flv，mp4，h264等格式 h264格式是目前視頻傳輸應(yīng)用中圖像壓縮率最高，對(duì)應(yīng)圖像效果最好的一種編碼方式視頻圖像的處理去噪 采用均值濾波器，自適應(yīng)維納濾波器 ，中值濾波器 ， 形

5、態(tài)學(xué)噪聲濾除器 ，小波去噪等算法進(jìn)行圖像的去噪操作，可以去除圖像中的噪聲奇點(diǎn) 均值濾波 中值濾波 視頻圖像的處理銳化 銳化是對(duì)圖像邊緣模糊區(qū)域進(jìn)行聚焦，可以加強(qiáng)圖像中的邊緣，輪廓等。 在視頻采集時(shí)，由于攝像頭的不同可能圖像的清晰度也有好壞，有時(shí)需要更好地識(shí)別圖像中的信息，比如二維碼掃描，就可以對(duì)圖像進(jìn)行銳化后保存。4個(gè)方向的梯度算子（Sobel算子）視頻圖像的處理壓縮 使用FFMPEG，可以以H264的格式對(duì)圖像進(jìn)行以幀位單元的壓縮。 H264有 I , B , P 三種幀（一幀代表一張畫面）。 I幀：關(guān)鍵幀，一幀原圖像的直接壓縮，可以單獨(dú)解壓成圖像，體積最大 P，B幀 ：都是根據(jù)前后關(guān)系來得到圖像的，保存的是差異值和運(yùn)動(dòng)矢量，體積非常小。 一般I幀的數(shù)量是P,B幀的1/20到1/5，所以H264總體積還是很小的。MP4和H264壓縮后大小比較對(duì)320*240的視頻編碼后，隨機(jī)取20幀的大小做對(duì)比，單位為字節(jié)。MP4和和H264對(duì)監(jiān)控視頻的壓縮效果比較技術(shù)支持提供C+（