8上海港務(wù)工程公司海達(dá)QC小組

1、1 / 39 課題名稱提高港口監(jiān)控錄像分辨率新技術(shù)研發(fā)課題類型創(chuàng)新型小組名稱港工海達(dá) qc 小組注冊編號ggqc2009-008 活動日期2009年 2 月 2009年 7 月活動次數(shù)16 次tqc 教育人均 46 小時活動出勤率95 序號xx 性別年齡文化程度職務(wù)組內(nèi)分工1 談星男54 本科高級工程師總策劃2 孫昕男50 本科高級工程師分項(xiàng)策劃3 吳超男31 本科工程師數(shù)據(jù)分析4 邱明佳男30 本科工程師數(shù)據(jù)分析5 宋鑫穎女28 本科助理工程師完成 qc 成果報告6 白敏女35 本科助理工程師對策實(shí)施、效果檢查7 朱繼成男26 大專技術(shù)員對策實(shí)施、效果檢查8 戚琳燁女23 大專技術(shù)員對策實(shí)施

2、、效果檢查9 徐君男25 本科見習(xí)對策實(shí)施、效果檢查小組簡介提高港口監(jiān)控錄像分辨率新技術(shù)研發(fā)2 / 39 隨著 xx 國際航運(yùn)中心建設(shè)的啟動，xx 國際港務(wù)（集團(tuán)）股份 xx 成為國際航運(yùn)中心的重要組成部分，根據(jù)公安技防的規(guī)定和國際薩拉斯協(xié)議的要求，考慮把安保技防設(shè)施作為基礎(chǔ)建設(shè)的重點(diǎn)之一。安保技防設(shè)施建設(shè)在港區(qū)內(nèi)主要側(cè)重閉路電視視頻監(jiān)控系統(tǒng)，閉路電視視頻監(jiān)控系統(tǒng)主要實(shí)現(xiàn)兩大功能：1. 管理人員可以根據(jù)需要對監(jiān)控x 圍內(nèi)的碼頭、道路、堆場與出入口等重點(diǎn)區(qū)域的人員、車輛動態(tài)進(jìn)行實(shí)時監(jiān)視，進(jìn)行必要的控制以達(dá)到最清晰的監(jiān)視效果；2. 通過儲存設(shè)備對監(jiān)視到的圖像進(jìn)行保存，一旦需要的時候，可以對特定攝像

3、機(jī)的特定時段的錄像內(nèi)容進(jìn)行回放，便于港區(qū)的安全管理。但是在監(jiān)控圖像的采集與處理過程中，由于各種因素影響， 會導(dǎo)致圖像分辨率的下降， 其主要表現(xiàn)為模糊、噪聲和變形，達(dá)不到監(jiān)控的要求，影響系統(tǒng)功能。課題背景3 / 39 1. 選題理由近幾年隨著閉路電視監(jiān)控系統(tǒng)在港區(qū)的應(yīng)用越來越廣泛，在生產(chǎn)管理和安全防x 起到不可替代的作用，但是由于軟硬件各方面因素的限制，視頻監(jiān)控錄像回放分辨率往往不能達(dá)到使用要求。xx 港于 09 年 2 月 4 號頒布港區(qū)安全技術(shù)防x 系統(tǒng)要求的企業(yè)標(biāo)準(zhǔn)，里面明確要求新建監(jiān)控系統(tǒng)的錄像回放質(zhì)量要大于等于300 電視線，比原有的標(biāo)準(zhǔn)（錄像資料270 電視線）提高了 10% 。我公

4、司作為 xx 市專業(yè)從事技術(shù)防x 行業(yè)的從業(yè)單位，為xx港提供監(jiān)控系統(tǒng)的安裝和維護(hù)服務(wù)。為滿足港區(qū)生產(chǎn)調(diào)度、 安全防 x要求，采用各種技術(shù)手段提高監(jiān)控圖像錄像回放分辨率就顯得極為重要。2. 問題的提出目前港區(qū)內(nèi)原有的設(shè)備圖像回放質(zhì)量停留在270 線水平。無法滿足生產(chǎn)安全回放質(zhì)量300 線的規(guī) x 要求。一、 選題理由4 / 39 回放時分辨率較低，無法滿足生產(chǎn)安全管理的要求。3. 確定課題本著“用戶至上”的理念，為滿足港區(qū)生產(chǎn)調(diào)度、安全防x 要求，同時考慮到港區(qū)固定資產(chǎn)管理的需要，公司提出必須花盡可能小的經(jīng)濟(jì)代價解決視頻圖像分辨率不高的問題，小組成員接受挑戰(zhàn)選定課題為：提高港口監(jiān)控錄像分辨率新

5、技術(shù)研發(fā)采用盡可能低的經(jīng)濟(jì)代價提高電視監(jiān)控系統(tǒng)視頻圖像回放分辨率。根據(jù)港區(qū)安全技術(shù)防x 系統(tǒng)要求的企業(yè)標(biāo)準(zhǔn)1.將原先圖像分辨率270電視線（ 360*270 ）提高到300電視線（400*300 ）以上；另根據(jù)港區(qū)安全技術(shù)防x 系統(tǒng)要求中電視監(jiān)控系統(tǒng)的視頻圖像技術(shù)指標(biāo)要求2.回放圖像清晰度要求：峰值信噪比28 ；3.回放圖像還原度要求：平均絕對差0.1 4.回放圖像視覺要求：信噪比改善因子7 二、 確定目標(biāo)5 / 39 250260270280290300前期圖像分辨率目標(biāo)圖像分辨率(一)方案的提出與確定1.課題分析要提高電視監(jiān)控系統(tǒng)視頻圖像的分辨率，首先需要對視頻圖像分辨率不高的原因進(jìn)行分析

6、，對于視頻圖像成像儲存的環(huán)節(jié)進(jìn)行分析，才能根據(jù)不同的原因采取不同的解決方案。電視監(jiān)控系統(tǒng)的視頻圖像的應(yīng)用分為4 個步驟：圖像采集、圖像傳輸、圖像儲存、圖像回放。三、提出各種方案并確定最佳方案6 / 39 圖像采集：圖像采集就是利用攝像機(jī)中電子傳感器把光學(xué)影像轉(zhuǎn)換成電信號，以便與傳輸與儲存。傳感器的形狀和尺寸、光學(xué)部件性能的好壞直接影響圖像的分辨率。圖像傳輸： 圖像傳輸就是利用光纜、電纜、無線等方式將采集來的圖像傳輸?shù)斤@示或者儲存設(shè)備。在傳輸過程中， 會引入不同類型的噪聲，如高斯噪聲、椒鹽噪聲等，而且噪聲的引入方式也不同，或?yàn)榧有栽肼暋⒒驗(yàn)槌诵栽肼暎@些都會直接影響到圖像的分辨率。圖像儲存： 目

7、前模擬錄像機(jī)已基本淘汰，應(yīng)用最廣是數(shù)字硬盤錄像機(jī)，基本原理是將模擬的音視頻信號通過數(shù)據(jù)壓縮形式轉(zhuǎn)變?yōu)閙peg數(shù)字信號存儲在硬盤上。數(shù)字化采集過程也會降低圖像分辨率。圖像回放： 圖像回放就是重現(xiàn)存儲在系統(tǒng)中的視頻圖像資料。2.方案的提出根據(jù)視頻監(jiān)控系統(tǒng)的工作原理， 針對視頻圖像應(yīng)用的各個環(huán)節(jié)，2010 年 2 月 15 日小組成員利用頭腦風(fēng)暴法將之歸納為硬件和軟件兩大類，提出了 5 種方案建議，并將結(jié)果用 親和圖 整理如下：7 / 39 提高港區(qū)視頻監(jiān)控圖像分辨率新技術(shù)的研發(fā)硬件方法軟件方法優(yōu)化攝像機(jī)優(yōu)化傳輸優(yōu)化錄像機(jī)優(yōu)化錄像格式儲存圖像處理3.方案的初步比較優(yōu)化攝像機(jī)傳感器固有的采樣頻率限制了

8、圖像的空間分辨率，目前在監(jiān)控系統(tǒng)中廣泛使用的是ccd 傳感器，提高分辨率最直接的方法是降低像素尺寸，提高單位面積的像素數(shù)目。優(yōu)點(diǎn)：明顯提高圖像分辨率，可直接提升港區(qū)視頻回放分辨率至300電視線以上，預(yù)期效果良好；作為成熟的產(chǎn)品，操作簡便，可操作性強(qiáng)。缺點(diǎn)：更換攝像機(jī)費(fèi)用太高，經(jīng)濟(jì)性很差；以港區(qū)為例，前端攝像機(jī)50 臺左右，更換材料費(fèi)就將近200 多萬，成本太高優(yōu)化傳輸系統(tǒng)圖像傳輸過程中引進(jìn)的噪聲會直接影響到圖像的分辨率。對傳輸親和圖8 / 39 系統(tǒng)進(jìn)行優(yōu)化，比如更新為先進(jìn)的光纜傳輸系統(tǒng)、 增加長距離補(bǔ)償器、增加視頻抗干擾器等， 可以提高圖像的信噪比， 相應(yīng)提高圖像分辨率。優(yōu)點(diǎn)：一定程度提高圖

9、像分辨率；缺點(diǎn)：更換傳輸設(shè)備費(fèi)用較高，經(jīng)濟(jì)性不好，以上文某港區(qū)為例，若將線纜全部更換，工程耗資約80 萬，況且老港區(qū)進(jìn)行線路更新施工難度太大；要根據(jù)不同的噪聲疊加情況采取不同的措施，難度較大，實(shí)現(xiàn)比較困難。優(yōu)化錄像機(jī)考慮到錄像資料儲存時間的限制， 攝像機(jī)采集到的圖像在儲存時采用壓縮的格式， 去除了不必要的高頻部分， 相應(yīng)的視頻圖像則損失了圖像細(xì)節(jié)，即降低了分辨率。 如果更換硬盤錄像機(jī)， 減少壓縮比例，則可以明顯提高圖像分辨率。優(yōu)點(diǎn)：明顯提高圖像分辨率；可操作性較好缺點(diǎn)：需要更換硬件，目前1 臺硬盤錄像機(jī)約需1.5 萬，若全部更換，費(fèi)用較高，性價比不高；硬件受到工藝水平影響，提高有限。9 / 3

10、9 要兼顧存儲時間，如果存儲文件太大，分辨率即使有所提高，錄像保留時間將大大縮短，不能滿足用戶的要求。優(yōu)化錄像格式針對視頻圖像儲存的步驟：采樣、量化、編碼。由于硬盤錄像機(jī)直接影響監(jiān)控系統(tǒng)的分辨率，如果對儲存過程的參數(shù)進(jìn)行調(diào)整，例如改變編碼格式， 提高錄像文件所含信息量， 也可以提高視頻圖像的分辨率。優(yōu)點(diǎn)：提高圖像分辨率；缺點(diǎn)：目前視頻格式為成熟格式，重新調(diào)整難度太大。錄像保留時間將大大縮短，不能滿足用戶的要求。存儲圖像處理視頻監(jiān)控主要功能之一就是在發(fā)生突發(fā)事件時能進(jìn)行圖像回放，往往在需要監(jiān)控的區(qū)域可能事先沒有考慮到高清錄像，回放效果不盡如人意， 這時候再進(jìn)行設(shè)備更新也來不與了，只能在現(xiàn)有的圖像

11、資料的基礎(chǔ)上進(jìn)行軟件處理，利用軟件的辦法提高視頻圖像分辨率。優(yōu)點(diǎn)：應(yīng)用 x 圍廣，屬于事后彌補(bǔ)，實(shí)用性強(qiáng)；基本沒有硬件投資，在原有基礎(chǔ)上進(jìn)行軟件處理， 經(jīng)濟(jì)性很好；立足現(xiàn)有設(shè)備， 大批原有設(shè)備可以得到利用， 為港區(qū)改造節(jié)約大筆資金，提高監(jiān)控系統(tǒng)現(xiàn)代化程度。缺點(diǎn)：10 / 39 沒有現(xiàn)成經(jīng)驗(yàn)方法可借鑒， 軟件處理計算繁瑣，實(shí)現(xiàn)難度較大。我們對 5 個方案進(jìn)行了初步比較匯總結(jié)果如下：類型序號方案缺點(diǎn)方案選擇硬件方法1 優(yōu)化攝像機(jī)更換攝像機(jī)費(fèi)用太高，經(jīng)濟(jì)性很差；由于港區(qū)實(shí)際情況，對于設(shè)備更新成本太高，不具可行性。不選擇2 優(yōu) 化 傳 輸 系統(tǒng)全部更新傳輸系統(tǒng)成本太高，不具可行性，針對各種類型的疊加噪

12、聲進(jìn)行處理則比較復(fù)雜，不易形成標(biāo)準(zhǔn)工法。不選擇3 優(yōu)化錄像機(jī)需要部分更換設(shè)備，性價比不是很高，但考慮到錄像機(jī)是目前監(jiān)控系統(tǒng)的瓶頸，一旦錄像機(jī)上分辨率有提高，則可明顯提高錄像資料的分辨率。選擇軟件方法4 優(yōu) 化 錄 像 格式目前視頻格式為成熟格式，重新調(diào)整難度太大。要兼顧存儲時間，如果存儲文件太大，分辨率即使有所提高，儲存時間將大大縮短，不能滿足用戶的要求。不選擇5 儲 存 圖 像 處理沒有現(xiàn)成經(jīng)驗(yàn)方法可以借鑒，軟件處理計算繁瑣，實(shí)現(xiàn)難度較大。通過方案改進(jìn)可以實(shí)現(xiàn)選擇4.方案的試驗(yàn)比較2009 年 2 月 19 日，小組成員對可采用的兩個方案進(jìn)行了現(xiàn)場試驗(yàn)對比：試驗(yàn)背景首先選取港區(qū)現(xiàn)場原始錄像資

13、料截圖，港區(qū)視頻監(jiān)控系統(tǒng)原有錄像機(jī)為 xx ?？低暤?ds-8004hc-s，錄像分辨率為mpeg-4 的2cif 格式（ 302*288 ） 。11 / 39 圖 1：原始錄像截圖3#方案：更換錄像機(jī)港 區(qū) 視 頻 監(jiān) 控 系 統(tǒng) 原 有 錄 像 機(jī) 為xx海 康 威 視 的ds-8004hc-s， 錄像分辨率為 mpeg-4的 2cif 格式 （302*288 ） ，通過更換硬盤錄像機(jī)：xx 海康威視的d1格式高清硬盤錄像機(jī)ds-8004hf-s， 錄 像 分 辨 率 達(dá) 到mpeg-4的4cif格 式（704*576 ） ，理論上提高了 2 倍，錄像截圖效果如下圖所示，可以看到圖像質(zhì)量

14、無論在視頻分辨率還是圖像的色彩飽和度各個方面有明顯提高。12 / 39 圖 2：更換設(shè)備后錄像截圖但是通過更換硬件的方式經(jīng)濟(jì)性不理想，以該港區(qū)為例， 共配置攝像機(jī) 32 臺，八路硬盤錄像機(jī)3 臺，四路硬盤錄像機(jī) 3 臺，同時由于錄像資料的提高， 相應(yīng)的錄像文件所需硬盤空間也相應(yīng)變大，為滿足存儲時間的要求， 還需要增加硬盤存儲設(shè)備， 加上相應(yīng)的安裝調(diào)試費(fèi)用，若要全部更換至d1 格式的高清硬盤錄像機(jī)則需要：八路硬盤錄像機(jī)3 臺：9600*3=28800元四路硬盤錄像機(jī)3 臺：6400*3=19200元增加 1t 硬盤 48 塊：950*48=45600元安裝調(diào)試費(fèi)用： 1.5 萬元合計約 10.8

15、 萬元，費(fèi)用不菲 。同時，通過更換硬件的辦法還有一個很大的缺陷，性能指標(biāo)的提13 / 39 升受限于硬件的生產(chǎn)水平，會產(chǎn)生一個瓶頸。圖 3：高清錄像截圖的局部放大如上圖中所見更換高清設(shè)備以后整幅圖像分辨率提高了，但是如果將某一局部進(jìn)行放大， 則會發(fā)現(xiàn)局部分辨率仍然達(dá)不到要求。這種情況很難通過更新設(shè)備進(jìn)一步提高分辨率。5#方案：視頻圖像的軟件處理采用基于信號處理的軟件方法對圖像的空間分辨率進(jìn)行提高，對圖 1 進(jìn)行處理，得出結(jié)果如下：14 / 39 圖 4：經(jīng)過軟件處理的視頻截圖軟件處理視覺效果較為明顯，而且應(yīng)用x 圍廣，屬于事后彌補(bǔ)，實(shí)用性強(qiáng)；基本沒有硬件投資，在原有基礎(chǔ)上進(jìn)行軟件處理，經(jīng)濟(jì)性很

16、好；立足現(xiàn)有設(shè)備， 大批原有設(shè)備可以得到利用， 為港區(qū)改造節(jié)約大筆資金，提高監(jiān)控系統(tǒng)現(xiàn)代化程度。5.選定方案由于 3# 方案較易實(shí)現(xiàn)，而 5#方案，雖然無論在經(jīng)濟(jì)成本還是預(yù)期效果方面均優(yōu)于3# ，但實(shí)現(xiàn)相對較為困難，兩者各有優(yōu)勢，為了體現(xiàn) qc 活動的 xx 性，小組成員經(jīng)過討論決定采用打分方式對兩個15 / 39 方案進(jìn)行選優(yōu)，確定最佳方案。各方案的分析與評估表序號方案可行性分析評價小計加權(quán)總分是否采用標(biāo)準(zhǔn)權(quán)數(shù)宋鑫穎吳超邱明佳談星孫昕戚琳燁徐君朱繼成1 優(yōu)化錄像機(jī)費(fèi)用較高，提高分辨率效果較好，提高一定程度以后再升級硬件有瓶頸難易性0.2 27 5.4 18.6 不采用經(jīng)濟(jì)性0.4 9 3.6

17、 需時間0.1 12 1.2 預(yù)期效果0.3 28 8.4 2 視頻圖像處理費(fèi)用較低，提高分辨率效果略差，可行性較強(qiáng)，如進(jìn)一步調(diào)整圖像處理軟件算法可達(dá)到要求難易性0.2 11 2.2 23.6 可采用經(jīng)濟(jì)性0.4 30 12 需時間0.1 22 2.2 預(yù)期效果0.3 24 7.2 ： 4 分：3 分： 2 分：1 分制表人：宋鑫穎日期： 2010年 3 月 10日評價結(jié)果：我們采用“歸一法” 對該項(xiàng)目實(shí)施經(jīng)濟(jì)性、需時間與預(yù)期效果進(jìn)行加權(quán)評價，操作難易性主要對兩種優(yōu)化方法的實(shí)現(xiàn)難易度進(jìn)行評價，由于對于監(jiān)控圖像的分辨率提高，技術(shù)上要求較高，難度加大不可避免，加權(quán)系數(shù)為0.2 ；經(jīng)濟(jì)性指技術(shù)措施成

18、本，由于本項(xiàng)目核心理念就是以盡可能低的經(jīng)濟(jì)代價提高電視監(jiān)控系統(tǒng)視頻圖像回放分辨率。本著“服務(wù)客戶”宗旨，費(fèi)用加權(quán)相對較大采用0.4 ；需時間主要指對新技術(shù)開發(fā)周期長短評價，由于本項(xiàng)目時間要求不是特別嚴(yán)格，加權(quán)系數(shù)為 0.1 ；預(yù)期效果指達(dá)到提高分辨率目標(biāo)值的可能性，16 / 39 加權(quán)系數(shù)為 0.3 。綜合得分滿分應(yīng)是32 分。 我們把得分率超過60% - 即 23.6分以上的方案即 視頻圖像處理 作為最佳方案。6.細(xì)化方案圖像處理原理視頻圖像處理方案， 其核心思想是用時間帶寬 （獲取同一場景的多幀圖像序列） 通過運(yùn)算合成得到高分辨率圖像，實(shí)現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換， 使得重建后圖像的視

19、覺效果超過任何一幀低分辨率圖像。下圖表示了高、低分辨率圖像像素之間的關(guān)系。圖中左邊三幀y1，y2，y3 具有相對位移的低分辨率圖像，通過對錄像過程中圖像變化規(guī)律即運(yùn)動的估計， 進(jìn)行相應(yīng)的插值運(yùn)算， 可以合成得到如圖所示的高空間分辨率圖像x。圖像處理方法分類視頻圖像處理分類目前視頻圖像處理方法主要分為頻域和空域兩大類，其中空域又可以分為最大后驗(yàn)概率估計方法（map） 、凸集17 / 39 投影算法（ pocs）和混合 map/pocs方法三種：（1）頻域法頻域方法實(shí)際上是在頻域內(nèi)解決圖像內(nèi)插問題，其主要方法主要利用傅里葉變換的移位性質(zhì)， 對原始圖像進(jìn)行摸轉(zhuǎn)數(shù)變換， 使圖像轉(zhuǎn)變?yōu)榭尚薷牡母道锶~方程

20、模型。優(yōu)點(diǎn)：理論簡單，運(yùn)算復(fù)雜度低，很容易實(shí)現(xiàn)并行處理，具有直觀的去變形超分辨率機(jī)制。18 / 39 缺點(diǎn)：所基于的理論前提過于理想化，不能有效地應(yīng)用于多數(shù)場合， 只能局限于全局平移運(yùn)動和線性空間不變降質(zhì)模型，包含空域先驗(yàn)知識的能力有限。（2）空域法空域方法主要在空間域分布上進(jìn)行圖像重建，如下圖所示， 對一系列低分辨率圖像所含像素信息進(jìn)行定位后組合成一x 高分辨率圖片。空域方法適用x 圍較廣，主要包括非均勻樣本內(nèi)插法、迭代反投影方法、集合論方法（如凸集投影：pocs ） 、統(tǒng)計復(fù)原方法（最大后驗(yàn)概率估計 map 和最大似然估計ml ） 、混合 map/pocs 方法以與自適應(yīng)濾波方法等。而目前

21、凸集投影法；最大后驗(yàn)概率估計；混合 map/pocs 方法較為適合本技術(shù)的目的最大后驗(yàn)概率估計方法優(yōu)點(diǎn)：19 / 39 在解中可以直接加入先驗(yàn)約束、能確保解的存在和唯一、 降噪能力強(qiáng)和收斂穩(wěn)定性高等； 即該方法能夠保證圖像清晰度，減少干擾信號在運(yùn)算過程中的累加對圖像所造成的影響，提高信噪比。缺點(diǎn)：運(yùn)算速度較慢和運(yùn)算量大。 另外，由于該方法能夠過濾細(xì)微干擾信號數(shù)據(jù)，同時也會將圖像的細(xì)微部分進(jìn)行過濾、排除，因此，由這類方法獲得的高分辨率圖像上的細(xì)節(jié)容易被忽略，平均絕對差相對較高，不利于圖像有效還原。凸集投影方法優(yōu)點(diǎn)：可以方便地加入先驗(yàn)信息， 可以很好地保持高分辨率圖像上的邊緣和細(xì)節(jié)；得到圖像平均絕

22、對誤差較低， 即能夠有效保證圖像還原度。缺點(diǎn)：解不唯一、解依賴于初始估計、收斂慢、運(yùn)算量大和收斂穩(wěn)定性不高等。即運(yùn)算過于復(fù)雜，且不穩(wěn)定導(dǎo)致圖像信噪比改進(jìn)因子較低，圖像視覺效果較差。混合 map/pocs方法把 map 和 pocs 兩種算法合并為統(tǒng)一的算法。提出了一種把map 和非橢球約束結(jié)合在一起的混合算法，這種方法即可保證圖像清晰度和還原度又可有效提高圖像視覺效果。理論證實(shí)，梯度下降法20 / 39 能保證這種混合 map 用 ocs 方法收斂到全局最優(yōu)解。（3）方法的初步比較類型序號方案缺點(diǎn)方案選擇頻域法1 傅立葉變換求解頻譜方程所基于的理論前提過于理想化，不能有效地應(yīng)用于多數(shù)場合。不選

23、擇空域法2 最大后驗(yàn)概率估計方法（ map ）收斂慢和運(yùn)算量大。另外，最大后驗(yàn)概率估計方法的邊緣保持能力不如凸集投影方法，由這類方法獲得的高分辨率圖像上的細(xì)節(jié)容易被平滑掉。不選擇3 凸集投影方法（ pocs ）解不唯一、解依賴于初始估計、 收斂慢、運(yùn)算量大和收斂穩(wěn)定性不高不選擇4 混合map/pocs方法結(jié)合 map 和 pocs 二者優(yōu)點(diǎn)，計算速度快，圖像重建效果好選擇7.總結(jié)結(jié)合以上分析，我們準(zhǔn)備采用空域方法中的混合 map/pocs方法對港區(qū)已儲存錄像中的片段通過軟件方法進(jìn)行合成，還原現(xiàn)場真實(shí)環(huán)境。選定最佳方案后，小組成員討論確定了軟件處理實(shí)施流程圖：四、制定對策21 / 39 實(shí)施步驟

24、如下：步驟一：確定各項(xiàng)圖像處理參數(shù)，并初步合成需重建低分辨率圖像，對圖像進(jìn)行模轉(zhuǎn)數(shù)處理；步驟二：對圖像進(jìn)行配準(zhǔn)，對參考幀進(jìn)行運(yùn)動估計，即對多幀圖像的數(shù)字模型進(jìn)行疊加處理；步驟三：對圖像進(jìn)行數(shù)字模型復(fù)核運(yùn)算，保證重建圖像后的視覺效果；根據(jù)流程圖制定了相應(yīng)的研發(fā)對策：圖像合成確定圖像重建參數(shù)確定運(yùn)動估計精度、插值運(yùn)算參數(shù)、圖像重建幀數(shù)；控制峰值信噪比281. 參數(shù)確定2. 數(shù) 字 模 型 建立3. 初步運(yùn)行實(shí)驗(yàn)室吳超朱繼成2009.3 圖像配準(zhǔn)實(shí)驗(yàn)配準(zhǔn)精確測定一系列圖像之間對應(yīng)像素的運(yùn)動估計；配準(zhǔn)后 平均絕對值誤差 0.11. 圖像配準(zhǔn)2. 持續(xù)改進(jìn)實(shí)驗(yàn)室邱明佳孫昕2009.4 圖像校核實(shí)驗(yàn)校核將

25、不同圖像的有效像素通過插值運(yùn)算重建一幀圖像。1. 確 定 校 核 次數(shù)2. 重建圖像實(shí)驗(yàn)室宋鑫穎白敏2009.4 實(shí)施一、圖像合成五、對策實(shí)施22 / 39 1.參數(shù)確定影響圖像重建效果主要有三個因素：運(yùn)動估計精度、插值運(yùn)算算法和圖像重建次數(shù)。運(yùn)動估計精度： 即是測定低分辨率圖像和參考幀之間的像素位移參數(shù)，若是針對每一個像素進(jìn)行測定，則易受噪聲影響，估計不夠可靠，而且運(yùn)算量增加。一般來說，基于塊的運(yùn)動估計，當(dāng)前幀被劃分為圖像塊， 以塊為單位進(jìn)行測定。 塊的大小直接影響重建效果和計算復(fù)雜度。插值運(yùn)算算法： 常用的插值函數(shù)有最近鄰點(diǎn)函數(shù)（1 維） 、雙線性函數(shù)（ 2 維）和雙三次插值函數(shù)（ 3 維

26、）等等。算法越復(fù)雜則圖像質(zhì)量相應(yīng)提高， 若是復(fù)雜到一定程度， 則在明顯加重了計算負(fù)擔(dān)的同時，圖像質(zhì)量提高并不顯著。因此合適的算法對重建效果影響很大。圖像重建次數(shù)： 即參與圖像重建的低分辨率圖像幀數(shù)，根據(jù)超分辨率圖像重建理論， 圖像重建次數(shù)越多則重建效果越好，但是計算復(fù)雜度也越高， 實(shí)用性和經(jīng)濟(jì)性會下降， 因此選擇一個適中的重建次數(shù)參數(shù)顯得極為重要。 2010 年 3 月 3 日8 日，我們小組進(jìn)行了專題研究，使用正交試驗(yàn)法進(jìn)行了試驗(yàn)分析1）試驗(yàn)?zāi)康模?確定運(yùn)動估計精度、插值運(yùn)算算法、圖像重建幀數(shù)的最佳組合2）評價指標(biāo)： 峰值信噪比。3）確定因素： 運(yùn)動估計精度、插值運(yùn)算算法、重建次數(shù)3 個因素

27、4）確定水平：對每個因素確定了3 個水平23 / 39 序號a 運(yùn)動估計精度（塊大小）b 插值運(yùn)算（算法）c 圖像重建次數(shù)（次）1 3*3 1（最近鄰點(diǎn)函數(shù)）6 2 6*6 2（雙線性函數(shù)）8 3 9*9 3（雙三次插值函數(shù)）10 5）選定合適的正交表選用 l9(34) 表（根據(jù)上述確定的3 個水平與 3 個位級）6）實(shí)施試驗(yàn)2009 年 3 月 56 日我們根據(jù)正交表設(shè)計的試驗(yàn)要求進(jìn)行了共9 次不同條件因素組合的實(shí)驗(yàn)室測試，結(jié)果如下：a b c 峰值信噪比1 1（3*3 ）1（1）3(10) 22.4 2 2（6*6 ）1（1）1(6) 28.1 3 3（9*9 ）1（1）2(8) 26.6

28、 4 1（3*3 ）（ 2）2(8) 26.5 5 2（6*6 ）（ 2）3(10) 27.3 6 3（9*9 ）（ 2）1(6) 23.2 7 1（3*3 ）3(3) 1(6) 23.9 8 2（6*6 ）3(3) 2(8) 29.3 9 3（9*9 ）3(3) 3(10) 28.8 24 / 39 t172.8 77.1 75.2 t284.7 77 82.4 t378.6 82 78.5 /t124.2 25.3 25.1 /t228.2 25.7 27.4 /t326.2 26.3 26.1 r 11.9 5 7.2 初定優(yōu)先水平a2b3c27）結(jié)果分析：看一看 ：試驗(yàn)結(jié)果中第 8 號

29、信噪比最高 ,即初定優(yōu)水平 a2b3c2算一算 ：確定較優(yōu)位級 , a: iiiiii, b: ii i iii, c: i iii c b ; a 為主要因素 , c 為重要因素 , b 為次要因素25 / 39 試驗(yàn)因素影響度趨勢圖22232425262728293*36*69*91236810運(yùn)動估計精度（像素）插值算法（算法）圖像重建次數(shù)（次數(shù)）峰值信噪比試驗(yàn)因素影響趨勢：圖中我們可以看到，當(dāng)運(yùn)動估計塊取6*6 ，雙三次插值函數(shù)時峰值信噪比最大即圖像質(zhì)量最好，另外隨圖像重建次數(shù)提高，峰值信噪比有所提高。8） 結(jié)論分析：隨運(yùn)動估計圖像塊增加信噪比增加，當(dāng)塊精度超過 6*6時易受噪聲影響，

30、估計不夠可靠，而且運(yùn)算量增加導(dǎo)致圖像質(zhì)量下降；當(dāng)圖像重建次數(shù)采用8 次信噪比最大， 隨著重建次數(shù)增加， 噪聲信號逐漸加大，信噪比下降。實(shí)驗(yàn)結(jié)果 a2b3c2完全滿足趨勢影響 ,所以我們決定運(yùn)動估計精度采用（ 6*6 ）圖像塊，插值運(yùn)算采用雙三次插值函數(shù)，圖像重建采用8 幀圖片進(jìn)行運(yùn)算。2.數(shù)字模型建立小組成員根據(jù)所取得的參數(shù)建立了圖像合成的數(shù)字模型：26 / 39 建模方式：將連續(xù)兩幀低像素圖片進(jìn)行分塊，并依據(jù)每塊特征值進(jìn)行定位，每個單塊為6*6個像素，依據(jù)每個像素的特征采集相應(yīng)的數(shù)據(jù)形成矩陣 a 與矩陣 a1 類似矩陣， 并通過雙三次插值函數(shù)進(jìn)行計算，獲得新矩陣 b 雙插值計算方式：通過對矩

31、陣 a 與矩陣 a1 對應(yīng)像素的周邊像素配準(zhǔn)確定該像素估計值，以先橫向，后縱向單個像素運(yùn)算的方式進(jìn)行。27 / 39 3.初步運(yùn)行2009年 3 月 710 日，我們對正交法確定的實(shí)驗(yàn)參數(shù)進(jìn)行了驗(yàn)證，共選擇了 5 組不同的試驗(yàn)樣本，試驗(yàn)結(jié)果如下：樣本組號a b c d e 峰值信噪比29.2 28.7 28.9 29.1 29.0 經(jīng)過試驗(yàn)可以看出，對比目標(biāo)值，峰值信噪比都大于28，均達(dá)到事先選定的目標(biāo)值x 圍，故此組參數(shù)的選擇是可行的。9）實(shí)施效果： 根據(jù)本實(shí)施中確定的參數(shù)組合，我們進(jìn)行了大x 圍實(shí)施，在港區(qū)內(nèi)抽取大量樣本（100 個樣本組）進(jìn)行視頻圖像的優(yōu)化，經(jīng)過優(yōu)化的峰值信噪比分布如下圖

32、所示。從圖中可以看出， 信噪比在28.5 29.5 之間呈正態(tài)分布，分布區(qū)間滿足事先設(shè)定的目標(biāo)值的要求，進(jìn)一步驗(yàn)證了本參數(shù)組合的可行性。峰值信噪比處樣本數(shù)分布圖051015202528.5 28.6 28.7 28.8 28.92929.1 29.2 29.3 29.4 29.5樣本數(shù)實(shí)施結(jié)果：完成目標(biāo)，實(shí)施有效實(shí)施二、圖像配準(zhǔn)28 / 39 1.圖像配準(zhǔn)定義圖像配準(zhǔn)定義為兩幅圖像之間的空間變換和灰度變換，配準(zhǔn)的目標(biāo)就是要使兩幀圖像之間的某種相似度準(zhǔn)則達(dá)到最大。如下圖所示，由多幀具有標(biāo)準(zhǔn)位移的低分辨率圖像(b)(e)按照標(biāo)準(zhǔn)位移把低分辨率圖像的像素放在高分辨率圖像中適當(dāng)位置即可重構(gòu)高分辨率圖像

33、(a)。若是圖像配準(zhǔn)算法選擇的不好， 重建出來的圖像就會產(chǎn)生變形，引起分辨率下降， 由于位移參數(shù)無法精確測定， 這里還是采用通過測定重建圖像的 平均絕對值誤差 來評估配準(zhǔn)效果：29 / 39 圖像配準(zhǔn)序列圖像相關(guān)幀之間的運(yùn)動參數(shù)可以用2 個參數(shù)來表示： 水平偏移 r x、 垂直偏移yr ， 即橫向平移與縱向平移 根據(jù)傅立葉變換（ft）的位移性質(zhì)，頻域的相位變化相應(yīng)于空域的平移變化，基于ft 的圖像配準(zhǔn)方法的基本思想是精確測定傅立葉變換函數(shù)的相位變化，就能精確測定幀間平移。2.持續(xù)改進(jìn)發(fā)現(xiàn)問題30 / 39 2009 年 4 月 1 日，小組成員在本實(shí)施進(jìn)行過程中，根據(jù)傅立葉變換算法對 5 組樣

34、本數(shù)據(jù)進(jìn)行試驗(yàn)驗(yàn)證，驗(yàn)證數(shù)據(jù)如下：樣本組號a b c d e 平均絕對誤差0.12 0.17 0.13 0.11 0.18 根據(jù)目標(biāo)值要求，所合成圖像平均絕對值誤差必須小于0.1 ，而目前無達(dá)到目標(biāo)值要求圖像， 不合格率達(dá)到了 100% ，我們小組立刻對這一現(xiàn)象進(jìn)行了原因分析。查找原因、提出解決方案2009 年 4 月 15 日，我們 qc 小組召開專題討論，研究這一現(xiàn)象，經(jīng)過對比樣本，發(fā)現(xiàn)樣本組a、c 圖像變化較為平緩，多為全局平移運(yùn)動，而樣本組b、d、e 則圖像變化較為激烈，存在圖像旋轉(zhuǎn)現(xiàn)象。基于傅立葉變換的配準(zhǔn)算法可以精確測定水平偏移r x、垂直偏移yr 兩個參數(shù)。 未對旋轉(zhuǎn)參數(shù)進(jìn)行精確

35、的估計， 而實(shí)際圖像中，31 / 39 幀間旋轉(zhuǎn)是存在的，如樣本組b、d、e 的情況下，基于傅立葉變換的頻域配準(zhǔn)算法就不能有效地對圖像進(jìn)行配準(zhǔn)，因此需要對該算法進(jìn)行改進(jìn)。改進(jìn)配準(zhǔn)算法由傅立葉變換的配準(zhǔn)算法求出平移參數(shù)后，再由基于光流場的配準(zhǔn)得到的旋轉(zhuǎn)參數(shù)對低分辨率圖像進(jìn)行旋轉(zhuǎn)補(bǔ)償，可以得到一個不錯的配準(zhǔn)算法。在傅立葉域中表示為確定好改進(jìn)后的配準(zhǔn)算法以后，我們對之前的樣本組進(jìn)行了驗(yàn)證，選擇了之前 5 組不同的試驗(yàn)樣本，試驗(yàn)結(jié)果如下：樣本組號a b c d e 平均絕對誤差0.09 0.02 0.03 0.08 0.06 經(jīng)過試驗(yàn)可以看出，對比目標(biāo)值，平均絕對值誤差，均達(dá)到事先選定的目標(biāo)值 x 圍

36、，故該改進(jìn)配準(zhǔn)算法的選擇是可行的。32 / 39 4）實(shí)施效果： 根據(jù)本實(shí)施中確定的配準(zhǔn)算法，我們進(jìn)行了大x 圍實(shí)施，在港區(qū)監(jiān)控資料內(nèi)抽取大量樣本（100 個樣本組） 進(jìn)行視頻圖像的優(yōu)化，經(jīng)過優(yōu)化的峰值信噪比分布如下圖所示。從圖中可以看出，平均絕對值誤差在0-0.1 之間呈正態(tài)分布，分布區(qū)間滿足事先設(shè)定的目標(biāo)值的要求，進(jìn)一步驗(yàn)證了本配準(zhǔn)算法的可行性。實(shí)施結(jié)果：完成目標(biāo)，實(shí)施有效實(shí)施三、圖像校核1.確定校核次數(shù)發(fā)現(xiàn)問題2009 年 4 月 25 日小組成員以經(jīng)驗(yàn)對輸出的圖像進(jìn)行兩次校核后輸出，發(fā)現(xiàn)圖像細(xì)部結(jié)構(gòu)雖然非常清晰，但重建后圖像平滑程度不足，存在鋸齒現(xiàn)象。根據(jù)規(guī)x 要求，圖像信噪比改善因子應(yīng)7。2009 年 4 月 26 日小組成員對重建后圖像進(jìn)行了檢測：信噪比平均絕對值誤差信噪比改善因子檢測結(jié)果29 0.08 4.8 33 / 39 規(guī) x 要求28 0.1 7 小組成員經(jīng)過討論認(rèn)為由于對于重建圖像校核次數(shù)過少，導(dǎo)致圖像修正量不足，引起信噪比改善因子過低。為此， 2009 年 4 月 27 日小組成員針對校核次數(shù)，按校核次數(shù)遞增進(jìn)行了 50 組試驗(yàn)并繪制散點(diǎn)圖：由圖中可以看到校核次數(shù)為8 次時， 圖像信噪比