視頻拼接綜述

1、9上海凱視力成信息科技有限公司視頻拼接全景攝像機綜述隨著攝像機從模擬走向網(wǎng)絡，“高清”日漸成為市場關注的熱點，它的出現(xiàn)讓人們可以看得更清楚，獲得更多的細節(jié)。但是，客戶在從之前“只能看見人臉”到現(xiàn)在“能看清人臉”的同時，又提出了另一方面的要求，那就是“看得更廣”，即在同一個場景中能看到更多的東西。對此，原來是通過用幾只攝像頭覆蓋一個區(qū)域，或用快球來回巡航掃描去解決。但在某些場合，這些方案還不能完全滿足客戶的要求，比如客戶需要在同一個畫面里確定人的移動，或需要用同一個場景中監(jiān)看到的事物去說明一些問題，這個時候就需要全景攝像機，本文試圖對全景攝像機做一綜述。1全景攝像機的好處全景攝像機可以帶來如下好

2、處：（1） 超寬監(jiān)控視角。一枚魚眼鏡頭盡收360度全景，四周的影像一次盡收眼底，完全消滅死角。（2） 降低成本。一臺好的全景攝像機可以替代多臺傳統(tǒng)攝像機的應用，這種360度實時全景監(jiān)控能力，使得無需為涵蓋整個監(jiān)控區(qū)域而安裝多臺攝像機，因而節(jié)省了攝像機硬件投資。監(jiān)控攝像機路數(shù)大大減少，可以節(jié)省配套設備，如鏡頭、防護罩、布線、電源、錄像、顯示等相應配件和設備的成本，還可降低施工布線難度，節(jié)省安裝時間、人工費用以及后續(xù)維護費用。（3） 虛擬PTZ技術。采用虛擬PTZ技術，可以放大或移動監(jiān)控視野內(nèi)的圖像區(qū)域，當轉變方向觀察另一個圖像區(qū)域時，不會發(fā)出任何噪音，隱秘且不易察覺。由于沒有機械移動部件，不需要

3、時刻的進行機械化運轉，全景攝像機不會發(fā)生任何磨損，產(chǎn)品結實耐用，使用壽命大大延長。全景環(huán)視的圖像失真矯正可對多個圖像區(qū)進行，這樣，與機械PTZ攝像機不同，全景攝像機能同時觀察和攝錄多個不同的區(qū)域。2全景攝像機的應用及市場全景攝像機特殊的構造造就其獨有的無盲區(qū)監(jiān)控，讓其在民用、商用、警用或是特殊領域中的應用都十分適合。具體而言，全景攝像機的實際應用需求一般可分為高分辨率監(jiān)控需求和標準分辨率監(jiān)控需求：1) 高分辨率的場所是指在那些容易發(fā)生搶劫、盜竊等安全事件的場合，如銀行、商場、超市等，這類場所需要高清晰的圖像畫質(zhì)，不僅需要將整個作案過程全景監(jiān)控錄像，更需要清晰的辨認嫌疑人的面孔，對后期的刑偵調(diào)查

4、提供便利。2) 標準分辨率的監(jiān)控場所只要求監(jiān)控全范圍局勢，對視頻細節(jié)要求不高，如空曠的廣場、運動場館、大范圍的公共場所、交通路口、交通樞紐等。這類場所只需要有清晰的大范圍監(jiān)控畫面從而實現(xiàn)監(jiān)控調(diào)度即可，對視頻質(zhì)量要求并不高，而且也很難專為監(jiān)控攝像機建立太多的支點，所以在制高點設置一臺全景攝像機完全可以滿足應用需求。真正實用的高清全景攝像機可以取代很多的室內(nèi)半球以及部分的室外監(jiān)控。最主要的優(yōu)勢是：實現(xiàn)采用更少的攝像機無死角地監(jiān)控一定范圍內(nèi)的整個空間。因此全景攝像機在大部分場合是適用的，未來主要的目標市場有：連鎖行業(yè)，樓宇監(jiān)控，加油站，銀行，停車場、運動場、大型商場、港口碼頭、露天廣場、道路交通等。

5、某些場所監(jiān)控寬度甚至達到百米以上，在看清全景圖像實現(xiàn)調(diào)度的同時，不可能也沒有精力再看清人臉、車輛牌照等細節(jié)。這些場合只需要在制高點安裝一臺魚眼攝像機即可以滿足一個場所內(nèi)的全景監(jiān)控。但是我們發(fā)現(xiàn)在國內(nèi)用戶對全景攝像機還有一定的誤區(qū)，比如用戶認為全景攝像機可以觀看到一個房間或者整個停車場，便認為全景攝像機是萬能的，其實全景攝像機是一個廣角，它的景深和焦距是很小的，全景攝像機能夠看清人臉的范圍是半徑5米，再遠的話看人臉不會很清楚。全景攝像機不是萬能的，雖然可以代替三個半球的監(jiān)控范圍，但是它并不會完全替代普通攝像機如快球、半球或者槍機等等。在很多場合，我們建議全景攝像機和傳統(tǒng)攝像機結合在一起使用，普通

6、攝像機無法同時看到整個場景，全景和傳統(tǒng)的攝像機并不矛盾。雖然全景攝像機問世時間不長，但觀近兩年各地安防展會上展示全景攝像機的廠商卻在逐年增多，這種現(xiàn)象很好的喻示了全景攝像機的市場正在逐步開花。不過，我們也要意識到全景攝像機技術和應用上存在的短板。在技術層面上，受限于魚眼鏡頭的特殊結構，監(jiān)控距離短是其致命的缺陷，對此廠商也是無能為力，只能在清晰度上下功夫，但高清視頻意味著更高的帶寬與更大的存儲，這也是不得不考慮的問題；在應用層面上，用戶對全景攝像機認知的不足與昂貴的造價是市場推廣緩慢的主要原因，單是魚眼鏡頭造價就比普通的攝像機要昂貴許多，即便全景攝像機是理想的全景監(jiān)控產(chǎn)品，但客戶在成本面前卻不得

7、不低頭。相比傳統(tǒng)的視頻監(jiān)控探頭，全景攝像機屬于“小弟”級產(chǎn)品，雖然它的強勢出爐對安防監(jiān)控市場產(chǎn)生了一定震撼力，但其市場鋪設與民眾接受程度并未見成熟，市場需求還處于萌芽階段，所以在應用層面上并不太理想。當然，這并不能否認其發(fā)展態(tài)勢，畢竟全景攝像機可以填補特定監(jiān)控場所因視場角受限而需要跟換前端探頭的市場空缺，恰恰這個空缺也只有全景攝像機產(chǎn)品能勝任。全景攝像機作為新鮮產(chǎn)品，每年保持大約百分之二十的固定增長，雖然因為其自身特點的限制，未來不會有大規(guī)模的爆發(fā)式增長，但在某些行業(yè)可能會成為主流必須產(chǎn)品，在另一些行業(yè)則是可有可無的補充品。在目前的推廣應用中，最緊要的難題是如何實現(xiàn)舊項目改造中的集成問題，以及

8、如何更好宣傳推廣的問題。目前市場上能獨立生產(chǎn)全景攝像機的廠家并不多，但是隨著市場的接受度不斷加大，必將有更多廠商加入到這塊新鮮市場的競爭中來。隨著數(shù)字高清視頻監(jiān)控市場的迅速發(fā)展，全景攝像機這一充分利用和發(fā)揮了數(shù)字高清技術優(yōu)勢的產(chǎn)品將逐漸成為被大家所接受的產(chǎn)品，預計在未來2-3年內(nèi)，該類產(chǎn)品將占有相當?shù)氖袌龇蓊~。隨著市場對于數(shù)字高清技術的認識，市場正在逐漸接受全景攝像機的理念。對于實現(xiàn)方法，實現(xiàn)的效果等大家還有一定認識上的差距。但是普遍接受的是：真正實用的全景攝像機才是最好的全景攝像機。3全景攝像機的未來發(fā)展全景攝像機發(fā)展至今已有十年有余，而真正的推廣卻是從近兩年才開始的。因其高昂的價格、復雜的

9、圖像處理技術以及圖像校正后低分辨率等因素的限制，全景攝像機并沒能像其他普通攝像機那樣進入大眾的生活，而是主要定位在專業(yè)應用市場，比如大場景環(huán)境或易于垂直安裝的場合。目前，市場對于全景攝像機的認知度還不是很高，更多的是廠家的宣廣和引導工作。其實業(yè)界對于全景攝像機的技術并沒有太多的爭議或質(zhì)疑，并且個人認為，對于全景攝像機的定義也沒有必要進行過多的辯論，關鍵是要看產(chǎn)品能否滿足客戶的需要，是否解決使用者的具體問題。越來越多的客戶會要求“看得更多、看得更清”，所以全景攝像機必然有著很大的市場。多技術融合是未來全景攝像機發(fā)展的主要方向：1) VMS支持全景攝像機的圖像處理需要VMS（視頻管理軟件）的支持，

10、但由于目前的魚眼展開算法都是廠家私有的，導致VMS支持范圍非常有限。如何將魚眼展開算法實現(xiàn)互通共享，實現(xiàn)統(tǒng)一標準接口，是未來設備廠家和集成商需要共同努力的方向。2) 分辨率全景攝像機相對于普通攝像機而言一個很大的優(yōu)勢在于其超大的監(jiān)控范圍，然而從分辨率密度上來考慮，同樣的像素的攝像機在監(jiān)控更大的區(qū)域時會導致像素的分散和退化。這是由于監(jiān)控范圍很大，在與傳統(tǒng)監(jiān)控鏡頭共用大小相同的成像芯片上，就需要接收數(shù)倍的圖像信息，這就造成畫面分辨率的下降，因此只有在對監(jiān)控圖像畫面質(zhì)量要求不太高或使用高分辨率成像器件時才能使用。這就解釋了為什么300萬像素的全景攝像機畫面質(zhì)量看上去像CIF分辨率。所以對于全景攝像機

11、而言，提高畫面分辨率是未來一項重要的研究課題。3) 低照度全景攝像機大多數(shù)都沒有ICR（機械式紅外濾色片），導致其低照度效果很難令人滿意。因為在以后的發(fā)展中會更多關注全景攝像機的夜間效果，譬如采用ICR+紅外補光或者提升感光器的感光性能來提升低照度效果。4) 寬動態(tài)以魚眼攝像機為例，其采用具有360度超大視角的魚眼鏡頭監(jiān)控整個場景，如此大范圍的監(jiān)控勢必會導致全景攝像機在白平衡以及曝光等方面的處理困難。正是由于這點，限制了全景攝像機在室內(nèi)的應用。解決好全景攝像機的寬動態(tài)效果，能夠推動未來全景攝像機在室內(nèi)環(huán)境的應用。5) 智能如何解放安防的人力一致是智能分析的發(fā)展方向，特別是在全景攝像機的無死角監(jiān)

12、控的條件下實現(xiàn)智能分析一定能夠帶來更好的安防應用。4全景攝像機的種類目前魚眼式全景攝像機的產(chǎn)品形態(tài)包括多鏡頭式、單魚眼鏡頭式、混合式三種。單魚眼鏡頭式：采用槍型攝像機或半球型攝像機加魚眼鏡頭的形式，這也是實現(xiàn)全景監(jiān)控的一種最簡單且最經(jīng)濟的方式，此種方式的關鍵點在于攝像機本身具有對魚眼“畸變”的矯正能力，或者可以結合特殊的處理軟件校正經(jīng)過魚眼鏡頭變形后的圖像，并且不留痕跡的處理成一幅正常圖像，使得人眼能夠接受，此類全景攝像機的代表廠家有Mobotix 、奇偶、騰龍、海康威視和殷浩等，本文主要討論單魚眼鏡頭式的全景攝像機的應用。圖1 單魚眼鏡頭全景攝像機畫面“畸變”矯正多鏡頭式：采用多鏡頭多角度監(jiān)

13、控后拼接圖像實現(xiàn)360度的監(jiān)控，這種方式實現(xiàn)技術十分復雜，成本比較高，但卻少了魚眼全景攝像機帶來的魚眼畸變的困擾，此類全景攝像機的代表廠家有Arecont Vision和AVIGILON?；旌鲜剑翰捎肞TZ球機加魚眼鏡頭的形式，這種方式較為少見，攝像機在轉動時可當作球機使用，當球機鏡頭和魚眼鏡頭重合時，可當作全景攝像機使用，此類全景攝像機的代表廠家有Axis。5單魚眼鏡頭全景攝像機單魚眼鏡頭全景攝像機是由魚眼鏡頭、高清攝像機、圖像處理軟件構成的“三合一”全景監(jiān)控系統(tǒng)。其核心技術有：高分辨率的實現(xiàn)高像素的產(chǎn)品不僅是Sensor的選取，ISP的處理、編碼以及與網(wǎng)絡相應的配合都很重要，并且在相應的結

14、構、工藝等要求上，要比普通攝像機嚴格數(shù)倍。魚眼展開矯正的準確性在將魚眼攝像機所產(chǎn)生的圓形圖像展開為人眼能接受的普通平鋪圖像的過程中，反畸變、反扭曲的算法是非常重要的。因為從鏡頭選型開始，就需要通過鏡頭的曲率特征分析、光學折射線路分析，以及結合透光亮考慮分析，才能取得一個比較好的圖像源，以達到大景深、高分辨率，且畫面周邊和中心的解像力要均衡。魚眼展開算法實現(xiàn)對魚眼鏡頭所產(chǎn)生的圓形圖像進行有效展開及處理，獲得了人眼習慣的平鋪圖像，并且在沒有畸變和扭曲的細節(jié)基礎上進行了相應優(yōu)化，保證了整體圖像的清晰、準確。這種矯正和展開的實現(xiàn)方式有：（1） 軟件前端固件集成（軟件方式）。此類攝像機所有的功能實現(xiàn)軟件

15、，包括圖像矯正、虛擬PTZ、智能部件以及壓縮算法等全部被集成在攝像機內(nèi)部的固件上，未來的升級亦只需對前端設置進行更新。與此同時，其后臺pc亦可提供虛擬PTZ等功能，給予用戶事后靈活改變觀看視角及側重點的可能。又因為相同計算量在硬件晶體與軟件PC上的負荷量區(qū)別很大（同一個運算任務，當涉及到計算矩陣的問題時，會占據(jù)軟件大量資源，硬件晶體上的運算則相對更快。），所以這種前端集成方式大大釋放了后端服務器以及網(wǎng)絡的資源。（2） 芯片前端實現(xiàn)（硬件方式）?，F(xiàn)在已經(jīng)有臺灣廠商開發(fā)出可直接實現(xiàn)一定圖像矯正及四分屏輸出等基礎功能的芯片產(chǎn)品，也就是對魚眼全景攝像機有興趣的廠家，可直接集成此類芯片與魚眼鏡頭便可得到

16、產(chǎn)品。這種方式的出現(xiàn)給了一部分暫時不具備自主研發(fā)能力的廠家與全景攝像機“親密接觸”的可能，也適用于一定范圍的低端市場。（3） 后端軟件實現(xiàn)。此類全景攝像機所有功能皆由安裝在后端PC上的軟件實現(xiàn)，前端攝像機只負責抓取圖片，因此產(chǎn)品在成本與售價上都有優(yōu)勢。依賴后端PC強大的處理能力，此類產(chǎn)品沒有清晰度升級方面的瓶頸限制，在實現(xiàn)基本多分割顯示、虛擬PTZ等功能的同時，原始圖像的保留亦使得后期可進行更多的信息收集與處理工作?？闪硪环矫?，此類產(chǎn)品對后端PC與網(wǎng)絡資源消耗較高，應用在大型項目時需要配置更多后端服務器。6多鏡頭拼接全景視頻此類全景攝像機內(nèi)部封裝多個傳感器，通過對分畫面進行圖像拼接操作得到全景

17、效果。目前主流產(chǎn)品的結構是把四個兩百萬像素的傳感器，以及視場角為45°或者90°的獨立短焦鏡頭封裝在統(tǒng)一的外殼中。其中數(shù)字處理與壓縮等核心技術被集成在前端固件上，將四個單獨的畫面按用戶需求集成為180°或者360°的高清全景畫面，再由網(wǎng)絡傳輸?shù)胶蠖斯芾砥脚_。相較占主流的魚眼全景攝像機，多鏡頭拼接全景攝像機的優(yōu)勢是一定程度上擺脫了焦距的限制，在相同條件下可以看清楚更遠的距離。同時其亦具有虛擬PTZ功能，可做到諸如周面裁剪，中間還原，保持180°展開等功能，方便用戶按監(jiān)控重點調(diào)節(jié)畫面。相比現(xiàn)在主流的魚眼全景監(jiān)控攝像機，多鏡頭拼接全景監(jiān)控攝像機沒有了

18、像素的限制，更不會存在中間與邊緣清晰度差距巨大這一問題。故此監(jiān)控攝像機的圖像拼接、壓縮雖然都是在前端實現(xiàn)，其速度及網(wǎng)絡資源占用極少，這將也是這類型產(chǎn)品未來的發(fā)展趨勢。代表廠家有上海凱視力成信息科技有限公司。7單魚眼鏡頭和多鏡頭拼接比較（1） 多鏡頭拼接方案相比現(xiàn)在主流的魚眼全景監(jiān)控攝像機，多鏡頭拼接全景監(jiān)控攝像機沒有了像素的限制，更不會存在中間與邊緣清晰度差距巨大這一問題。由于多個鏡頭與傳感器的使用，此類產(chǎn)品價格高于魚眼全景監(jiān)控攝像機，但費用仍然少于直接安裝多個傳統(tǒng)監(jiān)控攝像機，同時其只有一個IP地址，方便軟件授權解決問題。另一方面，此類產(chǎn)品雖避免了像素上的浪費，但拼接技術對整套方案的需求更高，

19、其中視場角的選擇，結構上如何互相完美搭配，算法上如何更好的無縫拼接都決定著此類產(chǎn)品在未來能否取得更好的發(fā)展前景。對于多鏡頭攝像機來說，面臨的畸變問題就要比魚眼鏡頭式小多了。這類全景攝像機是通過幾個不同方向的鏡頭和傳感器來實現(xiàn)全景監(jiān)控工作，因此對于畸變的處理上顯然也就要容易得多。不過，這類全景攝像機也有自己的煩惱，由于不同的鏡頭分屬不同的監(jiān)控方向，常有全景畫面被分割后出現(xiàn)盲區(qū)的情況。因此如何能夠更好地實現(xiàn)不同方向鏡頭的無縫高效銜接，也是這類全景攝像機需要重點關注的方面。Arecont Vision中國代表處北京愛銳康特技術有限公司市場開發(fā)經(jīng)理高默冉告訴筆者，多鏡頭攝像機主要通過在攝像機內(nèi)部內(nèi)置專用影像處理技術，將圖像信息最終整合成視頻流并通過一個IP地址傳到后端，在后端實現(xiàn)180度的水平畫面拼接，基本沒有監(jiān)控死角，同時可以滿足一個全景畫面和四畫面的顯示需求。另外，他還強調(diào)，在實現(xiàn)360度全景監(jiān)控下，由于多鏡頭拼接中間正下方會有一個25度的死角，因此，全景攝像機在進行吊裝的時候，為了避免正下方出現(xiàn)死角，在施工的時候可根據(jù)使用者的不同監(jiān)控需求，對每個物理鏡頭進行俯仰角度調(diào)節(jié)。ArecontVistion應用工程師曹亞曦表示