【內(nèi)容創(chuàng)作】基于NCAM的圖像識別跟蹤系統(tǒng)在演播室的應(yīng)用

1、【內(nèi)容創(chuàng)作】基于ncam的圖像識別跟蹤系統(tǒng)在演播室的應(yīng)用作者：暫無來源：傳播與制作2018年第6期【摘要】NCAM圖像識別跟蹤系統(tǒng)作為主流的演播室追蹤系統(tǒng)，在演播室得到了越來越多的應(yīng)用，提升了節(jié)目的視覺效果。首先，本文介紹了NCAM圖像識別跟蹤系統(tǒng)的使用；其次，介紹了NCAM在演播室的系統(tǒng)結(jié)構(gòu)；最后，介紹了NCAM在演播室的應(yīng)用。關(guān)鍵詞】NCAM圖像識別跟蹤虛擬跟蹤引言傳統(tǒng)的電視節(jié)目比較單一，由主持人在實景前講述口播，承前啟后。隨著科技的發(fā)展，電視圖像跟蹤系統(tǒng)將圖像識別、處理、跟蹤技術(shù)結(jié)合，把虛擬的物體形象、實時地在演播室表現(xiàn)出來，使節(jié)目內(nèi)容更加直觀、豐富。電視圖像跟蹤系統(tǒng)的實現(xiàn)，預(yù)處理數(shù)據(jù)量

2、大，為了保證系統(tǒng)的實時性，一般采用DSP芯片+FPGA結(jié)構(gòu)協(xié)作處理。蘇州廣播電視總臺作為全國首個實現(xiàn)高清整體轉(zhuǎn)換的城市臺，采用了主流的演播室追蹤系統(tǒng)一一NCAM圖像識別跟蹤系統(tǒng)，NCAM的魚眼模擬人眼具有的圖像識別能力，再通過計算機(jī)識別、處理獲得的信息，實現(xiàn)了圖像目標(biāo)的跟蹤。目前，NCAM圖像識別跟蹤系統(tǒng)在全媒體新聞中心的社會傳真、姑蘇警方、天網(wǎng)等欄目使用，關(guān)注政治、民生，例如C919大型客機(jī)在上海圓滿首飛、重現(xiàn)警方破案現(xiàn)場、枇杷上市價格分析等等，直觀形象的虛擬場景提高了收視率，使新聞類節(jié)目豐富有趣，讓觀眾了解到政治、經(jīng)濟(jì)、生活等各個方面的情況。NCAM圖像識別跟蹤系統(tǒng)介紹NCAM主機(jī)默認(rèn)系統(tǒng)

3、為Linux圖形界面，該系統(tǒng)具有可靠的安全性和良好的穩(wěn)定性。如圖1所見，打開NcamReality軟件，軟件界面上的左右畫面為兩個Fisheyes虛擬鏡頭的跟蹤點位，紫色點越多說明有效跟蹤數(shù)據(jù)越大。默認(rèn)情況下系統(tǒng)開始跟蹤時，魚眼鏡頭的第一對圖像將自動顯示在此處，當(dāng)相機(jī)在環(huán)境中移動通過時，會自動在底部欄中生成其他圖像。右側(cè)是系統(tǒng)狀態(tài)選項，用于調(diào)整跟蹤有關(guān)的各種設(shè)置，可以看到系統(tǒng)跟蹤情況以及一些參數(shù)，調(diào)整魚眼環(huán)境的增益、曝光量和Gamma。跟蹤數(shù)據(jù)正常傳輸后，右側(cè)系統(tǒng)狀態(tài)選項中所有數(shù)據(jù)應(yīng)均為綠色狀態(tài)。在對應(yīng)VisualTracking目錄下有一個可變值“PixelError，在不同鏡頭場景環(huán)境下,

4、該值會不斷變化。該值位于0-0.25之間說明虛擬跟蹤數(shù)據(jù)的質(zhì)量最好，可正常使用。跟蹤視圖是由兩個不同的屏幕，2D和3D視圖組成，如圖2所示。當(dāng)正在跟蹤以及系統(tǒng)正在被使用時，應(yīng)該把2D視圖作為當(dāng)前活動屏。2D跟蹤視圖是從魚眼虛擬鏡頭得到的實時視圖,在系統(tǒng)啟動跟蹤時，當(dāng)前使用的點會出現(xiàn)，彩色的點代表規(guī)模和精度，紫色是最大點黃色是最小點，紫色點越多說明有效跟蹤數(shù)據(jù)越大。在跟蹤開始前就應(yīng)當(dāng)用2D視圖來確保魚眼鏡頭能在當(dāng)前的環(huán)境下合適地曝光并匹配。3D跟蹤視圖是用3D方式展現(xiàn)的當(dāng)前環(huán)境、測試立方體和對應(yīng)的攝像機(jī)位置和方向，2D視圖中看到的彩點在3D視圖中以藍(lán)色和紫色的光線形式表示每個點是如何由攝像機(jī)捕捉

5、到的。點擊開關(guān)按鈕，顯示為StartingTracking,開始傳送虛擬跟蹤數(shù)據(jù)。根據(jù)固定虛擬點位設(shè)定虛擬物件位置及演播室欄目燈光全部開啟后，點擊按鈕初始化跟蹤數(shù)據(jù)。選擇基準(zhǔn)面，前兩個關(guān)鍵位置圖像會自動顯示，如果需要不同的視圖，可以從下方時間軸中選取，拖動圖像到主窗口。選取基準(zhǔn)點后，可以通過旋轉(zhuǎn)軸來重新定位軸，如圖3所示，左圖用于定位和操作NCAM世界坐標(biāo)系（原點）的方向。當(dāng)系統(tǒng)跟蹤增強(qiáng)現(xiàn)實時，NCAM立方體也將在這里合成,用作故障排除和測試。確認(rèn)跟蹤好后，點擊“ONAIR”按鈕，確保在直播環(huán)境中沒有人為干涉虛擬數(shù)據(jù)的變化，關(guān)閉不必要的過程并提高性能。S的主軌聊血；FZ底:1.r1三.NCAM

6、在演播室的系統(tǒng)結(jié)構(gòu)蘇州廣播電視總臺使用的NCAM圖像識別跟蹤系統(tǒng)，其在演播室中得到了不少應(yīng)用，在實時跟蹤方面效果很好。NCAM在演播室的系統(tǒng)結(jié)構(gòu)如圖4所示。演播室的搖臂攝像機(jī)，將魚眼虛擬鏡頭得到的實時視圖、Zoom、Focus等數(shù)據(jù)，通過RJ45接口傳送到NCAM主機(jī)。CCU輸出一路SDI數(shù)據(jù)到NCAM主機(jī)，再加上同步信號REF后，NCAM主機(jī)經(jīng)過處理，輸出串行虛擬數(shù)據(jù)(Free-D協(xié)議)到互為主備的兩臺虛擬Engine的MOXA卡。XNEngine的Matrox卡，Ini是FG前景信號，In2是Input開窗信號，Outl是XN1/2V。耶曲訕和s結(jié)和圖系統(tǒng)中的兩臺同步機(jī)互為主備，經(jīng)過導(dǎo)換器

7、輸出同步信號，再由周邊機(jī)箱的DA分配放大，得到分配的同步信號REF,其中一路輸出到NCAM主機(jī)，與系統(tǒng)的其它設(shè)備同步。鏡頭的Zoom、Focus等數(shù)據(jù)由魚眼獲得后，在長時間的不同場景環(huán)境、燈光數(shù)據(jù)變化下，有時候會需要使用Homing功能，將虛擬鏡頭的Zoom、Focus的量程校準(zhǔn)。這種情況下，點擊菜單欄Devices-CameraBar-StartHoming，開始做Homing的校準(zhǔn)，軟件界面上的右側(cè)系統(tǒng)狀態(tài)選項中Inputs-LensEncoder會顯示橙色的HomingNotDone，此時將搖臂進(jìn)行推拉和聚焦的往復(fù)操作，獲得Zoom、Focus的量程，操作完后，點擊菜單欄Devices-

8、CameraBar-StopHoming，結(jié)束Homing，校準(zhǔn)完成，虛擬恢復(fù)到穩(wěn)定的跟蹤狀態(tài)。系統(tǒng)采用虛擬演播室設(shè)置VizStudio_setup和VizContentPilot模板制作與播出系統(tǒng)(VCP)，利用設(shè)置系統(tǒng)的Viz_IO軟件中的FreeD跟蹤協(xié)議快速地實現(xiàn)對虛擬演播室進(jìn)行虛擬跟蹤定位和校正，在Viz_IO的狀態(tài)選項中設(shè)置從XN1和XN2虛擬渲染引擎以及具體的物理端口來獲取跟蹤數(shù)據(jù)值，進(jìn)行實時數(shù)據(jù)交換狀態(tài)。播出前在VCP編制串聯(lián)單，在播出中可以按照節(jié)目串聯(lián)單的內(nèi)容進(jìn)行實時更新和替換文字、圖片和三維物體等。四.NCAM在演播室的應(yīng)用NCAM結(jié)合了搖臂，使畫面增添了縱深感，營造的立體

9、空間使人有身臨其境的感覺，使虛擬場景更加形象，增加了信息量。使用NCAM跟蹤系統(tǒng)，成功在演播室完成了一些虛擬場景的制作和播出。如圖5所示，我國自主研制的C919大型客機(jī)在上海圓滿首飛，社會傳真欄目制作虛擬背景，運動著的虛擬飛機(jī)和變化的數(shù)據(jù)展示，將這一個航空工業(yè)的歷史時刻更好得表現(xiàn)出來。由這些虛擬數(shù)據(jù)，再聯(lián)系首飛現(xiàn)場的實況畫面，使觀眾能全方位的了解C919的首飛情況。NCAM跟蹤系統(tǒng)不僅在時事新聞中成功得拉近了和觀眾的距離，在講述警方破案過程、表現(xiàn)法律公平正義的時候，NCAM的虛擬場景也為事實本身增加了直觀的描繪，模擬犯罪現(xiàn)場、揭露犯罪活動真相，使觀眾有更真實的現(xiàn)場體驗感。如圖6所示，NCAM在姑蘇警方時的虛擬場景圖，科學(xué)手段的運用，給觀眾直觀的、可信度高的結(jié)論。戲蚯炯在攝對瞞虛觸御五總結(jié)與展望NCAM