實時融合實景擴展制播平臺定制研發(fā)項目需求

實時融合實景擴展制播平臺定制研發(fā)項目需求一、項目背景本項目為傳媒學院科研平臺——全省影視媒體技術研究重點實驗室建設項目。擬定制研發(fā)一套實時融合實景擴展制播平臺，平臺模塊主要包含多機位實景采集與標定、虛擬場景AI擴展、虛實場景無縫融合、信號包裝渲染以及直播發(fā)布等智能音視頻處理能力，并根據(jù)AI實景擴展的虛擬制播場景定制3套模板。平臺的建設可用于虛擬制播仿真訓練實驗課程教學，輔助學生了解虛擬節(jié)目的制作流程，培養(yǎng)學生對虛擬節(jié)目制作過程中的實操技能，滿足教師科研、人才培養(yǎng)、學生競賽等需求。主要內(nèi)容：1、需定制研發(fā)一套實時融合實景擴展直播平臺，平臺包括實景擴展渲染平臺系統(tǒng)和實景融合合成系統(tǒng)兩個子平臺系統(tǒng)。實景擴展渲染平臺系統(tǒng)包含實景擴展平臺、多模態(tài)圖像生成引擎、圖像擴展引擎、圖像重繪引擎、圖像分割引擎、語義理解系統(tǒng)；實景融合合成系統(tǒng)包含虛擬運鏡系統(tǒng)、推流系統(tǒng)、實景融合系統(tǒng)、圖層管理系統(tǒng)和智能導播系統(tǒng)。2、場景定制服務，需根據(jù)AI實景擴展的虛擬制播場景定制3套模板。二、采購內(nèi)容1、必須根據(jù)客戶的實際應用需求進行靈活的定制開發(fā)指定的系統(tǒng)平臺、平臺的操作方便性和界面簡潔美觀性需充分滿足客戶的要求；2、系統(tǒng)設計應結合學校信息化現(xiàn)狀，充分利用現(xiàn)有資源，滿足先進性、開放性、可擴展性、安全性等設計要求；3、開發(fā)后軟件支持麒麟操作系統(tǒng)和windows10以上系統(tǒng)版本，系統(tǒng)運行安全、穩(wěn)定和流暢；三、服務內(nèi)容及要求序號服務名稱服務要求數(shù)量單位備注1實景擴展渲染平臺系統(tǒng)1.系統(tǒng)模擬真實實訓中所使用的實訓環(huán)境，完整還原實訓中所用到的實訓設備，便于開展配套實訓項目。2.系統(tǒng)須采用B/S架構設計，用戶可在任意瀏覽器中訪問平臺系統(tǒng)。3.系統(tǒng)應具備用戶登錄、用戶權限等基本功能，不同登錄用戶之間的項目數(shù)據(jù)應相互隔離，確保用戶之間數(shù)據(jù)的獨立性。4.系統(tǒng)應具備虛擬場景的AI擴展能力，包含擴展、生成、重繪等。5.系統(tǒng)以工程項目為單位進行工作，并提供工程結果保存、導出等功能。6.具備基本項目管理功能，如項目創(chuàng)建、項目重命名、項目刪除、項目編輯等，為便于大量項目的管理，項目應具備搜索功能。7.為滿足項目交付后的項目升級和改進，系統(tǒng)架構設計要求具備開放可擴展性，以便后續(xù)根據(jù)實際情況擴展升級其他功能。8.系統(tǒng)具備圖像編輯能力，包括：（1）矩形框選工具。支持通過鼠標選擇矩形區(qū)域，用于后續(xù)的生成或擴展操作。（2）套索選擇工具。支持通過鼠標選擇多邊形區(qū)域，用于不規(guī)則區(qū)域的選擇。（3）圖像裁剪工具。支持通過鼠標拖動的方式，對所選圖片進行裁剪。（4）圖層選擇工具。在圖層場景下，通過該工具可以選中對應的圖層，后續(xù)的所有操作將會鎖定在所選圖層中，支持拖拽改變圖層上下級關系。9.系統(tǒng)具備AI圖像生成能力，包括文生圖、圖生圖等，生成圖像符合文本/圖像描述。10.系統(tǒng)具備自適應生成能力。當不輸入文本和圖片的情況下，系統(tǒng)會自動根據(jù)附近圖像特征生成高度融合的圖像。11.系統(tǒng)提供圖像擴展能力，框選時，當選擇區(qū)域包含圖像外部分時，觸發(fā)圖像擴展功能，系統(tǒng)會基于圖像邊緣的特征對圖像進行融合擴展，擴展生成的部分會以新圖層的形式顯示在圖層列表中。12.系統(tǒng)提供圖像重繪能力，框選時，當選擇區(qū)域全部為圖像內(nèi)部時，觸發(fā)圖像重繪功能，系統(tǒng)將根據(jù)提示詞或參考圖片，重新生成對應區(qū)域并覆蓋。1套/2實景融合合成渲染系統(tǒng)1.系統(tǒng)模擬真實實訓中所使用的實訓環(huán)境，完整還原實訓中所用到的實訓設備，便于開展配套實訓項目。2.系統(tǒng)須采用C/S架構設計，用戶安裝客戶端后可以使用系統(tǒng)功能。3.系統(tǒng)軟件應支持IP信號或基帶信號的輸入/輸出，具備最高4K信號的制作能力。4.系統(tǒng)支持設置音視頻輸出設備，視頻輸出分辨率、幀率，預設通道，設置TCP/UDP推流地址等內(nèi)容。5.系統(tǒng)支持RTMP推流，支持對RTMP推流參數(shù)進行配置，包括流通道名稱、推流地址、帶寬設置、編碼格式、延遲、質(zhì)量的設置。6.系統(tǒng)提供信號內(nèi)錄功能，提供內(nèi)部錄制功能的設置，包括錄制采樣方式、視頻編碼格式等設置。7.系統(tǒng)支持多種輸入源類別，對節(jié)目制作需要用到的本地素材和各類輸入信號放在不同的素材類別列表中進行管理和調(diào)用，類別包括攝像機、視頻、圖片、字幕、音頻等。8.系統(tǒng)支持添加信源，在類別列表中選中對應的信源，添加至導播臺信號通道中。9.系統(tǒng)支持切換信源，在同一通道中，支持實時切換不同的信源。10.系統(tǒng)支持PVW/PGM設置。PVW和PGW為預覽通道和節(jié)目通道，支持將任意通道標記為PVW何PGM。11.系統(tǒng)提供提供預覽信號和節(jié)目信號的實時預覽，支持實時設置PVW和PGM對應的信號通道。12.系統(tǒng)支持轉場切換，在節(jié)目通道和預覽通道之間，可以應用各種特效進行切換，包括直接切換、漸變、滑動轉場、涂抹轉場等。13.系統(tǒng)支持摳像功能，要求包括：（1）色鍵摳像。（2）細節(jié)抹除。（3）色彩補償。（4）強化主體。（5）邊緣柔化。（6）美顏。14.系統(tǒng)支持圖文編輯制作，包括：（1）圖層列表。列表內(nèi)可以添加12個圖層，其縮略圖會顯示在圖層列表欄中，不同圖層之間要求體現(xiàn)上下層關系，如在列表中位置靠上的圖層，在圖像上會覆蓋位置靠下的圖層。（2）圖層類別。圖層應支持圖片、視頻、音頻、文字、日期、時鐘、通道等多種內(nèi)容。（3）圖層內(nèi)容。支持每個圖層的內(nèi)容的獨立配置，在編輯器中選擇對應的圖層后可以添加相應的內(nèi)容。（4）圖層布局。支持調(diào)整每個圖層在畫面中的位置布局，支持文字對齊和圖像對齊模式的設置。（5）多狀態(tài)圖文。一個圖文組合可以存儲多種狀態(tài)，每個狀態(tài)可記錄組合內(nèi)圖層的位置、大小、透明度、顯隱等不同狀態(tài)。并可在不同狀態(tài)間實現(xiàn)動畫過渡。15.系統(tǒng)支持調(diào)音臺功能，包括：（1）通道音量調(diào)整。提供調(diào)音臺控制界面，每一組對應一個切換通道的內(nèi)容控制。音量滑塊默認停留在0db的無增益位置，拉動對應通道的音量滑塊就可以調(diào)整切換通道的音量。（2）音頻播放規(guī)則調(diào)整。切換通道的音頻播放規(guī)則有跟隨/靜音/獨奏三種。（3）獨立輸入音頻調(diào)整。對于通過音頻采集設備單獨輸入的音頻信號，系統(tǒng)需提供獨立的調(diào)音臺界面進行調(diào)整。（4）獨立輸入音頻聲道設置。從音頻設備輸入的單獨音頻信號，提供左聲道、右聲道和立體聲的調(diào)整選項。（5）獨立輸入音頻延時控制。支持對單獨輸入音頻的音頻延時功能，以保證不經(jīng)過系統(tǒng)處理的單獨輸入音頻信號與經(jīng)過系統(tǒng)處理的視頻信號可以同步呈現(xiàn)。16.系統(tǒng)應支持內(nèi)容輸出控制功能，提供開關控制按鈕，控制從輸出設備輸出節(jié)目通道（PGM）內(nèi)容的啟停。17.系統(tǒng)應具備輸出延時控制功能，支持在節(jié)目播出過程當中對輸出設置內(nèi)置延時量，并提供小窗口預覽實際播出效果。18.系統(tǒng)具備輸出信號截圖功能，提供功能按鈕，點擊截取當前節(jié)目通道（PGM窗口）內(nèi)容存儲。19.系統(tǒng)提供輸出信號錄制功能。支持對輸出信號進行錄制，提供錄制碼率、錄制文件位置的設置。20.系統(tǒng)提供流媒體輸出功能，為流媒體制作需要，系統(tǒng)須提供流媒體輸出、推流站點配置，可以進行推流目標地址的設置，如RTMP/RTSP。21.系統(tǒng)應具備多畫輸出功能，包括：（1）多畫輸出控制開關，系統(tǒng)應具備多畫面輸出功能，只要系統(tǒng)接有一個以上顯示器，就可以在主屏顯示操作界面以外，在副屏顯示可自由組合通道的多畫面監(jiān)看信號。（2）自定義多畫布局，系統(tǒng)支持自定義調(diào)整多畫面監(jiān)看布局，包括每個窗口的獨立信源設置、位置、圖層關系等。（3）副屏信號輸出。當標準配置設備無法通過輸出卡輸出4K信號時，可支持通過副屏或者第三屏輸出4K節(jié)目信號。22.系統(tǒng)應具備宏命令功能，包括：（1）宏命令錄制，系統(tǒng)可以將一系列操作錄制于一個宏命令中，并一鍵執(zhí)行。方便在日常錄制中節(jié)省操作和調(diào)整的時間，保證精