內容呈現(xiàn)的至高境界-2023.10

內容呈現(xiàn)的至高境界disguise架構搭載RenderStream?協(xié)同運作，維持極致幀精度與極低延遲，呈現(xiàn)一切想象之內容。RENDERSTREAMWHITEPAPER前言在過去幾年中，GPU

的整體速度有了顯著提升，使得內容渲染具備了低延遲和高質量的能力。與此同時，游戲引擎引領了新一代的圖形技術，使得電影和劇集制作可以在

LED舞臺上實時渲染內容，而無需使用綠幕。這一突破為現(xiàn)場拍攝帶來了更多合作機會，同時減少了實地拍攝和多個實體場景的建設需求。然而，當涉及到多個系統(tǒng)和渲染節(jié)點時，正確生成圖像一直是一個重大挑戰(zhàn)。隨著制作需求對更大畫布和更高視覺保真度的要求，我們需要找到一種無縫擴展內容的方法。首先，我們提供了一個專用服務器，以實現(xiàn)最大化的效率。然后我們思考...如果我們能做得更好，能否將多個服務器都用于該任務？于是，RenderStream?和當前的

disguise系統(tǒng)架構誕生了。在這里，我們探索了

disguise系統(tǒng)架構和

RenderStream?的技術，以及它們如何最大程度地減少延遲，為實時視效工作流程（ICVFX）、無限可擴展的內容和卓越的系統(tǒng)效率提供了更大的靈活性。同時，它們盡可能地消除了性能上的限制，并為所有人開啟了新的創(chuàng)意可能性。Tom

Whittock軟件架構師disguise?2023DisguiseSystemsLimited.www.disguise.one2RENDERSTREAMWHITEPAPER架構概覽disguise的架構源自

20多年為全球最壯觀的現(xiàn)場活動提供內容的歷史，我們的軟件和硬件平臺以及最近推出的創(chuàng)意服務，使創(chuàng)意人員和技術人員能夠將他們最狂野的想象變?yōu)楝F(xiàn)實。disguise架構由充當合成器的媒體服務器組成（與顯示設備連接，例如

disguisevx

和gx

服務器系列），以及分離的渲染節(jié)點（例如

disguiserx

系列）。渲染節(jié)點與合成器之間的通信通過一種名為我們在圖像和投影映射、大型視頻播放以及與時間碼、同步信號和LED顯示屏輸出等相關技術的合作方面擁有豐富經驗，這使我們具備了制定架構選擇的知識和專業(yè)技能，為跨平臺上準確、無縫的內容渲染創(chuàng)造出最佳的配置。RenderStream?的獨特開源基礎架構進行。渲染節(jié)點可以作為獨立的渲染實例工作，也可以通過RenderStream?組合在一起，實現(xiàn)名為集群渲染的能力，用于實時視覺效果（ICVFX）或擴展現(xiàn)實（xR）。攝像機LED處理器LED舞臺校準渲染節(jié)點可以用于無限擴展內容，將其渲染到不同的表面上，包括投影畫布和

LED屏幕。?2023DisguiseSystemsLimited.www.disguise.one3RENDERSTREAMWHITEPAPER架構概覽什么是

RenderStream?？什么是集群渲染？RenderStream?是一種雙向傳輸渲染信息的協(xié)議。它包括與渲染請求相關的元數(shù)據(jù)（相機、場景參數(shù)、紋理信息）以及渲染緩沖區(qū)。通過該協(xié)議，可以將渲染請求發(fā)送到托管渲染引擎的渲染節(jié)點，并從這些渲染節(jié)點接收返回的緩沖區(qū)信息。利用

RenderStream?SDK，可以在任何計算機圖形/渲染應用程序中實現(xiàn)

RenderStream?。disguise

的開發(fā)者網(wǎng)站提供了UnrealEngine和Unity的示例實現(xiàn)，以及完整的文檔。集群渲染是一種強大的系統(tǒng)，可以將單個場景的渲染任務分配給多臺計算機，并將這些任務結果拼接在一起，創(chuàng)建一個連貫、高分辨率的圖像或視頻。這在為

ICVFX中使用的虛擬場景創(chuàng)建最苛刻的逼真內容時至關重要。通常，單個渲染節(jié)點上的單個

GPU無法滿足渲染需求，因此集群渲染允許您添加多個渲染節(jié)點，并根據(jù)需要擴展制作能力。您可以通過劃分渲染畫布、為不同對象選擇不同的渲染節(jié)點，或者僅使用

disguise，通過不同的畫面板進行集群渲染，允許您在不同節(jié)點上渲染前板和后板的視覺效果。利用

disguiseRenderStream?，您可以擴展視錐體，例如，您可以選擇將大部分渲染能力分配給相機中捕獲的內部視椎區(qū)域。獲得

SDKrx#2外視錐vx4輸出3rx#1內視錐vx4輸出1vx4輸出2?2023DisguiseSystemsLimited.www.disguise.one4RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢1.管理實際延遲為了在電影和劇集制作中使用實時內容，需要保持其光線追蹤技術的逼真性和低延遲，以保留電影質量。延遲是指從信號發(fā)送到到達目標位置并顯示出來的時間間隔。這種延遲是相機跟蹤系統(tǒng)、網(wǎng)絡延遲、渲染流程、LED

處理流程和相機捕獲過程的綜合系統(tǒng)延遲的結果。時間渲染幀，因為合成器能夠將幀重新拼接在一起。這使得

RenderStream?集群對于網(wǎng)絡延遲的變化更具韌性，并且使得每個渲染節(jié)點只需關注渲染工作，從而大大減少了同步開銷。同時，這也避免了出現(xiàn)視頻偽影或撕裂的問題，這種問題在其他實現(xiàn)中，如果跟蹤數(shù)據(jù)沒有在所有渲染節(jié)點上同時準確接收，就會發(fā)生。雖然

disguise有策略來管理這些延遲，但本文重點關注往返延遲中的渲染流程部分。在真實世界和虛擬世界之間進行交互時，當物理世界發(fā)生變化（例如相機移動），虛擬世界的反應延遲會更加明顯。RenderStream?通過允許每個渲染節(jié)點單獨接收渲染請求來管理延遲，這意味著在整個集群中，渲染節(jié)點不需要在精確的同一渲染流程渲染位置

A

的幀追蹤位置

A顯示調整后的當位置A

的幀正在渲染時，相機移動到位置B時間

X位置

A

的幀追蹤位置

B時間

Y從位置B

捕獲在位置A

渲染的幀?2023DisguiseSystemsLimited.www.disguise.one5RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢2.管理感知延遲大多數(shù)虛擬制作解決方案都有克服實際延遲的機制，然而，disguise

是市場上唯一通過時間空間補償來克服感知延遲的解決方案。在擴展現(xiàn)實（xR）和虛擬制作中，信號路徑仍然主要基于幀間隔或邊界進行參考/同步，因此大多數(shù)情況下都在使用一些暫時不同步的信息，這意味著當相機跟蹤數(shù)據(jù)被接收和處理時，相機已經移動到空間中的另一個位置。例如，我們接收到的跟蹤數(shù)據(jù)是相機在時間點X的位置，而不是在時間點

Y處理跟蹤數(shù)據(jù)的時刻。為了避免額外的延遲，我們必須盡快請求相應相機位置的幀渲染。此外，由于我們在時間和空間域中都有數(shù)據(jù)訪問權限，我們可以建立一些預測能力，并利用事件之后接收到的更新信息。因此，我們可以修正圖像，使其在正確的時間和空間中顯示，從而更準確地匹配相機的移動本身。所有這些過程之間存在循環(huán)依賴，并且它們都基于最近的信息進行工作，作為當前最佳猜測。這通常被認為是一個無法解決的問題。通過RenderStream?，disguise架構提供了對系統(tǒng)狀態(tài)的完整視圖，因此可以在圖像處理流程中進行微小調整，充分利用所有信息來構建更好的結果。渲染流程合成流程渲染位置

A

的幀重新投影位置

B

的幀追蹤位置

A時間

X在位置B

中顯示位置

A

的幀當位置A

的幀正在渲染時，相機移動到位置

B追蹤位置

B時間

Y?2023DisguiseSystemsLimited.www.disguise.one6RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢3.

內容的近線性可擴展性可擴展性是disguise架構最顯而易見的優(yōu)勢之一。RenderStream?的一個主要目標是實現(xiàn)超越單個GPU的渲染能力的擴展，以滿足特定數(shù)量的輸出需求。這意味著無論規(guī)模如何，現(xiàn)在都可以輕松實現(xiàn)任何內容的渲染，這對于實現(xiàn)電影和劇集的電影級內容至關重要。如果沒有RenderStream?，最終會遇到一個限制，超過這個限制將無法進一步擴展可擴展性，除非徹底改變部署架構以容納額外的LED處理器和服務器。系統(tǒng)互聯(lián)，這獨特地實現(xiàn)了內容的近線性擴展性。這意味著隨著渲染規(guī)模的增大，您可以以穩(wěn)定的幀率渲染越來越復雜的場景。將

3D渲染和合成分離到獨立的服務器上可以顯著提高性能，因為它減少了資源競爭并消除了內容切換的開銷。相較于傳統(tǒng)的“大型設備”方法，RenderStream?

將幀生成的渲染部分與物理LED輸出分離，并使用

IP流將方案

1

：未使用

RenderStream?渲染合成方案

2：使用

RenderStream?渲染渲染合成渲染?2023DisguiseSystemsLimited.www.disguise.one7RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢內容切換開銷是由于競爭性任務類型的快速執(zhí)行而產生的。一個例子是將3D模型轉換為2D圖像以在表面上顯示。這對服務器的處理能力提出了很高的要求。另一方面，不同的圖像同時合成在一起，以生成最終顯示在屏幕上的圖像。這種合成需要的要求較低，但需要盡快完成。將渲染和合成分開可以實現(xiàn)更高的可擴展性。例如，如果你有一組非常要求高的虛幻引擎場景，你可以單獨擴展渲染部分，而無需擴展合成部分。這是可以預期的，因為這兩個任務有相反的需求，3D渲染需要計算量較大，而合成計算量較輕但對延遲更敏感。此外，這種方法還具有實際的優(yōu)勢，不需要許多不同的服務器型號組合。如果將這兩種不同類型的任務分配給不同的服務器，那么服務器可以根據(jù)特定類型的工作選擇最高性能。這也意味著渲染不會受到合成需求的拖累，反之亦然。借助這一技術，制作方可以將需求最高、渲染密集的內容帶到主要攝影環(huán)節(jié)，并自信地拍攝所需場景。首爾的CJENM等一些由disguise技術驅動的舞臺，同時運行數(shù)十個或更多的渲染節(jié)點，以實時呈現(xiàn)最豐富的像素內容。作為解釋，可以將其比作人腦中的多任務處理。如果你在閱讀和傾聽同時遇到困難，那是因為書面文本和口頭文本都是由大腦的同一部分進行處理的。因此，大腦對于任何一種任務都沒有進行優(yōu)化，兩者都會受到影響。然而，如果你在做某種手動操作（如做家務）時傾聽，這會刺激運動皮層，結果會更成功，因為控制肌肉運動的大腦部分更適合這種操作，而語言處理的大腦部分則可以成功傾聽。這種技術對于大型沉浸式體驗也非常有用，比如亞特蘭大和拉斯維加斯的Illuminarium場館，其中20個disguisevx4服務器和45個rxII渲染節(jié)點驅動高分辨率投影映射實時內容。了解更多?2023DisguiseSystemsLimited.www.disguise.one8RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢4.任何類型鏡頭的靈活性靈活地分配計算資源給場景中最需求的部分是disguise系統(tǒng)架構的一個重要優(yōu)勢。每個渲染實例可以根據(jù)我們定義的任何分配規(guī)則進行劃分和分段。其中一個例子是Designer的網(wǎng)格映射功能，通常在虛擬制作中使用，它能夠感知到它所映射到的表面，并允許從一個視角點創(chuàng)建透視渲染。此外，典型的RenderStream?與內容引擎的集成通常使用3D場景中的虛擬攝像機。到LED的映射由disguise的Designer軟件處理，該軟件可以進行內容的預覽和輸出。這意味著任何與內容引擎中場景構圖相關的攝像機設置，例如光圈或視場角，都可以應用于內部或外部視錐的視圖，這種靈活性對于使用虛擬場景創(chuàng)建電影內容至關重要。通過拆分畫布進行集群化通過

ICVFX

對象進行集群化在可能進行基于深度的合成的地方-通過板塊進行集群化（僅適用于

xR）根據(jù)背景和前景元素。在畫布上分割，并選擇將每個內容切片分配給多少個渲染節(jié)點。例如，對于需要更多渲染能力以使特定對象更加聚焦的情況。?2023DisguiseSystemsLimited.www.disguise.one9RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢5.卓越的系統(tǒng)效率某些鏡頭需要卓越的系統(tǒng)效率才能實現(xiàn)所需的效果。一個例子是需要高保真反射和鏡頭內視覺特效的鏡頭。這是指移動物體上有反射表面（如汽車窗戶或摩托車頭盔），但背景需要使用視覺特效（VFX）而不是在真實世界中拍攝的標準鏡頭。為了實現(xiàn)逼真的視覺特效，不僅需要昂貴而冗長的后期制作工作來添加背景的視覺特效，還要使其在反射表面上（頭盔或汽車窗戶）呈現(xiàn)出來。通過使用LED技術，視覺特效不僅出現(xiàn)在背景中，還反射在頭盔和汽車窗戶等表面上。此外，通過使用disguiseRenderStream?，您可以將渲染能力集中在場景的所需部分，以獲得最高保真度的所需鏡頭部分。以下是兩個例子：鏡頭

1鏡頭

2特寫鏡頭顯示了一個背景使用VFX技術模糊處理的人物。由于背景模糊，我們無法清晰地看到它，但人物的臉部、汽車引擎蓋或摩托車頭盔可能非常反光且可見。這個鏡頭構圖的關鍵要素是盡可能高分辨率地渲染反射效果，以便玻璃車窗或頭盔上出現(xiàn)非常清晰的反射，從而在拍攝中獲得高質量和高保真度。接下來常見的拍攝方式是進行更寬廣的車輛或摩托車鏡頭，背景（主要為VFX）處于焦點以提供鏡頭的環(huán)境背景。車內或摩托車上的人物可能也處于焦點或者不處于焦點，這取決于你想要實現(xiàn)的效果。在第二個鏡頭中，最重要的是主要視錐體。公式將顛倒過來：內部視錐體需要最高的質量，使得車輛或摩托車持續(xù)移動時背景看起來好看。外部視錐體的照明和反射只需足夠使車輛或摩托車呈現(xiàn)正確的顏色即可。外部視錐體對車輛的反射需要非常清晰，并以高幀率進行，而內部視錐體則遠離并處于焦外。?2023DisguiseSystemsLimited.www.disguise.one10RENDERSTREAMWHITEPAPERRenderStream?的優(yōu)勢在虛擬制作中，效率與靈活性緊密相連。要實現(xiàn)對LED的任何部分進行同等水平的高質量渲染，需要所有部分都由多GPU渲染節(jié)點支持。這種方法既昂貴又低效，因為一個節(jié)點需要執(zhí)行兩次渲染通道以及合成操作。例如，一個GPU可以處理主體視錐體，另一個可以處理外部視錐體。為不同的拍攝重新布線基礎設施當然是不現(xiàn)實的。使用RenderStream?，可以簡單地按照拍攝順序重新分配渲染能力，以便將渲染節(jié)點的能力在正確的時間分配給正確的任務。disguise方法使得舞臺的每個片段所需渲染的像素數(shù)量與渲染節(jié)點數(shù)量之間存在非線性關系，同時不會使節(jié)點承擔無法處理的多個角色。7.使用您選擇的內容引擎最后，內容引擎的無關性是由

RenderStream?方法實現(xiàn)的disguise的一個重要理念。RenderStream?是一個軟件開發(fā)工具包（SDK），到目前為止已經有四個內容引擎的實現(xiàn)：Unreal、Notch、Unity

和TouchDesigner，而且在

2023年還會有更多的引擎實現(xiàn)將被宣布。重要的是，在

disguise生態(tài)系統(tǒng)中，當一個內容引擎被替換為另一個時，所有關于跟蹤和同步的配置保持不變，使創(chuàng)意人員能夠在工作中切換到最合適的引擎。6.內置冗余性8.激發(fā)無限創(chuàng)意力量在演出活動領域擁有悠久的傳統(tǒng)，被認為是最為苛刻的環(huán)境之一，RenderStream?提供冗余支持，采用disguiseUnderstudy概念作為熱備份。即使使用最新的實時游戲引擎技術，你能夠在LED上展示的內容很大程度上取決于你擁有的大量GPU計算能力。如果某個內容引擎實例出現(xiàn)故障，可以通過disguiseDesigner用戶界面手動觸發(fā)故障轉移，或通過提高渲染平臺的靈活性和可擴展性可以促進創(chuàng)意探索，快速迭代變化，并減少對實時性能優(yōu)化的精細調整需求。通過disguiseRenderStream?插件在內容引擎中實現(xiàn)對GPU計算能力的控制，disguise操作員能夠以所需的質量水平交付創(chuàng)意美學，而無需深入了解開發(fā)者級別的知識。RenderStream?的API進行操作。Understudy設備接管，并由專門負責主要流程的合成器進行平穩(wěn)切換。?2023DisguiseSystemsLimited.www.disguise.one11RENDERSTREAMWHITEPAPER案例研究：LaPlanète

RougeLaPlanèteRouge在馬賽的龐大體量是由九臺disguiserx渲染節(jié)點提供動力。LaPlanèteRouge經常在商業(yè)廣告或虛構汽車場景中使用RenderStream?。在處理涉及汽車的廣角鏡頭時，墻面渲染的準確性成為一個關鍵問題。La

PlanèteRouge的首席執(zhí)行官兼制片人

LionelPayetPigeon表示：“RenderStream?

和網(wǎng)格映射的強大能力使我們能夠實現(xiàn)非常高水平的3D渲染，并且可以輕松地進行配置以適應我們的需求?！彼麄兛梢詫⒁粋€或多個服務器專門用于內部視錐，并實現(xiàn)卓越的渲染和攝像機內的銳度。最近，在一則梅賽德斯廣告片的拍攝現(xiàn)場，disguiseRenderStream?使LaPlanèteRouge能夠以一致的準確性覆蓋其全部200°空間，從而顯著改善了最終輸出效果。LaPlanèteRouge最近還在為Warsha制作的虛擬制作場景中使用disguise，該片榮獲2022年圣丹斯電影節(jié)國際虛構片最佳短片評審團大獎。據(jù)Lionel介紹，“這種靈活性還使我們能夠使用多個服務器來渲染外部視錐：沒有走樣，沒有妥協(xié)。即使在攝像機看不到的墻壁部分，3D

也是均勻的，但其精確度對整體渲染有很大影響，能夠實時渲染約6000

萬像素?！庇萌魏纹渌到y(tǒng)都無法達到這種水平的渲染。對于像我們這樣的大量項目，我們將不得不做出巨大的渲染讓步。踏上了這條道路，我們將一往無前…這種靈活性對于給予制作和創(chuàng)意團隊最佳效果至關重要。Lionel

PayetPigeonCEO,制片人LaPlanèteRouge?2023DisguiseSystemsLimited.www.disguise.one12RENDERSTREAMWHITEPAPERMELS

推薦使用RenderStream?提高系統(tǒng)效率事實上，使用disguise，我們可以使用一臺計算機（rx）來渲染一個視錐體，這是令人難以置信的。在之前，當我們使用傳統(tǒng)的ICVFX方法時，每個屏幕部分需要一臺計算機?，F(xiàn)在，我們可以使用一臺計算機來完成一個任務，并將