動(dòng)漫與影視超級(jí)渲染云計(jì)算平臺(tái)課件

動(dòng)漫與影視超級(jí)渲染云計(jì)算平臺(tái)電話:86-10-65783520傳真:86-10-65451007郵件:網(wǎng)站:Confidential中國(guó)傳媒大學(xué)簡(jiǎn)介中國(guó)傳媒大學(xué)（于1954年。原名北京廣播學(xué)院）是教育部直屬的國(guó)家“211工程”重點(diǎn)建設(shè)大學(xué)，創(chuàng)建2004年8月，北京廣播學(xué)院更名為中國(guó)傳媒大學(xué)。學(xué)校設(shè)有16個(gè)學(xué)院，24個(gè)博士點(diǎn)，48個(gè)碩士點(diǎn)，80個(gè)本科專業(yè)。學(xué)校現(xiàn)有全日制在校生近15000人。建校50多年來(lái)，學(xué)校培養(yǎng)了大批傳媒領(lǐng)域的高層次人才，為黨和國(guó)家的傳媒事業(yè)發(fā)展作出了重要貢獻(xiàn)，被譽(yù)為“中國(guó)廣播電視人才搖籃”。2中國(guó)傳媒大學(xué)高性能計(jì)算中心簡(jiǎn)介中國(guó)傳媒大學(xué)高性能計(jì)算中心成立于2006年6月，是中國(guó)傳媒大學(xué)“十五”“211工程”實(shí)驗(yàn)室建設(shè)重點(diǎn)項(xiàng)目。中心的建成不僅滿足了傳統(tǒng)大規(guī)模電磁仿真計(jì)算的要求，同時(shí)還滿足了與數(shù)字內(nèi)容處理相關(guān)學(xué)科的科研、開(kāi)發(fā)和工程應(yīng)用等需要，為我校開(kāi)展數(shù)字內(nèi)容管理、視頻圖像檢索、數(shù)字高清視頻壓縮編碼、動(dòng)畫(huà)制作以及游戲設(shè)計(jì)等項(xiàng)目的研究提供了強(qiáng)有力的支持。中心主要研究工作包括集群計(jì)算、網(wǎng)格計(jì)算、高性能計(jì)算方法和高性能計(jì)算應(yīng)用產(chǎn)業(yè)化等方面的內(nèi)容，先后承擔(dān)了國(guó)家科技重大專項(xiàng)、國(guó)家高新技術(shù)項(xiàng)目、北京市自然科學(xué)基金項(xiàng)目等各類課題24項(xiàng)，取得一系列重要的科研成果。3渲染云計(jì)算平臺(tái)的基本概念5什么是渲染云計(jì)算平臺(tái)？渲染應(yīng)用特點(diǎn)CPU計(jì)算量大渲染應(yīng)用通常會(huì)占用大量的CPU資源，一個(gè)分辨率較高的畫(huà)面在渲染時(shí)會(huì)耗費(fèi)幾小時(shí)甚至十幾個(gè)小時(shí)的時(shí)間，CPU基本上滿負(fù)荷運(yùn)行。內(nèi)存帶寬高渲染任務(wù)開(kāi)始后，大量的材質(zhì)貼圖將被讀取到內(nèi)存中，然后開(kāi)始渲染圖像，在此過(guò)程中，CPU與內(nèi)存的通訊非常頻繁。分辨率越高，材質(zhì)貼圖越多，內(nèi)存帶寬要求越高。網(wǎng)絡(luò)帶寬高在通過(guò)渲染農(nóng)場(chǎng)進(jìn)行網(wǎng)絡(luò)渲染時(shí)，一旦管理服務(wù)器下達(dá)渲染任務(wù)，所有的計(jì)算節(jié)點(diǎn)便開(kāi)始從網(wǎng)絡(luò)共享存儲(chǔ)中去讀取材質(zhì)貼圖和目標(biāo)文件。因此，高帶寬的網(wǎng)絡(luò)將大大地縮短預(yù)讀數(shù)據(jù)的時(shí)間，提高整體的渲染效率。存儲(chǔ)系統(tǒng)I/O能力強(qiáng)在渲染過(guò)程中，渲染節(jié)點(diǎn)會(huì)產(chǎn)生大量的，近乎同時(shí)的I/O請(qǐng)求。尤其是在節(jié)點(diǎn)比較多的情況下，常規(guī)存儲(chǔ)系統(tǒng)的I/O性能很難滿足大規(guī)模渲染應(yīng)用的需求。因此，需要配備具有超強(qiáng)I/O性能的存儲(chǔ)系統(tǒng)，以確保系統(tǒng)能夠高效運(yùn)行。7渲染云計(jì)算平臺(tái)所面臨的挑戰(zhàn)系統(tǒng)管理維護(hù)困難渲染應(yīng)用的用戶往往都是藝術(shù)家，與專業(yè)系統(tǒng)管理員差距比較大；同時(shí)，由于缺少針對(duì)用戶使用習(xí)慣和實(shí)際需求而定制開(kāi)發(fā)的系統(tǒng)管理軟件，使得用戶更加難以對(duì)系統(tǒng)進(jìn)行有效的管理、更新和維護(hù)，從而導(dǎo)致系統(tǒng)難以長(zhǎng)期穩(wěn)定的運(yùn)行?！肮聧u式”的運(yùn)營(yíng)方式導(dǎo)致使用率低下目前動(dòng)漫渲染平臺(tái)大多采用“孤島式”的運(yùn)營(yíng)方式，由于本單位動(dòng)漫渲染任務(wù)數(shù)量有限，使得渲染平臺(tái)大部分時(shí)間都處于空負(fù)載運(yùn)行的狀態(tài)，而外單位的人員即使有相關(guān)的應(yīng)用需求，卻不知道哪里有這種資源可用。于是就出現(xiàn)了一邊是設(shè)備和軟件閑置無(wú)人問(wèn)、一邊是用戶“踏破鐵鞋無(wú)覓處”的尷尬局面，造成了資源的極大浪費(fèi)。如何有效地整合現(xiàn)有的計(jì)算資源、數(shù)據(jù)資源和軟件資源，為用戶提供一個(gè)方便、透明的動(dòng)漫渲染平臺(tái)，也是我們亟待解決的問(wèn)題9我們對(duì)渲染云計(jì)算平臺(tái)的理解藝術(shù)創(chuàng)作與科學(xué)實(shí)踐同樣都需要智慧，而超級(jí)動(dòng)漫渲染作為一個(gè)藝術(shù)與科學(xué)高度結(jié)合的產(chǎn)物，則更是需要二者的智慧大融合，并且技術(shù)的應(yīng)用始終要以服務(wù)于藝術(shù)創(chuàng)作為宗旨。我們認(rèn)為渲染云計(jì)算平臺(tái)的解決方案必須遵循這一宗旨，力求用高效的科技手段、個(gè)性化的方案定制來(lái)幫助藝術(shù)家順利地實(shí)現(xiàn)其藝術(shù)創(chuàng)作。渲染云計(jì)算平臺(tái)≠高性能計(jì)算集群系統(tǒng)+渲染軟件傳統(tǒng)的集群系統(tǒng)主要用于科學(xué)計(jì)算領(lǐng)域，關(guān)注的問(wèn)題是如何獲得強(qiáng)大的計(jì)算能力。為了使其能夠適合于高帶寬、大I/O的渲染應(yīng)用需求，我們必須根據(jù)渲染應(yīng)用的特點(diǎn)，從集群系統(tǒng)的多個(gè)層次出發(fā)，對(duì)系統(tǒng)進(jìn)行重新設(shè)計(jì)。10超百萬(wàn)億次規(guī)模下渲染云計(jì)算平臺(tái)解決方案11總體思路超級(jí)渲染云計(jì)算平臺(tái)包括：基礎(chǔ)架構(gòu)層、平臺(tái)服務(wù)層、應(yīng)用服務(wù)層、服務(wù)管理和訪問(wèn)接口五個(gè)組成部分。13基礎(chǔ)架構(gòu)層提供了必要的IT基礎(chǔ)設(shè)施，包括硬件設(shè)備和相關(guān)的系統(tǒng)軟件。計(jì)算子系統(tǒng)由系統(tǒng)管理節(jié)點(diǎn)、應(yīng)用管理節(jié)點(diǎn)和渲染節(jié)點(diǎn)三類節(jié)點(diǎn)服務(wù)器組成；系統(tǒng)管理節(jié)點(diǎn)同時(shí)承擔(dān)了登錄節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)和安裝節(jié)點(diǎn)的所有任務(wù)，需要配備高性能、高可靠性的服務(wù)器；應(yīng)用管理節(jié)點(diǎn)上部署渲染管理軟件，實(shí)現(xiàn)對(duì)各個(gè)渲染節(jié)點(diǎn)任務(wù)的管理和分發(fā)，需要配備高性能、高可靠性的服務(wù)器；渲染節(jié)點(diǎn)是整個(gè)集群渲染系統(tǒng)的計(jì)算核心，主要功能就是執(zhí)行渲染計(jì)算?；ヂ?lián)子系統(tǒng)提供系統(tǒng)管理節(jié)點(diǎn)、應(yīng)用管理節(jié)點(diǎn)、渲染節(jié)點(diǎn)和存儲(chǔ)子系統(tǒng)之間連接通路；實(shí)現(xiàn)了系統(tǒng)的管理、實(shí)時(shí)監(jiān)控和網(wǎng)絡(luò)文件訪問(wèn)數(shù)據(jù)的傳遞，以及渲染節(jié)點(diǎn)之間的高速消息交換；主流互聯(lián)技術(shù)包括千兆/萬(wàn)兆以太網(wǎng)、Myrinet

光纖網(wǎng)絡(luò)和Infiniband

網(wǎng)絡(luò)；幾乎所有的網(wǎng)絡(luò)渲染軟件都支持TCP/IP協(xié)議，用戶無(wú)須進(jìn)行任何改動(dòng)，渲染平臺(tái)即可平滑的遷移至萬(wàn)兆以太網(wǎng)。14基礎(chǔ)架構(gòu)層存儲(chǔ)子系統(tǒng)為集群渲染平臺(tái)提供集中的數(shù)據(jù)存儲(chǔ)空間；渲染平臺(tái)在運(yùn)行過(guò)程中，需要頻繁讀取各種場(chǎng)景、貼圖、材質(zhì)等文件，同時(shí)還會(huì)生成大量的圖片序列；存儲(chǔ)子系統(tǒng)不僅要滿足渲染任務(wù)對(duì)存儲(chǔ)容量的要求，而且必須滿足渲染節(jié)點(diǎn)進(jìn)行大量數(shù)據(jù)I/O對(duì)性能的要求；目前主流的三種存儲(chǔ)架構(gòu)：DAS、NAS和SAN。虛擬化子系統(tǒng)將高性能計(jì)算集群的操作系統(tǒng)和應(yīng)用系統(tǒng)等動(dòng)態(tài)部分與物理計(jì)算資源分離開(kāi)來(lái)，構(gòu)建了基于動(dòng)態(tài)架構(gòu)的集群系統(tǒng)實(shí)現(xiàn)了計(jì)算資源的虛擬化，使得用戶能夠按需申請(qǐng)所需計(jì)算資源。15基礎(chǔ)架構(gòu)層集群管理系統(tǒng)整合分散于操作系統(tǒng)、系統(tǒng)管理、作業(yè)管理、狀態(tài)監(jiān)控等軟件中的各個(gè)管理功能，實(shí)現(xiàn)了對(duì)集群多個(gè)層次的統(tǒng)一管理；將渲染集群的所有渲染節(jié)點(diǎn)從異構(gòu)的、松散的狀態(tài)整合成一個(gè)緊密的具有單一映像的“虛擬超級(jí)計(jì)算機(jī)”，實(shí)現(xiàn)對(duì)渲染集群系統(tǒng)資源有效的管理和維護(hù)；目前主流的集群管理系統(tǒng)：COMS、CHESS、OSCAR、xCAT、ROCKS等。17平臺(tái)服務(wù)層包括基礎(chǔ)網(wǎng)格服務(wù)、計(jì)算資源管理、數(shù)據(jù)資源管理、軟件資源管理和渲染作業(yè)管理等子系統(tǒng)?；A(chǔ)網(wǎng)格服務(wù)：屏蔽了基礎(chǔ)架構(gòu)層中各種資源的異構(gòu)性以及資源設(shè)備之間的復(fù)雜關(guān)聯(lián)，為用戶及上層應(yīng)用提供方便、透明的資源訪問(wèn)；計(jì)算資源管理：對(duì)平臺(tái)中所有計(jì)算資源進(jìn)行管理，并為用戶提交的作業(yè)分配合理的資源，確保計(jì)算能力得到充分利用；數(shù)據(jù)資源管理：對(duì)平臺(tái)上的所有數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，為用戶提供透明地訪問(wèn)、存儲(chǔ)、傳輸和管理數(shù)據(jù)的接口，使得用戶能夠方便地實(shí)現(xiàn)數(shù)據(jù)共享；軟件資源管理：提供一個(gè)開(kāi)放的應(yīng)用軟件管理平臺(tái)，通過(guò)定義一組接口規(guī)范，實(shí)現(xiàn)“熱插拔式”的應(yīng)用軟件集中管理；渲染作業(yè)管理：對(duì)任務(wù)的排隊(duì)、分幀、分發(fā)、渲染進(jìn)行高效地調(diào)度與管理。18應(yīng)用服務(wù)層包括各種渲染軟件、引擎和插件，充分確保用戶復(fù)雜多樣渲染任務(wù)的順利進(jìn)行。目前常用的渲染軟件AvidSoftimageXSISumatraAlias/WavefrontMAYAHoudini3DSMAXLightwave3DAnimatekWorldBuilder2CBrycePoserVue

d'Esprit

Profesional19訪問(wèn)接口包括門戶站點(diǎn)、應(yīng)用網(wǎng)關(guān)和編程接口三部分。門戶站點(diǎn)：一方面提供了各種公共信息，另一方面為用戶訪問(wèn)各種渲染服務(wù)提供統(tǒng)一的入口；應(yīng)用網(wǎng)關(guān)：將平臺(tái)上的渲染服務(wù)對(duì)外映射成一個(gè)Web服務(wù)，降低業(yè)務(wù)系統(tǒng)和渲染平臺(tái)集成的難度；編程接口：提供了C/C++、Python、Perl、Shell等方式的編程接口，提供系統(tǒng)進(jìn)一步定制開(kāi)發(fā)的能力。21“天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái)的應(yīng)用案例22“天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái)國(guó)家超算天津中心的“天河一號(hào)”擁有15,000個(gè)CPU和7,500個(gè)GPU，是目前世界上最快的超級(jí)計(jì)算機(jī)之一。“天河-酷卡”渲染云計(jì)算平臺(tái)由中國(guó)傳媒大學(xué)高性能計(jì)算中心與國(guó)家超算天津中心、北信酷卡公司聯(lián)合開(kāi)發(fā)。通過(guò)對(duì)“天河一號(hào)”底層的網(wǎng)絡(luò)通信