動(dòng)漫與影視超級(jí)渲染云計(jì)算平臺(tái).ppt

,動(dòng)漫與影視超級(jí)渲染云計(jì)算平臺(tái),裘初 博士 中國傳媒大學(xué)高性能計(jì)算中心 電話: 86-10-65783520 傳真: 86-10-65451007 郵件: 網(wǎng)站: ,Confidential,HPCC, CUC CONFIDENTIAL,2,中國傳媒大學(xué)簡(jiǎn)介,中國傳媒大學(xué)（于1954年。原名北京廣播學(xué)院）是教育部直屬的國家“211工程”重點(diǎn)建設(shè)大學(xué)，創(chuàng)建 2004年8月，北京廣播學(xué)院更名為中國傳媒大學(xué)。 學(xué)校設(shè)有16個(gè)學(xué)院，24個(gè)博士點(diǎn)，48個(gè)碩士點(diǎn)，80個(gè)本科專業(yè)。學(xué)?，F(xiàn)有全日制在校生近15000人。 建校50多年來，學(xué)校培養(yǎng)了大批傳媒領(lǐng)域的高層次人才，為黨和國家的傳媒事業(yè)發(fā)展作出了重要貢獻(xiàn)，被譽(yù)為“中國廣播電視人才搖籃”。,HPCC, CUC CONFIDENTIAL,3,中國傳媒大學(xué)高性能計(jì)算中心簡(jiǎn)介,中國傳媒大學(xué)高性能計(jì)算中心成立于2006年6月，是中國傳媒大學(xué)“十五”“211工程”實(shí)驗(yàn)室建設(shè)重點(diǎn)項(xiàng)目。中心的建成不僅滿足了傳統(tǒng)大規(guī)模電磁仿真計(jì)算的要求，同時(shí)還滿足了與數(shù)字內(nèi)容處理相關(guān)學(xué)科的科研、開發(fā)和工程應(yīng)用等需要，為我校開展數(shù)字內(nèi)容管理、視頻圖像檢索、數(shù)字高清視頻壓縮編碼、動(dòng)畫制作以及游戲設(shè)計(jì)等項(xiàng)目的研究提供了強(qiáng)有力的支持。 中心主要研究工作包括集群計(jì)算、網(wǎng)格計(jì)算、高性能計(jì)算方法和高性能計(jì)算應(yīng)用產(chǎn)業(yè)化等方面的內(nèi)容，先后承擔(dān)了國家科技重大專項(xiàng)、國家高新技術(shù)項(xiàng)目、北京市自然科學(xué)基金項(xiàng)目等各類課題24項(xiàng)，取得一系列重要的科研成果。,HPCC, CUC CONFIDENTIAL,4,主要內(nèi)容,渲染云計(jì)算平臺(tái)的基本概念 超百萬億次規(guī)模下渲染云計(jì)算平臺(tái)解決方案 “天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái)的應(yīng)用案例 Q &A,HPCC, CUC CONFIDENTIAL,5,渲染云計(jì)算平臺(tái)的基本概念,什么是渲染云計(jì)算平臺(tái)？,HPCC, CUC CONFIDENTIAL,7,渲染應(yīng)用特點(diǎn),CPU計(jì)算量大 渲染應(yīng)用通常會(huì)占用大量的CPU資源，一個(gè)分辨率較高的畫面在渲染時(shí)會(huì)耗費(fèi)幾小時(shí)甚至十幾個(gè)小時(shí)的時(shí)間，CPU基本上滿負(fù)荷運(yùn)行。 內(nèi)存帶寬高 渲染任務(wù)開始后，大量的材質(zhì)貼圖將被讀取到內(nèi)存中，然后開始渲染圖像，在此過程中，CPU與內(nèi)存的通訊非常頻繁。分辨率越高，材質(zhì)貼圖越多，內(nèi)存帶寬要求越高。 網(wǎng)絡(luò)帶寬高 在通過渲染農(nóng)場(chǎng)進(jìn)行網(wǎng)絡(luò)渲染時(shí)，一旦管理服務(wù)器下達(dá)渲染任務(wù)，所有的計(jì)算節(jié)點(diǎn)便開始從網(wǎng)絡(luò)共享存儲(chǔ)中去讀取材質(zhì)貼圖和目標(biāo)文件。因此，高帶寬的網(wǎng)絡(luò)將大大地縮短預(yù)讀數(shù)據(jù)的時(shí)間，提高整體的渲染效率。 存儲(chǔ)系統(tǒng)I/O能力強(qiáng) 在渲染過程中，渲染節(jié)點(diǎn)會(huì)產(chǎn)生大量的，近乎同時(shí)的I/O請(qǐng)求。尤其是在節(jié)點(diǎn)比較多的情況下，常規(guī)存儲(chǔ)系統(tǒng)的I/O性能很難滿足大規(guī)模渲染應(yīng)用的需求。因此，需要配備具有超強(qiáng)I/O性能的存儲(chǔ)系統(tǒng)，以確保系統(tǒng)能夠高效運(yùn)行。,HPCC, CUC CONFIDENTIAL,8,渲染云計(jì)算平臺(tái)所面臨的挑戰(zhàn),網(wǎng)絡(luò)帶寬瓶頸 千兆的局域網(wǎng)環(huán)境可以滿足教學(xué)的要求，但是在千兆網(wǎng)絡(luò)環(huán)境下進(jìn)行超大規(guī)模渲染計(jì)算的效率是極其低下的，需要更高帶寬和低延時(shí)的高速互聯(lián)網(wǎng)絡(luò)。 存儲(chǔ)I/O性能瓶頸 在渲染時(shí)，很多個(gè)節(jié)點(diǎn)同時(shí)對(duì)某個(gè)共享進(jìn)行讀寫，單臺(tái)服務(wù)器的磁盤I/O無法滿足這個(gè)需求，導(dǎo)致渲染出現(xiàn)瓶頸，效率不高。 缺乏足夠的靈活性 由于渲染應(yīng)用需求具有較強(qiáng)的時(shí)效性、較高的復(fù)雜性，不同的渲染任務(wù)對(duì)操作系統(tǒng)、渲染軟件、渲染引擎和插件有不同的要求，要求系統(tǒng)具備較強(qiáng)的“隨需應(yīng)變”能力。 軟件版本更新速度快 操作系統(tǒng)會(huì)需要不定期的更新，三維軟件通常半年到一年就會(huì)進(jìn)行一次更新，每個(gè)節(jié)點(diǎn)都需要安裝。渲染管理軟件也會(huì)必要的更新； 實(shí)際工作量=節(jié)點(diǎn)數(shù)操作系統(tǒng)數(shù)量軟件種類； 需要能夠進(jìn)行智能的軟件分發(fā)和安裝，從而保證系統(tǒng)的可持續(xù)性使用。,HPCC, CUC CONFIDENTIAL,9,渲染云計(jì)算平臺(tái)所面臨的挑戰(zhàn),系統(tǒng)管理維護(hù)困難 渲染應(yīng)用的用戶往往都是藝術(shù)家，與專業(yè)系統(tǒng)管理員差距比較大； 同時(shí)，由于缺少針對(duì)用戶使用習(xí)慣和實(shí)際需求而定制開發(fā)的系統(tǒng)管理軟件，使得用戶更加難以對(duì)系統(tǒng)進(jìn)行有效的管理、更新和維護(hù)，從而導(dǎo)致系統(tǒng)難以長(zhǎng)期穩(wěn)定的運(yùn)行。 “孤島式”的運(yùn)營方式導(dǎo)致使用率低下 目前動(dòng)漫渲染平臺(tái)大多采用“孤島式”的運(yùn)營方式，由于本單位動(dòng)漫渲染任務(wù)數(shù)量有限，使得渲染平臺(tái)大部分時(shí)間都處于空負(fù)載運(yùn)行的狀態(tài)，而外單位的人員即使有相關(guān)的應(yīng)用需求，卻不知道哪里有這種資源可用。于是就出現(xiàn)了一邊是設(shè)備和軟件閑置無人問、一邊是用戶“踏破鐵鞋無覓處”的尷尬局面，造成了資源的極大浪費(fèi)。 如何有效地整合現(xiàn)有的計(jì)算資源、數(shù)據(jù)資源和軟件資源，為用戶提供一個(gè)方便、透明的動(dòng)漫渲染平臺(tái)，也是我們亟待解決的問題,HPCC, CUC CONFIDENTIAL,10,我們對(duì)渲染云計(jì)算平臺(tái)的理解,藝術(shù)創(chuàng)作與科學(xué)實(shí)踐同樣都需要智慧，而超級(jí)動(dòng)漫渲染作為一個(gè)藝術(shù)與科學(xué)高度結(jié)合的產(chǎn)物，則更是需要二者的智慧大融合，并且技術(shù)的應(yīng)用始終要以服務(wù)于藝術(shù)創(chuàng)作為宗旨。 我們認(rèn)為渲染云計(jì)算平臺(tái)的解決方案必須遵循這一宗旨，力求用高效的科技手段、個(gè)性化的方案定制來幫助藝術(shù)家順利地實(shí)現(xiàn)其藝術(shù)創(chuàng)作。 渲染云計(jì)算平臺(tái) 高性能計(jì)算集群 系統(tǒng)+ 渲染軟件 傳統(tǒng)的集群系統(tǒng)主要用于科學(xué)計(jì)算領(lǐng)域，關(guān)注的問題是如何獲得強(qiáng)大的計(jì)算能力。為了使其能夠適合于高帶寬、大I/O的渲染應(yīng)用需求，我們必須根據(jù)渲染應(yīng)用的特點(diǎn)，從集群系統(tǒng)的多個(gè)層次出發(fā)，對(duì)系統(tǒng)進(jìn)行重新設(shè)計(jì)。,HPCC, CUC CONFIDENTIAL,11,超百萬億次規(guī)模下渲染云計(jì)算平臺(tái)解決方案,HPCC, CUC CONFIDENTIAL,12,總體思路,我們認(rèn)為，超級(jí)渲染云計(jì)算平臺(tái)是軟件即服務(wù)SaaS、網(wǎng)格計(jì)算、虛擬化三者的有機(jī)結(jié)合： 虛擬化技術(shù)為平臺(tái)提供了必要的基礎(chǔ)設(shè)施； 網(wǎng)格計(jì)算技術(shù)為平臺(tái)提供了重要的技術(shù)基礎(chǔ)； 軟件即服務(wù)SaaS為平臺(tái)提供了一種完全創(chuàng)新的軟件使用模式。,HPCC, CUC CONFIDENTIAL,13,總體思路,超級(jí)渲染云計(jì)算平臺(tái)包括：基礎(chǔ)架構(gòu)層、平臺(tái)服務(wù)層、應(yīng)用服務(wù)層、服務(wù)管理和訪問接口五個(gè)組成部分。,HPCC, CUC CONFIDENTIAL,14,基礎(chǔ)架構(gòu)層,提供了必要的IT基礎(chǔ)設(shè)施，包括硬件設(shè)備和相關(guān)的系統(tǒng)軟件。 計(jì)算子系統(tǒng) 由系統(tǒng)管理節(jié)點(diǎn)、應(yīng)用管理節(jié)點(diǎn)和渲染節(jié)點(diǎn)三類節(jié)點(diǎn)服務(wù)器組成； 系統(tǒng)管理節(jié)點(diǎn)同時(shí)承擔(dān)了登錄節(jié)點(diǎn)、控制節(jié)點(diǎn) 、管理節(jié)點(diǎn)和安裝節(jié)點(diǎn)的所有任務(wù)，需要配備高性能、高可靠性的服務(wù)器； 應(yīng)用管理節(jié)點(diǎn)上部署渲染管理軟件，實(shí)現(xiàn)對(duì)各個(gè)渲染節(jié)點(diǎn)任務(wù)的管理和分發(fā)，需要配備高性能、高可靠性的服務(wù)器； 渲染節(jié)點(diǎn)是整個(gè)集群渲染系統(tǒng)的計(jì)算核心，主要功能就是執(zhí)行渲染計(jì)算。 互聯(lián)子系統(tǒng) 提供系統(tǒng)管理節(jié)點(diǎn)、應(yīng)用管理節(jié)點(diǎn)、渲染節(jié)點(diǎn)和存儲(chǔ)子系統(tǒng)之間連接通路； 實(shí)現(xiàn)了系統(tǒng)的管理、實(shí)時(shí)監(jiān)控和網(wǎng)絡(luò)文件訪問數(shù)據(jù)的傳遞，以及渲染節(jié)點(diǎn)之間的高速消息交換； 主流互聯(lián)技術(shù)包括千兆/萬兆以太網(wǎng)、Myrinet 光纖網(wǎng)絡(luò)和Infiniband 網(wǎng)絡(luò)； 幾乎所有的網(wǎng)絡(luò)渲染軟件都支持TCP/IP協(xié)議，用戶無須進(jìn)行任何改動(dòng)，渲染平臺(tái)即可平滑的遷移至萬兆以太網(wǎng)。,HPCC, CUC CONFIDENTIAL,15,基礎(chǔ)架構(gòu)層,存儲(chǔ)子系統(tǒng) 為集群渲染平臺(tái)提供集中的數(shù)據(jù)存儲(chǔ)空間； 渲染平臺(tái)在運(yùn)行過程中，需要頻繁讀取各種場(chǎng)景、貼圖、材質(zhì)等文件，同時(shí)還會(huì)生成大量的圖片序列； 存儲(chǔ)子系統(tǒng)不僅要滿足渲染任務(wù)對(duì)存儲(chǔ)容量的要求，而且必須滿足渲染節(jié)點(diǎn)進(jìn)行大量數(shù)據(jù)I/O對(duì)性能的要求； 目前主流的三種存儲(chǔ)架構(gòu)：DAS、NAS和SAN。 虛擬化子系統(tǒng) 將高性能計(jì)算集群的操作系統(tǒng)和應(yīng)用系統(tǒng)等動(dòng)態(tài)部分與物理計(jì)算資源分離開來，構(gòu)建了基于動(dòng)態(tài)架構(gòu)的集群系統(tǒng) 實(shí)現(xiàn)了計(jì)算資源的虛擬化，使得用戶能夠按需申請(qǐng)所需計(jì)算資源。,HPCC, CUC CONFIDENTIAL,16,基礎(chǔ)架構(gòu)層,操作系統(tǒng) 為了應(yīng)對(duì)渲染應(yīng)用復(fù)雜多樣的要求，渲染平臺(tái)必須支持多種操作系統(tǒng)平臺(tái)； 在很多情況下，需要在一個(gè)物理渲染節(jié)點(diǎn)上同時(shí)部署多個(gè)操作系統(tǒng)，并要求多個(gè)操作系統(tǒng)間的一鍵式切換； 目前主流的操作系統(tǒng)：Red Hat Linux, Suse Linux,Windows XP, Windows Server 2008等。 文件系統(tǒng) 文件系統(tǒng)可以為集群渲染提供并發(fā)的、高速的文件訪問，以及突出的數(shù)據(jù)I/O性能； 高效的文件系統(tǒng)可以滿足渲染過程中，渲染節(jié)點(diǎn)產(chǎn)生的大量近乎同時(shí)的I/O請(qǐng)求，滿足渲染節(jié)點(diǎn)對(duì)各種場(chǎng)景、貼圖、材質(zhì)等文件的并發(fā)訪問，以及渲染生成大量圖片序列的并行存儲(chǔ)，提供較高的數(shù)據(jù)I/O性能； 目前主流的文件系統(tǒng)：NFS、XFS、 PVFS2、Lustre和GPFS。,HPCC, CUC CONFIDENTIAL,17,基礎(chǔ)架構(gòu)層,集群管理系統(tǒng) 整合分散于操作系統(tǒng)、系統(tǒng)管理、作業(yè)管理、狀態(tài)監(jiān)控等軟件中的各個(gè)管理功能，實(shí)現(xiàn)了對(duì)集群多個(gè)層次的統(tǒng)一管理； 將渲染集群的所有渲染節(jié)點(diǎn)從異構(gòu)的、松散的狀態(tài)整合成一個(gè)緊密的具有單一映像的“虛擬超級(jí)計(jì)算機(jī)”，實(shí)現(xiàn)對(duì)渲染集群系統(tǒng)資源有效的管理和維護(hù)； 目前主流的集群管理系統(tǒng)： COMS、CHESS、OSCAR、xCAT、ROCKS等。,HPCC, CUC CONFIDENTIAL,18,平臺(tái)服務(wù)層,包括基礎(chǔ)網(wǎng)格服務(wù)、計(jì)算資源管理、數(shù)據(jù)資源管理、軟件資源管理和渲染作業(yè)管理等子系統(tǒng)。 基礎(chǔ)網(wǎng)格服務(wù)：屏蔽了基礎(chǔ)架構(gòu)層中各種資源的異構(gòu)性以及資源設(shè)備之間的復(fù)雜關(guān)聯(lián)，為用戶及上層應(yīng)用提供方便、透明的資源訪問； 計(jì)算資源管理：對(duì)平臺(tái)中所有計(jì)算資源進(jìn)行管理，并為用戶提交的作業(yè)分配合理的資源，確保計(jì)算能力得到充分利用； 數(shù)據(jù)資源管理：對(duì)平臺(tái)上的所有數(shù)據(jù)資源進(jìn)行統(tǒng)一管理，為用戶提供透明地訪問、存儲(chǔ)、傳輸和管理數(shù)據(jù)的接口，使得用戶能夠方便地實(shí)現(xiàn)數(shù)據(jù)共享； 軟件資源管理：提供一個(gè)開放的應(yīng)用軟件管理平臺(tái)，通過定義一組接口規(guī)范，實(shí)現(xiàn)“熱插拔式”的應(yīng)用軟件集中管理； 渲染作業(yè)管理：對(duì)任務(wù)的排隊(duì)、分幀、分發(fā)、渲染進(jìn)行高效地調(diào)度與管理。,HPCC, CUC CONFIDENTIAL,19,應(yīng)用服務(wù)層,包括各種渲染軟件、引擎和插件，充分確保用戶復(fù)雜多樣渲染任務(wù)的順利進(jìn)行。 目前常用的渲染軟件 Avid Softimage XSI Sumatra Alias/Wavefront MAYA Houdini 3DS MAX Lightwave 3D Animatek World Builder2C Bryce Poser Vue dEsprit Profesional,HPCC, CUC CONFIDENTIAL,20,服務(wù)管理,提供了用戶管理、權(quán)限管理、項(xiàng)目管理、會(huì)員管理，以及計(jì)費(fèi)管理等后臺(tái)支撐服務(wù)。 用戶管理：利用PKI技術(shù)，構(gòu)建統(tǒng)一的X.509用戶證書信息庫，并在此基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一認(rèn)證和單點(diǎn)登錄； 權(quán)限管理：通過建立公共的系統(tǒng)平臺(tái)框架，與業(yè)務(wù)系統(tǒng)無縫集成，實(shí)現(xiàn)權(quán)限的集中管理和分散控制機(jī)制； 計(jì)費(fèi)管理：提供基于資源用量的服務(wù)計(jì)費(fèi)方式。,HPCC, CUC CONFIDENTIAL,21,訪問接口,包括門戶站點(diǎn)、應(yīng)用網(wǎng)關(guān)和編程接口三部分。 門戶站點(diǎn)：一方面提供了各種公共信息，另一方面為用戶訪問各種渲染服務(wù)提供統(tǒng)一的入口； 應(yīng)用網(wǎng)關(guān)：將平臺(tái)上的渲染服務(wù)對(duì)外映射成一個(gè)Web服務(wù)，降低業(yè)務(wù)系統(tǒng)和渲染平臺(tái)集成的難度； 編程接口：提供了C/C+、Python、 Perl、Shell等方式的編程接口，提供系統(tǒng)進(jìn)一步定制開發(fā)的能力。,HPCC, CUC CONFIDENTIAL,22,“天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái)的應(yīng)用案例,HPCC, CUC CONFIDENTIAL,23,“天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái),國家超算天津中心的“天河一號(hào)”擁有15,000個(gè)CPU和7,500個(gè)GPU，是目前世界上最快的超級(jí)計(jì)算機(jī)之一。 “天河-酷卡” 渲染云計(jì)算平臺(tái)由中國傳媒大學(xué)高性能計(jì)算中心與國家超算天津中心、北信酷卡公司聯(lián)合開發(fā)。通過對(duì)“天河一號(hào)”底層的網(wǎng)絡(luò)通信、資源管理系統(tǒng)以及應(yīng)用軟件的接口進(jìn)行了相應(yīng)處理， “天河-酷卡”渲染云計(jì)算平臺(tái)中實(shí)現(xiàn)了渲染應(yīng)用與“天河一號(hào)”超級(jí)計(jì)算機(jī)的無縫結(jié)合，實(shí)現(xiàn)了渲染作業(yè)管理與渲染業(yè)務(wù)管理的無縫結(jié)合，實(shí)現(xiàn)了對(duì)各種主流三維軟件的完美支持。,HPCC, CUC CONFIDENTIAL,24,“天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái),目前，平臺(tái)已經(jīng)上線測(cè)試，并且創(chuàng)造了2,000個(gè)物理節(jié)點(diǎn)（24,000個(gè)處理器）同時(shí)對(duì)同一個(gè)模型進(jìn)行并行渲染的世界紀(jì)錄，無論是從規(guī)模還是技術(shù)上來說，都達(dá)到了世界一流水平。 8月22日下午， “天河-酷卡”超級(jí)渲染云計(jì)算平臺(tái)發(fā)布會(huì)在人民大 會(huì)堂金色大廳舉行，全國人大常委會(huì)副委員長(zhǎng)陳昌智出席，外交部、中聯(lián)部、科技部、新華社、廣電總局、天津?yàn)I海新區(qū)、國防科技大學(xué)有關(guān)領(lǐng)導(dǎo)和國內(nèi)外影視界人 士三百余人與會(huì)。 下一步，我們開發(fā)團(tuán)隊(duì)將繼續(xù)推進(jìn)平臺(tái)的研發(fā)工作，以天河一號(hào)為龍頭，整合分散在不同地理位置的各種資源（包括渲染集群、存儲(chǔ)資源、渲染模型庫、渲染業(yè)務(wù)管理等）， 為用戶提供一體化的信息和渲染服務(wù)。通過屏蔽資源的異構(gòu)性以及設(shè)備間的復(fù)雜關(guān)聯(lián)，為用戶提供一個(gè)方便、透明的資源使用平臺(tái)，并最終實(shí)現(xiàn)虛擬環(huán)境下的資源共享和