云渲染阿里云實(shí)戰(zhàn)云計(jì)算圖文

1、實(shí)戰(zhàn)云計(jì)算給你改變世界的力量張宏鑫浙江大學(xué)CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室2012.07工作:浙江大學(xué)CAD&CG 國(guó)家重點(diǎn)實(shí)驗(yàn)室浙江大學(xué)計(jì)算機(jī)學(xué)院副教授學(xué)歷:2002年博士畢業(yè)于浙江大學(xué)應(yīng)用數(shù)學(xué)系研究:幾何造型與幾何計(jì)算方法云計(jì)算教學(xué):計(jì)算機(jī)圖形學(xué) (本科精品課程數(shù)字媒體資源管理 (數(shù)字媒體系專業(yè)課計(jì)算機(jī)應(yīng)用數(shù)學(xué) (博士生必修課 me: 張宏鑫釋題求是創(chuàng)新浙江大學(xué)校歌大不自多 海納江河 惟學(xué)無(wú)際 際于天地 形上謂道兮 形下謂器 禮主別異兮 樂(lè)主和同知其不二兮 爾聽(tīng)斯聰國(guó)有成均 在浙之濱 昔言求是 實(shí)啟爾求真習(xí)坎示教 始見(jiàn)經(jīng)綸 無(wú)曰已是 無(wú)曰遂真靡革匪因 靡故匪新 何以新之 開(kāi)物前民

2、嗟爾髦士 尚其有聞念哉典學(xué) 思睿觀通 有文有質(zhì) 有農(nóng)有工兼總條貫 知至知終 成章乃達(dá) 若金之在熔尚亨于野 無(wú)吝于宗 樹(shù)我邦國(guó) 天下來(lái)同國(guó)學(xué)大師馬一浮三年間盡讀四庫(kù)全書(shū)三萬(wàn)六千余卷,而過(guò)目不忘!講座提綱云計(jì)算是什么?云計(jì)算為什么?云計(jì)算如何用?云計(jì)算有前途嗎?形上謂道兮形下謂器何以新之開(kāi)物前民兼總條貫知至知終樹(shù)我邦國(guó)天下來(lái)同器即器皿,容量有限,終有漫出之時(shí)。然而道理是永恒無(wú)窮的承載。告訴我們不應(yīng)拘泥于或者不受限于外在的形式,而是應(yīng)該注重事物本質(zhì),掌握其中的規(guī)律和精髓,才能形而上。大象無(wú)形。1. 云計(jì)算是什么?形上謂道兮形下謂器 大不自多海納江河大數(shù)據(jù)大計(jì)算 云暈? 云計(jì)算概念的由來(lái)1950年代L

3、arge-scale mainframe became available in academia andcorporations,time sharing.1960年代John McCarthy: "computation may someday be organized as apublic utility."1983年網(wǎng)絡(luò)即電腦Sun Microsystems:The Network is the Computer2006年3月Amazon 推出彈性計(jì)算云服務(wù)(Elastic Compute Cloud;EC22006年8月9日Eric Schmidt (Google

4、 CEO 在搜索引擎大會(huì)(SES San Jose 2006首次提出“云計(jì)算”(Cloud Computing的概念2008年8月3日美國(guó)專利商標(biāo)局網(wǎng)站信息顯示,DELL正在申請(qǐng)“云計(jì)算”(Cloud Computing商標(biāo)2010年7月NASA和Rackspace, AMD, Intel, DELL等: OpenStack飄渺水云間云計(jì)算是網(wǎng)格計(jì)算(Grid Computing、分布式計(jì)算(Distributed Computing、并行計(jì)算(Parallel Computing、效用計(jì)算(Utility Computing、網(wǎng)絡(luò)存儲(chǔ)(Network Storage Technologies

5、、虛擬化(Virtualization、負(fù)載均衡(Load Balance等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。是一種形象的比喻說(shuō)法。云暈! 四大關(guān)鍵:Map-Reduce 虛擬機(jī)云存儲(chǔ)數(shù)據(jù)庫(kù) 云計(jì)算的粗略分層Infrastructure as a Service, IaaS 基礎(chǔ)設(shè)施即服務(wù)Platform as a Service, PaaS平臺(tái)即服務(wù)Software as a Service, SaaS 軟件即服務(wù)硬件設(shè)施終端用戶云計(jì)算的粗略分層 IaaS Example:Google Compute Engine Lets businesses and researchers tap

6、 into the scalability, power, and efciency of Googles data centers using VM .Institute forSystemsBiology (ISB1250 8-core VMsPaas Example:X App Engine 提供了一組基礎(chǔ)應(yīng)用服務(wù)腳本語(yǔ)言運(yùn)行環(huán)境:python, php, java, .WEB服務(wù)環(huán)境:apache, nodejs, nginx, .數(shù)據(jù)庫(kù)環(huán)境:mysql, MongoDB (非結(jié)構(gòu), .云存儲(chǔ)隱含的服務(wù)安全性保障 域名服務(wù),緩存機(jī)制 用戶身份認(rèn)證,計(jì)量計(jì)費(fèi)SaaS Examples I

7、nternet based applications Search: google, m$, baiduT ranslation servicesBBSVisualization, Rendering . CategoriesB-S: T raditional ., Flash based => HTML5Mobile: Apps in Apple App Store or Google Market .云計(jì)算暈計(jì)算一對(duì)組合: 云計(jì)算+移動(dòng)設(shè)備 思考:忽然間冒出這么多互聯(lián)網(wǎng)公司做手機(jī)控制終端獲取數(shù)據(jù)云計(jì)算暈計(jì)算一個(gè)錦囊:殺手(互聯(lián)網(wǎng)應(yīng)用 云計(jì)算十戒4項(xiàng)關(guān)鍵技術(shù)3層功能分類2個(gè)實(shí)踐方面1樣

8、殺手應(yīng)用部署:公有/私有/社區(qū)/混合云2. 云計(jì)算為什么?何以新之開(kāi)物前民 來(lái)自IBM公司的一組數(shù)據(jù)顯示了當(dāng)前數(shù)據(jù)中心的現(xiàn)狀:85%的數(shù)據(jù)中心運(yùn)算能力或有閑置狀態(tài);50%-60%的IT負(fù)載可以采用云技術(shù);70%的IT預(yù)算都用于維護(hù)現(xiàn)有基礎(chǔ)環(huán)境;每年數(shù)據(jù)中心能耗費(fèi)用增加18%;75%的CIO期望在5年內(nèi)集中數(shù)據(jù)中心基礎(chǔ)設(shè)施;近10年來(lái)服務(wù)器密度增長(zhǎng)了20倍,服務(wù)器增長(zhǎng)6倍。Cloud Render: An exampleWhat is rendering (渲染?Rendering is the process of generating animage from a model(or mode

9、ls in whatcollectively could be called a scene le,by means of computer programs. Rendering is timeconsuming!Di ffi culties:1.High resolution2.Global illumination3.Special e ff ects4.Long frame sequence5.Deadline !?! & Editing is nightmare!84 hours! Rendering is expensive!Softwarespecial renderer

10、 Hardwarepowerful computers professional storageGPU / Graphics cardRender-farm: the solutionHP BL2×220c blades>2PB storage >4,000> 35,000 Coresinside the Weta Digitaldata center2006Our rst try ZJU Dr. Farm supported by 863 project 2009Our second try ZNAIntegrated into production pipeli

11、ne Users are very happyGreen softwareControl dozens of graphicswork stationProblems (I Bottleneck the storageProblems (IICan we control ?>1K or >10K computers王堅(jiān)博士 1500臺(tái)服務(wù)器集群測(cè)試Scene les from ZNA341500 cluster< 40 minutes渲染云現(xiàn)場(chǎng)演示 700臺(tái)服務(wù)器集群開(kāi)發(fā)者之一:朱標(biāo)We re-dened the rendering! “電影業(yè)已經(jīng)決定全面擁抱云計(jì)算?！盓wa

12、n Richardson: “我使用云計(jì)算來(lái)渲染和轉(zhuǎn)碼某些特定的項(xiàng)目。對(duì)大型的渲染實(shí)現(xiàn)硬件成本的零投入”。- CSDN 翻譯Why not?Traditional clusters / Socket, MPI, ACE .缺少通用技術(shù)核心,事必躬親Grid computing / HPC 專業(yè)硬件,小眾用戶,難以運(yùn)用Community Computing / SETI - BOINC 時(shí)間與任務(wù)不可控,效率低Cloud computing 通用硬件,大眾用戶,通用開(kāi)源Moreover .重用的敏捷性應(yīng)用編程接口 Rest API 低廉的價(jià)格設(shè)備和位置獨(dú)立性虛擬化多租戶應(yīng)用環(huán)境:中心化、峰值能力、提高效用可靠性按需的可擴(kuò)展性和彈性穩(wěn)定可控的性能安全性可維護(hù)More importantThe scale size of cluster is the rst thing!3. 云計(jì)算如何用?兼總條貫知至知終飛天云平臺(tái)架構(gòu) Cloud computing An OS over hundreds even or thousands computerskernel: Unix basedle system: ideal storage system scheduling: map-reduceuser int