大模型時代：智能設(shè)計的機遇和挑戰(zhàn)-浙江大學(xué)+阿里巴巴

大模型時代：智能設(shè)計的機遇與挑戰(zhàn)報告2人工智能作為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力，將進一步釋放歷次科技革命和產(chǎn)業(yè)變革積蓄的巨大能量。3注注重實用性和美感注注重用戶需求滿足注重個性化與批量化生注重個性化與批量化生成人類世界的信息和智慧的總體，…設(shè)計領(lǐng)域的理論和實踐的總體，方法和工具等。設(shè)計范式的遷移54智能設(shè)計人類世界的信息和智慧的總體，設(shè)計領(lǐng)域的理論和實踐的總體，方法和工具等。設(shè)計領(lǐng)域知識的子集，特指利用大模型封裝的設(shè)計理論和實踐經(jīng)驗等知識。素的影響。設(shè)計范式的遷移6在數(shù)千年經(jīng)驗的沉淀與工業(yè)革命在商業(yè)模式的發(fā)展和個體消費需在摩爾定律和數(shù)據(jù)型科學(xué)范式的計理論和實踐經(jīng)驗等知識，設(shè)計能力的躍升8鏈接能力/整合能力/拓展能力在21世紀，我們將見證的不僅僅是100年的發(fā)展，而更像是20,000年的進步。Wewon’texperience100yearsofprogressinthe21stcentury—itwillbemorelike20,000yearsofprogress.鏈接能力9全人類知識空間設(shè)計知識空間全人類知識空間設(shè)計知識空間鏈接設(shè)計師與模型知識大模型能為設(shè)計師提供更全面和準確的知鏈接設(shè)計師與非設(shè)計師大模型能將設(shè)計知識轉(zhuǎn)換成圖像等更形象設(shè)設(shè)計師需要學(xué)習(xí)大量抽象的設(shè)計知識，并不斷在實踐中轉(zhuǎn)化為設(shè)計能力，進而運用在設(shè)計任務(wù)中。頻等形象化方式呈現(xiàn)，支持設(shè)計師在設(shè)計任務(wù)中快速使用。加速創(chuàng)意迭代#行業(yè)實踐mmunity內(nèi)容生成(AIGC)工具推進鞋類網(wǎng)頁設(shè)計，快速完成創(chuàng)意設(shè)計。加速工作流推進#解決方案Kaedim平臺支持由圖片引導(dǎo)的快速和高清化3D模型生成。該功能使設(shè)計師能夠更加迅速地將創(chuàng)意轉(zhuǎn)化為3D模型，從而進行實時的視覺評估與改進。這種工作流顯著提升現(xiàn)設(shè)計目標。鏈接能力10由于設(shè)計師與非設(shè)計人員對設(shè)計概念、設(shè)計語言以及設(shè)計實踐的理解不同，彼此間的溝通與協(xié)作非常困難。借助大模型形象化的生成能力，不同領(lǐng)域的抽象知識得以形象化呈現(xiàn)，實現(xiàn)設(shè)計師與非設(shè)計人員間的高效鏈接。ey賦能跨職能團隊協(xié)作#解決方案。這能夠降低跨職能設(shè)計團隊成員間的溝通成本，加快網(wǎng)頁設(shè)計迭代和反饋的循環(huán)，提升設(shè)計師與前端開發(fā)人員間的協(xié)作效率。推動團隊轉(zhuǎn)型升級#行業(yè)實踐麥肯錫的研究報告顯示，協(xié)作性更強的跨職能團隊將為公司帶來更高的業(yè)績提升，推動業(yè)務(wù)的可可以充分利用智能設(shè)計工具和外部設(shè)計供應(yīng)鏈，從單一的設(shè)計職能團隊轉(zhuǎn)變?yōu)榫C合能力更強的復(fù)合型團隊，從而促進業(yè)務(wù)創(chuàng)新。鏈接能力11整合能力12整合跨學(xué)科設(shè)計知識整合跨學(xué)科設(shè)計知識大模型可以整合跨學(xué)科的設(shè)計知識，為設(shè)計師提供更全面和深入的支持，幫助他們在設(shè)計中更高效地運用跨領(lǐng)域知識。整合跨領(lǐng)域設(shè)計流程大模型能夠根據(jù)設(shè)計師所提供的需求與約生成兼具創(chuàng)意和實用性的設(shè)計方案。全全人類知識空間 設(shè)計知識空間不同學(xué)科的知識以各自獨立的形式存在，難以作為統(tǒng)一的設(shè)計資產(chǎn)得到有機整合，難以被設(shè)計師靈活地使用。大模型具備了整合跨領(lǐng)域知識的能力，幫助設(shè)計師在各類設(shè)計任務(wù)中更高效、更全面地查詢、使用跨學(xué)科知識。整合跨模態(tài)設(shè)計資產(chǎn)#行業(yè)實踐Opus.ai是一款通過自然語言構(gòu)建3D可交互場景的D理等資產(chǎn)，并以用戶輸入的文本需求為驅(qū)動，逐步D資產(chǎn)越豐富，輸入的文本描述越精準，最終得到的場景細節(jié)也越完善。Ando是Figma中的一款插件，被譽為設(shè)計師的AICopilot。該插件能夠協(xié)助設(shè)計師整合現(xiàn)有的設(shè)計需求、參考圖像與元素形狀等設(shè)計資產(chǎn)，啟發(fā)設(shè)計師關(guān)于界面設(shè)計的創(chuàng)意，支持設(shè)計師通過文本描述設(shè)計目標得到設(shè)計參考。推動跨領(lǐng)域知識融合#解決方案大模型的出現(xiàn)為推動跨學(xué)科知識融合提供了新的機遇。例如在仿生設(shè)計中，大模型可以整合生物學(xué)、工程學(xué)與設(shè)計學(xué)的知識，得到融合了蝴蝶元素的機械式座椅。整合能力13UI設(shè)計、產(chǎn)品設(shè)計、建筑設(shè)計等垂直領(lǐng)域的概念設(shè)計流程大相徑庭?？珙I(lǐng)域設(shè)計需要掌握不同的設(shè)計流程。在大模型時代下，跨領(lǐng)域設(shè)計流程逐漸整合為“想法表達->模型生成->手工微調(diào)->成品導(dǎo)出”的過程。統(tǒng)一跨應(yīng)用設(shè)計元素#行業(yè)實踐實現(xiàn)從“內(nèi)容即服務(wù)”到“模型即服務(wù)”的模式創(chuàng)新。統(tǒng)籌跨模態(tài)設(shè)計任務(wù)#學(xué)術(shù)前沿圖像->視頻”的跨模態(tài)設(shè)計任務(wù)。在該模型的支持下，面向不同形式任務(wù)的設(shè)計流程可實現(xiàn)共融共通。整合能力14拓展能力15全人類知識空間設(shè)計知識空全人類知識空間設(shè)計知識空間拓展大模型的知識界限大模型本身具備巨大的潛力，設(shè)計師可以通過特定領(lǐng)域的設(shè)計數(shù)據(jù)對大模型進行微調(diào)以拓展模型的知識界限。拓展設(shè)計師的能力邊界大模型在設(shè)計師不擅長的領(lǐng)域為其提供知設(shè)計師創(chuàng)造更出色和復(fù)雜的設(shè)計作品。模型的能力受限于所用的訓(xùn)練數(shù)據(jù)和方法，拓展模型適配于其他領(lǐng)域的數(shù)據(jù)標注和訓(xùn)練成本十分高昂。只需給予簡單的提示，大模型就能迅速地理解并將已有預(yù)訓(xùn)練知識快速遷移到對應(yīng)的領(lǐng)域中。針對特定對象的知識遷移#行業(yè)實踐LoRA生成大模型進行微調(diào)，使其具備了設(shè)計舞臺空間的能力。在拓展模型知識界限的基礎(chǔ)上，通過輸入不同需求的文本描述，設(shè)計師就能利用大模型對不同的舞臺風(fēng)格進行概念設(shè)計。針對下游任務(wù)的模型適配#行業(yè)實踐本關(guān)鍵詞的引導(dǎo)方式，將文生圖模型運用到了多種下游設(shè)計任務(wù)中。網(wǎng)易嚴選在實際設(shè)計業(yè)務(wù)中的應(yīng)用探索包括生成品牌調(diào)性圖、商品氛圍圖、模特換裝圖等。拓展能力16不同領(lǐng)域間存在知識壁壘，導(dǎo)致設(shè)計師難以利用不同領(lǐng)域的知識，解決不熟悉領(lǐng)域的設(shè)計問題。模型能夠整合海量多領(lǐng)域的知識，拓展設(shè)計師的能力邊界，支持跨領(lǐng)域復(fù)雜設(shè)計問題的解決。設(shè)計結(jié)果的多模態(tài)轉(zhuǎn)換#解決方案用AI技術(shù)以3D視角排列平面設(shè)計圖中各個圖層內(nèi)的設(shè)計元素，讓設(shè)計師輕松地得到視差動畫效果，同格式的設(shè)計產(chǎn)出。設(shè)計實踐的多維度賦能#解決方案Adobe在多個軟件中加入了AIGC工具，實現(xiàn)了在設(shè)計實踐中對平面設(shè)計師的全面賦能。全新的能力D生成矢量花型圖片等。設(shè)計流程的多鏈路串聯(lián)#行業(yè)實踐眾的需求關(guān)鍵詞，并在StableDiffusion等方法支持下生成運營效果圖像。在大模型工具的賦能下，設(shè)計師能更高效高質(zhì)地串聯(lián)內(nèi)容策略定制、文本描述生成、圖文內(nèi)容應(yīng)用等設(shè)計流程。拓展能力17設(shè)計實踐的重塑18我們總是高估未來兩年的技術(shù)改變，但低估未來十年的技術(shù)影響。AI技術(shù)的發(fā)展，極大地提升了機器在重復(fù)性、基礎(chǔ)性設(shè)計工作中的效率。這使得設(shè)計師與AI間傳統(tǒng)的“工具關(guān)系”被打破，許多與底層技法相關(guān)的“機械勞動”將逐漸被機器取代。服裝設(shè)計工作的優(yōu)化#行業(yè)實踐西湖心辰和知衣科技聯(lián)合推出了一款面向服裝設(shè)計行業(yè)的AI大模型FashionDiffusion。只需用生成服裝在模特身上的實穿效果圖。通過對服裝極大改變了傳統(tǒng)的服裝設(shè)計流程。建模渲染工作的取代#學(xué)術(shù)前沿據(jù)N種條件對1張圖像進行細粒度受控變換的能力。以建筑外觀設(shè)計為例，設(shè)計師能夠利用t并快速得到多種風(fēng)格渲染變換后的外觀效果圖。這種大模型的可控生成能力極大優(yōu)化了設(shè)計建職業(yè)技能19設(shè)計師與AI的關(guān)系從“工具關(guān)系”升級為“同事關(guān)系”，伴隨而來的“勸導(dǎo)式”的設(shè)計流程讓設(shè)計師更專注于創(chuàng)造性內(nèi)容的模型的計算和推理能力，創(chuàng)作的門檻被進一步降低。人機協(xié)作的創(chuàng)作賦能#解決方案時繪畫工具。設(shè)計師在繪畫區(qū)域中每畫一筆，SdPaint就能基于預(yù)輸入文本和已有筆畫的增加，畫面的細節(jié)也將實時完善。作的創(chuàng)作。創(chuàng)意實現(xiàn)的門檻降低#解決方案#行業(yè)實踐NyricNyric是一個獨特的游戲設(shè)計平臺，允許設(shè)計師通過簡單的文本描述來創(chuàng)建和探索詳細而逼真的D。他在不使用任何額外素材的條件下，僅利//create職業(yè)技能20大模型是一個“收音器”，將所學(xué)的設(shè)計知識整合到模型中供設(shè)計師使用；但受限于知識的有限性，模型無法做到無限制的創(chuàng)意賦能。隨著海量設(shè)計師利用同一模型進行設(shè)計流程的迭代，產(chǎn)品的設(shè)計風(fēng)格可能趨于同化。AIGC視覺設(shè)計、時尚設(shè)計、室內(nèi)設(shè)計等跨領(lǐng)域設(shè)計流程的整合，降低了設(shè)計師在多個領(lǐng)域間遷移的難度，但也導(dǎo)致了設(shè)計師對各領(lǐng)域傳統(tǒng)設(shè)計技法的生疏。這會使得設(shè)AIGC設(shè)計領(lǐng)域的設(shè)計的品質(zhì)。設(shè)計創(chuàng)意受限#解決方案AIGC工具的設(shè)計生成過程主要依賴于已知的數(shù)據(jù)，缺乏設(shè)計師天馬行空的創(chuàng)造力和想象力。過度依賴模型所具有的能力將導(dǎo)致設(shè)計實踐過程中的創(chuàng)意受到制約，使得作品缺乏新穎性與突破性的設(shè)計元素。例如，在利用Midjourney等AI繪畫工具進行平面設(shè)計時，多樣的藝術(shù)風(fēng)格會被固化為一個個關(guān)鍵詞，這些關(guān)鍵詞難以突破模型訓(xùn)練時藝術(shù)風(fēng)格數(shù)據(jù)的局限，作品的多樣性進而降低。設(shè)計品質(zhì)21大模型是一個“擴音器”，擴大設(shè)計師在實踐中所創(chuàng)造知識的影響力。通過設(shè)計風(fēng)格提示詞復(fù)用、用戶體驗關(guān)鍵詞定制等形式，作品的“創(chuàng)意”將數(shù)字化為開源資產(chǎn)，在社區(qū)進一步的發(fā)展迭代中，推動整體設(shè)計品質(zhì)的提升。來可復(fù)用的設(shè)計風(fēng)格#解決方案在LoRA等小樣本微調(diào)技術(shù)的幫助下，設(shè)計師能將自己獨特的風(fēng)格抽象成1個或多個可復(fù)用的提示詞，并通過這些提示詞激發(fā)模型在特定設(shè)計任務(wù)上的生成能力。在Civitai等平臺中，設(shè)計師們分享了大量優(yōu)質(zhì)的提示詞與相應(yīng)的LoRA模型。這種設(shè)計風(fēng)格的多的創(chuàng)新活力，推動行業(yè)整體設(shè)計品質(zhì)的提升。來定制化的用戶體驗#行業(yè)實踐設(shè)計師能夠基于不同特征的用戶數(shù)據(jù)引導(dǎo)大模型做出定制化的設(shè)計決策，從而針對性地提升不同用戶的產(chǎn)品體驗。數(shù)據(jù)為不同特點的用戶群體進行畫像，并針對性地推送不同的電影劇照。設(shè)計品質(zhì)22不斷涌現(xiàn)的AIGC工具降低了設(shè)計的門檻，提供了自動化、智能化的設(shè)計能力，打破了設(shè)計行業(yè)傳統(tǒng)的技法壁壘。這樣的趨勢將加劇行業(yè)內(nèi)部的競爭，使得設(shè)計師需要不斷提高自己的專業(yè)水平和創(chuàng)造力，從而保持職業(yè)競爭力。UI解決方案GalileoAI是一款基于文本生成UI界面的AI工具，可以根據(jù)用戶對App界面元素、風(fēng)格主題等的需求變了傳統(tǒng)App頁面設(shè)計的方式，極大地降低了然語言表述，最快只需30秒即能生成可編輯的App界面設(shè)計初稿，從而幫助設(shè)計師甚至非設(shè)計人員完成設(shè)計任務(wù)。包裝設(shè)計的行業(yè)變革#行業(yè)實踐就能在一小時內(nèi)自動完成不少于1000組的商品包裝了包裝設(shè)計的傳統(tǒng)流程，影響了包裝設(shè)計師的就業(yè)。行業(yè)機會23行業(yè)被沖擊得越深，機會也將被創(chuàng)造得越多。大模型時代的智能化，將帶來“智能物種”的大爆發(fā)，促使所有領(lǐng)域的產(chǎn)品迭增長，行業(yè)機會大量涌現(xiàn)。模型推動的設(shè)計大眾化#行業(yè)實踐#解決方案設(shè)計工具。用戶能夠輕松且快速地看到對已有的家裝進行風(fēng)格變換后的效果。對于用戶的需求，模型只需文本和參考圖像等簡單的輸入，就可以將其映射為令人滿意的設(shè)計結(jié)果，使得人人都能成為自己的設(shè)計師。速重塑傳統(tǒng)的電商規(guī)則。模型賦能的智能物種爆發(fā)#學(xué)術(shù)前沿在大模型的支持下，面向不同領(lǐng)域的產(chǎn)品將迎來強大的學(xué)習(xí)和決策能力，能更加高效、準確、創(chuàng)造性地解決領(lǐng)域中的實際所有行業(yè)將涌現(xiàn)大量設(shè)計需求，為傳統(tǒng)工作流程帶來全新的變革。行業(yè)機會24技法壁壘消失技法壁壘消失行業(yè)機會涌現(xiàn)鏈接能力行業(yè)沖擊加劇行業(yè)沖擊加劇模型知識同化用戶設(shè)計風(fēng)格受限智能水平提設(shè)計風(fēng)格受限智能水平提升創(chuàng)作門檻降低機械勞動取代機械勞動取代大模型時代：智能設(shè)計的機遇與挑戰(zhàn)報告浙江大學(xué)國際設(shè)計研究院設(shè)計浙江大學(xué)-阿里巴巴前沿技術(shù)聯(lián)合研究中心中國人工智能學(xué)會-智能創(chuàng)意與數(shù)字藝術(shù)專委會寫，收取服務(wù)費1、需要自己熟練掌握ChatGPT的提示詞技巧，調(diào)教好它生成出好的內(nèi)