2024AI大模型十大趨勢(shì)

\h2024序 序言1走“機(jī)器外腦時(shí) 序言3共創(chuàng)共建共享智能美好未 趨勢(shì)1趨勢(shì)6Agent趨勢(shì)2LLM趨勢(shì)7趨勢(shì)1趨勢(shì)6Agent趨勢(shì)2LLM趨勢(shì)7趨勢(shì)3AIGC趨勢(shì)8趨勢(shì)4LLM趨勢(shì)9趨勢(shì)5趨勢(shì)10序言繼ChatGT開(kāi)啟大語(yǔ)言模型引領(lǐng)的新一輪人工智能革命以來(lái)GoogleMidjourneyAdobe以及In?ection年2Sora的出現(xiàn)再次震“AI每日動(dòng)態(tài)AI技術(shù)的發(fā)展日新月異的。在海量GPU和新一代大模型的加持下力的躍遷得益于LLM在理解和生成自然語(yǔ)言方面的巨大進(jìn)步使得LLM能夠處理各種知識(shí)密集型任務(wù)可以在AI的幫助下實(shí)現(xiàn)2機(jī)器之心AI智力即服務(wù)IQaaAI數(shù)字員工將智力外腦。序 AIAIG2SoraAIGCSora和SUNOAI生成內(nèi)容的質(zhì)量和多樣性達(dá)到了新的高度。它們不僅讓普通人能夠創(chuàng)作出接近專(zhuān)業(yè)水準(zhǔn)的音樂(lè)和視頻作AI“創(chuàng)意外腦AIAI另一個(gè)方向?qū)儆趶V義的情感陪伴。DanAI在情緒理解與表達(dá)上的巨AI“情感外腦AI聊天機(jī)器人提24/7AIAI不再僅僅是冷AI的陪伴與慰藉。

序

在本報(bào)告中，騰訊研究院基于科技行業(yè)發(fā)展和騰訊自身在AI10個(gè)關(guān)鍵性的趨AI個(gè)體借助大模型外腦成為“斜杠青年“超級(jí)生產(chǎn)者甚至開(kāi)啟自己的“一人企業(yè)。端側(cè)模型知技術(shù)正在提升生產(chǎn)力，而游戲與大模型的共生關(guān)系為Agent訓(xùn)練提供了新的舞臺(tái)。開(kāi)源模型的睹AIAIAI想法并善于利用AI“機(jī)器外腦序言04序言

-行為--行為-場(chǎng)景一體化視覺(jué)表達(dá)A范式。華TED“空間智能“她還補(bǔ)充說(shuō)，她所在的斯坦福大學(xué)實(shí)驗(yàn)室正在嘗試教計(jì)算機(jī)“如何在三維世界中行動(dòng)達(dá)CEOProjectGR00“大腦ProjectGR00T類(lèi)動(dòng)作。序

的交通安全事故;-行為-圖靈獎(jiǎng)得主Hinton教授在5月訪談中就表示多模態(tài)學(xué)習(xí)可以使模型更好地理解空間事物，因?yàn)閮H隨著diffusionChatGPSora等視頻Sora生成的視頻令人驚訝更多Sora“虛擬創(chuàng)世序 在AIGCAIGC3DAIAI2024年(20242026年“成長(zhǎng)地圖人才底座人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量。其中，具身智能是場(chǎng)景理解感知、邏輯思內(nèi)容的創(chuàng)意性生成，AIGC可以說(shuō)將成為了未來(lái)互聯(lián)網(wǎng)的內(nèi)容生成基礎(chǔ)設(shè)施，內(nèi)容生產(chǎn)需求邁入強(qiáng)需-行為-AIGC大模型、

序 序言“四化”AIMoE)600AI小助率。序 的大模型PaaS工PaaS“大模型知識(shí)引擎“大模型圖像創(chuàng)作引擎“大模型視頻創(chuàng)作引擎質(zhì)提效。強(qiáng)安全AI模型普惠。申請(qǐng)專(zhuān)利超過(guò)10000600多項(xiàng)人工智能相關(guān)專(zhuān)800強(qiáng)到人機(jī)協(xié)作，大模型正在重塑人類(lèi)社會(huì)，成為我們可依賴(lài)的"外腦"這份報(bào)告，既凝聚了騰訊云與各方在AI

序 趨勢(shì)速度和效率雙提升AIAI（AIInfra）加速發(fā)展，增長(zhǎng)趨勢(shì)將從大模型專(zhuān)業(yè)領(lǐng)域延伸至各行業(yè)領(lǐng)“量變將成為AIInfra“質(zhì)變破局的三板斧。趨勢(shì)110趨勢(shì)1趨勢(shì)1PAGE11生成式AI的演進(jìn)也在推動(dòng)它的底層基礎(chǔ)-人工智能基（AIInfrastructure，簡(jiǎn)稱(chēng)AIInfra）技術(shù)的進(jìn)步和建AI技術(shù)迭代和商業(yè)化探索仍在加速進(jìn)行，AIInfra短期的發(fā)展總體呈現(xiàn)供需兩旺的形勢(shì)。一般的，AIInfra是指支撐AIAIinfra將發(fā)展需求將逐步覆蓋其他層級(jí)。而隨著算力基礎(chǔ)設(shè)施建

大規(guī)模加速卡集群容量、和更高算力利用率及計(jì)算能效之AIInfra“質(zhì)量雙螺旋”的發(fā)展模人工智能基礎(chǔ)設(shè)施供需兩旺，增長(zhǎng)趨勢(shì)向行業(yè)生成式AIAI服務(wù)器市場(chǎng)增長(zhǎng)預(yù)期明確。212AI大模型訓(xùn)練的算力呈3.42012到2018AI算力增長(zhǎng)了超過(guò)3212年2020年提出的模型需要60以O(shè)penAIChatGPT發(fā)布已來(lái)，GPT等大模型25000張A100訓(xùn)練90-100GPT-MoE-1.8T需要張H100訓(xùn)練90Sora預(yù)計(jì)需要420010500張H100訓(xùn)練GP-55000000。在ScalingLawsAI科技企業(yè)對(duì)于更高算力的AIInfra的驚人需求。Meta到今年底前計(jì)劃再獲得35萬(wàn)個(gè)H100GPU，并宣布將資本支出大幅提高到350-400億美元；OpenAI

1000億美元，其中還包含一個(gè)名叫“星際之門(mén)”的AI超級(jí)計(jì)算百億美元增加其在全球各地的超大規(guī)模云計(jì)算和AI基礎(chǔ)設(shè)年的195億美元增長(zhǎng)到2026年的347場(chǎng)規(guī)模在整體人工智能服務(wù)器市場(chǎng)的占比將從2023年的2022-AIInfra建設(shè)需求向行業(yè)企業(yè)延展，制造業(yè)對(duì)于AIInfra的建設(shè)最積極。全球各大科技巨頭對(duì)AI基礎(chǔ)設(shè)施的

根據(jù)微軟與ForresterConsulting能基礎(chǔ)設(shè)施現(xiàn)狀20241500多人工智能基礎(chǔ)設(shè)施是現(xiàn)階段企業(yè)發(fā)展人工智能時(shí)最需要幫基礎(chǔ)設(shè)施戰(zhàn)略，其中最積極主動(dòng)的行業(yè)包括：制造業(yè)，金生成式AI的訓(xùn)練集群規(guī)模，以步入萬(wàn)卡量級(jí)。按照ScalingLaws群規(guī)模也就越大，這樣才能在合理的時(shí)間內(nèi)完成大模型的擁有1.6萬(wàn)張A100GPU的超級(jí)計(jì)算集群RSC，并于2024年初公布了2個(gè)24576張NvidiaH100Llama3的訓(xùn)練；萬(wàn)卡集群的實(shí)現(xiàn)和運(yùn)行，是各層級(jí)軟硬件緊密耦合和萬(wàn)卡集群并不是簡(jiǎn)單的將AI加速卡在硬件層面進(jìn)行單純的連接和堆砌，還要能夠基于計(jì)

練并非易事，總體看技術(shù)上會(huì)面臨硬件和軟件兩個(gè)層面的首先，構(gòu)建萬(wàn)卡級(jí)別的超大規(guī)模集群本身就是一項(xiàng)極議、線纜布線等都提出了苛刻的要求。同時(shí),高密度部署還面臨著散熱和供電的巨大壓力。現(xiàn)有的計(jì)算機(jī)網(wǎng)絡(luò)和數(shù)據(jù)其次,在軟件層面,實(shí)現(xiàn)高效的分布式并行訓(xùn)練也面臨將遇到通信瓶頸和負(fù)載不均衡等問(wèn)題。需要全新的混合并行范式和任務(wù)調(diào)度機(jī)制,在最小化通信開(kāi)銷(xiāo)的同時(shí)實(shí)現(xiàn)高效的并行計(jì)算。分布式訓(xùn)練框架還需要內(nèi)置故障檢測(cè)和恢復(fù)優(yōu)化算法,自動(dòng)混合精度訓(xùn)練,以及針對(duì)大規(guī)模異構(gòu)集群的國(guó)內(nèi)外AA集群算力調(diào)度的一部分。如何將異構(gòu)加速卡進(jìn)行統(tǒng)一虛擬還要考慮不同并行計(jì)算、分布式訓(xùn)練等軟件系統(tǒng)的相互兼容和融合，以及軟硬件集成運(yùn)行時(shí)的穩(wěn)定性和可擴(kuò)展性等上不同型號(hào)GPUAI萬(wàn)張H100Grok3AI

來(lái)一段時(shí)間AIInfra核心硬件系統(tǒng)主要演變路線之一。TB。提升大規(guī)模分布式訓(xùn)練的計(jì)算效率一直是該領(lǐng)域核心Ia可實(shí)現(xiàn)更高的算力利用率，節(jié)省訓(xùn)練算力成本。騰訊自研倍。AI基礎(chǔ)設(shè)施持續(xù)進(jìn)趨勢(shì)LLMLL"智力外腦LLMLLM能夠處理各種知識(shí)密集型任務(wù)，趨勢(shì)215趨勢(shì)2趨勢(shì)2PAGE16與以往的人工智能相比，大語(yǔ)言模型的顯著特征是推復(fù)雜問(wèn)題的理解、對(duì)信息的整合以及在給定上下文中生成如同人類(lèi)學(xué)習(xí)語(yǔ)言一樣，AI大模型通過(guò)大量數(shù)據(jù)的學(xué)

Inference)階段未見(jiàn)過(guò)的數(shù)據(jù)。模型利用先前學(xué)到的規(guī)律進(jìn)行預(yù)測(cè)、分類(lèi)或生成新內(nèi)容，使得AI在實(shí)際應(yīng)用中能夠做出有意義的決ransforme文本中的長(zhǎng)距離依賴(lài)關(guān)系，并通過(guò)注意力機(jī)制聚焦于輸入ChainofThoughtPromp-ingLLM能夠生成連貫且邏輯性強(qiáng)的文本，展現(xiàn)出在復(fù)雜問(wèn)題上的推理能力。Right:Overviewofthereasoningtechniquesforfoundationmodels,asdetailedinSection（IQaaS）更高的算力與更好的模型的加持下，機(jī)器不再僅僅是執(zhí)行簡(jiǎn)單任務(wù)的工具，而是成為了人類(lèi)的"智力外腦"，能夠

AndrejKarpathy“軟件2.0AI樣化的AI“機(jī)器之心SaaS掘以前受到軟件的市場(chǎng)推廣和定價(jià)限制而無(wú)法涉足的領(lǐng)據(jù)實(shí)際需求快速調(diào)整資源，無(wú)需大量前期投資即可獲得專(zhuān)業(yè)的AI

“利用LLM進(jìn)策略“智力即服務(wù)獲取這些服務(wù)。這種模式業(yè)的企業(yè)都能獲得符合自身特定需求的智能解決方案。這AI對(duì)人的能力的替代。LLM的推理AI進(jìn)行協(xié)作，能夠有效拓展能力邊界，在生活和工作場(chǎng)景中成為一名擅長(zhǎng)“人機(jī)協(xié)創(chuàng)作領(lǐng)域的應(yīng)用潛力將持續(xù)賦能個(gè)體進(jìn)行更高效、更具創(chuàng)AI

隨著技術(shù)的不斷進(jìn)步，LLM的推理能力將變得更加強(qiáng)大和精細(xì)。我們可以預(yù)見(jiàn)，未來(lái)，iQaaS使人類(lèi)的推理能力趨勢(shì)AIGCAI和視頻生成的AI“斜杠青年A趨勢(shì)318趨勢(shì)3趨勢(shì)3PAGE19（1感官體驗(yàn)，提高信息的傳達(dá)效率和吸引力（2）個(gè)性定制：生成個(gè)性化、高度相關(guān)的內(nèi)容,提高創(chuàng)作效率（3）創(chuàng)意激發(fā)：AI可以分析大量的藝術(shù)作品，找出常見(jiàn)的主題和模式，然后提出創(chuàng)新的組合,為創(chuàng)作者提供靈感和創(chuàng)意靈感（4）能融合的生活態(tài)度和職業(yè)選擇，而大模型會(huì)進(jìn)一步推動(dòng)藝模型技術(shù)所帶來(lái)的低成本創(chuàng)作工具，激發(fā)創(chuàng)造力和拓展創(chuàng)

AISuno、UdioElevenlabs這些AIprompt型AIGCSuno平SunoAI多模態(tài)AI以Sora為代表的多模態(tài)大模型的推出，標(biāo)志著視頻生圖像添加動(dòng)畫(huà)以及在時(shí)間軸上延伸視頻等多樣化編輯任

司已經(jīng)在主流的視頻編輯工具Premiere中植入了Sora等文進(jìn)展，類(lèi)似技術(shù)和產(chǎn)品層出不窮。近期生數(shù)科技和快手可PikaGen-Pika1Emu3-2-418sDiT架構(gòu)用的可能性。作為業(yè)內(nèi)首個(gè)中文原生的DiT（DiffusionModelswithTransformers）生圖大模型支持中英文雙語(yǔ)輸入及理解，擁有高達(dá)15億的Sora模型一致的DiT架即Hunyuan-DiT頻等多模態(tài)視覺(jué)內(nèi)容的生成奠定了基礎(chǔ)。在性能上，采用Hunyuan-DiT架構(gòu)的騰訊混元文生圖大模型超越了開(kāi)源的tabeDiffusonSD

構(gòu)建以中文為核心的文生圖開(kāi)源生態(tài)系統(tǒng)提供了強(qiáng)有力的多模態(tài)AIGC技術(shù)將從以下方向影響視頻內(nèi)容生產(chǎn)模根據(jù)文本提示生成長(zhǎng)達(dá)一分鐘的視頻，這在傳統(tǒng)制作流程多模態(tài)AIGCAI所204年AI2翻拍OrT2Rea50AA“超級(jí)生產(chǎn)者時(shí)代SoraSno趨勢(shì)兼具EQ與IQ的大模型將在未來(lái)2-3AI模型如GP-4o和Gei1.5rAIAIAAI能夠“回憶策略趨勢(shì)422趨勢(shì)4趨勢(shì)4PAGE23

AI陪伴首先是個(gè)性化的（EQ是高度個(gè)性化的概念?不同的人對(duì)情感和社交動(dòng)態(tài)的理解有所不同精調(diào)（Fine-tuning）（比如兒童增至10Characte.ai

估值50億美元

（比如戀愛(ài)（估值25億美元

估值40億美元（估值20

高于其他AICharacter.ai目前月訪問(wèn)量超2億次，別。譬如是否需要一個(gè)具體的形象、是否需要配合硬件使聚焦于哪個(gè)垂類(lèi)，面向未來(lái)的人機(jī)陪伴產(chǎn)品有如下共性特和Gemini1.5Pro

AI將能夠更準(zhǔn)AI（如表情（如語(yǔ)調(diào)AI陪伴有望做到比用戶(hù)更懂用戶(hù)甚至是先己一步，以最適合用戶(hù)的方式提供情感慰藉與支就要設(shè)定情景讓AI與用戶(hù)創(chuàng)造一些獨(dú)特的共同經(jīng)歷?神秘感需要用戶(hù)不斷挖掘的角色??形態(tài)上也可能是文本前的AI陪伴產(chǎn)品利用生成對(duì)抗網(wǎng)絡(luò)（GANs生成高質(zhì)量的創(chuàng)意內(nèi)容（例如eplia用戶(hù)可以與AI一起編寫(xiě)小說(shuō)或劇本AI陪伴產(chǎn)品將進(jìn)一步提升用戶(hù)與AI共同創(chuàng)作的體別是流式語(yǔ)音識(shí)別技術(shù)的進(jìn)步使AI能夠?qū)崟r(shí)理解和回能夠更便捷地與AI合作完成復(fù)雜的創(chuàng)意項(xiàng)目。（前的AI陪伴產(chǎn)品主要通過(guò)如下技術(shù)手平算法的應(yīng)用確保了AI在訓(xùn)練和應(yīng)用過(guò)程中的無(wú)偏助有特殊需求的用戶(hù)順暢使用AI產(chǎn)LGBTQ社區(qū)的例如AI心理健康支“算法黑箱在跨語(yǔ)言環(huán)境中的應(yīng)用仍然是一個(gè)未被充分探索的問(wèn)題。IQ&EAI戶(hù)在與AI互動(dòng)時(shí)會(huì)期望AI能夠記住他們之前機(jī)交互就無(wú)法連續(xù)進(jìn)行，個(gè)性化服務(wù)的精準(zhǔn)性也會(huì)大打折脫皮下皮“Memory

promp的方式輸入給大語(yǔ)（LLMGP-4o等模型的出現(xiàn)multi-modalunderand-inuni?edembeddin的方式直接映multi-modalmode總結(jié)“總結(jié)“總結(jié)“喚recal形成某種啟發(fā)或者共鳴?策略。AI的依賴(lài)和情感連確保AI時(shí)代人機(jī)陪伴的公平性和安全性。如果上述問(wèn)題能夠得到妥善解-12戶(hù)的多元化陪伴訴求。趨勢(shì)智能制造：多模態(tài)大模型技術(shù)204AI化對(duì)復(fù)雜多模態(tài)PromptPEFT小樣本數(shù)據(jù)適“大模型的趨勢(shì)525趨勢(shì)5趨勢(shì)5PAGE26工業(yè)場(chǎng)景是AI5~102024著G-4,Gemini1.5PLLA1.6ransformer架構(gòu)和海量數(shù)據(jù)訓(xùn)練的多模態(tài)大模型再次點(diǎn)燃GG的2023年我國(guó)全部工業(yè)增加值約40大模型在應(yīng)用中部署僅占了8AI當(dāng)前階段工業(yè)AI的應(yīng)用主要以專(zhuān)需要收集百?gòu)堃陨系漠a(chǎn)品圖，然后對(duì)該場(chǎng)景進(jìn)行精細(xì)化調(diào)交付過(guò)程中依賴(lài)較長(zhǎng)周期的數(shù)據(jù)采集及較復(fù)雜的個(gè)性化定AI應(yīng)用技術(shù)會(huì)加快往工業(yè)領(lǐng)域遷移場(chǎng)景適配和多種部署形式，最終實(shí)現(xiàn)工業(yè)大模型的落地賦能。MeReal-IAD

力和遷移學(xué)習(xí)能力可以對(duì)不同生產(chǎn)場(chǎng)景中的產(chǎn)品質(zhì)量缺陷，業(yè)制造累積了大量的數(shù)據(jù)，為大模型提供了良好的基礎(chǔ)條的全新智能化工廠。目前國(guó)內(nèi)外推出的主流多模態(tài)模型乃是基于自然場(chǎng)景來(lái)需要在垂直場(chǎng)景實(shí)現(xiàn)超微小目標(biāo)感知及超細(xì)粒度語(yǔ)義理工業(yè)AI質(zhì)檢來(lái)需強(qiáng)化對(duì)復(fù)雜多模態(tài)Prompt的理解并提升數(shù)據(jù)的利用效率以最大化多模態(tài)模型的理解能力。工業(yè)多模態(tài)大模型對(duì)超微小目標(biāo)的感知和超細(xì)粒度語(yǔ)然場(chǎng)景下的圖像-文本數(shù)據(jù)集片分辨率在百萬(wàn)像素以下，其對(duì)圖片中主要物體、如大于100x100pixel的目標(biāo)感知能力較強(qiáng)Wisonsin?Madison發(fā)布了LLaVA-1.LLaVA-NeLLaVA-UHD率圖像一同輸入到大語(yǔ)言模型以提升模型對(duì)圖像局部的感圖像-文本數(shù)據(jù)集的增加感知及細(xì)粒度語(yǔ)義理解能力有望顯著提升。未來(lái)將增強(qiáng)模型對(duì)復(fù)雜多模態(tài)Prompt的理解能力現(xiàn)有的自然場(chǎng)景多模態(tài)大模型的Promt指令數(shù)據(jù)集主要包含少量的人工標(biāo)注圖像-文本數(shù)據(jù)以及借助GPT-4V或Gemini-Pro等多模態(tài)大模型來(lái)合成的大量圖像-文本數(shù)據(jù)通過(guò)大量自然場(chǎng)景的多模態(tài)指令數(shù)據(jù)集進(jìn)行指令微調(diào)能夠

實(shí)現(xiàn)較強(qiáng)的多模態(tài)Prompt理解能力夠獲取到少量人工標(biāo)注的圖像-文本數(shù)據(jù)，但是現(xiàn)有的G-4V或Gemini-Pro等閉源領(lǐng)先的多模態(tài)大模型尚不具備望將結(jié)合工業(yè)多模態(tài)大模型能力進(jìn)行Prompt生成并針對(duì)性的進(jìn)行技術(shù)改進(jìn)，進(jìn)而提升對(duì)復(fù)雜多模態(tài)Pomt的理解能力?；A(chǔ)模型+小樣本數(shù)據(jù)適配成為模型落地的新范式在生產(chǎn)制造由于生產(chǎn)工藝的不同引進(jìn)設(shè)備及視覺(jué)方案不文件及描述規(guī)范不同等因AI在實(shí)際落地中普遍表現(xiàn)“需求個(gè)性化針對(duì)某個(gè)細(xì)分場(chǎng)專(zhuān)用小模型優(yōu)化需要收集較多的數(shù)據(jù)并需定制化開(kāi)發(fā)業(yè)務(wù)邏收集數(shù)據(jù)周期較通常需要持續(xù)8周及以某些場(chǎng)景甚至難以收集數(shù)，導(dǎo)致指標(biāo)提升慢交付效率低難以匹配生產(chǎn)節(jié)奏的要求大模型在雖然有較強(qiáng)的理解能但由于缺少具體的場(chǎng)景數(shù)，導(dǎo)致其無(wú)法充分捕捉到某個(gè)細(xì)分場(chǎng)景的專(zhuān)屬特比如專(zhuān)屬名詞專(zhuān)屬描述專(zhuān)屬物體及形這種專(zhuān)業(yè)知識(shí)的匱乏使得大模型在應(yīng)對(duì)工業(yè)流程優(yōu)化機(jī)器視覺(jué)缺陷檢測(cè)設(shè)備故障等專(zhuān)業(yè)問(wèn)題時(shí)會(huì)有所缺難以提供精確可靠的解決方，無(wú)法滿(mǎn)足工業(yè)現(xiàn)場(chǎng)的個(gè)性化要求大模型真正融入行業(yè)應(yīng)需要進(jìn)一步適來(lái)解決大模型“不懂專(zhuān)屬場(chǎng)景的局限近年隨著PEF如IAAdaerSoft PomoR技術(shù)的發(fā)所需的專(zhuān)屬數(shù)據(jù)量能降低90%未來(lái)高效利用有限數(shù)據(jù)來(lái)適配細(xì)分場(chǎng)景的技術(shù)會(huì)進(jìn)一步得到發(fā)展同高效的多模態(tài)大模型和輕量化部署也將成為落地應(yīng)用中探索的重點(diǎn)。大模型+?的落地模大模型+工業(yè)設(shè)備的協(xié)同性和智能化并驅(qū)動(dòng)實(shí)現(xiàn)具身智能“大模型+工業(yè)軟件“大模型+工業(yè)知識(shí)圖譜帶來(lái)新的交互方式并提高知識(shí)問(wèn)答的準(zhǔn)確性類(lèi)社會(huì)向更高層次的智能化發(fā)展邁進(jìn)。趨勢(shì)游戲環(huán)境：大模型與游戲共振AIAgent游戲不僅能前沿研究團(tuán)隊(duì)都選取游戲作為AIAgent打造通用AIAgent。和游戲環(huán)境的加持下，AIAgent將有望實(shí)現(xiàn)決策和泛化能力的突破。趨勢(shì)628趨勢(shì)6趨勢(shì)6PAGE29AIAgentGoogleSIMAAI智能體的ChatGPTIAI DeepMind研究人員評(píng)估了SIMA按照指

游戲是GoogleSIMA(AI)AlphaGO和SIMA項(xiàng)目是DeepMind（AGI）

APIDeepMind創(chuàng)始人及CEO德米斯·（DemisHassabis）在采訪中表“基于游戲環(huán)境訓(xùn)練通用AIAgentGato使用了類(lèi)GPT的大語(yǔ)言模型架構(gòu)，其訓(xùn)練材料包括圖像、文本、機(jī)械臂關(guān)節(jié)數(shù)據(jù)以及其他多模態(tài)數(shù)據(jù)集(multimodaldataset）（AtariGames），并可操控真實(shí)的機(jī)器人手臂堆疊積木。微軟在

任務(wù)，不僅能夠完成簡(jiǎn)單的程序化任務(wù)(programmatictasks)，還可以根據(jù)簡(jiǎn)單描述完成創(chuàng)造任務(wù)（creativeDImnm的下一個(gè)前沿將是塑造一個(gè)可以在虛擬世界和現(xiàn)實(shí)世界里基礎(chǔ)模型訊也牽頭構(gòu)建起AI多智能體與復(fù)雜決策開(kāi)放研究平I伴隨著以ableDiffusioansormer等生成式AI技AI技術(shù)也開(kāi)始反向助力游戲以及更廣泛的文化行NPC步降低交互內(nèi)容的制作門(mén)檻。2024Unity使用AI71%游戲工作室表示其研發(fā)和運(yùn)營(yíng)效能得到了提升在游戲成式AI已被廣泛應(yīng)用于文本生成2D美術(shù)創(chuàng)AI工具介入游使用ableDiffusion等生成式AI將時(shí)間縮短至1天。成式AI也有著成式AI工具的介入

Unal和Unity等也紛紛布局生成式AIAI能力聚合到游戲制作的工具平臺(tái)中。英偉達(dá)于2023年6月發(fā)布了面向游戲開(kāi)發(fā)者的AI工具平臺(tái)NVIDIACEorGame話和動(dòng)畫(huà)等AI模型GDC2024NVIDIA和InworldCovertPoo塑造的游戲NPC能夠與玩家進(jìn)行實(shí)時(shí)交互引擎公司Unity和Unreal相繼發(fā)布基于生成式AI的新Unity于2023年7月發(fā)布兩款基于人工智能技術(shù)的新產(chǎn)Sentis和MusUnreal則在自身引擎中集成了大量AIGCahumanco盡管當(dāng)下的人工智能研究距離實(shí)現(xiàn)AGI還有相當(dāng)長(zhǎng)的路要走，但大語(yǔ)言模型與基于游戲環(huán)境的AIAgent訓(xùn)練，無(wú)疑為實(shí)現(xiàn)AGI開(kāi)辟了新的可能性。AIAgent或?qū)⒕邆鋵?duì)更AI系統(tǒng)。在未來(lái)人工智能技術(shù)的創(chuàng)新發(fā)展過(guò)程中，應(yīng)進(jìn)一步重視游戲產(chǎn)業(yè)的科技價(jià)值，明確游戲作為人工智能技術(shù)“實(shí)驗(yàn)場(chǎng)”趨勢(shì)AIAIagent趨勢(shì)732趨勢(shì)7趨勢(shì)7PAGE33是跟AI芯GP/TP是GooglSalingLa的多模態(tài)小參數(shù)模型轉(zhuǎn)變，比如最新的微軟加載GP-4，Phi-3vision等等；來(lái)自于端側(cè)的硬件瓶頸目前大模型想落地端存在比較明確智門(mén)檻以Llama3 8B的FP16版本模型為例作為目前未過(guò)分量化穩(wěn)定可用的版本其模型大小為16就目前市面上的終端能力來(lái)僅旗艦PC可用除GPU芯片之端側(cè)的普及還需要解決一系列硬件生態(tài)的問(wèn)，包括電池顯存帶寬顯存容量等等硬件的迭代周期一般以年為單相比大模型發(fā)展來(lái)說(shuō)可以說(shuō)是龜速其中電池技術(shù)還存在明顯的能力上更是十年為單位的研發(fā)周最終或?qū)⑿枰^續(xù)優(yōu)化芯片效率與能耗的方式來(lái)實(shí)現(xiàn)曲線救國(guó)來(lái)滿(mǎn)足需求。未來(lái)AIAgent隨著當(dāng)前云計(jì)算的果iCloudgoogledriveAIinfra

當(dāng)前有四類(lèi)主要的終端PCAR與VR設(shè)備大量的PINPIn和RabbitR1以API調(diào)用AR與VR、PAgent/T各大基礎(chǔ)模型廠商有效的進(jìn)行價(jià)值兌現(xiàn)重要入口的這一趨SaaS將全面推進(jìn)AI化距離真正的AIPC的出1-3年類(lèi)SaaS“含AI量管是滿(mǎn)足既有需求的AI+perplexity.ai；還是創(chuàng)造新需求的AIAPP將面臨AI原生OS接調(diào)用APIGUI圖形用戶(hù)界面將變身對(duì)話式ConverstionalU幕GUI圖形用戶(hù)界面是可以由OS直接拉起服務(wù)最開(kāi)始PC的DOS命令行，到Windows到iOSVisonPo的

著G-4o的發(fā)布音+多模態(tài)視融合身體的各，待攻克的還。—APP本身也需要做出顛覆式的改需要通過(guò)一個(gè)個(gè)的APAPI的方式“去皮化的過(guò)瀏覽器/網(wǎng)AP到APAPIAPIOS直連AP

來(lái)APP入口時(shí)長(zhǎng)價(jià)值決于APP本身的聚合的流量或?qū)⑦M(jìn)一步下沉到OS層面。APP入口需要摒棄原來(lái)中間商與時(shí)長(zhǎng)價(jià)值。趨勢(shì)趨勢(shì)835趨勢(shì)8趨勢(shì)8PAGE36人形機(jī)器人的發(fā)展歷程運(yùn)動(dòng)控制和任務(wù)訓(xùn)練技術(shù)的突破已經(jīng)開(kāi)始重塑全球的工業(yè)服務(wù)和社交交互領(lǐng)域這些技術(shù)的提升不僅增強(qiáng)了機(jī)器人的功能也使它們能夠更自然更高效地與人類(lèi)互動(dòng)人形機(jī)器以其類(lèi)人形態(tài)和全身自由度而被設(shè)旨在無(wú)需對(duì)人類(lèi)環(huán)境進(jìn)行特別適配即可在其中自然地移動(dòng)和操作隨著技術(shù)的進(jìn)尤其是90年代算能力和傳感器技術(shù)的提人形機(jī)器人的行為能力得到顯著增代表作如Honda的ASIMO在平滑行走和上下樓梯等方面取得了突破進(jìn)入2000年代更高級(jí)的認(rèn)知功能和更精細(xì)的動(dòng)作控制使得人形機(jī)器人開(kāi)始廣泛應(yīng)用于服務(wù)業(yè)娛樂(lè)和研究領(lǐng)域最近幾深度學(xué)習(xí)和大模型技術(shù)的應(yīng)用使得人形機(jī)器人如Boon Dynamics的tlas和esla的Optimus展示了前所未有的靈活性和適應(yīng)能預(yù)示著人形機(jī)器人技術(shù)在未來(lái)社會(huì)中的廣泛應(yīng)用和深遠(yuǎn)影響。電機(jī)技術(shù)革新助力人形機(jī)器人實(shí)現(xiàn)高效精確的運(yùn)動(dòng)控斯拉的Optimus和BostonDynamics的Atlas代表了運(yùn)動(dòng)控制技術(shù)的最新進(jìn)展

在電動(dòng)汽車(chē)領(lǐng)域積累的電機(jī)控制技術(shù)轉(zhuǎn)化應(yīng)用到機(jī)器人技Optimus在行走長(zhǎng)時(shí)間的工作需求。BoonDynamics的tlas最初依靠液壓技術(shù)得tlas在執(zhí)行高強(qiáng)度BoonDynamics開(kāi)始將tlas的動(dòng)力系統(tǒng)從液壓轉(zhuǎn)向更一轉(zhuǎn)變顯著提高了Atlas的動(dòng)部署奠定了基礎(chǔ)。優(yōu)化的運(yùn)動(dòng)控制不?處理復(fù)雜認(rèn)知和決策任務(wù)的AI系統(tǒng)的整合著運(yùn)動(dòng)控制技術(shù)的持續(xù)進(jìn)步和AI技術(shù)發(fā)展將繼續(xù)推動(dòng)生產(chǎn)力的變革和社會(huì)生活的改進(jìn)。任務(wù)訓(xùn)練成為了人形機(jī)器人領(lǐng)域技術(shù)進(jìn)步的另一個(gè)關(guān)OpenAFigue以及Nvidia等公司的創(chuàng)新嘗試展示了如何通過(guò)大模型技術(shù)來(lái)提高機(jī)器人的學(xué)習(xí)效

系統(tǒng)架構(gòu)的選擇是決定人形機(jī)器人與大模型結(jié)合的開(kāi)

選擇分層架構(gòu)還是端到端架構(gòu)，取決于特定的應(yīng)用需形機(jī)器人解決方案。已經(jīng)證明了其在處理復(fù)雜數(shù)據(jù)和學(xué)習(xí)復(fù)雜模式上的強(qiáng)大能界共同努力解決。

反映了各國(guó)對(duì)未來(lái)社會(huì)形態(tài)?泛應(yīng)用奠定了基礎(chǔ)。趨勢(shì)基于對(duì)國(guó)內(nèi)外1002-3年內(nèi)，AI開(kāi)源生態(tài)將迎來(lái)趨勢(shì)939趨勢(shì)9趨勢(shì)9PAGE40AI可用好用

我們收集了2017年以來(lái)國(guó)內(nèi)外100多個(gè)開(kāi)源大模型2023年1月到2024年6別是在20242024年5月國(guó)內(nèi)發(fā)布了6個(gè)開(kāi)源大模2014年6月開(kāi)源的Nemotron-4340B參數(shù)規(guī)模token激活的參數(shù)量為210

AI開(kāi)源大模型推動(dòng)社區(qū)驅(qū)動(dòng)的開(kāi)放創(chuàng)新，其全球協(xié)作特內(nèi)有超過(guò)50家機(jī)構(gòu)貢獻(xiàn)了開(kāi)源VIVO100大模型開(kāi)源也將鼓勵(lì)不同學(xué)科背景的機(jī)構(gòu)和人才站到同一高效迭代和進(jìn)化。AI

用開(kāi)源模型以較低的成本快速部署AI2024年5月開(kāi)源的HunyuanDiT的DiT架構(gòu)文生圖開(kāi)源模型比如智源研究院于2024年5月開(kāi)源了具身智能大模型ASGras成功率突破95%AI保AI系統(tǒng)的決策過(guò)程不僅符合技術(shù)標(biāo)準(zhǔn)AI助學(xué)生和新入門(mén)者理解復(fù)雜的AI概念和技術(shù)培養(yǎng)下一代AI專(zhuān)家和解決復(fù)雜的安全問(wèn)題至關(guān)重要。趨勢(shì)A智能的未來(lái)AIAI（AGI）AI系趨勢(shì)1042趨勢(shì)10趨勢(shì)10PAGE432023AIAI安全的新興AI模斷推動(dòng)AIAG來(lái)的AI大?！扒把谹I是否可能導(dǎo)致災(zāi)難性風(fēng)險(xiǎn)或極端風(fēng)險(xiǎn)的問(wèn)題也得到了更多的關(guān)注。沿AI技術(shù)主要會(huì)在AI和機(jī)器人決策讓渡會(huì)帶來(lái)新的風(fēng)險(xiǎn)