《混合AI是AI的未來》第一部分 終端側(cè)AI和混合AI開啟AI的未來

20235

年月

AIAI

混合是的

未來

第一部分：

AIAI

終端側(cè)和混合

AI

1

開啟生成式的未來

1

摘要

AIAIAI1

混合是的未來。隨著生成式正以前所未有的速度發(fā)展以及計算需

2AIAI

求的日益增長，處理必須分布在云端和終端進行，才能實現(xiàn)的規(guī)?；?/p>

——

擴展并發(fā)揮其最大潛能正如傳統(tǒng)計算從大型主機和瘦客戶端演變?yōu)楫?dāng)前

AI

云端和邊緣終端相結(jié)合的模式。與僅在云端進行處理不同，混合架構(gòu)在

AI

云端和邊緣終端之間分配并協(xié)調(diào)工作負載。云端和邊緣終端如智能手機、

汽車、個人電腦和物聯(lián)網(wǎng)終端協(xié)同工作，能夠?qū)崿F(xiàn)更強大、更高效且高度優(yōu)

AI

化的。

AIquery

節(jié)省成本是主要推動因素。舉例來說，據(jù)估計，每一次基于生成式的網(wǎng)絡(luò)搜索查詢（），

103AIAIAI

其成本是傳統(tǒng)搜索的倍，而這只是眾多生成式的應(yīng)用之一?；旌蠈⒅С稚墒介_發(fā)

AIAI

者和提供商利用邊緣終端的計算能力降低成本?；旌霞軜?gòu)或終端側(cè)能夠在全球范圍帶來高

性能、個性化、隱私和安全等優(yōu)勢。

AI

混合架構(gòu)可以根據(jù)模型和查詢需求的復(fù)雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處

prompt

理負載。例如，如果模型大小、提示（）和生成長度小于某個限定值，并且能夠提供可接

受的精確度，推理即可完全在終端側(cè)進行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終端運行。

AI

混合還能支持模型在終端側(cè)和云端同時運行，也就是在終端側(cè)運行輕量版模型時，在云端并行

token

處理完整模型的多個標(biāo)記（），并在需要時更正終端側(cè)的處理結(jié)果。

AIAI

隨著強大的生成式模型不斷縮小，以及終端側(cè)處理能力的持續(xù)提升，混合的潛力將會進一

10AI

步增長。參數(shù)超過億的模型已經(jīng)能夠在手機上運行，且性能和精確度水平達到與云端相似

100

的水平。不久的將來，擁有億或更高參數(shù)的模型將能夠在終端上運行。

AIAIXR

混合方式適用于幾乎所有生成式應(yīng)用和終端領(lǐng)域，包括手機、筆記本電腦、頭顯、汽車

AI

和物聯(lián)網(wǎng)。這一方式對推動生成式規(guī)模化擴展，滿足全球企業(yè)與消費者需求至關(guān)重要。

1/chart/29174/time-to-one-million-users/

2/2023/02/05/generative-ai-drives-explosion-compute-looming-need-

sustainable-ai/

3/technology/tech-giants-ai-like-bing-bard-poses-billion-dollar-search-

problem-2023-02-22/

3

2AI

生成式簡介和當(dāng)前趨勢

ChatGPT202211

激發(fā)了人們的想象力和好奇心。自年月推出后，短短兩個月內(nèi)其月活用戶便達

1AI

到億，成為有史以來增長速度最快的消費類應(yīng)用和第一個殺手級的生成式應(yīng)用。隨著創(chuàng)新節(jié)

AI

奏的加快，想要緊跟生成式的發(fā)展速度，難度越來越大。大型聚合網(wǎng)站的數(shù)據(jù)顯示，目前已有

3,000AI4AI

超過個可用的生成式應(yīng)用和特性。正迎來大爆發(fā)時期，就像此前電視、互聯(lián)網(wǎng)和智

能手機的問世，而這僅僅是一個開始。

ChatGPTStableDiffusionAI

和等生成式模型能夠基于簡單的提示創(chuàng)作出全新的原創(chuàng)內(nèi)容，如

文本、圖像、視頻、音頻或其他數(shù)據(jù)。這類模型正在顛覆傳統(tǒng)的搜索、內(nèi)容創(chuàng)作和推薦系統(tǒng)的方

法——通過從普通產(chǎn)業(yè)到創(chuàng)意產(chǎn)業(yè)的跨行業(yè)用例，在實用性、生產(chǎn)力和娛樂性方面帶來顯著增強。

建筑師和藝術(shù)家可以探索新思路，工程師可以更高效地編寫程序。幾乎所有與文字、圖像、視頻

和自動化相關(guān)的工作領(lǐng)域都將受益。

AIMicrosoft365Copilot

網(wǎng)絡(luò)搜索是生成式正在變革的諸多應(yīng)用之一。另一個例子則是，作為一

AI

項全新的生產(chǎn)力特性，它能夠利用生成式幫助編寫和總結(jié)文檔、分析數(shù)據(jù)，或?qū)⒑唵蔚臅嫦?/p>

WordExcelPowerPointOutlookTeams

法轉(zhuǎn)化為演示文稿，嵌入于、、、和等微軟應(yīng)用中。

AI

生成式的出現(xiàn)也標(biāo)志著用戶開始向探索更加多樣化、個性化的數(shù)字世界邁出了第一步。由于

3DAI3D

設(shè)計師可以借助生成式工具更加快速高效地進行內(nèi)容開發(fā)，內(nèi)容創(chuàng)作有望得到普及。

這不僅將加速沉浸式虛擬體驗的創(chuàng)建，而且能夠降低個人創(chuàng)作者自主內(nèi)容制作的門檻。

AI

我們即將看到從生成式中涌現(xiàn)出各種各樣的全新企業(yè)級和消費級用例，帶來超越想象的功能。

GPT-4LaMDALLM

和等通用大語言模型（）作為基礎(chǔ)模型，所具備的語言理解、生成能力和知

1API

識范疇已達到了前所未有的水平。這些模型大多數(shù)都非常龐大，參數(shù)超過千億，并通過向

客戶提供免費或付費服務(wù)。

3D

基礎(chǔ)模型的使用推動大量初創(chuàng)公司和大型組織利用文本、圖像、視頻、、語言和音頻創(chuàng)建應(yīng)用。

GitHubCopilotJasper

例如，代碼生成（）、文本生成（）、面向藝術(shù)家和設(shè)計師的圖像生成

MidjourneyCharacter.ai

（），以及對話式聊天機器人（）。

420234AI/

截至年月，生成式應(yīng)用和特性：

4

1AI

圖：生成式生態(tài)鏈使應(yīng)用數(shù)量激增

AI15

據(jù)初步估計顯示，生成式市場規(guī)模將達到萬億美元，廣泛覆蓋生態(tài)鏈的各個參與方。為把

AIAI

握這一巨大機遇，并推動成為主流，計算架構(gòu)需要不斷演進并滿足大規(guī)模生成式日益增長

的處理和性能需求。

3AIAI

混合對生成式規(guī)?；瘮U展至關(guān)重要

AIAI

擁有數(shù)十億參數(shù)的眾多生成式模型對計算基礎(chǔ)設(shè)施提出了極高的需求。因此，無論是為模

AIAI

型優(yōu)化參數(shù)的訓(xùn)練，還是執(zhí)行該模型的推理，至今都一直受限于大型復(fù)雜模型而在云端部

署。

AIAIAI

推理的規(guī)模遠高于訓(xùn)練。盡管訓(xùn)練單個模型會消耗大量資源，但大型生成式模型預(yù)計每

年僅需訓(xùn)練幾次。然而，這些模型的推理成本將隨著日活用戶數(shù)量及其使用頻率的增加而增加。

在云端進行推理的成本極高，這將導(dǎo)致規(guī)?；瘮U展難以持續(xù)。

AIPC

混合能夠解決上述問題，正如傳統(tǒng)計算從大型主機和瘦客戶端演變?yōu)楫?dāng)前云端和、智能手

機等邊緣終端相結(jié)合的模式。

520232

瑞銀，年月

5

3.1AI

什么是混合？

AIAI

混合指終端和云端協(xié)同工作，在適當(dāng)?shù)膱鼍昂蜁r間下分配計算的工作負載，以提供更好的

體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務(wù)。

AI

而在以云為中心的場景下，終端將根據(jù)自身能力，在可能的情況下從云端分擔(dān)一些工作負載。

3.2AI

混合的優(yōu)勢

AIAI

混合架構(gòu)（或僅在終端側(cè)運行），能夠在全球范圍帶來成本、能耗、性能、隱私、安全和

個性化優(yōu)勢。

3.2.1

成本

AI

隨著生成式模型使用量和復(fù)雜性的不斷增長，僅在云端進行推理并不劃算。因為數(shù)據(jù)中心基礎(chǔ)

設(shè)施成本，包括硬件、場地、能耗、運營、額外帶寬和網(wǎng)絡(luò)傳輸?shù)某杀緦⒊掷m(xù)增加。

例如，當(dāng)前面向大語言模型推理的云計算架構(gòu)，將導(dǎo)致無論規(guī)模大小的搜索引擎企業(yè)負擔(dān)更高運

AIGPT

營成本。試想一下，未來通過生成式大語言模型增強的互聯(lián)網(wǎng)搜索，比如，其運行參數(shù)

1750AI

遠超億。生成式搜索可以提供更加出色的用戶體驗和搜索結(jié)果，但每一次搜索查詢

query10100

（）其成本是傳統(tǒng)搜索方法的倍。目前每天有超過億次的搜索查詢產(chǎn)生，即便基于

6

大語言模型的搜索僅占其中一小部分，每年增量成本也可能達到數(shù)十億美元。

AI

將一些處理從云端轉(zhuǎn)移到邊緣終端，可以減輕云基礎(chǔ)設(shè)施的壓力并減少開支。這使混合對生成

AIAIAI

式的持續(xù)規(guī)模化擴展變得至關(guān)重要。混合能夠利用現(xiàn)已部署的、具備能力的數(shù)十億邊緣

終端，以及未來還將具備更高處理能力的數(shù)十億終端。

AIOEMISV

節(jié)省成本也是生成式生態(tài)系統(tǒng)發(fā)展的重要一環(huán)，可以支持廠商、獨立軟件開發(fā)商（）

Stable

和應(yīng)用開發(fā)者更經(jīng)濟實惠地探索和打造應(yīng)用。例如，開發(fā)者可以基于完全在終端上運行的

Diffusion

創(chuàng)建應(yīng)用程序，對于生成的每個圖像承擔(dān)更低的查詢成本，或完全沒有成本。

3.2.2

能耗

AI

支持高效處理的邊緣終端能夠提供領(lǐng)先的能效，尤其是與云端相比。邊緣終端能夠以很低的能

AI

耗運行生成式模型，尤其是將處理和數(shù)據(jù)傳輸相結(jié)合時。這一能耗成本差異非常明顯，同時能

幫助云服務(wù)提供商降低數(shù)據(jù)中心的能耗，實現(xiàn)環(huán)境和可持續(xù)發(fā)展目標(biāo)。

6HowLargearetheIncrementalAICosts...and4FactorstoWatchNext20232

摩根士丹利，《》，年月

6

3.2.3

可靠性、性能和時延

AIAI

在混合架構(gòu)中，終端側(cè)處理十分可靠，能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時，提供媲美云端

7AI

甚至更佳的性能。當(dāng)生成式查詢對于云的需求達到高峰期時，會產(chǎn)生大量排隊等待和高時延，

8AI

甚至可能出現(xiàn)拒絕服務(wù)的情況。向邊緣終端轉(zhuǎn)移計算負載可防止這一現(xiàn)象發(fā)生。此外，混合

架構(gòu)中終端側(cè)處理的可用性優(yōu)勢，讓用戶無論身處何地，甚至在無連接的情況下，依然能夠正常

AI

運行生成式應(yīng)用。

3.2.4

隱私和安全

AI

終端側(cè)從本質(zhì)上有助于保護用戶隱私，因為查詢和個人信息完全保留在終端上。對于企業(yè)和工

AI

作場所等場景中使用的生成式，這有助于解決保護公司保密信息的難題。例如，用于代碼生成

的編程助手應(yīng)用可以在終端上運行，不向云端暴露保密信息，從而消除如今眾多企業(yè)面臨的顧慮

9AIAI

。對于消費者使用而言，混合架構(gòu)中的“隱私模式”讓用戶能夠充分利用終端側(cè)向聊天機

器人輸入敏感提示，比如健康問題或創(chuàng)業(yè)想法。此外，終端側(cè)安全能力已經(jīng)十分強大，并且將不

斷演進，確保個人數(shù)據(jù)和模型參數(shù)在邊緣終端上的安全。

3.2.5

個性化

AI

混合讓更加個性化的體驗成為可能。數(shù)字助手將能夠在不犧牲隱私的情況下，根據(jù)用戶的表情、

喜好和個性進行定制。所形成的用戶畫像能夠從實際行為、價值觀、痛點、需求、顧慮和問題等

方面來體現(xiàn)一個用戶，并且可以隨著時間推移進行學(xué)習(xí)和演進。它可以用于增強和打造定制化的

AI

生成式提示，然后在終端側(cè)或云端進行處理。用戶畫像保留在終端內(nèi)，因此可以通過終端側(cè)學(xué)

習(xí)不斷優(yōu)化和更新。

個性化不僅僅適用于消費者，企業(yè)或機構(gòu)可以借助它標(biāo)準化代碼的編寫方式，或者制作具有特殊

語氣和聲音的公共內(nèi)容。

7/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-

diffusion-on-android

8/computing/chatgpt-is-at-capacity-and-is-frustrating-new-people-

everywhere/

9/news/samsung-software-engineers-busted-for-pasting-proprietary-code-

into-chatgpt

7

3.3AI

工作負載的分布式處理機制

AI

我們期望打造能夠支持不同工作負載分流方式的混合架構(gòu)，可以根據(jù)模型和查詢復(fù)雜度進行分

布式處理，并能持續(xù)演進。例如，如果模型大小、提示和生成長度小于某個限定值，并且能夠提

供可接受的精確度，推理即可完全在終端側(cè)進行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終

端運行；如果需要更多最新信息，那么也可以連接至互聯(lián)網(wǎng)獲取。

3.3.1AI

以終端為中心的混合

AI

在以終端為中心的混合架構(gòu)中，終端將充當(dāng)錨點，云端僅用于分流處理終端無法充分執(zhí)行的任

AI2

務(wù)。許多生成式模型可以在終端上充分運行（參閱圖），也就是說終端可通過運行不太復(fù)雜

的推理完成大部分處理工作。

Microsoft365CopilotChat

例如，用戶在筆記本電腦上運行或必應(yīng)時，包含高達數(shù)百億參數(shù)的

模型將在終端上運行，而更復(fù)雜的模型將根據(jù)需求在云端進行處理。對用戶來說，這種體驗是無

arbiter

縫的，因為終端側(cè)神經(jīng)網(wǎng)絡(luò)或基于規(guī)則而運行的判決器（）將決定是否需要使用云端，無

論是為了有機會使用更好的模型還是檢索互聯(lián)網(wǎng)信息。如果用戶對請求處理結(jié)果的質(zhì)量不滿意，

AI

那么再次嘗試發(fā)起請求時可能就會引入一個更好的模型。由于終端側(cè)處理能力隨著終端升級和

芯片迭代不斷提升，它可以分流更多云端的負載。

2AIAI

圖：在以終端為中心的混合架構(gòu)中，云端僅用于分流處理終端無法充分運行的任務(wù)。

8

AI

對于各種生成式應(yīng)用，比如創(chuàng)作圖像或起草郵件，快速響應(yīng)式的推理更受青睞，即使它在準確

AI

度上會稍有損失。終端側(cè)的快速反饋（即低時延）可以讓用戶使用改進的提示來快速迭代推理

過程，直至獲得滿意的輸出結(jié)果。

3.3.2AI

基于終端感知的混合

AI

在基于終端感知的混合場景中，在邊緣側(cè)運行的模型將充當(dāng)云端大語言模型（類似大腦）的傳

Whisper

感器輸入端（類似眼睛和耳朵）。例如，當(dāng)用戶對智能手機說話時，等自動語音識別

ASRAI

（）的模型將在終端側(cè)運行，將語音轉(zhuǎn)為文字，然后將其作為請求提示發(fā)送到云端。云端

TTS

將運行大語言模型，再將生成的文本回復(fù)發(fā)回終端。之后，終端將運行文本生成語音（）模

型，提供自然免提回答。將自動語音識別和文本生成語音模型工作負載轉(zhuǎn)移至終端側(cè)能夠節(jié)省計

算和連接帶寬。隨著大語言模型變?yōu)槎嗄B(tài)并支持圖像輸入，計算機視覺處理也可以在終端上運

行，以進一步分流計算任務(wù)并減少連接帶寬，從而節(jié)省成本。

AI

在更先進的版本中，隱私將得到進一步保護，終端側(cè)能夠承擔(dān)更多處理，并向云端提供經(jīng)過改

進且更加個性化的提示。借助終端側(cè)學(xué)習(xí)和終端上的個人數(shù)據(jù)，比如社交媒體、電子郵件、消息、

orchestrator

日歷和位置等，終端將創(chuàng)建用戶的個人畫像，與編排器（）程序協(xié)作，基于更多情境

信息提供更完善的提示。例如，如果用戶讓手機來安排與好友會面的時間并在喜愛的餐廳預(yù)訂座

位，編排器程序了解上述個性化信息并能夠向云端大語言模型提供更佳提示。編排器程序可在大

AI

語言模型缺乏信息時設(shè)置護欄并幫助防止產(chǎn)生“幻覺”。對于較簡單的請求，較小的大語言模

AI

型可在終端側(cè)運行，而無需與云端交互，這類似于以終端為中心的混合。

3AI

圖：對于基于終端感知的混合，自動語音識別、計算機視覺和文本轉(zhuǎn)語音在終端側(cè)進行。在更先進的版本中，終

端側(cè)編排器程序能夠向云端提供經(jīng)過改進且更加個性化的提示。

9

3.3.3AI

終端與云端協(xié)同處理的混合

AIAItoken

終端和云端的計算也可以協(xié)同工作來處理負載，生成大語言模型的多個就是一個例

DRAM

子。大語言模型的運行都是內(nèi)存受限的，這意味著計算硬件在等待來自的內(nèi)存數(shù)據(jù)時經(jīng)常

token

處于閑置狀態(tài)。大語言模型每次推理生成一個，也就是基本等同于一個單詞，這意味著

GPT-31750

等模型必須讀取全部億參數(shù)才能生成一個單詞，然后再次運行整個模型來生成下一

token

個，完整的推理過程可以以此類推。鑒于內(nèi)存讀取是造成推理性能的瓶頸因素，更高效的

tokenDRAM

做法就是同時運行多個大語言模型以生成多個，并且從一次性讀取全部參數(shù)。每生

token

成一個就要讀取全部參數(shù)會產(chǎn)生能耗和造成發(fā)熱，因此使用閑置的算力通過共享參數(shù)來推

測性并行運行大語言模型，可謂是在性能和能耗上實現(xiàn)雙贏。

token710

為了生成四個，一個近似的大語言模型（比原始目標(biāo)大語言模型小至倍，因此準確性

token

更低）要在終端上按順序連續(xù)運行四次才可以。終端向云端發(fā)送這四個，云端高效運行四

token

次目標(biāo)模型來檢查其準確度，而僅讀取一次完整的模型參數(shù)。在云端是被并行計算的，每

tokentoken

個目標(biāo)模型都有零個、一個、兩個、三個或四個預(yù)測作為輸入。這些在被云端確認

或校正之前被認為是“近似的”。上述推測性解碼過程將持續(xù)到完整的答案出現(xiàn)時為止。我們的

10tokentoken

早期實驗和其他已發(fā)布結(jié)果顯示，通過四個的推測性解碼，平均兩到三個是正確

token

可被接受的，這會帶來單位時間內(nèi)生成數(shù)的增加，并節(jié)省能耗。

4AItoken

圖：協(xié)同處理混合的四個推測性解碼示例。

10Leviathan,Yaniv,MatanKalmanYossiMatiasFastInferencefromTransformersviaSpeculative

和。《

DecodingarXivpreprintarXiv:2211.17192(2022)

》。

10

4AIAI

終端側(cè)的演進與生成式的需求密切相關(guān)

AIAIAI

終端側(cè)能力是賦能混合并讓生成式實現(xiàn)全球規(guī)模化擴展的關(guān)鍵。如何在云端和邊緣終端

之間分配處理任務(wù)將取決于終端能力、隱私和安全需求、性能需求以及商業(yè)模式等諸多因素（參

3.3

閱第章節(jié)）。

AIAIAI

在生成式出現(xiàn)之前，處理便持續(xù)向邊緣轉(zhuǎn)移，越來越多的推理工作負載在手機、筆記本

XRAI

電腦、頭顯、汽車和其他邊緣終端上運行。例如，手機利用終端側(cè)支持許多日常功能，比

如暗光拍攝、降噪和人臉解鎖。

5AI

圖：處理的重心正在向邊緣轉(zhuǎn)移。

4.1AI

終端側(cè)處理能夠支持多樣化的生成式模型

AIPC11

如今，具備功能的手機、和其他品類的便攜終端數(shù)量已達到數(shù)十億臺，利用大規(guī)模終端

AIAI

側(cè)處理支持生成式有著廣闊前景，并且將在未來幾年穩(wěn)步增長。

AI

關(guān)鍵問題在于，哪些生成式模型能夠以合適的性能和準確度在終端側(cè)運行。好消息是，性能十

AI6

分強大的生成式模型正在變小，同時終端側(cè)處理能力正在持續(xù)提升。圖展示了可以在終端

AI1010012Stable

側(cè)運行的豐富的生成式功能，這些功能的模型參數(shù)在億至億之間。如

Diffusion10

等參數(shù)超過億的模型已經(jīng)能夠在手機上運行，且性能和精確度達到與云端處理類似

100AI

的水平。不久的將來，擁有億或更多參數(shù)的生成式模型將能夠在終端上運行。

11/products/mobile/snapdragon/smartphones/mobile-ai

12INT4

假設(shè)使用型的參數(shù)

11

6AI

圖：數(shù)量可觀的生成式模型可從云端分流到終端上運行。

5AI

跨終端品類的生成式關(guān)鍵用例

AI

基于基礎(chǔ)模型的生成式迅速興起，正在驅(qū)動新一輪內(nèi)容生成、搜索和生產(chǎn)力相關(guān)用例的發(fā)展，

PCXRAI

覆蓋包括智能手機、筆記本電腦和、汽車、以及物聯(lián)網(wǎng)等終端品類?；旌霞軜?gòu)將賦能

AI

生成式在上述這些終端領(lǐng)域提供全新的增強用戶體驗。

5.1

智能手機：搜索和數(shù)字助手

10060%13AI

面對每日超過億次的搜索量且移動端搜索占比超過的情況，生成式的應(yīng)用將推動所

AI

需算力的實質(zhì)性增長，尤其是來自智能手機端的搜索請求。由于基于生成式的查詢能夠提供更

令人滿意的答案，用戶的搜索方式已經(jīng)開始發(fā)生轉(zhuǎn)變。

對話式搜索的普及也將增加總體查詢量。隨著對話功能不斷改進，變得更加強大，智能手機將成

為真正的數(shù)字助手。精準的終端側(cè)用戶畫像與能夠理解文字、語音、圖像、視頻和任何其他輸入

模態(tài)的大語言模型相結(jié)合，讓用戶可以自然地溝通，獲取準確、貼切的回答。進行自然語言處理、

圖像理解、視頻理解、文本生成文本等任務(wù)的模型將面臨高需求。

13/statistics/297137/mobile-share-of-us-organic-search-engine-visits/

12

5.2PC

筆記本電腦和：生產(chǎn)力

AI

生成式基于簡單提示就能快速生成優(yōu)質(zhì)內(nèi)容，它也正在憑借這項能力變革生產(chǎn)力。以筆記本電

PCMicrosoftOffice3654MicrosoftOffice365

腦和上的為例，全球有超過億商業(yè)付費席位和

AI14

個人訂閱者，如果將生成式集成至用戶日常工作流將帶來重大影響。此前需要數(shù)小時或數(shù)天

Microsoft365Copilot

的任務(wù)，現(xiàn)在僅需幾分鐘就能完成。同時利用大語言模型的功能和

MicrosoftGraphMicrosoft36515

與應(yīng)用中的用戶數(shù)據(jù)，能夠?qū)⑻崾巨D(zhuǎn)化為強大的生產(chǎn)力工具。

OfficeOutlookWord

工作者可通過后臺運行大語言模型，在中閱讀或撰寫電子郵件，在中編寫

PowerPointExcelTeams

文檔，在中創(chuàng)建演示文稿，在中分析數(shù)據(jù)，或在會議中協(xié)作。生成式

AI

模型（比如自然語言處理、文本生成文本、圖像生成、視頻生成和編程）需要經(jīng)過海量處理，

AI

才能支持這些被重度使用的生產(chǎn)力任務(wù)。在以終端為中心的混合架構(gòu)中，大部分處理能夠在

PC

上進行。

5.3

汽車：數(shù)字助手和自動駕駛

AI

得益于車內(nèi)和車輛周圍環(huán)境相關(guān)數(shù)據(jù)所提供的信息，如今驅(qū)動的座艙能夠提供高度個性化的體

PC

驗。類似于智能手機和，車載數(shù)字助手將能夠讓駕乘人員通過免提的友好用戶界面保持無縫

互聯(lián)，同時為生態(tài)系統(tǒng)創(chuàng)造全新的創(chuàng)收機會。

數(shù)字助手可以訪問用戶個人數(shù)據(jù)，比如應(yīng)用、服務(wù)和支付信息；以及來自車輛的傳感器數(shù)據(jù)，包

C-V2XAPI

括攝像頭、雷達、激光雷達和蜂窩車聯(lián)網(wǎng)（）等。企業(yè)也支持第三方服務(wù)提供商集成

他們的解決方案，將客戶關(guān)系延伸到車上。例如，主動式駕駛輔助將大幅改善導(dǎo)航體驗，比如會

影響駕駛員常用出行路線的交通和天氣信息更新，汽車充電或購買停車券提醒，此外，用戶可以

通過簡單地請求即可用已綁定的信用卡預(yù)訂自己喜歡的美食。如果汽車能夠識別每位駕乘人員并

AR

提供定制化的音樂和播客等體驗和內(nèi)容，座艙的媒體娛樂體驗也將會變革。隨著車載應(yīng)用變

得更加普遍，數(shù)字助手可以按照駕乘人員的偏好提供定制化的顯示。

汽車維修保養(yǎng)和服務(wù)也將變得更加自主和無縫。通過分析傳感器輸入、維修保養(yǎng)歷史和駕駛行為

AI

等數(shù)據(jù)，數(shù)字助手可以預(yù)測何時需要進行保養(yǎng)。利用生成式，數(shù)字助手可針對汽車如何維修提

供信息，或為用戶提供咨詢，找到合適的服務(wù)提供商，提高車輛可靠性，同時減少時間和成本。

14

微軟財報

15/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-

work/

13

ADAS/AD

感知軟件棧從未遇到過的罕見或陌生物體，經(jīng)常會對高級駕駛輔助系統(tǒng)和自動駕駛（）

解決方案產(chǎn)生干擾。這種情況通常由光線不佳或惡劣天氣條件造成，會導(dǎo)致駕駛策略軟件棧產(chǎn)生

難以預(yù)測、有時甚至很危險的結(jié)果。為了在未來預(yù)防類似情況，必須妥善采集和標(biāo)記這些極端場

AI

景的數(shù)據(jù)并重新訓(xùn)練模型。這個循環(huán)可能耗時費力，而生成式可以模擬極端場景，預(yù)測不同道

路行為主體的軌跡和行為，比如車輛、行人、自行車騎行者和摩托車騎行者。規(guī)劃者可以利用這

些場景確定車輛駕駛策略。

7AI/ADAS/AD

圖：生成式可用于先進駕駛輔助系統(tǒng)自動駕駛（），

通過預(yù)測不同行為主體的軌跡和行為，幫助改進駕駛策略。

AI

駕駛策略軟件棧以及感知軟件棧始終在汽車的算力可支持的情況下本地運行。嚴苛的時延要求

AIADAS/AD

決定了云端無法針對這些工作負載在決策過程中發(fā)揮任何作用。隨著解決方案采用

AIAI

支持適當(dāng)后處理的生成式模型，汽車必然需要具備顯著高能效的計算能力。

5.4XR3D

：內(nèi)容創(chuàng)作和沉浸式體驗

AIXR3DAI

生成式能為帶來巨大前景。它有潛力普及內(nèi)容創(chuàng)作，并真正實現(xiàn)虛擬化身。下一代

3D

渲染工具將賦能內(nèi)容創(chuàng)作者使用如文本、語音、圖像或視頻等各種類型的提示，生成物體和

場景，并最終創(chuàng)造出完整的虛擬世界。此外，內(nèi)容創(chuàng)作者將能夠利用文本生成文本的大語言模型，

14

XR

為能夠發(fā)出聲音并表達情緒的虛擬化身生成類人對話。總而言之，這些進步將變革用戶在設(shè)

備上創(chuàng)造和體驗沉浸式內(nèi)容的方式。

8AIXRAI

圖：生成式模型將面向賦能對話式和全新渲染工具。

AIXR

生成式為提供的前景無疑令人興奮，但很難預(yù)測這些技術(shù)何時才能被廣泛采用。不過，根

據(jù)近幾個月快速的創(chuàng)新步伐，可以肯定地說，我們可以期待在未來幾年內(nèi)取得重要進展。

StableDiffusion3D

對于沉浸式世界，等文本生成圖像類的模型很快將賦能內(nèi)容創(chuàng)作者在物體上

XRXR

生成逼真的紋理。我們預(yù)計，一年內(nèi)這些功能將在智能手機上實現(xiàn)，并延伸到終端。中的

部署需要“分布式處理”，即頭顯運行感知和渲染軟件棧，與之配對的智能手機或云端運行生成

AI3D3D

式模型。未來幾年，首批文本生成和圖像生成類的模型將可能實現(xiàn)邊緣側(cè)部署，生成

3D3D

高質(zhì)量的物體點云。幾年后，這些模型將通過提升，達到能夠從零開始生成高質(zhì)量紋理

3D

物體的水平。在大約十年內(nèi)，模型將更進一步，支持由文本或圖像生成的高保真完整空間和

3D3D3D

場景。未來，文本生成和視頻生成類的模型最終或能讓用戶踏入從零開始生成的虛擬

3D

世界，例如自動構(gòu)建滿足用戶任何想象的虛擬環(huán)境。

15

9AI3D“

圖：生成式將有助于基于簡單提示創(chuàng)造沉浸式虛擬世界的過程，比如超現(xiàn)實世界、水母四處游動、美麗的瀑

”

布、神秘的湖泊、巍峨的高山

130LLaMA

虛擬化身將遵循類似的發(fā)展過程。文本生成文本的模型，比如有億參數(shù)的，將運行在

邊緣終端，為虛擬化身生成自然直觀的對話。此外，文本生成圖像的模型將為這些虛擬化身生成

3D/