2023混合AI是AI的未來白皮書（第一部分）-高通

2023年5月 3 43混合AI對生成式AI規(guī)?；瘮U展至關(guān)重要 5 6 6 6 6 7 7 73.3AI工作負載的分布式處理機制 8 8 9 3 擴展并發(fā)揮其最大潛能——正如傳統(tǒng)計算從大型主機和瘦客戶端演變?yōu)楫斍霸贫撕瓦吘壗K端相結(jié)合的模式。與僅在云端進行處理不同，混合AI架構(gòu)在云端和邊緣終端之間分配并協(xié)調(diào)AI工作負載。云端和邊緣終端如智能手機、汽車、個人電腦和物聯(lián)網(wǎng)終端協(xié)同工作，能夠?qū)崿F(xiàn)更強大、更高效且高度優(yōu)節(jié)省成本是主要推動因素。舉例來說，據(jù)估計，每一次基于生成式AI的網(wǎng)絡(luò)搜索查詢（qu 混合AI架構(gòu)可以根據(jù)模型和查詢需求的理負載。例如，如果模型大小、提示（prompt）和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進行。如果是更復雜的任務(wù)，模型則可以跨云端和終端運行?；旌螦I還能支持模型在終端側(cè)和云端同時運行，處理完整模型的多個標記（token），并在需要時更正終端側(cè)的處理結(jié)果。1/chart/29174/time-to-one-million-users/2/2023/02/05/generative-ai-drives-explosion-compute-looming-need-sustainable-ai/3/technology/tech-giants-ai-like-bing-bard-poses-billion-dollar-search-problem-2023-02-22/42生成式AI簡介和當前趨勢超過3,000個可用的生成式AI應(yīng)用和特性4。AI正迎來大ChatGPT和StableDiffusion等生成式AI模型能夠基于簡單的提示創(chuàng)作出全新的原創(chuàng)內(nèi)容，如文本、圖像、視頻、音頻或其他數(shù)據(jù)。這類模型正在顛覆傳統(tǒng)的搜索、內(nèi)容創(chuàng)作和推薦系統(tǒng)的方法——通過從普通產(chǎn)業(yè)到創(chuàng)意產(chǎn)業(yè)的跨行業(yè)用例，在實用性、生產(chǎn)力和娛樂性方面帶來顯著增強。建筑師和藝術(shù)家可以探索新思路，工程師可以更高效地編寫程序。幾乎所有與文字、圖像、視頻網(wǎng)絡(luò)搜索是生成式AI正在變革的諸多應(yīng)用之一。另一個例子則是Microsoft365Copilo法轉(zhuǎn)化為演示文稿，嵌入于Word、Excel、PowerPoint、Outlook和Teams等微軟應(yīng)用中。生成式AI的出現(xiàn)也標志著用戶開始向探索更加多樣化、個性化的數(shù)字世界邁出了第一步。由于這不僅將加速沉浸式虛擬體驗的創(chuàng)建，而且能夠降低個人創(chuàng)作者自主內(nèi)基礎(chǔ)模型的使用推動大量初創(chuàng)公司和大型組織利用文本、圖像、視頻、3D、語言和音頻創(chuàng)建應(yīng)用。例如，代碼生成（GitHubCopilot）、文本生成（Jasper）、面向藝術(shù)家和設(shè)計師的圖像生成（Midjourney以及對話式聊天機器人（Character.ai）。4截至2023年4月，生成式AI應(yīng)用和特性：/5圖1：生成式AI生態(tài)鏈使應(yīng)用數(shù)量激增3混合AI對生成式AI規(guī)?；瘮U展至關(guān)重要年僅需訓練幾次。然而，這些模型的推理成本將隨著日活用戶數(shù)量及其使5瑞銀，2023年2月6體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務(wù)。3.2混合AI的優(yōu)勢混合AI架構(gòu)（或僅在終端側(cè)運行AI能夠在全球范例如，當前面向大語言模型推理的云計算架構(gòu)，將導致無論規(guī)模大小的搜索引擎企業(yè)負擔更高運遠超1750億。生成式AI搜索可以提供更加出色的用戶體驗和搜索結(jié)果，但每一次搜索查詢大語言模型的搜索僅占其中一小部分，每年增量成本也可能達到數(shù)十億美元。6將一些處理從云端轉(zhuǎn)移到邊緣終端，可以減和應(yīng)用開發(fā)者更經(jīng)濟實惠地探索和打造應(yīng)用。例如，開發(fā)者可以基于完全在終端上運行的StableDiffusion創(chuàng)建應(yīng)用程序，對于生成的每個圖像承擔更低的查詢成支持高效AI處理的邊緣終端能夠提供領(lǐng)先的耗運行生成式AI模型，尤其是將處理和數(shù)據(jù)傳輸相6摩根士丹利，《HowLargearetheIncrementalAICosts...and4FactorstoWatchNext》，2023年2月7甚至可能出現(xiàn)拒絕服務(wù)的情況8。向邊緣終端轉(zhuǎn)移計算負載可防止這一現(xiàn)象發(fā)生。此外，混合AI 架構(gòu)中終端側(cè)處理的可用性優(yōu)勢，讓用戶無論身處何地，甚至在無連接的情況下，依然能夠正常終端側(cè)AI從本質(zhì)上有助于保護用戶隱私，因為查作場所等場景中使用的生成式AI，這有助于解決保護公司保的編程助手應(yīng)用可以在終端上運行，不向云端暴露保密信息，從而消除如今眾多企業(yè)面臨的顧慮器人輸入敏感提示，比如健康問題或創(chuàng)業(yè)想法。此外，終端側(cè)安全能力已經(jīng)十分強大，并且將不喜好和個性進行定制。所形成的用戶畫像能夠從實際行為、價值觀、痛點、需求、顧慮和問題等方面來體現(xiàn)一個用戶，并且可以隨著時間推移進行學習和演進。它可以用于增強和打造定制化的生成式AI提示，然后在終端側(cè)或云端進行處理。個性化不僅僅適用于消費者，企業(yè)或機構(gòu)可以借助它標準化代碼的編寫方式，或者制作具有特殊7/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android8/computing/chatgpt-is-at-capacity-and-is-frustrating-new-people-everywhere/9/news/samsung-software-engineers-busted-for-pasting-proprietary-code-into-chatgpt83.3AI工作負載的分布式處理機制我們期望打造能夠支持不同工作負載分流方布式處理，并能持續(xù)演進。例如，如果模型大小、提示和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進行。如果是更復雜的任務(wù)，模型則可以跨云端和終在以終端為中心的混合AI架構(gòu)中，終端將務(wù)。許多生成式AI模型可以在終端上充分運行（參閱圖2），也就是說終端可通例如，用戶在筆記本電腦上運行Microsoft365Copilot或必應(yīng)Chat時，包含高達數(shù)百億參數(shù)的模型將在終端上運行，而更復雜的模型將根據(jù)需求在云端進行處理。對用戶來說，這種體驗是無縫的，因為終端側(cè)神經(jīng)網(wǎng)絡(luò)或基于規(guī)則而運行的判決器（arbiter）將決定是否需要使用云端，無論是為了有機會使用更好的模型還是檢索互聯(lián)網(wǎng)信息。如果用戶對請求處理結(jié)果的質(zhì)量不滿意，那么再次嘗試發(fā)起請求時可能就會引入一個更好的圖2：在以終端為中心的混合AI架構(gòu)中，云端僅用于分流處理終端無法充分運行的AI任務(wù)。9對于各種生成式AI應(yīng)用，比如創(chuàng)作圖像或起草感器輸入端（類似眼睛和耳朵）。例如，當用戶對智能手機說話時，Whisper等自動語音識別將運行大語言模型，再將生成的文本回復發(fā)回終端。之后，終端將運行文本生成語音（TTS）模型，提供自然免提回答。將自動語音識別和文本生成語音模型工作負載轉(zhuǎn)移至終端側(cè)能夠節(jié)省計算和連接帶寬。隨著大語言模型變?yōu)槎嗄B(tài)并支持圖像輸入，計算機視覺處理也可以在終端上運行，以進一步分流計算任務(wù)并減少連接帶寬，從進且更加個性化的提示。借助終端側(cè)學習和終端上的個人數(shù)據(jù)，比如社交媒體、電子郵件、消息、日歷和位置等，終端將創(chuàng)建用戶的個人畫像，與編排器（orchestrator）程序協(xié)作，基于更多情境信息提供更完善的提示。例如，如果用戶讓手機來安排與好友會面的時間并在喜愛的餐廳預訂座位，編排器程序了解上述個性化信息并能夠向云端大語言模型提供更佳提示。編排器程序可在大語言模型缺乏信息時設(shè)置護欄并幫助防止產(chǎn)生“AI幻覺”。對于較簡單的請求，較小的大語言模圖3：對于基于終端感知的混合AI，自動語音識別、計算機視覺和文本轉(zhuǎn)語音在終端側(cè)進行。在更先進的版本中，終端側(cè)編排器程序能夠向云端提供經(jīng)過改進且更加個性化的提示。終端和云端的AI計算也可以協(xié)同工作來處理AI負載，生成大語言模型的多個toke處于閑置狀態(tài)。大語言模型每次推理生成一個token，也就是基本等同于一個單詞，這意味著個token，完整的推理過程可以以此類推。鑒于內(nèi)存讀取是造成推理性能的瓶頸因素，更高效的做法就是同時運行多個大語言模型以生成多個token，并且從D成一個token就要讀取全部參數(shù)會產(chǎn)生能耗和造成發(fā)熱，因此使用閑置的算力通過共享參數(shù)來推測性并行運行大語言模型，可謂是在性能和能耗上更低）要在終端上按順序連續(xù)運行四次才可以。終端向云端發(fā)送這四個token，云端高效運行四次目標模型來檢查其準確度，而僅讀取一次完整的模型參數(shù)。在個目標模型都有零個、一個、兩個、三個或四個預測token作為輸入。這些token在被云端確認或校正之前被認為是“近似的”。上述推測性解碼過程將持續(xù)到完整的答案出現(xiàn)時為止。我們的早期實驗和其他已發(fā)布結(jié)果10顯示，通過四個token的推測性解碼，平均兩到三個tok可被接受的，這會帶來單位時間內(nèi)生成token數(shù)的增加，并節(jié)省能耗。圖4：協(xié)同處理混合AI的四個token推測性解碼示例。10Leviathan,Yaniv,MatanKalman和YossiMatias?！禙astInferencefromTransformersviaSpeculative4終端側(cè)AI的演進與生成式AI的需求密切相關(guān)之間分配處理任務(wù)將取決于終端能力、隱私和安全需求、性能需求以及商業(yè)模式等諸多因素（參圖5：AI處理的重心正在向邊緣轉(zhuǎn)移。4.1終端側(cè)處理能夠支持多樣化的生成式AI模型關(guān)鍵問題在于，哪些生成式AI模型能夠分強大的生成式AI模型正在變小，同時終端側(cè)處理側(cè)運行的豐富的生成式AI功能，這些功能的模型參數(shù)在10億至100億之間12。如StableDiffusion等參數(shù)超過10億的模型已經(jīng)11/products/mobile/snapdragon/smartphones/mobile-ai12假設(shè)使用INT4型的參數(shù)圖6：數(shù)量可觀的生成式AI模型可從云端分流到終端上運行。5跨終端品類的生成式AI關(guān)鍵用例5.1智能手機：搜索和數(shù)字助手對話式搜索的普及也將增加總體查詢量。隨著對話功能不斷改進，變得更加強大，智能手機將成為真正的數(shù)字助手。精準的終端側(cè)用戶畫像與能夠理解文字、語音、圖像、視頻和任何其他輸入模態(tài)的大語言模型相結(jié)合，讓用戶可以自然地溝通，獲取準確、貼切的回答。進行自然語言處理、13/statistics/297137/mobile-share-of-us-organic-search-engine-visits/5.2筆記本電腦和PC：生產(chǎn)力腦和PC上的MicrosoftOffice365為例，全球有超過4億MicrosoftOffice365商業(yè)付費席位和個人訂閱者，如果將生成式AI集成至用戶日常工作流將帶來重的任務(wù)，現(xiàn)在僅需幾分鐘就能完成。Microsoft365Copilot同時利用大語言模型的功能和MicrosoftGraph與Microsoft365應(yīng)用中的用戶數(shù)據(jù)，能夠?qū)⑻崾巨D(zhuǎn)化為強大的生產(chǎn)力工具15。Office工作者可通過后臺運行大語言模型，在Outlook中閱讀或撰寫電子郵件，在WordAI模型（比如自然語言處理、文本生成文本、圖像生成、視頻生成和編程）需要經(jīng)過海量處理，才能支持這些被重度使用的生產(chǎn)力任務(wù)。在以終端為中心的混合AI架構(gòu)中，大部分處理能夠在5.3汽車：數(shù)字助手和自動駕駛得益于車內(nèi)和車輛周圍環(huán)境相關(guān)數(shù)據(jù)所提供的信息，如今AI驗。類似于智能手機和PC，車載數(shù)字助手將能夠讓駕乘人員通過免提的友好用戶界面保持無縫數(shù)字助手可以訪問用戶個人數(shù)據(jù)，比如應(yīng)用、服括攝像頭、雷達、激光雷達和蜂窩車聯(lián)網(wǎng)（影響駕駛員常用出行路線的交通和天氣信息更新，汽車充電或購買停車券提醒，此通過簡單地請求即可用已綁定的信用卡預訂自己喜歡的美食。如果汽車能夠識別每提供定制化的音樂和播客等體驗和內(nèi)容，座艙汽車維修保養(yǎng)和服務(wù)也將變得更加自主和無縫。通過分析傳感器輸入、維修保養(yǎng)歷史和駕駛行為等數(shù)據(jù)，數(shù)字助手可以預測何時需要進行保養(yǎng)。利用生成式AI，數(shù)字助手可針對汽車如何維修提14微軟財報15/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/感知軟件棧從未遇到過的罕見或陌生物體，經(jīng)常會對高級駕駛輔助系統(tǒng)和自動駕駛（ADAS/AD）解決方案產(chǎn)生干擾。這種情況通常由光線不佳或惡劣天氣條件造成，會導致駕駛策略軟件棧產(chǎn)生難以預測、有時甚至很危險的結(jié)果。為了在未來預防類似情況，必須妥善采集和標記這些極端場路行為主體的軌跡和行為，比如車輛、行人、自行車騎行者和摩托車騎行者。規(guī)劃者可以利用這圖7：生成式AI可用于先進駕駛輔助系統(tǒng)/自動駕駛（ADAS/AD），通過預測不同行為主體的軌跡和行為，幫助改進駕駛策略。駕駛策略軟件棧以及感知軟件棧始終在汽車的AI決定了云端無法針對這些AI工作負載在決策過程中發(fā)揮任何作用。隨著ADAS/AD解決方案采用5.4XR：3D內(nèi)容創(chuàng)作和沉浸式體驗渲染工具將賦能內(nèi)容創(chuàng)作者使用如文本、語音、圖像或視頻等各種類型的提示，生成3D物體和場景，并最終創(chuàng)造出完整的虛擬世界。此外，內(nèi)容創(chuàng)作者將能夠利用文本生成文本的大語言模型，為能夠發(fā)出聲音并表達情緒的虛擬化身生成類人對話?？偠灾?，這些進步將變革用戶在XR設(shè)圖8：生成式AI模型將面向XR賦能對話式AI和全新渲染工具。對于沉浸式世界，StableDiffusion等文本生成圖像類的模型很快將賦能內(nèi)容創(chuàng)作者在3D物體上部署需要“分布式處理”，即頭顯運行感知和渲染軟件棧，與之配對的智能手機或云端運行生成式AI模型。未來幾年，首批文本生成3D和圖像生成高質(zhì)量的3D物體點云。幾年后，這些模型將通過提升，達到能夠從零物體的水平。在大約十年內(nèi)，模型將更進一步，支持由文本或圖像生成的高保真完整3D空間和場景。未來，文本生成3D和視頻生成3D類的模型最終或能讓用戶踏入從零開始生成的圖9：生成式AI將有助于基于簡單提示創(chuàng)造沉浸式3D虛擬世界的過程，比如“超現(xiàn)實世界、水母四處游動、美麗的瀑布、神秘的湖泊、巍峨的高山”邊緣終端，為虛擬化身生成自然直觀的對話。此外，文本生成圖