2023混合AI是AI的未來白皮書（第一部分）-高通

2023年5月 3 43混合AI對生成式AI規(guī)?；瘮U(kuò)展至關(guān)重要 5 6 6 6 6 7 7 73.3AI工作負(fù)載的分布式處理機(jī)制 8 8 9 3 擴(kuò)展并發(fā)揮其最大潛能——正如傳統(tǒng)計(jì)算從大型主機(jī)和瘦客戶端演變?yōu)楫?dāng)前云端和邊緣終端相結(jié)合的模式。與僅在云端進(jìn)行處理不同，混合AI架構(gòu)在云端和邊緣終端之間分配并協(xié)調(diào)AI工作負(fù)載。云端和邊緣終端如智能手機(jī)、汽車、個(gè)人電腦和物聯(lián)網(wǎng)終端協(xié)同工作，能夠?qū)崿F(xiàn)更強(qiáng)大、更高效且高度優(yōu)節(jié)省成本是主要推動(dòng)因素。舉例來說，據(jù)估計(jì)，每一次基于生成式AI的網(wǎng)絡(luò)搜索查詢（qu 混合AI架構(gòu)可以根據(jù)模型和查詢需求的理負(fù)載。例如，如果模型大小、提示（prompt）和生成長度小于某個(gè)限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進(jìn)行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終端運(yùn)行?；旌螦I還能支持模型在終端側(cè)和云端同時(shí)運(yùn)行，處理完整模型的多個(gè)標(biāo)記（token），并在需要時(shí)更正終端側(cè)的處理結(jié)果。1/chart/29174/time-to-one-million-users/2/2023/02/05/generative-ai-drives-explosion-compute-looming-need-sustainable-ai/3/technology/tech-giants-ai-like-bing-bard-poses-billion-dollar-search-problem-2023-02-22/42生成式AI簡介和當(dāng)前趨勢超過3,000個(gè)可用的生成式AI應(yīng)用和特性4。AI正迎來大ChatGPT和StableDiffusion等生成式AI模型能夠基于簡單的提示創(chuàng)作出全新的原創(chuàng)內(nèi)容，如文本、圖像、視頻、音頻或其他數(shù)據(jù)。這類模型正在顛覆傳統(tǒng)的搜索、內(nèi)容創(chuàng)作和推薦系統(tǒng)的方法——通過從普通產(chǎn)業(yè)到創(chuàng)意產(chǎn)業(yè)的跨行業(yè)用例，在實(shí)用性、生產(chǎn)力和娛樂性方面帶來顯著增強(qiáng)。建筑師和藝術(shù)家可以探索新思路，工程師可以更高效地編寫程序。幾乎所有與文字、圖像、視頻網(wǎng)絡(luò)搜索是生成式AI正在變革的諸多應(yīng)用之一。另一個(gè)例子則是Microsoft365Copilo法轉(zhuǎn)化為演示文稿，嵌入于Word、Excel、PowerPoint、Outlook和Teams等微軟應(yīng)用中。生成式AI的出現(xiàn)也標(biāo)志著用戶開始向探索更加多樣化、個(gè)性化的數(shù)字世界邁出了第一步。由于這不僅將加速沉浸式虛擬體驗(yàn)的創(chuàng)建，而且能夠降低個(gè)人創(chuàng)作者自主內(nèi)基礎(chǔ)模型的使用推動(dòng)大量初創(chuàng)公司和大型組織利用文本、圖像、視頻、3D、語言和音頻創(chuàng)建應(yīng)用。例如，代碼生成（GitHubCopilot）、文本生成（Jasper）、面向藝術(shù)家和設(shè)計(jì)師的圖像生成（Midjourney以及對話式聊天機(jī)器人（Character.ai）。4截至2023年4月，生成式AI應(yīng)用和特性：/5圖1：生成式AI生態(tài)鏈?zhǔn)箲?yīng)用數(shù)量激增3混合AI對生成式AI規(guī)?；瘮U(kuò)展至關(guān)重要年僅需訓(xùn)練幾次。然而，這些模型的推理成本將隨著日活用戶數(shù)量及其使5瑞銀，2023年2月6體驗(yàn)，并高效利用資源。在一些場景下，計(jì)算將主要以終端為中心，在必要時(shí)向云端分流任務(wù)。3.2混合AI的優(yōu)勢混合AI架構(gòu)（或僅在終端側(cè)運(yùn)行AI能夠在全球范例如，當(dāng)前面向大語言模型推理的云計(jì)算架構(gòu)，將導(dǎo)致無論規(guī)模大小的搜索引擎企業(yè)負(fù)擔(dān)更高運(yùn)遠(yuǎn)超1750億。生成式AI搜索可以提供更加出色的用戶體驗(yàn)和搜索結(jié)果，但每一次搜索查詢大語言模型的搜索僅占其中一小部分，每年增量成本也可能達(dá)到數(shù)十億美元。6將一些處理從云端轉(zhuǎn)移到邊緣終端，可以減和應(yīng)用開發(fā)者更經(jīng)濟(jì)實(shí)惠地探索和打造應(yīng)用。例如，開發(fā)者可以基于完全在終端上運(yùn)行的StableDiffusion創(chuàng)建應(yīng)用程序，對于生成的每個(gè)圖像承擔(dān)更低的查詢成支持高效AI處理的邊緣終端能夠提供領(lǐng)先的耗運(yùn)行生成式AI模型，尤其是將處理和數(shù)據(jù)傳輸相6摩根士丹利，《HowLargearetheIncrementalAICosts...and4FactorstoWatchNext》，2023年2月7甚至可能出現(xiàn)拒絕服務(wù)的情況8。向邊緣終端轉(zhuǎn)移計(jì)算負(fù)載可防止這一現(xiàn)象發(fā)生。此外，混合AI 架構(gòu)中終端側(cè)處理的可用性優(yōu)勢，讓用戶無論身處何地，甚至在無連接的情況下，依然能夠正常終端側(cè)AI從本質(zhì)上有助于保護(hù)用戶隱私，因?yàn)椴樽鲌鏊葓鼍爸惺褂玫纳墒紸I，這有助于解決保護(hù)公司保的編程助手應(yīng)用可以在終端上運(yùn)行，不向云端暴露保密信息，從而消除如今眾多企業(yè)面臨的顧慮器人輸入敏感提示，比如健康問題或創(chuàng)業(yè)想法。此外，終端側(cè)安全能力已經(jīng)十分強(qiáng)大，并且將不喜好和個(gè)性進(jìn)行定制。所形成的用戶畫像能夠從實(shí)際行為、價(jià)值觀、痛點(diǎn)、需求、顧慮和問題等方面來體現(xiàn)一個(gè)用戶，并且可以隨著時(shí)間推移進(jìn)行學(xué)習(xí)和演進(jìn)。它可以用于增強(qiáng)和打造定制化的生成式AI提示，然后在終端側(cè)或云端進(jìn)行處理。個(gè)性化不僅僅適用于消費(fèi)者，企業(yè)或機(jī)構(gòu)可以借助它標(biāo)準(zhǔn)化代碼的編寫方式，或者制作具有特殊7/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android8/computing/chatgpt-is-at-capacity-and-is-frustrating-new-people-everywhere/9/news/samsung-software-engineers-busted-for-pasting-proprietary-code-into-chatgpt83.3AI工作負(fù)載的分布式處理機(jī)制我們期望打造能夠支持不同工作負(fù)載分流方布式處理，并能持續(xù)演進(jìn)。例如，如果模型大小、提示和生成長度小于某個(gè)限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進(jìn)行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終在以終端為中心的混合AI架構(gòu)中，終端將務(wù)。許多生成式AI模型可以在終端上充分運(yùn)行（參閱圖2），也就是說終端可通例如，用戶在筆記本電腦上運(yùn)行Microsoft365Copilot或必應(yīng)Chat時(shí)，包含高達(dá)數(shù)百億參數(shù)的模型將在終端上運(yùn)行，而更復(fù)雜的模型將根據(jù)需求在云端進(jìn)行處理。對用戶來說，這種體驗(yàn)是無縫的，因?yàn)榻K端側(cè)神經(jīng)網(wǎng)絡(luò)或基于規(guī)則而運(yùn)行的判決器（arbiter）將決定是否需要使用云端，無論是為了有機(jī)會(huì)使用更好的模型還是檢索互聯(lián)網(wǎng)信息。如果用戶對請求處理結(jié)果的質(zhì)量不滿意，那么再次嘗試發(fā)起請求時(shí)可能就會(huì)引入一個(gè)更好的圖2：在以終端為中心的混合AI架構(gòu)中，云端僅用于分流處理終端無法充分運(yùn)行的AI任務(wù)。9對于各種生成式AI應(yīng)用，比如創(chuàng)作圖像或起草感器輸入端（類似眼睛和耳朵）。例如，當(dāng)用戶對智能手機(jī)說話時(shí)，Whisper等自動(dòng)語音識別將運(yùn)行大語言模型，再將生成的文本回復(fù)發(fā)回終端。之后，終端將運(yùn)行文本生成語音（TTS）模型，提供自然免提回答。將自動(dòng)語音識別和文本生成語音模型工作負(fù)載轉(zhuǎn)移至終端側(cè)能夠節(jié)省計(jì)算和連接帶寬。隨著大語言模型變?yōu)槎嗄B(tài)并支持圖像輸入，計(jì)算機(jī)視覺處理也可以在終端上運(yùn)行，以進(jìn)一步分流計(jì)算任務(wù)并減少連接帶寬，從進(jìn)且更加個(gè)性化的提示。借助終端側(cè)學(xué)習(xí)和終端上的個(gè)人數(shù)據(jù)，比如社交媒體、電子郵件、消息、日歷和位置等，終端將創(chuàng)建用戶的個(gè)人畫像，與編排器（orchestrator）程序協(xié)作，基于更多情境信息提供更完善的提示。例如，如果用戶讓手機(jī)來安排與好友會(huì)面的時(shí)間并在喜愛的餐廳預(yù)訂座位，編排器程序了解上述個(gè)性化信息并能夠向云端大語言模型提供更佳提示。編排器程序可在大語言模型缺乏信息時(shí)設(shè)置護(hù)欄并幫助防止產(chǎn)生“AI幻覺”。對于較簡單的請求，較小的大語言模圖3：對于基于終端感知的混合AI，自動(dòng)語音識別、計(jì)算機(jī)視覺和文本轉(zhuǎn)語音在終端側(cè)進(jìn)行。在更先進(jìn)的版本中，終端側(cè)編排器程序能夠向云端提供經(jīng)過改進(jìn)且更加個(gè)性化的提示。終端和云端的AI計(jì)算也可以協(xié)同工作來處理AI負(fù)載，生成大語言模型的多個(gè)toke處于閑置狀態(tài)。大語言模型每次推理生成一個(gè)token，也就是基本等同于一個(gè)單詞，這意味著個(gè)token，完整的推理過程可以以此類推。鑒于內(nèi)存讀取是造成推理性能的瓶頸因素，更高效的做法就是同時(shí)運(yùn)行多個(gè)大語言模型以生成多個(gè)token，并且從D成一個(gè)token就要讀取全部參數(shù)會(huì)產(chǎn)生能耗和造成發(fā)熱，因此使用閑置的算力通過共享參數(shù)來推測性并行運(yùn)行大語言模型，可謂是在性能和能耗上更低）要在終端上按順序連續(xù)運(yùn)行四次才可以。終端向云端發(fā)送這四個(gè)token，云端高效運(yùn)行四次目標(biāo)模型來檢查其準(zhǔn)確度，而僅讀取一次完整的模型參數(shù)。在個(gè)目標(biāo)模型都有零個(gè)、一個(gè)、兩個(gè)、三個(gè)或四個(gè)預(yù)測token作為輸入。這些token在被云端確認(rèn)或校正之前被認(rèn)為是“近似的”。上述推測性解碼過程將持續(xù)到完整的答案出現(xiàn)時(shí)為止。我們的早期實(shí)驗(yàn)和其他已發(fā)布結(jié)果10顯示，通過四個(gè)token的推測性解碼，平均兩到三個(gè)tok可被接受的，這會(huì)帶來單位時(shí)間內(nèi)生成token數(shù)的增加，并節(jié)省能耗。圖4：協(xié)同處理混合AI的四個(gè)token推測性解碼示例。10Leviathan,Yaniv,MatanKalman和YossiMatias。《FastInferencefromTransformersviaSpeculative4終端側(cè)AI的演進(jìn)與生成式AI的需求密切相關(guān)之間分配處理任務(wù)將取決于終端能力、隱私和安全需求、性能需求以及商業(yè)模式等諸多因素（參圖5：AI處理的重心正在向邊緣轉(zhuǎn)移。4.1終端側(cè)處理能夠支持多樣化的生成式AI模型關(guān)鍵問題在于，哪些生成式AI模型能夠分強(qiáng)大的生成式AI模型正在變小，同時(shí)終端側(cè)處理側(cè)運(yùn)行的豐富的生成式AI功能，這些功能的模型參數(shù)在10億至100億之間12。如StableDiffusion等參數(shù)超過10億的模型已經(jīng)11/products/mobile/snapdragon/smartphones/mobile-ai12假設(shè)使用INT4型的參數(shù)圖6：數(shù)量可觀的生成式AI模型可從云端分流到終端上運(yùn)行。5跨終端品類的生成式AI關(guān)鍵用例5.1智能手機(jī)：搜索和數(shù)字助手對話式搜索的普及也將增加總體查詢量。隨著對話功能不斷改進(jìn)，變得更加強(qiáng)大，智能手機(jī)將成為真正的數(shù)字助手。精準(zhǔn)的終端側(cè)用戶畫像與能夠理解文字、語音、圖像、視頻和任何其他輸入模態(tài)的大語言模型相結(jié)合，讓用戶可以自然地溝通，獲取準(zhǔn)確、貼切的回答。進(jìn)行自然語言處理、13/statistics/297137/mobile-share-of-us-organic-search-engine-visits/5.2筆記本電腦和PC：生產(chǎn)力腦和PC上的MicrosoftOffice365為例，全球有超過4億MicrosoftOffice365商業(yè)付費(fèi)席位和個(gè)人訂閱者，如果將生成式AI集成至用戶日常工作流將帶來重的任務(wù)，現(xiàn)在僅需幾分鐘就能完成。Microsoft365Copilot同時(shí)利用大語言模型的功能和MicrosoftGraph與Microsoft365應(yīng)用中的用戶數(shù)據(jù)，能夠?qū)⑻崾巨D(zhuǎn)化為強(qiáng)大的生產(chǎn)力工具15。Office工作者可通過后臺(tái)運(yùn)行大語言模型，在Outlook中閱讀或撰寫電子郵件，在WordAI模型（比如自然語言處理、文本生成文本、圖像生成、視頻生成和編程）需要經(jīng)過海量處理，才能支持這些被重度使用的生產(chǎn)力任務(wù)。在以終端為中心的混合AI架構(gòu)中，大部分處理能夠在5.3汽車：數(shù)字助手和自動(dòng)駕駛得益于車內(nèi)和車輛周圍環(huán)境相關(guān)數(shù)據(jù)所提供的信息，如今AI驗(yàn)。類似于智能手機(jī)和PC，車載數(shù)字助手將能夠讓駕乘人員通過免提的友好用戶界面保持無縫數(shù)字助手可以訪問用戶個(gè)人數(shù)據(jù)，比如應(yīng)用、服括攝像頭、雷達(dá)、激光雷達(dá)和蜂窩車聯(lián)網(wǎng)（影響駕駛員常用出行路線的交通和天氣信息更新，汽車充電或購買停車券提醒，此通過簡單地請求即可用已綁定的信用卡預(yù)訂自己喜歡的美食。如果汽車能夠識別每提供定制化的音樂和播客等體驗(yàn)和內(nèi)容，座艙汽車維修保養(yǎng)和服務(wù)也將變得更加自主和無縫。通過分析傳感器輸入、維修保養(yǎng)歷史和駕駛行為等數(shù)據(jù)，數(shù)字助手可以預(yù)測何時(shí)需要進(jìn)行保養(yǎng)。利用生成式AI，數(shù)字助手可針對汽車如何維修提14微軟財(cái)報(bào)15/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/感知軟件棧從未遇到過的罕見或陌生物體，經(jīng)常會(huì)對高級駕駛輔助系統(tǒng)和自動(dòng)駕駛（ADAS/AD）解決方案產(chǎn)生干擾。這種情況通常由光線不佳或惡劣天氣條件造成，會(huì)導(dǎo)致駕駛策略軟件棧產(chǎn)生難以預(yù)測、有時(shí)甚至很危險(xiǎn)的結(jié)果。為了在未來預(yù)防類似情況，必須妥善采集和標(biāo)記這些極端場路行為主體的軌跡和行為，比如車輛、行人、自行車騎行者和摩托車騎行者。規(guī)劃者可以利用這圖7：生成式AI可用于先進(jìn)駕駛輔助系統(tǒng)/自動(dòng)駕駛（ADAS/AD），通過預(yù)測不同行為主體的軌跡和行為，幫助改進(jìn)駕駛策略。駕駛策略軟件棧以及感知軟件棧始終在汽車的AI決定了云端無法針對這些AI工作負(fù)載在決策過程中發(fā)揮任何作用。隨著ADAS/AD解決方案采用5.4XR：3D內(nèi)容創(chuàng)作和沉浸式體驗(yàn)渲染工具將賦能內(nèi)容創(chuàng)作者使用如文本、語音、圖像或視頻等各種類型的提示，生成3D物體和場景，并最終創(chuàng)造出完整的虛擬世界。此外，內(nèi)容創(chuàng)作者將能夠利用文本生成文本的大語言模型，為能夠發(fā)出聲音并表達(dá)情緒的虛擬化身生成類人對話?？偠灾?，這些進(jìn)步將變革用戶在XR設(shè)圖8：生成式AI模型將面向XR賦能對話式AI和全新渲染工具。對于沉浸式世界，StableDiffusion等文本生成圖像類的模型很快將賦能內(nèi)容創(chuàng)作者在3D物體上部署需要“分布式處理”，即頭顯運(yùn)行感知和渲染軟件棧，與之配對的智能手機(jī)或云端運(yùn)行生成式AI模型。未來幾年，首批文本生成3D和圖像生成高質(zhì)量的3D物體點(diǎn)云。幾年后，這些模型將通過提升，達(dá)到能夠從零物體的水平。在大約十年內(nèi)，模型將更進(jìn)一步，支持由文本或圖像生成的高保真完整3D空間和場景。未來，文本生成3D和視頻生成3D類的模型最終或能讓用戶踏入從零開始生成的圖9：生成式AI將有助于基于簡單提示創(chuàng)造沉浸式3D虛擬世界的過程，比如“超現(xiàn)實(shí)世界、水母四處游動(dòng)、美麗的瀑布、神秘的湖泊、巍峨的高山”邊緣終端，為虛擬化身生成自然直觀的對話。此外，文本生成圖