2024年AI手機行業(yè)專題報告：AI手機走向AIOS-系統(tǒng)級AI定位端側(cè)智能助理

2024年AI手機行業(yè)專題報告：AI手機走向AIOS_系統(tǒng)級AI定位端側(cè)智能助理1.云端協(xié)同是AI手機未來，端側(cè)AI成本、隱私安全多方面占優(yōu)AI手機是基于大模型的高智能化手機終端。根據(jù)IDC定義，AI手機是NPU算力大于30TOPS（INT8）、搭載支持生成式AI的SoC并支持端側(cè)大模型的手機。《AI手機白皮書》認(rèn)為基于大模型的AI手機需具備強大的計算能力、復(fù)雜信息感知能力、自學(xué)習(xí)能力與創(chuàng)作能力。通過重構(gòu)手機現(xiàn)有服務(wù)生態(tài)與操作系統(tǒng)，賦予用戶全新AI體驗。云端大模型協(xié)同滿足AI手機不同場景需求。云側(cè)：（1）具備高算力，適宜進行模型訓(xùn)練?？芍С謪?shù)量千億以上的大模型，推理與多模態(tài)交互能力強；（2）知識儲備豐富，如GPT-4-Turbo外部文檔和數(shù)據(jù)庫截止日期更新至2023年4月；（3）泛化能力強，可作為AI應(yīng)用開發(fā)基座。端側(cè)：（1）成本低，避免數(shù)據(jù)中心高昂的運營、網(wǎng)絡(luò)傳輸、能耗成本；（2）隱私安全性高，用戶隱私信息存儲及處理均在終端進行；（3）低延時，僅為單一用戶服務(wù)，避免需求高峰時任務(wù)處理擁擠；（4）支持離線使用。基于云側(cè)及端側(cè)大模型特點，我們認(rèn)為云側(cè)大模型適用于復(fù)雜度高、專業(yè)性強、涉及多模態(tài)交互的任務(wù)處理，端側(cè)大模型適用于復(fù)雜度低、隱私敏感度高的任務(wù)以及離線任務(wù)處理。針對復(fù)雜度高且涉及用戶隱私的復(fù)合任務(wù)場景，可首先在端側(cè)進行信息脫敏，再上傳至云側(cè)進行處理；并且端側(cè)大模型可通過學(xué)習(xí)用戶個人信息，在復(fù)雜任務(wù)處理中給予云側(cè)大模型更佳提示，賦予用戶更佳服務(wù)體驗?；谠苽?cè)、端側(cè)大模型協(xié)同的AI手機可滿足用戶不同場景需求，更高效地利用資源并提供更佳服務(wù)體驗。端側(cè)模型推理成本是云側(cè)模型1/100以下。根據(jù)高通《混合AI是AI未來》，生成式AI單次搜索查詢成本是傳統(tǒng)搜索方法的10倍，目前每天搜索查詢次數(shù)超過100億次，每年增量成本可能達到數(shù)十億美元。并且由于大模型的推理成本與終端用戶數(shù)量正相關(guān)，云側(cè)大模型推理成本將伴隨日活用戶數(shù)量及使用頻率快速增長，規(guī)?；卣闺y以持續(xù)。根據(jù)面壁智能CEO李大海測算，以搭載驍龍855的OPPO手機為例，假定搭載參數(shù)量2B、每秒處理量7.5Tokens的MiniCPM端側(cè)模型，運行5年后報廢，推理成本約為600元，測算可得170萬Tokens推理成本僅1元，是Mistral的1/100，GPT-4的1/360。根據(jù)OpenAI，其在5月13日最新發(fā)布的GPT-4o可免費向用戶提供服務(wù)，但仍在用量方面進行限制。根據(jù)OpenAIDeveloperForum，免費用戶在3小時內(nèi)僅允許向ChatGPT發(fā)送40條以內(nèi)的消息。ChatGPT能耗達50萬千瓦時/天，終端部署大模型降低數(shù)據(jù)傳輸能耗。根據(jù)紐約客報道，ChatGPT每天需處理約2億個用戶請求，消耗超過50萬千瓦時電力，相當(dāng)于1.7萬個美國家庭平均一天的用電量。根據(jù)《混合AI是AI未來》，手機終端能夠以很低的能耗運行生成式AI模型，可有效避免數(shù)據(jù)傳輸至云服務(wù)器中導(dǎo)致的高能耗。端側(cè)AI保障用戶隱私安全，并可基于用戶信息提供個性化服務(wù)。生成式AI由于交互方式革新，不僅可收集用戶郵箱、手機號等可唯一標(biāo)識個人的信息，也會收集用戶語音聊天記錄，一旦泄露會嚴(yán)重影響用戶的個人隱私安全。2023年3月ChatGPT的API出現(xiàn)錯誤，導(dǎo)致Redis內(nèi)存中的數(shù)據(jù)并未及時清除，用戶的聊天記錄片段，甚至信用卡的最后四位數(shù)字、到期日期、姓名、電子郵件地址和付款地址等信息可能泄露至其他ChatGPT使用者。根據(jù)OpenAI官方調(diào)查報告，約有1.2%的ChatGPTPlus用戶面臨數(shù)據(jù)泄露。與云側(cè)AI相比，端側(cè)AI模型將用戶個人信息儲存在本地，無需上傳至云服務(wù)器中，并且手機終端可通過安全芯片或操作系統(tǒng)進一步保護用戶信息安全。同時端側(cè)AI可在不犧牲用戶隱私安全的前提下，利用儲存在終端的用戶信息以及用戶的表情、喜好和個性等進行學(xué)習(xí)和演進，增強和打造定制化的生成式AI提示，提供更個性化的服務(wù)體驗。高推理需求可導(dǎo)致云側(cè)模型宕機，端側(cè)模型可靠性好且延時低。生成式AI查詢對云側(cè)模型需求達到高峰時可能會出現(xiàn)高時延甚至拒絕服務(wù)。2023年11月ChatGPT更新導(dǎo)致用戶需求火爆，ChatGPT及其API出現(xiàn)周期性中斷，OpenAI耗時3個多小時解決問題，期間收到用戶6614份中斷報告；2024年3月20日Kimi受系統(tǒng)流量持續(xù)異常升高影響，用戶無法正常使用。終端側(cè)AI模型針對單一用戶提供服務(wù)，可有效避免短期需求大幅提升，可靠性更佳。并且端側(cè)AI在無網(wǎng)絡(luò)連接情況下仍可正常使用，用戶可隨時隨地享受AI服務(wù)體驗。2.AI手機仍處早期階段，AIOS賦予完整AI體驗2.1.初級AI手機形態(tài)：基礎(chǔ)AI應(yīng)用+AI增強功能目前AI手機主要是在原有操作系統(tǒng)上集成AI功能或AI應(yīng)用。集成AI功能：以原有操作系統(tǒng)為基礎(chǔ)，通過搭載端側(cè)大模型增加或增強AI功能，如增加AI助理智能摘要生成、實時翻譯功能等；集成AI應(yīng)用：通過OpenAI發(fā)布的GPTStore下載定制化、個性化的AIAPP，如ChatGPTAPP等，可通過自然語言交互實現(xiàn)旅行規(guī)劃、智能問答、圖像識別生成等功能?；谏墒紸I的美圖秀秀APP可支持AI繪畫、AI修圖、AI美容等功能?；谠胁僮飨到y(tǒng)的AI手機通過集成AI應(yīng)用或AI功能，能夠以自然語言與用戶進行交互并高效處理任務(wù)，但本質(zhì)仍是通過API接口調(diào)用生成式AI模型，未實現(xiàn)AI系統(tǒng)級應(yīng)用。GalaxyAI賦能多項應(yīng)用，GalaxyS24系列AI體驗全面升級。GalaxyAI首創(chuàng)即圈即搜功能，用戶只需長按Home鍵并在當(dāng)前文本、圖片或視頻界面圈選圖像即可獲得優(yōu)質(zhì)結(jié)果。GalaxyS24系列內(nèi)置筆記助手，可根據(jù)內(nèi)容智能排版、生成摘要和封面；內(nèi)置轉(zhuǎn)錄助手可識別多人講話并轉(zhuǎn)錄為支持編輯的文本，也可直接翻譯錄音并生成摘要；原生通話應(yīng)用程序引入通話實時翻譯功能，支持13種語言實時雙向和文本翻譯；圖像應(yīng)用具有智能修圖建議、生成式編輯等功能，可快速去除反光、改變?nèi)宋锘驅(qū)ο笪恢么笮〉?。谷歌Pixel8系列增強圖像編輯，個人助理Gemini智能提升。谷歌Pixel8系列內(nèi)置的MagicEditor可以通過生成式人工智能編輯照片，ZoomEnhance通過生成式AI預(yù)測照片細(xì)節(jié)，填充像素間間隙，增強變焦；個人助理Gemini支持文本、語音及圖片交互，可幫助朗讀和翻譯網(wǎng)頁并生成摘要；錄音機增加AI功能，可自動總結(jié)對話并生成摘要；AudioMagicEraser通過AI識別聲音，可直接從視頻刪除不想要聲音。HarmonyOS4率先接入AI大模型，小藝同學(xué)增加多項AI功能。HarmonyOS4采用全新華為方舟引擎，與HarmonyOS3相比，滑動流暢性提升約20%，續(xù)航增加約30分鐘；并且對超級中轉(zhuǎn)站等進行優(yōu)化，支持手機、平板、PC等不同端口，具備跨端流轉(zhuǎn)能力。HarmonyOS4將AI大模型技術(shù)接入小藝，全新小藝增強自然語言理解能力，支持用戶更日常的表述方式；增加智能摘要和文案輔助創(chuàng)作功能；可依托多模態(tài)大模型技術(shù)，對已有圖像進行個性化二次創(chuàng)作。小米14搭載底層重構(gòu)的澎湃OS，支持人車家全生態(tài)。小米澎湃OS重構(gòu)子系統(tǒng)，優(yōu)化內(nèi)存管理提高應(yīng)用啟動速度。澎湃OS擁有AI大模型植入系統(tǒng)，基于端側(cè)大模型的小愛助手可智能創(chuàng)作文本、快速撰寫購物評價、生成發(fā)言稿等。小米14內(nèi)嵌圖像應(yīng)用可實現(xiàn)AI妙畫、AI搜圖、AI寫真、AI擴圖等功能。搭載的XiaomiHyperConnect可實現(xiàn)所有智能設(shè)備實時統(tǒng)一組網(wǎng)，可在手機、平板等設(shè)備的“融合設(shè)備中心”進行快捷控制。搭載ColorOS14的OPPOFindX7實現(xiàn)AndesGPT模型端云協(xié)同。ColorOS14系統(tǒng)端側(cè)支持70億參數(shù)的AndesGPT·Tiny大模型，云端支持AndesGPT·Turbo/Titan大模型。OPPOFindX7搭載ColorOS14系統(tǒng)，內(nèi)置小布助手具有智能摘要、智能消除、內(nèi)容創(chuàng)作等AI功能，并且系統(tǒng)內(nèi)置的圖像軟件具有AIGC消除效果，可智能生成寫真照片。VivoOriginOS4搭載自研BlueLM，X100系列具備豐富AI功能?；?0億參數(shù)BlueLM的VivoX100系列，其內(nèi)置的AI助手“藍心小v”具備超能語義搜索、超能問答、超能寫作、超能創(chuàng)圖和超感智慧交互等功能，能夠?qū)崿F(xiàn)智能問答、文案撰寫、摘要生成、圖片編輯。攝影應(yīng)用基于生成式AI，通過人像識別、場景識別等功能可優(yōu)化拍攝效果。2.2.進階版AI手機：基于意圖交互的AIOS意圖交互升華AI認(rèn)知，AIOS深度融合端側(cè)大模型。AIOS改變原有操作系統(tǒng)指令式的工作邏輯，通過集成智能感知技術(shù)實時獲取用戶行為、偏好等環(huán)境信息，實現(xiàn)意圖式人機交互，使AI或系統(tǒng)可更好地理解用戶當(dāng)下所處場景及基于自然語言的用戶指令；通過將端側(cè)大模型融入底層架構(gòu)，AIOS可持續(xù)從與用戶交互過程中學(xué)習(xí)并優(yōu)化自身性能，為用戶提供更個性化、精準(zhǔn)的服務(wù)；基于AIOS的AI助理可理解應(yīng)用界面及相應(yīng)功能，通過調(diào)用應(yīng)用APP，自動完成用戶任務(wù)，簡化重復(fù)枯燥的操作過程。榮耀MagicOS8.0首次實現(xiàn)意圖識別人機交互。與主要負(fù)責(zé)管理硬件資源的傳統(tǒng)OS內(nèi)核不同，MagicLive平臺級AI負(fù)責(zé)“管理”與人相關(guān)的因子，如個人知識庫、位置與狀態(tài)、習(xí)慣與畫像等，幫助OS精準(zhǔn)識別用戶意圖，高效調(diào)度系統(tǒng)服務(wù)?；贛agicLive平臺級AI的場景感知、意圖決策、用戶理解能力，MagicOS8.0支持自然語言、語音、圖片、手勢、眼動等多模態(tài)交互方式，可智能識別用戶意圖，進行快速推理決策，主動提供個人化服務(wù)，提升交互效率。MagicOS8.0內(nèi)嵌的任意門功能可基于意圖識別讓服務(wù)實現(xiàn)跨應(yīng)用、跨設(shè)備一步直達、智慧流轉(zhuǎn)，支持100多款國內(nèi)主流應(yīng)用服務(wù)，覆蓋出行、辦公、社交、搜索、娛樂、購物、美食等應(yīng)用場景。內(nèi)置的YOYO智能助理可理解用戶意圖，高效安全地連接云側(cè)大模型，分發(fā)、融合、調(diào)度原子化服務(wù)，完成復(fù)雜任務(wù)閉環(huán)。蘋果FerretUI模型增強iOS意圖識別，致力打造AIOS。FerretUI以Ferret模型為基礎(chǔ)，通過將手機UI界面分割為更小的子圖像捕捉UI界面細(xì)節(jié)特征，并將所有子圖像單獨編碼獲取圖像特征，最后將子圖像與全局圖像特征輸入端側(cè)大模型中，使端側(cè)大模型可更好地捕捉UI界面細(xì)節(jié)信息。并且FerretUI通過收集各種初級UI任務(wù)的訓(xùn)練數(shù)據(jù)，如圖標(biāo)識別、查找文本、組件列表等，以精準(zhǔn)定位和理解UI組件；通過收集與AI交互相關(guān)的高級任務(wù)數(shù)據(jù)集，如詳細(xì)描述、感知/交互對話和功能推理，以增強模型與UI相關(guān)的推理能力?；贔erretUI可顯著增強AIOS對手機UI界面的理解能力，并可根據(jù)用戶指令找到具體元素完成交互。iPhone環(huán)境下FerretUI性能接近或超過GPT-4V。FerretUI模型可完成簡單的UI定位和查詢?nèi)蝿?wù)，在iPhone環(huán)境下130億參數(shù)的FerretUI模型在初級UI任務(wù)中超越GPT-4V。并且可根據(jù)UI與用戶進行感知對話、交互對話，告訴用戶相應(yīng)位置具體的UI內(nèi)容，如何與UI進行交互，根據(jù)UI元素推斷軟件功能，在高級任務(wù)中的表現(xiàn)與GPT-4V接近。若將FerretUI與AI助理進行結(jié)合，AI助理可深入理解用戶意圖，并基于用戶自然語言指令與手機APP進行交互，實現(xiàn)AI系統(tǒng)級應(yīng)用。Siri將迎來重大革新，iOS18預(yù)計搭載更多AI功能。根據(jù)彭博社，蘋果正在改進Siri和消息應(yīng)用程序間的交互，使Siri更有效地自動生成文本并回答復(fù)雜問題；根據(jù)Theinformation報道，Siri將與Shortcuts應(yīng)用程序進行更深入的集成，進而可自動執(zhí)行復(fù)雜任務(wù)。2024年5月13日OpenAI發(fā)布GPT-4o，其具備強大的語音和視覺感知功能。用戶無需等待模型完成發(fā)言即可插話，回應(yīng)音頻輸入平均時間僅為320毫秒，較GPT-3.5/GPT-4下降88.6%/94.1%，并且可根據(jù)語氣判斷用戶情緒，針對用戶情緒改變自身語氣，擬人化程度大幅提升。根據(jù)OpenAI官網(wǎng)，GPT-4o在MMLU、GPQA、MATH、HumanEval等推理測試中超越GPT-4Turbo、Claude3Opusn、GeminiPro1.5等前沿模型，并且在MLS基準(zhǔn)測試中優(yōu)于Whisper-v3以及Meta、谷歌的語音模型。根據(jù)彭博社報道，蘋果已與OpenAI達成合作協(xié)議，計劃在6月11日WWDC全球開發(fā)者大會公布一系列全新人工智慧技術(shù)。OpenAI技術(shù)加持的Siri有望以低延遲進行語音對話，提高人機語音交互的自然流暢度。并且有望增強用戶情緒感知，大幅提升擬人化水平。根據(jù)彭博社，蘋果與OpenAI雙方正確認(rèn)一項新協(xié)議，將ChatGPT技術(shù)應(yīng)用在iOS18中。根據(jù)macrumors，iOS18中多款應(yīng)用程序如Spotlight、AppleMusic、Keynote、Shortcuts等將具備生成式AI功能。2.3.高級版AI手機：全自主執(zhí)行能力的AIAgentAIOS的最終形態(tài)是具有全自主執(zhí)行能力的數(shù)字人格?！禤ERSONAL大模型AGENTS:INSIGHTSANDSURVEYABOUTTHECAPABILITY,EFFICIENCYANDSECURITY》基于AIAgent智能水平將其分為L1-L5五個級別。具有意圖交互與自我學(xué)習(xí)能力的AIOS將幫助AI助理深入理解用戶需求，持續(xù)學(xué)習(xí)用戶個人習(xí)慣等信息。伴隨手機硬件配置升級以及端側(cè)大模型推理性能提升，基于AIOS的AI助理有望成長為高度智能化的數(shù)字人格，可根據(jù)用戶指令自主生成任務(wù)規(guī)劃，完美執(zhí)行用戶任務(wù)并進行反饋。AutoGPT具備長期和短期記憶管理，可實現(xiàn)任務(wù)自主規(guī)劃及執(zhí)行。AutoGPT是基于GPT-3.5或GPT-4API接口開發(fā)的AIAgent，其可將用戶提出的復(fù)雜任務(wù)拆解為多項子任務(wù)，自動生成相應(yīng)任務(wù)提示并執(zhí)行，無需用戶進行干預(yù)和指導(dǎo)。并且可以基于互聯(lián)網(wǎng)搜索獲取最新數(shù)據(jù)、新聞等信息，實現(xiàn)知識庫實時更新。通過集成Pinecone數(shù)據(jù)庫，AutoGPT可保存與用戶的對話、文本和上下文信息，并在對話中快速檢索相關(guān)的內(nèi)容，回顧歷史對話，進而更好地理解用戶需求，提供更個性化的服務(wù)。Mobile-agent打破APP界限，聯(lián)用多款應(yīng)用實現(xiàn)擬人化操作。Mobile-Agent基于視覺感知模塊可從設(shè)備屏幕截圖中準(zhǔn)確定位視覺和文本元素以及圖標(biāo)信息，并通過視覺信息將語言模型生成的操作指令映射到具體的屏幕位置執(zhí)行點擊等操作。其具備自主規(guī)劃能力，能夠根據(jù)操作歷史和系統(tǒng)提示自主規(guī)劃新的任務(wù)。并且引入自我反思機制，在執(zhí)行過程中若遇到錯誤或無效操作，可根據(jù)屏幕截圖和操作歷史進行反思，嘗試替代操作或修改當(dāng)前操作的參數(shù)。目前Mobile-agent已學(xué)會阿里巴巴、TikTok、Youtube等10項APP使用，并在部分跨應(yīng)用場景中取得出色的結(jié)果。2.4.具備豐富大模型技術(shù)儲備、出色AIOS與硬件開發(fā)能力的手機廠商將取得領(lǐng)先地位高性能端側(cè)大模型、AIOS與出色硬件配置是AI手機核心。端側(cè)大模型是AI手機智能核心，其性能將直接影響AI手機的使用體驗；將端側(cè)大模型融入底層架構(gòu)的AIOS具備出色的意圖交互能力，深化AI手機對用戶需求的理解，并且可更好地調(diào)用硬件資源，充分發(fā)揮端側(cè)大模型性能；CPU、GPU和NPU等硬件滿足端側(cè)大模型運算的算力需求，具有更高硬件配置的AI手機可率先搭載更強性能的端側(cè)大模型，為用戶提供更佳AI服務(wù)體驗。蘋果AIOS系統(tǒng)開發(fā)領(lǐng)先，自研芯片性能強勁，端側(cè)大模型進展順利，有望率先開發(fā)具備完整AI體驗的AI手機。AIOS：蘋果開發(fā)的FerretUI模型增強AIOS對手機UI界面的理解能力，可根據(jù)用戶指令與手機應(yīng)用進行交互。結(jié)合AI助理將賦予AI助理對手機應(yīng)用的深度理解，有望實現(xiàn)AI助理自主調(diào)用APP，完美執(zhí)行用戶指令。通過與OpenAI進行合作，預(yù)計將實現(xiàn)Siri重大革新并且iOS18將增加多項AI功能；芯片：蘋果自研A系列芯片性能出眾，根據(jù)Geekbench6，最新的A17Pro單核性能較驍龍8Gen3高26%，NPU算力達35TOPS；端側(cè)大模型：2024年4月蘋果在HuggingFace發(fā)布4款OpenELM，參數(shù)量分別為2.7億、4.5億、11億和30億。其采用層級縮放策略，通過在Transformer模型的每一層有效分配參數(shù)，顯著提升模型的準(zhǔn)確率。根據(jù)《OpenELM:AnEfficientLanguageModelFamilywithOpenTrainingandInferenceFramework》，在使用1/2的預(yù)訓(xùn)練數(shù)據(jù)下，參數(shù)1B的OpenELM在零樣本訓(xùn)練、leaderbroad任務(wù)和大模型360任務(wù)中的準(zhǔn)確性較OLMo高1.28%/2.36%/1.72%。蘋果有望憑借出色的芯片研發(fā)能力以及對操作系統(tǒng)的深刻理解，在AI手機開發(fā)中取得領(lǐng)先地位。谷歌率先布局大模型，積極推進Tensor處理器研發(fā)彌補硬件短板。端側(cè)大模型：2023年谷歌發(fā)布具備萬億參數(shù)的大模型，Gemini。并以Gemini為基座模型開發(fā)參數(shù)量1.8B/3.25B的GeminiNano，目前已應(yīng)用至谷歌Pixel8pro、三星GalaxyS24系列手機中。AIOS：谷歌發(fā)布的screenAI模型通過采用圖像編碼器和語言編碼器提取圖像與文本特征，可以識別UI元素的類型和位置，增強圖像理解等多模態(tài)任務(wù)能力，深化對手機界面的理解。最新推出的Android14系統(tǒng)搭載AI助理Gemini，增加生成式AI功能。AICore可調(diào)用管理GeminiNano等端側(cè)模型，便于開發(fā)者進行大模型調(diào)整和創(chuàng)新，助力構(gòu)建AI應(yīng)用生態(tài)；處理器：TensorG3處理器CPU單核及多核性能分別為A17Pro的60.4%/61.7%。自研TPU芯片，可提高AI手機中AI消除、AI視頻強化等性能。根據(jù)9to5google，TensorG4將采用三星4nm制程工藝與更先進的FOWLP封裝工藝，進一步提高能效比以及散熱水平，為AI手機提供更佳性能支持。谷歌在大模型、操作系統(tǒng)領(lǐng)域具有豐富的技術(shù)積累，但自研處理器性能具有較大改進空間，未來仍需增強處理器性能以將更高性能端側(cè)大模型搭載至AI手機。3.AIOS需搭載10B~100B端側(cè)大模型，高性能需求掀起硬件革新浪潮AIOS的端側(cè)大模型參數(shù)量應(yīng)在百億~千億水平。意圖交互能力是實現(xiàn)AIOS的前提，可使AI手機更懂用戶訴求，提供更優(yōu)質(zhì)的服務(wù)體驗。通過進一步增加端側(cè)大模型參數(shù)量、改進端側(cè)大模型的自學(xué)習(xí)性能可提高AIAgent的智能化水平，實現(xiàn)AIAgent自主規(guī)劃并完美執(zhí)行用戶指令，無需用戶進行干預(yù)。因此AI手機搭載的端側(cè)大模型，其參數(shù)量至少需達到意圖交互功能所需的參數(shù)量要求，然后通過硬件性能優(yōu)化等方式支撐更高性能端側(cè)大模型，逐步接近高智能AIAgent所需參數(shù)水平。根據(jù)榮耀官網(wǎng)，MagicOS8.0系統(tǒng)搭載的端側(cè)大模型模型參數(shù)量為7B，蘋果FerretUI模型的參數(shù)量為13B，意圖交互能力所需端側(cè)大模型參數(shù)在百億級別?？蓪崿F(xiàn)任務(wù)自主規(guī)劃及執(zhí)行的AutoGPT和具備出色視覺感知、可自主規(guī)劃并調(diào)用Tiktok、淘寶等應(yīng)用程序的Mobile-Agent分別依賴參數(shù)量175B的GPT-3.5及參數(shù)量萬億以上的GPT-4V?？紤]到手機終端算力性能有限，我們認(rèn)為手機搭載的AIAgent所需端側(cè)大模型參數(shù)量將顯著低于ChatGPT的175B，預(yù)計將通過模型壓縮等方法將模型參數(shù)量降低至千億以下。3.1.異構(gòu)計算突破算力瓶頸，驍龍、天璣、蘋果A更新迭代提供堅實算力支撐百億參數(shù)端側(cè)大模型峰值算力需求達100TOPS以上。蘋果提出的具有意圖識別能力的FerretUI模型參數(shù)量達13B，我們基于此計算搭載AIOS的AI手機所需最低算力。假定用戶手機屏幕分辨率為1920*1080，用戶最大可允許屏幕推理時間為2s，硬件算力利用率為60%。根據(jù)OpenAI，1張高分辨率圖像=85+170*（圖像分辨率/512×512）tokens，經(jīng)測算模型所需峰值算力達99TOPS。因此搭載AIOS的AI手機，處理器算力需達到100TOPS以上。集成NPU的異構(gòu)計算具備最高能效比。生成式AI部署增加手機終端計算需求，主要可分為：（1）按需型需求，由用戶觸發(fā)需立即響應(yīng)，包括圖像生成、代碼和會議摘要生成等；（2）持續(xù)型需求，運行時間較長，包括語音識別、視頻優(yōu)化、實時翻譯等；（3）泛在型需求，在后臺持續(xù)運行，包括始終開啟的預(yù)測性AI助手、基于情境感知的AI個性化和高級文本自動填充。手機終端搭載的通用CPU和GPU難以滿足生成式AI嚴(yán)苛且多樣化的計算訴求。通過集成專為AI定制的NPU，以降低部分易編程性為代價可實現(xiàn)更高的峰值性能、能效和面積效率，進而可運行機器學(xué)習(xí)所需的大量乘法、加法和其他運算?；贑PU+GPU+NPU異構(gòu)計算的處理器能夠?qū)崿F(xiàn)最佳手機應(yīng)用性能、能效和電池續(xù)航，賦予增強的生成式AI體驗。驍龍8Gen3搭載全新HexagonNPU，AI算力大幅升級。驍龍8Gen3搭載HexagonNPU為持續(xù)型AI推理帶來98%性能提升和40%能效提升，處理器整體峰值算力達73TOPS，支持100億參數(shù)端側(cè)大模型。通過升級微切片推理降低內(nèi)存帶寬占用，并支持4.8GHzLPDDR5x，內(nèi)存帶寬可達77GB/s。CPU和GPU性能較前代提升30%/25%，能效提升20%/25%。高通在MWC2024宣布驍龍8Gen4將采用臺積電3nm工藝制程，放棄Arm公版架構(gòu)，采用高通自研Oryon內(nèi)核，并將集成Adreno830GPU，有望進一步提升處理器算力。天璣9300+內(nèi)置硬件級生成式AI引擎，最高支持330億參數(shù)AI模型。天璣9300+是業(yè)界首款生成式AI端側(cè)雙LORA融合的芯片，Llama2-7B端側(cè)大模型運行速度可達22tokens/秒，最高支持運行330億參數(shù)模型。聯(lián)發(fā)科與百度、百川智能、阿里云、谷歌、Meta等國內(nèi)外大模型巨頭達成合作，支持阿里云通義千問、百川大模型、文心大模型、谷歌GeminiNano、零一萬物等AI大模型。根據(jù)CNMO，天璣9400預(yù)計將在2024Q4發(fā)布，采用臺積電3nm制程并沿用ARM內(nèi)核，CPU大核由Cortex-X4升級至Cortex-X5。蘋果A17Pro率先采用3nm制程工藝，NPU算力達35TOPS。A17Pro搭載16核神經(jīng)網(wǎng)絡(luò)引擎，NPU算力較A16Bionic提高100%。CPU和GPU均采用6核設(shè)計，性能核心提升最高可達10%/20%。根據(jù)9to5Mac，A18芯片具備更大的尺寸，并將大幅增加內(nèi)置AI計算核心數(shù)量，預(yù)計將搭載至iPhone16和iPhone16Pro。根據(jù)GIZMOCHINA，A18Pro在Geekbench6上的單核和多核跑分分別為3570/9310，較A17Pro高22%/28%。工藝制程升級+先進封裝是處理器未來發(fā)展方向。根據(jù)臺積電，與5nm制程技術(shù)相比，3nm制程的邏輯密度增加約70%，可實現(xiàn)相同功耗下頻率提升10-15%，或相同頻率下功耗降低25-30%，進一步提高芯片的運算能力以及能效比。目前臺積電規(guī)劃的3nm制程包括N3B、N3E、N3P、N3X、N3AE，其中N3B已應(yīng)用至蘋果的A17Pro，預(yù)計驍龍8Gen4將使用成本優(yōu)化后的N3E。N3P性能將進一步提升，預(yù)計2024年下半年投產(chǎn)；N3X聚焦高性能計算設(shè)備，預(yù)計2025年進入量產(chǎn)階段。以Chiplet為代表的3D封裝技術(shù)，通過芯片封裝小型化、高密度化，可實現(xiàn)異質(zhì)異構(gòu)的系統(tǒng)集成以及高互聯(lián)密度與低信號傳輸延遲。并且先進封裝有望延續(xù)摩爾定律，持續(xù)提升芯片性能并降低先進制程工藝成本。AI手機處理器有望基于先進封裝突破摩爾定律限制，持續(xù)增強AI算力。圖20：以Chiplet為代表的先進封裝技術(shù)將持續(xù)提升處理器算3.2.內(nèi)存升級+模型優(yōu)化加速AI手機智能進化端側(cè)大模型部署驅(qū)動手機內(nèi)存升級，16GB是AI手機基本配置。根據(jù)智源社區(qū)，F(xiàn)P32全精度的llama213B模型推理所需最低內(nèi)存為52GB，經(jīng)過Int4量化后，其推理占用內(nèi)存仍有6.5GB，考慮到手機運行安卓操作系統(tǒng)使用內(nèi)存為4GB左右，后臺運行其他手機APP需要6GB左右內(nèi)存，累計內(nèi)存需求達16.5GB。根據(jù)IDC，16GB內(nèi)存將成為AI手機基礎(chǔ)配置。目前OPPO、vivo、小米、榮耀等安卓廠商AI手機的最大內(nèi)存達到16GB，可滿足百億參數(shù)端側(cè)大模型運行的基本要求。蘋果手機受益于更高效的iOS系統(tǒng)，內(nèi)存占用需求更低，目前iPhone15Pro及iPhone15ProMax的最大內(nèi)存為8GB。伴隨具有更高智能水平與更多參數(shù)量的端側(cè)大模型部署至AI手機，AI手機內(nèi)存容量有望升級至24GB以上?；谀Ｐ蛪嚎s可在有限內(nèi)存下部署更高性能端側(cè)大模型。目前模型壓縮方法主要包括數(shù)值量化、稀疏化處理、知識蒸餾等。數(shù)值量化通過簡化數(shù)據(jù)或減少表示數(shù)值的比特數(shù)壓縮模型大小。根據(jù)OPPO，F(xiàn)indX7部署的70億參數(shù)AndesGPT-Tiny模型，正常的內(nèi)存占用為28GB，無法搭載至AI手機中。經(jīng)過INT4對模型進行壓縮后，內(nèi)存占用由28GB降低至3.9GB，實現(xiàn)AndesGPT-Tiny模型端側(cè)部署。稀疏化處理主要是去除模型中數(shù)值為0或接近0的權(quán)值。微軟提出的SliceGPT技術(shù)可在保持llama-270B模型99%零樣本任務(wù)性能的前提下，剪除25%模型參數(shù)。知識蒸餾則是基于參數(shù)多、結(jié)構(gòu)復(fù)雜的教師網(wǎng)絡(luò)訓(xùn)練小參數(shù)學(xué)生網(wǎng)絡(luò)，以期獲得相似或更好性能。通過模型壓縮可突破內(nèi)存限制，加速更高參數(shù)端側(cè)大模型部署，加快打造智能化AIOS。蘋果通過優(yōu)化閃存內(nèi)存交互和內(nèi)存管理，可加載較設(shè)備DRAM大兩倍的端側(cè)大模型。目前調(diào)用大模型的方法是將整個模型加載至DRAM中進行推理，需占用較大內(nèi)存容量。蘋果提出將模型參數(shù)存儲在容量更高的閃存中，在推理過程中僅從閃存中加載所需參數(shù)。其通過滑動窗口技術(shù)僅增量加載與之前不同的神經(jīng)元數(shù)據(jù)并釋放滑窗外token占用的內(nèi)存。同時以行列捆綁方式讀取更大數(shù)據(jù)塊，提高閃存數(shù)據(jù)吞吐量。通過及時刪除冗余神經(jīng)元、將新神經(jīng)元插入預(yù)先分配數(shù)據(jù)結(jié)構(gòu)消除DRAM重新分配內(nèi)存和復(fù)制現(xiàn)有數(shù)據(jù)的需要，減少推理延遲?；谠摲椒杉虞d較設(shè)備DRAM大兩倍的端側(cè)大模型，并且在CPU和GPU上加載速度分別比傳統(tǒng)方法提高4-5倍和20-25倍。內(nèi)存帶寬限制AI手機性能，LPDDR6預(yù)計將加速滲透。根據(jù)聯(lián)發(fā)科，運行130億參數(shù)端側(cè)大模型所需內(nèi)存帶寬為130GB/s，目前已發(fā)布的AI手機搭載的最優(yōu)DRAM為LPDDR5×，數(shù)據(jù)傳輸速度為