生成式AI手機產(chǎn)業(yè)白皮書 中文版 終版

〔-〕阿里云oppo〔-〕阿里云oppo?CounterpointTechnologyMarketResearch20242?CounterpointTechnologyMarketResearch2024本白皮書由Counterpoint與聯(lián)發(fā)科技共同發(fā)布，其他聯(lián)合發(fā)布者包括阿里云通義千問、百川大模型、虎牙、酷狗、零一萬物、OPPO、Soul、騰訊AILab、騰訊混元、vivo（按公司名拼音首字母順序排列） 3 4 4 5 7 7 8 10 10阿里云通義大模型 10百川大模型 11零一萬物Yi模型 11騰訊混元 11 12 13 14 14OPPO生成式AI戰(zhàn)略 15vivo生成式AI戰(zhàn)略 15 16虎牙 17酷狗 17Soul 18騰訊AILab 18 19 19 21 22 24 263全球消費者驚訝于大語言模型（LLM）所帶來的全新人機交互體驗的同時，也讓產(chǎn)業(yè)界充分認識到生成式而為智能手機下個十年的發(fā)展打下堅實的基礎。生成式AI技術球手機用戶能夠更便捷、更高效地享受生成式廠商、大模型廠商、開發(fā)者的相關AI戰(zhàn)略，以及圍繞生成式AI手機的軟硬件科技全景，最后是4開始出現(xiàn)在這些產(chǎn)品中。無論是手機廠商還是其生態(tài)伙伴，在主動擁抱生大約在二十多年前，以諾基亞塞班為代表的操作系統(tǒng)，第一次允許用戶自行下載APP，并將其作為入能手機產(chǎn)業(yè)中來，為手機用戶提供豐富多樣的逐漸發(fā)展為人們休閑娛樂、通信社交、健康和出行服務、消費購物，以及移動辦公的重要載體，早已不可核心。然而隨著時間的推移，在一些場景下，觸控輸入的方式變得越來越低效，常常需要多次的用戶干預，通過AI技術賦能智能手機的嘗試最早可以追溯至2017年，彼時蘋果剛剛發(fā)布了首款后置雙攝手機大強化智能手機的生產(chǎn)力工具屬性：既可以基于多種形式的輸入信息，生成用戶需要的圖表、文本、音樂、智能生命體以用戶為中心，不斷學習用戶的行為5圖表1：手機智能化演進路線圖Counterpoint認為生成式AI與智能手機的融合無疑將新，在初期探索階段，新的功能和特性將首先被賦予算力資源更加充裕的旗艦和次旗艦產(chǎn)品，并迅速成為6生成式AI手機是利用大規(guī)模、預訓練的生成式A支持大模型的本地部署，或是通過云端協(xié)同的方式執(zhí)行復雜具備多模態(tài)能力，即可以處理文本、圖像、語音等多種形式的內容輸入，以生成各種形式的輸出，擁有實現(xiàn)上述特征的硬件規(guī)格，包括但不限于基于領先工藝和先進架構設計的移動計算平臺，擁有集成或者獨立的神經(jīng)網(wǎng)絡運算單元（如APU/NPU/TPU），大容量和高帶寬的內存，以及穩(wěn)定和圖表2：Counterpoint生成式AI手機定義）；7相對于手機端有限的計算和存儲資源，云端無疑擁有更充足的算力，從而能夠支部署和訓練，當前一些復雜的生成式AI任務主要是通過云側大模型來實現(xiàn)是效率都將保持增長，這意味著用戶可以從更有價值的服務，比如提供更高品質的內容輸出，如影視、動Counterpoint認為，多模態(tài)能力，包括多模態(tài)輸入和輸出，是生成力的大模型將以用戶為中心，選擇最佳的、最適合當前情境的輸出方式?？梢哉f，多模態(tài)交互是開啟全新夠更加準確地識別、理解人類的自然語言，不但能夠快速理解和響應用戶指令，還解鎖了語音文本互轉、文案自動生成、以及生成配音等輔助功能，成為視頻創(chuàng)作者的得力助手。受益8在不久的將來，語言視覺模型（LVM）也將實現(xiàn)本地部署。屆時，通過文字和語音提示生成、編輯短視頻為智能體的成長提供更多維度和更加豐富的訓練語料。備自主決策能力，包括“計劃”、“記憶”和“行動在聯(lián)發(fā)科技的設想里，智能體可以學習、記憶手機用戶的使用習慣，以及興趣和偏好，在此基礎上協(xié)進行決策。以旅行場景為例，智能體可以為在出發(fā)前為用戶量身訂制出行方案，在旅行過程中，可以根據(jù)低延時：在許多生成式AI任務場景下，網(wǎng)絡傳輸時延是用戶安全和隱私：AI大模型本地部署可以確保用戶個人數(shù)據(jù)個性化：具有自學習能力的本地大模型可以成長為每個用戶專屬的智能體，從而有能力為用戶提9的普及，對AI算力的需求將呈現(xiàn)爆發(fā)式增長。通過部署本地大模型，可以在本地完成盡量多的生Google會優(yōu)先將Gemini用于強2024年推出了最新版本LLaMA3。LLaMA8B)和上下文長度的擴展(4K到8K)、算法效率的提伴提供了更加強大和靈活的工具，以支持他在中國，近兩年也涌現(xiàn)出一大批的國產(chǎn)LLM，其中令理解、文學創(chuàng)作、通用數(shù)學、知識記憶、幻覺抵御等方面的能力都有明顯躍升，位居行業(yè)前列。通義大建構行業(yè)領先的大模型，如開源的Yi-34B、Yi-6B和多模態(tài)模千億模型Yi-Plus將于近期正式亮相?；饶Ｐ托⌒突夹g一直是零一萬物研發(fā)的重點之一，此外，零一萬物將逐步發(fā)布完善的開放平臺中間件更擅長處理復雜場景和多任務場景，中文整的應用場景。作為騰訊全鏈路自研的大模型，騰訊混元通過持續(xù)的迭代和實踐，積累了行業(yè)領先的技術能訊內部超過400個業(yè)務及場景已接入測試，企業(yè)受益于眾多的開源基礎大模型，開發(fā)者可以結合自在端側、云側的應用部署。同時，開源更有利于未來兩年端側大模型參數(shù)規(guī)模將繼續(xù)增長圖表3：本地大模型參數(shù)預計逐年增長，2023H2-2025(F)大模型參數(shù)規(guī)模的增長將進一步拓展生成式AI手機的能力，比如更強大及對多語言的支持，一些原本面向AIPC開發(fā)的辦公和創(chuàng)作輔助功能也將被遷構，將多個專家模型融合在一起，既可以針對不同的任務需求動），新。預計移動互聯(lián)網(wǎng)廠商和廣大應用開發(fā)者將繼續(xù)主導移動內容生態(tài)的發(fā)展，在此背景下，APP仍將會是場景自動生成個性化的界面設計，包括自動調整圖標布局、顏色主題和字體大小等。圖表4：AI智能體將發(fā)展為未來生成式AI手機交互的中心），AI智能體會直接跳轉到服務頁面，同時AI智能體基于對用戶習慣的了解以及和個性化的方式為用戶提供服務，或是由AI智能體直接態(tài)大模型端側部署的移動計算平臺，其中包括2023年四季度發(fā)布的天璣9300、天璣8300、高通驍龍8領先的高能效。軟件方面，為在天璣平臺部署大模型和開發(fā)AI應用提供了完整的開綜上，頭部芯片設計公司將在生成式AI手機時代升現(xiàn)有產(chǎn)品，打造差異化的硬件產(chǎn)品，繼續(xù)推動智能手機要分布在計算機視覺、語音技術、自然語音處理、機器學習等方面。在此基礎上，OPPO已經(jīng)成功落地了的小布助手。為了更好地迎接生成式AI界領先水平。在中國信通院組織的可信AI大模型標準符合性驗證測評中，藍心大模型在大語言模基于藍心大模型的人工智能助手藍心小V/藍心千詢，能在與生態(tài)伙伴的合作方面，vivo已經(jīng)自主研發(fā)了成熟的大Counterpoint判斷領先的OEM廠商會通過自建虎牙直播是以游戲直播為主的互動直播平臺，正在積極探索生成式AI技術在直播領域的應用，包括AI主播助手：基于多模態(tài)大模型，AI助手可以理解游戲主播的說話內容和直播畫面，在此基礎上AI觀眾助手：AI觀眾助手可以根據(jù)觀看歷史分析觀眾喜好，通過文本、語音交互等方式為觀眾推薦有趣的或是有用的直播內容。新的交互推薦可以彌補傳統(tǒng)算法理解觀眾意圖能力弱，不能互動據(jù)觀眾的喜好修改主播的容貌、聲音、畫面風格，做到一個主播開播，不同觀眾可以得到個性化行業(yè)的生產(chǎn)模式和直播中的交互體驗，并帶來更加豐富在音樂領域，AI大模型也將帶來新的價值。作為中國領先地探索如何通過生成式AI技術賦能音樂內容的創(chuàng)作，多模態(tài)能力，酷狗音樂將賦能音樂人創(chuàng)作出更豐富優(yōu)質的音樂內容，包括個性化定制創(chuàng)作等。音樂也可以過端云協(xié)同部署AI大模型，可以賦能音樂的創(chuàng)作、分類、推薦以虛擬陪伴等諸多工具和創(chuàng)新功能，進一步豐富平臺用戶的社交體驗。此外，Soul也在嘗試將更多AI端側推理設備上的結合與落地，從而更好提升用戶使擎GiiNEX，基于生成式AI和決策AI技術，為游戲全生命周期提供豐富的AI解決方案。在生成式AI方面，生命周期需求。其中，基于強化學習、自然語言處理等AI基礎研究能力構建持MOBA、FPS、派對游戲等十余種游戲類型；專為智能體和大模型定制的高性能訓練平臺，可支持萬卡規(guī)模，從而決定了一款智能手機所能支持的生成式AI能力。除了來不可或缺，這里包括軟件開發(fā)工具包（SDK）、預訓練的大模型等，以幫助開發(fā)人員快速創(chuàng)建應用場景。智能手機的運行環(huán)境是比較苛刻的，需要考慮散熱、素。同時，為了讓消費者對生成式AI賦能有更當前，手機SoC中集成了多個不同的處理器單元，包括C體量較小的影像計算和圖像生成模型，系統(tǒng)會根據(jù)不同的任務需求調用不同的處理單元，從而實現(xiàn)更低的此外，大模型在運行時，需要駐留在內存中，每次處運。相應的，生成式AI對手機的內存容量和圖表5：聯(lián)發(fā)科技生成式AI安全解決方案大模型，運算結果也可以快速返回給用戶，保證了合端側部署AI大模型僅有硬件上的支持是遠遠不夠的，需要軟件生態(tài)的智能手機硬件的實際情況，并向開發(fā)者和手機廠商提供完備的開發(fā)環(huán)境枝（Pruning）等技術來優(yōu)化預訓練模型的規(guī)模，使其占用更小的內存空間。量化是一種模型壓縮技術，旨在減少模型的大小并加速模型的推理速度，同時盡量保持模型輸出的準確性。通常AI大模型采用的是碼（speculativedecoding）、美杜莎（Medusa）等，進一步提升既有硬件上的模型運芯片廠商可以為開發(fā)者提供完備系統(tǒng)級的安全解決方案，方便開發(fā)者調用，也可以幫助開發(fā)者縮短應用開考慮到生成式人工智能技術的高度復雜性，需要來自各方面的協(xié)作，共同助力產(chǎn)業(yè)穩(wěn)健快速的發(fā)展。特別是在生成式AI領域，訓練大型模型的商、手機廠商、大模型供貨商以及應用開發(fā)者之間合作的復雜性。為了更好地協(xié)調多方合作，聯(lián)發(fā)科技發(fā)起了“天璣AI先鋒計劃”，邀請國內領先的手機廠商、大模頭部芯片設計廠商，聯(lián)發(fā)科技和高通分別為多模態(tài)大模型端側部署提供了強大的移動計算平臺，并完成了發(fā)套件，它是聯(lián)發(fā)科技構建生成式AI生態(tài)的中心，現(xiàn)階段涵圖表6：聯(lián)發(fā)科技天璣AI開發(fā)套件NeuroPilot進一步緩解端側部署AI大模型對內存帶寬的壓力。天璣AI開發(fā)套件還利用LoRA（Low-RankAdaptation）技術，幫助端側大模型實現(xiàn)技能擴充，而不必重新部署多個持LPDDR5x，數(shù)據(jù)傳輸速率最高可達到8500Mbps，較上一代年，受益于智能手機產(chǎn)業(yè)鏈上下游都在積極擁抱變革，各大手級的重點，這將加速生成式AI