2024年中國端側(cè)AI場景應(yīng)用分析：智能終端與邊緣計算的融合創(chuàng)新 -頭豹

研究報告2024/052024年中國端側(cè)AI場景應(yīng)用分析：智能終端與邊緣計算的融合創(chuàng)新報告標(biāo)簽：端側(cè)AI、終端AI文件（在報告中另行標(biāo)明出處者除外）。未經(jīng)頭豹研究院事先書面許可，任何人不得以任何方式擅自端側(cè)AI，是人工智能應(yīng)用的一種實現(xiàn)方式端側(cè)AI，是人工智能應(yīng)用的一種實現(xiàn)方式，側(cè)重于將AI的能力下沉到設(shè)備端，減少對云服務(wù)的依19,071億元，年均復(fù)合增長率為58%。技術(shù)進步未來端側(cè)AI將與云側(cè)AI結(jié)合為混合式AI一同使用，采用混合式AI，可在全球范圍內(nèi)實現(xiàn)成本效益、目前，中國主流科技企業(yè)紛紛在端側(cè)AI領(lǐng)大投入并取得顯著成果，特別是在移動端和操作系統(tǒng)層面上的AI集成與創(chuàng)新。同時海外科技企業(yè)推動端側(cè)AI技術(shù)的集成和應(yīng)用更廣泛。同時，端側(cè)大模型是端側(cè)AI中游廠商實現(xiàn)落地應(yīng)用的關(guān)鍵因素之一，眾多端側(cè)AI中游廠商選擇自研端側(cè)大模型。2023年中國端側(cè)AI市場規(guī)模為1,939億元，從2018至2023年，其年均復(fù)合增長率為116.3%。在2023年之前，端側(cè)AI技術(shù)已在多個領(lǐng)域落地應(yīng)用，其中智能安防和智能車載設(shè)備是兩個重龐大的市場需求將在未來支撐端側(cè)AI行業(yè)迅速發(fā)展。預(yù)計2028年，中國端側(cè)AI市場規(guī)模將為3混合式AI是指，終端設(shè)備和云端服務(wù)器相互協(xié)作，根據(jù)具體場景和時間，合理分配AI計算任資源。在特定應(yīng)用場景中，計算任務(wù)主要在終端設(shè)備上執(zhí)行，僅在需要時才將部分任務(wù)遷移到云端處理。而在以云端為核心的場景中，終端設(shè)備會根據(jù)自己的計算能力，在條件允許的情況下分擔(dān)部分AI計算任務(wù)。34u中國端側(cè)AI行業(yè)綜述 06?端側(cè)AI定義及分類 07?行業(yè)發(fā)展歷程 08?市場規(guī)模測算 09u中國端側(cè)AI行業(yè)產(chǎn)業(yè)鏈分析 ?產(chǎn)業(yè)圖譜及說明 ?上游產(chǎn)業(yè)鏈分析 ?中游產(chǎn)業(yè)鏈分析 ?下游產(chǎn)業(yè)鏈分析 u中國端側(cè)AI行業(yè)分析 ?相關(guān)政策 ?驅(qū)動因素 ?限制因素 20?發(fā)展趨勢 21?競爭格局 22u中國端側(cè)AI代表性企業(yè) 24?華為 25?商湯科技 26?中科創(chuàng)達 27u方法論及法律聲明 285uOverviewofChina'sAITerminalApplicationIndustry 06?DefinitionandClassificationofIntelligentPerception 07?IndustryDevelopmentHistory 08?MarketSizeCalculation 09uAnalysisofChina'sAITerminalApplicationIndustryChain ?IndustryMapandExplanation ?AnalysisofUpstreamIndustryChain ?AnalysisofMidstreamIndustryChain ?AnalysisofDownstreamIndustryChain uAnalysisofChina'sAITerminalApplicationIndustry ?RelatedPolicies ?DrivingFactors ?LimitingFactors 20?DevelopmentTrends 21?CompetitiveLandscape 22uRepresentativeEnterprisesofPerceivedIntelligenceinChina 24?HUAWEI 25?SenseTime 26?ThunderSoft 27uMethodologyandLegalStatement 28wwwwww.leadleocom400-5588Chapter1o端側(cè)AI定義及分類o行業(yè)發(fā)展歷程o市場規(guī)模測算研究報告|2024/05端側(cè)端側(cè)AI側(cè)重于將AI的能力下沉到設(shè)備端，并涵蓋AI驅(qū)動系統(tǒng)融合、AI重塑操作系統(tǒng)、端側(cè)AI應(yīng)用、AI端云協(xié)同四層應(yīng)用，按照模型訓(xùn)練方向的分類方式，端側(cè)AI可以分為5大類端側(cè)AI行業(yè)定義與分類n端側(cè)AI，是人工智能應(yīng)用的一種實現(xiàn)方式，側(cè)重于將AI的能力下沉到設(shè)備端，減少對云服務(wù)的依賴，從而實現(xiàn)更快的響應(yīng)速度、更好的隱私保護和更低的網(wǎng)絡(luò)需求。與云端大模型相比，端側(cè)AI更強調(diào)本地化運行，以滿足用戶對隱私的需求和個性化的任務(wù)需求。值得關(guān)注的是，端側(cè)AI行業(yè)的應(yīng)用范圍廣泛，包括但不限于個人電腦（PC）、智能手機等設(shè)備。n目前，端側(cè)AI涵蓋四層應(yīng)用：①AI驅(qū)動系統(tǒng)融合，實現(xiàn)多設(shè)備間無縫銜接與數(shù)據(jù)共享；②AI重塑操作系統(tǒng)，通過意圖識別優(yōu)化人機互動，提升用戶體驗；③端側(cè)AI應(yīng)用，涵蓋圖像處理、文檔摘要等實用功能；④AI端云協(xié)同，結(jié)合云端大模型，拓展AI應(yīng)用場景邊界。n按照模型訓(xùn)練方向的分類方式，端側(cè)AI行業(yè)可以分為5大類，包括自然語言處理端側(cè)AI、計算機視覺端側(cè)AI、智能語音端側(cè)AI、全模態(tài)處理端側(cè)AI以及科學(xué)計算端側(cè)AI。自然語言處理端側(cè)AI在自然語言處理（NLP）領(lǐng)域的應(yīng)用意味著用戶的語音或文本命令可以直接在用戶的設(shè)備上被處理和理解，而不是上傳到云端處理。目前，許多科技公司都在研發(fā)專門針對端側(cè)的NLP解決方案，例如輕量級的NLP模型、邊緣計算平臺以及優(yōu)化的運行時環(huán)境。計算機視覺端側(cè)AI在本地設(shè)備上處理和分析圖像及視頻數(shù)據(jù)，以實現(xiàn)識別、分類、追蹤、場景理解等多種視覺任務(wù)。與自然語言處理的端側(cè)AI相 似，計算機視覺端側(cè)AI也旨在提升隱私性、降低延遲、支持離 線操作并優(yōu)化資源使用。智能語音端側(cè)AI在本地設(shè)備上處理語音識別、語音合成、自然語言理解和語音交互等任務(wù)的技術(shù)。該技術(shù)的發(fā)展使得智能設(shè)備能在不依賴網(wǎng)絡(luò)連接的情況下，實現(xiàn)快速、高效且保護隱私的語音控制和交全模態(tài)處理端側(cè)AI在邊緣設(shè)備上同時處理和融合多種類型的數(shù)據(jù)模態(tài)（如文本、語音、圖像、視頻等）的人工智能技術(shù)。該綜合處理方式旨在通過跨模態(tài)信息的整合，提高決策的準(zhǔn)確性和上下文理解能力，為用戶提供更為豐富和自然的交互體驗?？茖W(xué)計算端側(cè)AI在科研、工程設(shè)計、數(shù)據(jù)分析等專業(yè)領(lǐng)域，利用部署在本地設(shè)備上的人工智能算法來加速計算過程、優(yōu)化模型預(yù)測或執(zhí)行復(fù)雜數(shù)據(jù)分析的任務(wù)。與通用的端側(cè)AI相比，科學(xué)計算端側(cè)AI更加側(cè)重于處理大規(guī)模數(shù)據(jù)集、執(zhí)行復(fù)雜的數(shù)學(xué)運算、模擬物理過程或解決特定領(lǐng)域的科學(xué)問題。來源：專家訪談，頭豹研究院頭豹LeadL7?2024LeadLeo研究報告|2024/05中國端側(cè)中國端側(cè)AI行業(yè)經(jīng)歷三個階段，分別為起步探索階段、技術(shù)研發(fā)與初步落地階段和應(yīng)用快速拓展階段??2016年，阿里云開始研發(fā)端側(cè)AI能力。?2017年，阿里云計劃并探索端側(cè)AI的研?2023年8月，華為在HarmonyOS4系統(tǒng)中集成盤古大模型，為用戶提供更智能的設(shè)備互動。?2018年5月，寒武紀(jì)發(fā)布1M終端智能處理器IP產(chǎn)品。?2018年5月，寒武紀(jì)發(fā)布1M終端智能處理器IP產(chǎn)品。?2018年10月，華為推出Atlas智能計算平臺，旨在構(gòu)建一個全面覆蓋端、邊、云環(huán)境的AI基礎(chǔ)設(shè)施解決方案。?截至2019年初，阿里集團多數(shù)移動應(yīng)用程序已融入端側(cè)AI技術(shù)，其中超20款A(yù)pp采用MNN推理引擎。?2022年，天璣9200發(fā)布，其AI性能提升35%。?2023年10月，英特爾宣布將發(fā)布AIPC的英特爾酷睿Ultra處理器MeteorLake。?2023年11月，OPPO采用端云協(xié)同設(shè)計構(gòu)建AndesGPT模型。?2023年11月，VIVO推出自研AI藍心大模型，該模型可支持超過700項手機功能，并包含70億模型參數(shù)量。?2024年1月，榮耀的MagicOS8.0將應(yīng)用首個端側(cè)平臺級AI大模型一魔法大模型。?2024年5月，蘋果和OpenAI將在6月10日的WWDC上聯(lián)合宣布將OpenAI的AI技術(shù)引入iOS18。?2024年5月，微軟推出全新WindowsPC品類—Windows11AIPC。n中國端側(cè)AI行業(yè)經(jīng)歷三個階段：起步探索階段、技術(shù)研發(fā)與初步落地階段和應(yīng)用快速拓展階段。n起步探索階段：2016-2017年，中國逐漸進入端側(cè)AI領(lǐng)域，且互聯(lián)網(wǎng)巨頭企業(yè)率先發(fā)力。這標(biāo)志著中國正式開啟端側(cè)AI領(lǐng)域的探索之旅。n技術(shù)研發(fā)與初步落地階段：2018-2022年，中國端側(cè)AI行業(yè)在本土創(chuàng)新企業(yè)的推動下迅速啟動，核心芯片研發(fā)、計算平臺建設(shè)、廣泛應(yīng)用實踐及性能持續(xù)升級。n應(yīng)用快速拓展階段：2023年至今，中國主流科技企業(yè)紛紛在端側(cè)AI領(lǐng)域加大投入并取得顯著成果，特別是在移動端和操作系統(tǒng)層面上的AI集成與創(chuàng)新。同時海外科技企業(yè)推動端側(cè)AI技術(shù)的集成和應(yīng)用更廣泛。來源：企業(yè)官網(wǎng)，頭豹研究院頭豹LeadL8?2024LeadLeo研究報告|2024/052023年中國端側(cè)AI市場規(guī)模為1,939億元，預(yù)計2028年其市場規(guī)模將為19,071億元，年均復(fù)合增長率為58%，端側(cè)AI已大規(guī)模用于智能安防和智能車載設(shè)備，未來AI手機和AIPC將成為主要增長因素CAGRCAGR58%搜索《2024年中國端側(cè)AI場景應(yīng)用分析》CAGRCAGR116.3%2023年中國端側(cè)AI市場規(guī)模為1,939億元，從2018在2023年之前，端側(cè)AI技術(shù)已在多個領(lǐng)域落地應(yīng)用，其中智能安防和智能車載設(shè)備是兩個重要的應(yīng)用領(lǐng)域。端側(cè)AI在智能安防領(lǐng)域的應(yīng)用包括視頻監(jiān)控分析、面部識別、異n值得關(guān)注的是，自2023年起，AI手機和AIPC開始興起，兩者龐大端側(cè)AI行業(yè)迅速發(fā)展。其中AI手機通過集成NPU或AI加速器，能實現(xiàn)更快的圖像處理、語音來源：專家訪談，頭豹研究院頭豹LeadL9?2024LeadLeoLeadLeoLeadLeoChapter2o產(chǎn)業(yè)圖譜及說明o上游產(chǎn)業(yè)鏈分析o中游產(chǎn)業(yè)鏈分析o下游產(chǎn)業(yè)鏈分析研究報告|2024/05中國端側(cè)AI行業(yè)的上游產(chǎn)業(yè)鏈為核心技術(shù)和硬件提供商，中游產(chǎn)業(yè)鏈為端側(cè)AI系統(tǒng)集成與軟件平臺開發(fā)商，下游產(chǎn)業(yè)鏈為應(yīng)用領(lǐng)域與服務(wù)端側(cè)AI產(chǎn)業(yè)圖譜端側(cè)AI產(chǎn)業(yè)圖譜核心技術(shù)和硬件提供商核心技術(shù)和硬件提供商AIAI基礎(chǔ)設(shè)施提供商AI芯片傳感器與其他硬件制造商算法框架數(shù)據(jù)算法框架數(shù)據(jù)算力算力處理器處理器傳感器處理器傳感器處理器 完整版登vivovivo軟件平臺開發(fā)系統(tǒng)集成搜索《2024年中國端側(cè)軟件平臺開發(fā)系統(tǒng)集成搜索《2024年中國端側(cè)AI場景應(yīng)用分析》n適應(yīng)端側(cè)設(shè)備的計算能力和存儲限制，提供輕量化的AI產(chǎn)品與軟件服務(wù)n適應(yīng)端側(cè)設(shè)備的計算能力和存儲限制，提供輕量化的AI產(chǎn)品與軟件服務(wù)應(yīng)用領(lǐng)域與服務(wù)行業(yè)解決方案行業(yè)解決方案n需利用AI技術(shù)來提升產(chǎn)品的智能化水平，增強用n利用端側(cè)AI技術(shù)，n需利用AI技術(shù)來提升產(chǎn)品的智能化水平，增強用來源：頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/052022年中國通用算力和智能算力分別達137EFLOPS和41EFLOPS，分別占全球比重27%和39%，MindSpore在中國自主研發(fā)的AI框架中活躍度最高，且未來NPU將在端側(cè)AI領(lǐng)域廣泛應(yīng)用全球算力規(guī)模分布，2022年單位：EFLOPS2222TensorFlowOneFlowu其他發(fā)式增長。2022年中國通用算力和智能算力分別達137EFLOPS和41EFLOPS，分別同比增長n在選擇AI框架時，開發(fā)者最重視的因素是框架的易用性，其中有40%的開發(fā)者將其列為首要中高低低高高低中低中高高搜索《2024年中國端側(cè)AI場景應(yīng)用分析》nNPU是為加速AI推理任務(wù)而特別設(shè)計的處理器，通過優(yōu)函數(shù)的處理，因此未來NPU將在端側(cè)AI領(lǐng)域廣泛應(yīng)用。NPU針對網(wǎng)絡(luò)運算優(yōu)化，可通過編程務(wù)器市場將持續(xù)擴張，推動AI服務(wù)器市場的進一步發(fā)展目前，中國長城和百度攜手合作，并成功完成一項重要的技術(shù)突破。該合作內(nèi)容針對擎天EF860雙路服務(wù)器和昆侖AI加速卡的適配測試，并標(biāo)志著繼AI-TF2000飛槳一體機之后，雙方來源：中國通信院，中國知網(wǎng)，頭豹研究院頭豹LeadL?2024LeadLeo!!研究報告|2024/052023年中國端側(cè)大模型市場規(guī)模達8億元，預(yù)計2028年其市場規(guī)模將達79億元，年均復(fù)合增長率為58%，端側(cè)AI企業(yè)商業(yè)模式可分為5種，且主要參與者可分為4類CAGRCAGR58%搜索《2024年中國端側(cè)AI場景應(yīng)用分析》88端側(cè)大模型端側(cè)AI企業(yè)商業(yè)模式端側(cè)AI企業(yè)商業(yè)模式0102030405中國端側(cè)行業(yè)主要參與者分類分類企業(yè)特征vivo其中互聯(lián)網(wǎng)型企業(yè)的優(yōu)勢在于擁有強大的在線服務(wù)和用戶基礎(chǔ)，而端側(cè)AI終端場景企業(yè)需與來源：專家訪談，頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05端側(cè)AI的應(yīng)用領(lǐng)域廣泛滲透到城市管理、交通、醫(yī)療、教育、制造業(yè)、零售、農(nóng)業(yè)、金融、數(shù)字社區(qū)以及文旅服務(wù)等多個行業(yè)，其中智慧安防和智慧車載領(lǐng)域的規(guī)模已達1,226億元和119億元主要行業(yè)端側(cè)AI應(yīng)用場景分布端側(cè)AI智慧賦能數(shù)字社區(qū)以及文旅服務(wù)等多個行業(yè)。端側(cè)AI通過在設(shè)備端完成數(shù)據(jù)處理，提供高速、低功在持續(xù)推動著工作與生活的變革，例如提升筆記本電腦的智能化水平至可與行業(yè)領(lǐng)先品牌競中國智能安防市場規(guī)模，中國智能安防市場規(guī)模，2023-2028E中國智能車載市場規(guī)模，2023-2028E5,5984,4253,4985,5984,4253,4982,7651,8401,226640518418518418324216119搜索《2024年中國端側(cè)AI場景應(yīng)用分析》20232024E20232024E2025E2026E2027E2028En2023年中國智慧安防市場規(guī)模達1,226億元，預(yù)計2028年其市場規(guī)模將達5,598億元，年均復(fù)合增長率為35.5%。端側(cè)AI是智慧安防系統(tǒng)n2023年中國智能車載市場規(guī)模達119億元，預(yù)計2028年其市場規(guī)模將達640億元，年均復(fù)合增長率為40%。智能車載系統(tǒng)通過端側(cè)AI的應(yīng)用，不僅提升車輛的智能化水平，還增強車輛來源：深圳新聞網(wǎng)，中國知網(wǎng)，數(shù)字信息安防產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟，頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05未來AIPC和AI手機將作為端側(cè)AI領(lǐng)域的重要載體，預(yù)計2027年，中國AIPC占個人電腦的市場比重將達84.6%，AI手機將占51.9%的手機市場份額，同時80%以上的終端設(shè)備將具備AI處理能力中國AIPC市場規(guī)模占比，2023-2027E中國AIPC市場規(guī)模占比，2023-2027E全球已布局AIPC企業(yè)AI專屬芯片NPU中國AI手機銷量及占比，2023-2027E銷量市場份額占比中國AI手機銷量及占比，2023-2027E銷量市場份額占比全球布局AI手機企業(yè)是是是是是是是是是XiaomiAISP否是是nAI手機搭載支持生成式AI的智能終端硬件平臺，并內(nèi)嵌專屬智能體。AI技術(shù)不僅推動攝影技值得關(guān)注的是，預(yù)計2027年，中國AI手機的出貨量將達1.5億臺，并占中國n預(yù)計2024年，中國終端設(shè)備市場中超過50%的設(shè)備將內(nèi)置具備AI處理能力的硬件基礎(chǔ)。預(yù)計來源：中國知網(wǎng)，白皮書，頭豹研究院頭豹LeadL?2024LeadLeoLeadLeoLeadLeoChapter3o相關(guān)政策o驅(qū)動因素o限制因素o發(fā)展趨勢o競爭格局研究報告|2024/05中國一系列跨領(lǐng)域的政策，中國一系列跨領(lǐng)域的政策，為端側(cè)AI行業(yè)提供戰(zhàn)略支持、算力基礎(chǔ)、標(biāo)準(zhǔn)化指導(dǎo)、服務(wù)管理規(guī)范和應(yīng)用場景創(chuàng)新的全方位推動力政策名稱《深入實施“東數(shù)西算”工程加快構(gòu)建全國一體化算力網(wǎng)的實施意見》發(fā)布時間2023發(fā)布主體發(fā)改委，工信部等5部門主要內(nèi)容該政策指出，以算力高質(zhì)量發(fā)展賦能經(jīng)濟高質(zhì)量發(fā)展為主線，充分發(fā)揮全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點，協(xié)同推進“東數(shù)西算”工程政策名稱《數(shù)字中國建設(shè)整體布局規(guī)劃》發(fā)布時間2023發(fā)布主體中共中央，國務(wù)院主要內(nèi)容該政策指出，推進數(shù)字社會治理精準(zhǔn)化，深入實施數(shù)字鄉(xiāng)村發(fā)展行動，以數(shù)字化賦能鄉(xiāng)村產(chǎn)業(yè)發(fā)展、鄉(xiāng)村建設(shè)和鄉(xiāng)村治理。同時普及數(shù)字生活智能化，打造智慧便民生活圈、新型數(shù)字消費業(yè)態(tài)、面向未來的智能化沉浸式服務(wù)體驗政策名稱《新產(chǎn)業(yè)標(biāo)準(zhǔn)化領(lǐng)航工程實施方案（2023—2035年）》發(fā)布時間2023發(fā)布主體工信部，科技部等4部門主要內(nèi)容該政策指出，研制人形機器人術(shù)語、通用本體、整機結(jié)構(gòu)、社會倫理等基礎(chǔ)標(biāo)準(zhǔn)。同時研制人形機器人感知系統(tǒng)、定位導(dǎo)航、人機交互、自主決策、集群控制等智能感知決策和控制標(biāo)準(zhǔn)政策名稱《生成式人工智能服務(wù)管理暫行辦法》發(fā)布時間2023發(fā)布主體發(fā)改委，工信部，教育部等7部門主要內(nèi)容該政策指出，鼓勵生成式人工智能算法、框架、芯片及配套軟件平臺等基礎(chǔ)技術(shù)的自主創(chuàng)新，同時完善與創(chuàng)新發(fā)展相適應(yīng)的科學(xué)監(jiān)管方式，制定相應(yīng)的分類分級監(jiān)管規(guī)則或者指引，從而倡導(dǎo)人形機器人標(biāo)準(zhǔn)化政策名稱《關(guān)于加快場景創(chuàng)新以人工智能高水平應(yīng)用促進經(jīng)濟高質(zhì)量發(fā)展的指導(dǎo)意見》發(fā)布時間2022發(fā)布主體工信部，教育部，科技部等6部門主要內(nèi)容該政策指出，在城市管理領(lǐng)域，探索城市大腦、城市物聯(lián)感知、政務(wù)數(shù)據(jù)可用不可見、數(shù)字采購等場景。在交通治理領(lǐng)域，探索交通大腦、智慧道路、智慧停車、自動駕駛出行、智慧港口、智慧航道等場景n中國一系列跨領(lǐng)域的政策，為端側(cè)AI行業(yè)提供戰(zhàn)略支持、算力基礎(chǔ)、標(biāo)準(zhǔn)化指導(dǎo)、服務(wù)管理規(guī)范和應(yīng)用場景創(chuàng)新的全方位推動力。這意味著端側(cè)AI將在國家層面得到更加明確的發(fā)展路徑、更加強大的技術(shù)支撐和更加廣闊的應(yīng)用前景，從而加速AI技術(shù)的創(chuàng)新應(yīng)用和產(chǎn)業(yè)生態(tài)的構(gòu)建。通過推動端側(cè)AI向更深層次、更廣領(lǐng)域發(fā)展，經(jīng)濟社會的數(shù)字化轉(zhuǎn)型和高質(zhì)量發(fā)展將獲得新動能。來源：各政府部門，頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05技術(shù)進步和邊緣計算的出現(xiàn)是端側(cè)AI行業(yè)發(fā)展的驅(qū)動因素，主要在于移動通信技術(shù)的迭代、異構(gòu)結(jié)構(gòu)提高處理性能以及云計算與終端設(shè)備之間的空白被填補技術(shù)進步技術(shù)進步移動通信技術(shù)的迭代，異構(gòu)結(jié)構(gòu)提高處理性能各類終端產(chǎn)品應(yīng)用端側(cè)AI對通信技術(shù)需求程度器人異構(gòu)結(jié)構(gòu)中不同處理器使用目的n移動通信技術(shù)主要通過提升數(shù)據(jù)傳輸速度、降低延遲和增強連接性，為端側(cè)AI提供更廣闊的n終端異構(gòu)混合計算資源（CPU、NPU和GPU）是推動AI技術(shù)在各個領(lǐng)域廣泛應(yīng)用的關(guān)鍵。異構(gòu)混合架構(gòu)通過結(jié)合不同指令集和體系結(jié)構(gòu)的計算單元，構(gòu)建一個本地計算系統(tǒng)。該架構(gòu)能邊緣計算邊緣計算填補云計算與終端設(shè)備之間的空白模型驅(qū)動服務(wù)框架圖>>>>即靠近數(shù)據(jù)生成的位置。邊緣計算旨在減輕云端服務(wù)器的計算壓力，并加快物聯(lián)網(wǎng)設(shè)備對數(shù)算平臺，不僅解決端側(cè)AI應(yīng)用的核心問題，還促進AI技術(shù)在更多領(lǐng)域的創(chuàng)新應(yīng)用和商業(yè)化落來源：全球移動通信系統(tǒng)協(xié)會，專家訪談，頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05AIAgent的特點在于其自主性，能不依賴持續(xù)的人為指令，并依據(jù)任務(wù)需求自我調(diào)整策略，未來AIAgent將在端側(cè)設(shè)備上獨立運行，成為智能設(shè)備的核心組件AIAIAgent興起自主決策執(zhí)行，成為端側(cè)AI的核心組件nAIAgent是一種技術(shù)實體，能自主感知周遭環(huán)境，通過內(nèi)在的智能處理進行決策，并執(zhí)行相應(yīng)行動以達成特定目的。AIAgent的特點在于其自主性，能不依賴持續(xù)的人為指令，并依據(jù)任務(wù)需求自我調(diào)整策略。AIAgent的設(shè)計較為高級，一旦接收到一個目標(biāo)指令，即可啟動一系列復(fù)雜邏輯，包括但不限于自我學(xué)習(xí)、工具利用等，來獨立推進行動計劃直至任務(wù)成功完成。人與AIAgent合作模式圖AI人AInAI完全代理n分解任務(wù)nnAI完全代理n分解任務(wù)n選擇工具n監(jiān)控進度nAI自助結(jié)束云側(cè)、端側(cè)n設(shè)定目標(biāo)n分配資源n監(jiān)管成果底層框架底層框架AIAgent生態(tài)框架圖決策及內(nèi)容生成決策及內(nèi)容生成n規(guī)劃n記憶n實用工具n采取行動軟件軟件、硬件提供商AgentStoreAIAgentnAIAgent將在端側(cè)設(shè)備上獨立運行，成為端側(cè)AI的核心組件。以聯(lián)想的“智能終端AIOS”為例，該系統(tǒng)通過將AI技術(shù)集成到個人Agent中，并嵌入智能終端，打造新一代的AI驅(qū)動操作系統(tǒng)。該集成方式不僅增強端側(cè)設(shè)備的智能功能，還支持跨應(yīng)用操作、主動服務(wù)和自我進化的能力。同時，端側(cè)AI模型的運行效率顯著提高，能在短時間內(nèi)處理大量數(shù)據(jù)，實現(xiàn)快速響應(yīng)和低延遲。隨著AI技術(shù)的不斷進步，AIAgent將在端側(cè)AI領(lǐng)域扮演愈發(fā)重要的角色。來源：頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05端側(cè)端側(cè)AI行業(yè)發(fā)展的核心限制因素是端側(cè)大模型參數(shù)量小，主要原因在于設(shè)備芯片功耗高、設(shè)備存儲不足以及設(shè)備硬件算力不足端側(cè)大模型參數(shù)量小端側(cè)大模型參數(shù)量小設(shè)備芯片功耗高設(shè)備硬件算力不足模型運行需要充足電量，設(shè)備芯片功耗高設(shè)備硬件算力不足模型運行需要充足電量，并產(chǎn)生大量熱量。由于長時間運行大模型會導(dǎo)致設(shè)備發(fā)熱，不僅影響用戶體驗，還損害硬件。同時，移動設(shè)備依賴電池供電，而目前移動設(shè)備的電池容量難以支撐大模型進行長時間或復(fù)雜運算。模型算力需求高于設(shè)備硬件算力能力。多數(shù)端側(cè)設(shè)備的算力普遍低于16TOPS。盡管在自動駕駛領(lǐng)域，車載設(shè)備的算力高于移動設(shè)備算力，達約47TOPS。但總體而言，端側(cè)設(shè)備的主流算力普遍在6TOPS-8TOPS以下。設(shè)備存儲不足模型加載需要大量內(nèi)存。例如，百億參數(shù)的模型需要數(shù)十GB的存儲空間，而普通智能手機的內(nèi)存容量有限。大部分手機內(nèi)容為而達到TB級別容量的手機售價昂貴，消費者購買意愿低。文本生成圖像生成視頻生成編程科學(xué)計算多模態(tài)生成n端側(cè)AI行業(yè)發(fā)展的核心限制因素是端側(cè)大模型參數(shù)量小，主要原因在于設(shè)備芯片功耗高、設(shè)備存儲不足以及設(shè)備硬件算力不足。云端大模型參數(shù)量級通常達到上百億至數(shù)千億，而端側(cè)大模型參數(shù)量較小，主流端側(cè)大模型參數(shù)量約為20億。此外，端側(cè)大模型需適應(yīng)不同性能的設(shè)備，在模型設(shè)計時需考慮到廣泛的硬件兼容性，因此加大研發(fā)難度。端側(cè)云側(cè)端側(cè)云側(cè)0.11101001,000模型規(guī)模（十億參數(shù)）來源：白皮書，專家訪談，頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05未來端側(cè)AI將與云側(cè)AI結(jié)合為混合式AI一同使用，采用混合式AI，可在全球范圍內(nèi)實現(xiàn)成本效益、能效、性能提升、隱私保護、安全性增強和個性化服務(wù)中心云、邊緣云及端側(cè)關(guān)系圖中心云邊緣云混合式混合式AI端側(cè)n混合式AI是指，終端設(shè)備和云端服務(wù)器相互協(xié)作，根據(jù)具體場景和時間，合理分配AI計算任務(wù)，以提供更優(yōu)的用戶體驗，并高效利用計算資源。在特定應(yīng)用場景中，計算任務(wù)主要在終端設(shè)備上執(zhí)行，僅在需要時才將部分任務(wù)遷移到云端處理。而在以云端為核心的場景中，終端設(shè)備會根據(jù)自己的計算能力，在條件允許的情況下分擔(dān)部分AI計算任務(wù)。低能耗：邊緣設(shè)備支持高效AI處理，且能效優(yōu)于云端。結(jié)合處理和數(shù)據(jù)傳輸，邊緣設(shè)備以低能耗運行生成式AI模型。高隱私性和安全性低能耗：邊緣設(shè)備支持高效AI處理，且能效優(yōu)于云端。結(jié)合處理和數(shù)據(jù)傳輸，邊緣設(shè)備以低能耗運行生成式AI模型。高隱私性和安全性：端側(cè)AI的設(shè)計有助于保護用戶隱私，通過本地處理查詢和個人信息，避免數(shù)據(jù)泄露，對于企業(yè)或工作環(huán)境中保護敏感信息具有重要意義。低成本：生成式AI搜索的成本是傳統(tǒng)搜索方法的10倍。通過將處理任務(wù)從云端轉(zhuǎn)向邊緣設(shè)備，可降低云壓力和成本。強可靠性、性能和時延：在混合式AI的架構(gòu)下，終端側(cè)AI處理穩(wěn)定高效，即使云服務(wù)擁堵也能保持性能，同時可避免云端高峰時的排隊、延遲和拒服問題。強個性化：混合AI實現(xiàn)個性化體驗，數(shù)字助手可定制化服務(wù)，同時確保隱私安全。此外，個性化應(yīng)用不僅限于消費者，企業(yè)也可利用混合AI標(biāo)準(zhǔn)化代碼編寫等。來源：白皮書，頭豹研究院頭豹LeadL?2024LeadLeo研究報告|2024/05中國端側(cè)AI行業(yè)的競爭格局梯隊主要根據(jù)市場力進行劃分，其中包括端側(cè)AI行業(yè)解決方案、硬件產(chǎn)品以及軟件服務(wù)，其中第一梯隊包括華為云、阿里云以及商湯科技企業(yè)名稱是否上市主要產(chǎn)品與服務(wù)市場競爭力企業(yè)名稱是否上市主要產(chǎn)品與服務(wù)市場競爭力華為云否HiAI3.0平臺是一個具備端側(cè)分布式AI開放能力的平臺，將SoC中加入指向AI算力的NPU，完成AI手機的研發(fā)第一梯隊阿里云否開源了推理引擎MNN，用于支持端側(cè)AI應(yīng)用，端側(cè)AI技術(shù)緊貼用戶在AR特效、搜索推薦等方面有諸多創(chuàng)新應(yīng)用第一梯隊商湯科技是發(fā)布行業(yè)首個“云、端、邊”全棧大模型產(chǎn)品矩陣，其中包括應(yīng)用于終端設(shè)備的“商湯端側(cè)大模型”，以及“日日新SenseNova5.0”大模型體系第一梯隊中科創(chuàng)達是提供包括AI手機、AIPC等端側(cè)品類的整體解決方案，發(fā)布AI魔方大模型和滴水OS整車操作系統(tǒng)，以及AI開發(fā)套件RubikLiteDK第二梯隊云從科技是在人臉識別、圖像識別等領(lǐng)域深耕，其技術(shù)廣泛應(yīng)用于金融、安防、交通等多個行業(yè)第二梯隊漢王科技是計劃于2025年推出人形機器人，該人形機器人融合先進的機器人傳感技術(shù)、智能汽車技術(shù)以及采用鯤鵬鴻蒙系統(tǒng)的集成第二梯隊寒武紀(jì)是芯片設(shè)計專長在于加速AI計算，為端側(cè)設(shè)備提供強大的本地處理能力，支持快速響應(yīng)的AI功能和服務(wù)第三梯隊瀾舟科技否利用“孟子大模型”為核心技術(shù)，直接部署在用戶的移動設(shè)備或嵌入式系統(tǒng)中，開發(fā)面向消費者的創(chuàng)意輔助工具第三梯隊榮耀否自研平臺級端側(cè)AI大模型“魔法大模型”，榮耀AI手機搭載諸如AI助手、場景識別等功能，強調(diào)個性化體驗和高效能運算第三梯隊vivo否發(fā)布自研藍心大模型，在近年來的旗艦機型中積極整合端側(cè)AI技術(shù)，比如AI相機增強、游戲優(yōu)化、智能電源管理等第三梯隊搜索《2024年中國端側(cè)AI場景應(yīng)用分析》中國端側(cè)AI領(lǐng)域競爭格局，2023年創(chuàng)新潛力創(chuàng)新潛力中科創(chuàng)達寒武紀(jì)vivo商湯科技華為云阿里云榮耀云從科技瀾舟科技中科創(chuàng)達寒武紀(jì)vivo商湯科技華為云阿里云榮耀云從科技瀾舟科技e漢王科技第三梯隊第二梯隊第一梯隊 市場力頭豹LeadL?2024LeadLeo研究報告|2024/05中國端側(cè)AI行業(yè)競爭格局的第一梯隊為互聯(lián)網(wǎng)頭部企業(yè)和ToB龍頭企業(yè)，第二梯隊為大部份AI先行企業(yè)，第三梯隊為端側(cè)場景應(yīng)用企業(yè)，其中包括車企、手機廠商等nn中國端側(cè)AI行業(yè)的競爭格局梯隊主要根據(jù)市場力進行劃分，其中包括端側(cè)AI行業(yè)解決方案、硬件產(chǎn)品以及軟件服務(wù)。第一梯隊包括華為云、阿里云以及商湯科技等主要特點是以上企業(yè)不僅擁有全面的行業(yè)解決方案，還具備優(yōu)秀的硬件和軟件；第二梯隊包括中科創(chuàng)達、云從科技以及漢王科技等方面比較突出；第三梯隊包括寒武紀(jì)企業(yè)的端側(cè)AI產(chǎn)品聚焦在少數(shù)特定領(lǐng)域搜索《2024年中國端側(cè)AI場景應(yīng)用分析》n中國端側(cè)AI來源：專家訪談，頭豹研究院頭豹LeadL?2024LeadLeoLeadLeoChapter4o華為o商湯科技o(jì)中科創(chuàng)達研究報告|2024/05華為的競爭亮點有領(lǐng)先的5G通信技術(shù)、全棧云服務(wù)以及“云+端”協(xié)同框架，同時擁有廣泛的設(shè)備覆蓋和快速增長的市場份額，以及昇騰AI處理器和Atlas方案支持云端到端側(cè)AI應(yīng)用華為從2017年推出麒麟970開始，就在其高端智能手機中集成了專用的華為從2017年推出麒麟970開始，就在其高端智能手機中集成了專用的神經(jīng)網(wǎng)絡(luò)處理單元（NPU作為華為端側(cè)AI技術(shù)的基礎(chǔ)。后續(xù)的麒麟芯片持續(xù)迭代，提升AI運算能力，使得設(shè)備能更高效地運行復(fù)雜的AI算法。此外，華為通過提供開放平臺如HiKey開發(fā)板以及相關(guān)的SDK和工具，鼓勵開發(fā)者創(chuàng)建更多基于端側(cè)AI的應(yīng)用和服務(wù)。n華為擁有廣泛的設(shè)備覆蓋和快速增長的市場份額目前，鴻蒙操作系統(tǒng)的生態(tài)已經(jīng)擴展到超過8億臺設(shè)備，已有180款設(shè)備已經(jīng)升級到HarmonyOS4.2版本，其中包括智能手機、平板電腦、耳機以及智能顯示屏等多種類型。2024年第一季度，中國智能手機市場出貨量達6,926萬臺，同比增長6.5%。在眾多廠商中，華為以17%的市場份額排在中國市場出貨量的第二位，同比增長幅度達110%，與排名第一的榮耀市場份額的差距僅為0.1%。而在2023年第四季度，華為的市場份額為13.9%，在市場中排名第四。n華為昇騰AI處理器和Atlas方案支持云端到端側(cè)AI應(yīng)用華為利用華為昇騰系列AI處理器及配套的基礎(chǔ)軟件平臺，Atlas人工智能計算解決方案得以構(gòu)建，該方案涵蓋廣泛的硬件形態(tài)，如Atlas模塊、板卡、邊緣計算設(shè)備、服務(wù)器群組等，旨在滿足“端側(cè)、邊緣、云端”全方位的AI計算需求。其中，AI模塊在邊緣設(shè)備上執(zhí)行目標(biāo)識別和圖像分類任務(wù)，廣泛應(yīng)用于智能攝像頭、機器人和無人機等端側(cè)AI應(yīng)用場景。n企業(yè)名稱：華為技術(shù)有限公司n成立時間：1987年n總部地址：深圳n行業(yè)領(lǐng)域：計算機、通信和其他電子設(shè)備制造業(yè)、人工智能智慧金融智慧制造智慧政務(wù)智慧教育智慧醫(yī)療智慧交通行業(yè)解決方案智慧電力智慧電力智慧礦業(yè)智慧礦業(yè)智慧能源智慧能源智慧零售智慧零售智慧建筑智慧建筑智慧地產(chǎn)智慧地產(chǎn)產(chǎn)品服務(wù)企業(yè)網(wǎng)絡(luò)企業(yè)光網(wǎng)絡(luò)企業(yè)服務(wù)與軟件計算數(shù)據(jù)存儲智能協(xié)作管理系統(tǒng)華為坤靈系列數(shù)據(jù)存儲智能協(xié)作管理系統(tǒng)華為坤靈系列華為云企業(yè)無線昇騰系列產(chǎn)品AI加速卡智能邊緣AI服務(wù)器AI集群AI模塊領(lǐng)先5G通信技術(shù)提供高速、低延遲的網(wǎng)絡(luò)解決方案全棧云服務(wù)提供從IaaS到PaaS的全棧云服務(wù)，涵蓋計算、存儲、數(shù)據(jù)庫、AI、IoT等多種服務(wù)“云+端”協(xié)同架構(gòu)提供基于人工智能芯片及模塊的軟硬件集成解決方案 來源：中國知網(wǎng)，企業(yè)官網(wǎng)，頭豹研究院頭豹LeadL研究報告|2024/05商湯科技成立至今10年，于2023年推出商湯大模型體系“日日新”，同時完成“云端邊”全棧布局，依靠超大算力支撐，再結(jié)合大模型與行業(yè)實現(xiàn)深度融合n商湯科技的n商湯科技的AI視覺技術(shù)在汽車行業(yè)特別是整車制造業(yè)中備受推崇，其憑借全球頂尖的車內(nèi)（In-Cabin）視覺解決方案及卓越的融合創(chuàng)新能力，使商湯絕影在全球最大的汽車市場中，車內(nèi)視覺軟件領(lǐng)域占據(jù)了領(lǐng)導(dǎo)地位。n商湯科技的“感知決策一體化自動駕駛通用大模型框架”提高多目標(biāo)追蹤的精度20%，增強車道線識別的準(zhǔn)確度30%，減少對目標(biāo)運動軌跡預(yù)測的誤差大幅38%，同時降低在駕駛規(guī)劃上的誤差28%。n企業(yè)名稱：商湯集團有限公司n成立時間：2014年n總部地址：上海n行業(yè)領(lǐng)域：人工智能??商湯科技成立，專注于全棧式人工智能能力和感知智能?獲得數(shù)千萬美元融資??開始研發(fā)深度學(xué)習(xí)培訓(xùn)框架SenseParrots??推出智慧生活平臺?推出智慧生活平臺SenseMARS2017年?獲得4.1億美元新一輪融資?為vivo等手機品牌提供人臉識別解鎖技術(shù)?與本田合作，共同研發(fā)適用乘用車的L4級別自動駕駛方案??成為繼阿里云、百度、騰訊、科大訊飛后的第五個人工智能開放創(chuàng)新平臺?推出家庭消費級AI產(chǎn)品，“元蘿卜?推出家庭消費級AI產(chǎn)品，“元蘿卜SenseRobot”AI下棋機器人?推出商湯大模型體系“日日新”?發(fā)布日日新·商量大語言模型-通用版本（SenseCh