2024年中國AI大模型產(chǎn)業(yè)發(fā)展報告

伴隨人工智能技術的加速演進，AI大模型已成為全球科技競爭的新高地、為AI大模型產(chǎn)業(yè)發(fā)展創(chuàng)造了良好的環(huán)境。當前，通用大模型、行人工智能產(chǎn)業(yè)的核心驅動力，AI大模型廣泛賦能我國經(jīng)濟社會的多個領域，打行業(yè)從業(yè)者以及社會公眾更好了解AI大模型產(chǎn)業(yè)提供參考。專家寄語2023年人工智能大模型全面爆發(fā)，給科技創(chuàng)新、生產(chǎn)生活帶來重大變革、AI大模型的出現(xiàn)，使得利用人工智能技術來生成內容，從“可用”跨越到本、提高性價比的空間；需求側來看，企業(yè)高效應用AI大模型的必然前提是，科技公司加大對AI領域投入資金、人力、技術研發(fā)，各環(huán)節(jié)協(xié)同支撐大模型發(fā)款應用。vivo結合自研大模型端側化、矩陣化的技術優(yōu)勢并且會聚焦手機行業(yè) 4 9 第一章?lián)P帆起航：中國AI大模型產(chǎn)業(yè)發(fā)展背景1.1中國AI大模型產(chǎn)業(yè)發(fā)展政策驅動力都、福建、安徽、上海、廣東等地均發(fā)布了關于AI大模型的相關政策。具體來和迭代CV大模型、NLP大模型、多模態(tài)大模型等領域大模型以及醫(yī)療、金融、北京市人民政府《北京市加快建設具有全球影響力的人工智能創(chuàng)新策源（2023-2025年）》支持創(chuàng)新主體重點突破分布式高效深度學習框架、大模型新型基礎架構等基礎平臺技術。著力推動大模型相關技術創(chuàng)新。構建高效協(xié)同的大模型技術產(chǎn)業(yè)生態(tài)。建設大模型算法及工具開源開放平臺，構建完整大模型技術創(chuàng)新體系。組建全棧國產(chǎn)化人工智能創(chuàng)新聯(lián)合體，搭建基于國產(chǎn)軟硬件的人工智能訓練和服務基礎設施，研發(fā)全棧國產(chǎn)化的生成式大模型，逐步形成自主可控的人工智能技術體系和產(chǎn)業(yè)生態(tài)。北京市人民政府辦公廳《北京市促進通用人工智能創(chuàng)新發(fā)展的若干措施》高效推動新增算力基礎設施建設:加快推動海淀區(qū)、朝陽區(qū)建設北京人工智能公共算力中心、北京數(shù)字經(jīng)濟算力中心，形成規(guī)?；冗M算力供給能力，支撐千億級參數(shù)量的大型語言模型、大型視覺模型、多模態(tài)大模型、科學計算大模型、大規(guī)模精細神經(jīng)網(wǎng)絡模擬仿真模型、腦啟發(fā)神經(jīng)網(wǎng)絡等研發(fā)。開展大模型創(chuàng)新算法及關鍵技術研究:圍繞模型構建、訓練、調優(yōu)對齊、推理部署等環(huán)節(jié)，積極探索基礎模型架構創(chuàng)新，研究大模型高效并行訓練技術和認知推理、指令學習、人類意圖對齊等調優(yōu)方法，研發(fā)支持百億參數(shù)模型推理的高效壓縮和端側部署技術，形成完整高效的技術體系，鼓勵開源技術生態(tài)建設。中共深圳市委辦公廳、深圳市人民政府辦《深圳市加快推動人工智能高質量發(fā)展高水平應用行動方案（2023—2024年）》重點支持打造基于國內外芯片和算法的開源通用大模型；支持重點企業(yè)持續(xù)研發(fā)和迭代商用通用大模型；鼓勵大模型企業(yè)聯(lián)合生態(tài)伙伴加強大模型插件及相關軟硬件研發(fā)，推動大模型與現(xiàn)有的操作系統(tǒng)、軟件、智能硬件打通、互嵌。杭州市人民政府辦公廳《杭州市人民政府辦公廳關于加快推進人工智能產(chǎn)業(yè)創(chuàng)到2025年，基本形成“高算力+強算法+大數(shù)據(jù)”的產(chǎn)業(yè)生態(tài)，將我市打造成為全國算力成本洼地、模型輸出源地、數(shù)據(jù)共享高地，人工智能創(chuàng)新應用水平全國領先、國際先進。算力設施先進泛在，算力供給普惠高效，全市可開放算力規(guī)模在使用半精度輸出輸入(FP16)下達到5000千萬億次浮點指令/秒(PFLOPS)以上，高性能算力占比達到60%以上。模型創(chuàng)新應用領跑全國，培育性能達到國際先進水平的通用大模型1個、具有行業(yè)重大影響力的專用模型10個。支持頭部企業(yè)開展多模態(tài)通用大模型關鍵技術攻關、中小企業(yè)深耕垂直領域做精專用模型，鼓勵相關技術和算法開源開放，形成“1+N+X”的協(xié)同創(chuàng)新、雙向賦能產(chǎn)業(yè)生態(tài)。成都市經(jīng)濟和《成都市加快大模支持企業(yè)與科研機構開展數(shù)據(jù)與知識深度聯(lián)合學習、大規(guī)模信息化局、成都市新經(jīng)濟發(fā)展委員會型創(chuàng)新應用推進人工智能產(chǎn)業(yè)高質量發(fā)展的若干措施》認知與推理、可控內容生成等關鍵算法研發(fā)，著力推動大模型相關技術創(chuàng)新，重點研發(fā)和迭代CV大模型、NLP大模型、多模態(tài)大模型等領域大模型，以及醫(yī)療、金融、商務、交通等行業(yè)大模型。福建省人民政府辦公廳《福建省人民政府辦公廳關于印發(fā)福建省促進人工智能產(chǎn)業(yè)發(fā)展十條措施的通知》以普惠算力降低人工智能企業(yè)研發(fā)成本，支撐快速增長的算力需求，促進自然語言，多模態(tài)認知等超大規(guī)模智能模型開發(fā)訓練。安徽省人民政府《安徽省人民政府關于印發(fā)打造通用人工智能產(chǎn)業(yè)創(chuàng)新和應用高地若干政策的通知》對在皖落戶的通用及行業(yè)大模型企業(yè)、跨領域應用企業(yè)、新興算力企業(yè)、安全人工智能企業(yè)等，優(yōu)先匹配算力、數(shù)據(jù)、場景、基金、場地等要素資源。上海市經(jīng)濟和會、上海市發(fā)展和改革委員會等五部門《上海市推動人工智能大模型創(chuàng)新發(fā)（2023-2025年）》實施大模型創(chuàng)新扶持計劃。支持引進高水平創(chuàng)新企業(yè)，支持本市創(chuàng)新主體打造具有國際競爭力的大模型，鼓勵形成數(shù)據(jù)飛輪，加速模型迭代，對取得重大成果的予以專項獎勵。實施大模型示范應用推進計劃。重點支持在智能制造、生物醫(yī)藥、集成電路、智能化教育教學、科技金融、設計創(chuàng)意、自動駕駛、機器人、數(shù)字政府等領域構建示范應用場景，打造標桿性大模型產(chǎn)品和服務。廣東省人民政府《廣東省人民政府關于加快建設通用人工智能產(chǎn)業(yè)創(chuàng)新圍繞基礎架構、訓練算法、調優(yōu)對齊、推理部署等環(huán)節(jié)，研發(fā)千億級參數(shù)的人工智能通用大模型，形成自主可控的大模型完整技術體系。聚焦智能經(jīng)濟、智能社會等行業(yè)創(chuàng)新場景，研發(fā)具有多模態(tài)數(shù)據(jù)、知識深度融合的垂直領域大模型，支撐多任務復雜場景行業(yè)應用。1.2AI大模型產(chǎn)業(yè)發(fā)展技術驅動力GPT-4發(fā)布，其具備多模態(tài)理解與多類型內容生成能力。2024年，OpenAI發(fā)布視頻生成大模型Sora，提出時空碎片和擴散Transformer技術，大模型的多模器層堆疊而成；解碼器部分由N個解碼器層堆疊而成；輸出部分包括線性層和Nx↑ NxAI語言大模型關鍵技術主要涉及基于人類反饋強化學習、指令微調、模型RLHF)，是指將人類標注者引入到大模型的學習過程中，訓練與人類偏好對齊的的語言模型進行訓練，通過給予特定獎勵或懲罰引導AI模型的行為，使其能夠2）訓練獎勵模型：讓標記員參與提供有關模型輸出結果的反饋，化（PPO）模型，經(jīng)過獎勵機制反饋最優(yōu)結果后，再將結果用于優(yōu)化和迭代PPOLLMs的能力和可控性。指令微調的特殊之處在于其數(shù)據(jù)集的結構，即由人類指通過大規(guī)模文本數(shù)據(jù)預訓練之后的語言大模型具備作為通用任務求解器的1.3中國AI大模型產(chǎn)業(yè)發(fā)展市場驅動力中國AI大模型產(chǎn)業(yè)發(fā)展源于多領域的廣泛需求，例如來自辦公、制造、金提高政務服務效率等訴求。相關領域的創(chuàng)新和發(fā)展共同推動著中國AI大模型產(chǎn)近年來，隨著文字、語音、圖像等處理能力躍遷，大模型搖身變?yōu)椤爸怼痹谘邪l(fā)設計階段，以大模型+EDA為例，利用云端擴展性實現(xiàn)設計自動化，用AIGC和數(shù)字孿生技術，可模擬真實生產(chǎn)環(huán)境派出虛擬人代替工人進行危險、在辦公、制造、金融、醫(yī)療場景得到助力的同時，政務場景下的效率、信第二章百舸爭流：中國AI大模型產(chǎn)業(yè)現(xiàn)狀及典型案例2.1AI大模型主要特征AI大模型具有泛化性(知識遷移到新領域)、通用性(不局限于特定領域)以有巨量參數(shù)和深度網(wǎng)絡結構,能學習并理解更多的特征和模式,從而在處理復雜任務時展現(xiàn)強大的自然語言理解、意圖識別、推理、內容生成等能力,同時具有2.2AI大模型主要類型數(shù)據(jù)存儲需求等特點；端側大模型通常部署在手機、PC等終端上，具有參數(shù)規(guī)手機和PC大模型由于直接部署在設備終端，讓用戶體驗到更加個性化和便捷的當前，我國AI大模型產(chǎn)業(yè)呈現(xiàn)蓬勃發(fā)展的態(tài)勢。伴隨多家科技廠商推AI大模型落地商用，各類通用、行業(yè)以及端側大模型已在多個領域取得了顯著的成果，如在金融、醫(yī)療、政務等領域，AI大模型已成為提升服務質量和效率的重要手段。我國具有代表性的通用AI大模型主要包含科大訊飛的訊飛星火認知大模型、百度公司的文心一言大模型、阿里巴巴的通義千問大模型等；行業(yè)AI大模型主要涵蓋蜜度的文修大模型、容聯(lián)云的赤兔大模型、用型；端側AI大模型主要以蔚來的NOMIGPT大模型為代表。AI大模型功能AI大模型案例AI通用大模型文本生成、語言理解、知識問答、邏輯推理、數(shù)學能力、代碼能力、多模態(tài)能力等科大訊飛—訊飛星火認知大模型百度公司—文心一言大模型阿里巴巴—通義千問大模型AI行業(yè)大模型1.金融：文檔處理、知識問答、內容生成、輔助決策2.醫(yī)療：醫(yī)學影像生成、知識問答、輔助決策3.政務：政策檢索、知識問答、輔助決策4.電商：經(jīng)營分析、商品推廣、商5.傳媒：錄音轉寫、新聞寫作、視頻剪輯蜜度—文修大模型容聯(lián)云—赤兔大模型用友—YonGPT大模型人民網(wǎng)—“寫易”智能創(chuàng)作引擎AI端側大模型物體識別、語言理解蔚來—NOMIGPTAI端云結合大模型語義搜索、知識問答、文本創(chuàng)作、圖片生成、智慧交互等vivo—藍心大模型2.3中國AI通用大模型典型案例訊飛星火認知大模型V3.5從三個角度展示了模型能力的提升，賦能萬物互訊飛星火V3.5在語義理解、指令跟隨和多輪對話中展現(xiàn)優(yōu)異能力器人、工業(yè)、家庭等場景中必備的能力。訊飛星火V3.5在這些關鍵技術撰寫助手、多語種文檔生成、AI自動配圖、多種模板選擇、演講備注等；知識文心大模型4.0的能力提升源自相關舉措1）在萬卡算力上基于飛槳平標注到評估閉環(huán)，充分提高數(shù)據(jù)的利用效率，大幅提升模型效果。（3）基于有與人類的判斷和選擇對齊。（4）利用可再生訓練技術通過增量式的參數(shù)調優(yōu)，代碼助手Comate，提供智能推薦、智能生成、智能問答等多種功能，支持多種通義千問是阿里云研發(fā)的預訓練語言模型，基于先進的自然語言處理技術（NLP）,執(zhí)行理解、生成和解釋人類語言、圖片和文檔等任務。通義千問能在文任務中，通義千問2.0在模型訓練中學習了更多中文語料，在C-EVAL（上海于：“SWOT分析”為用戶提供全面、深入且精準的戰(zhàn)略決策支持，從多元視角輸入菜名逐步指導提供美食烹飪秘訣?！癆I健身教練”為用戶制定專屬健身計2.4中國AI行業(yè)大模型典型案例AI底座上，沒有摒棄小模型，大小模型相配合完成對上層能力的輸出。機制上具備三大核心能力：大模型話術、智能知識庫、會話洞察。大模型話術：容犀容犀Copilot產(chǎn)品應用場景內容差錯、常識校對差錯、內容風險識別三大類校對類型，27類細分類型為校修大模型幾秒鐘就能校對完一篇千字文章，幾分鐘即可校對一本10萬字書稿。保障學術嚴謹性。通過AI潤色功能助力文章、報告、材料的起草、優(yōu)化工作，YonGPT是用友基于數(shù)字和智能技術服務企業(yè)和公共組織數(shù)智化的企業(yè)服務大模型。YonGPT在企業(yè)服務領域的應用主要集中在4個方向：智能化的業(yè)務運并將業(yè)務知識與領域經(jīng)驗融入企業(yè)服務大模型，確保了YonGPT的專業(yè)性、實用系化的企業(yè)服務大模型。YonGPT還優(yōu)化了企業(yè)服務大模型的訓練效率和成本，用友企業(yè)服務大模型YonGPT圍繞四個方向推進模型訓練和產(chǎn)品效果優(yōu)化，能化業(yè)務運營方面：YonGPT通過強大的數(shù)據(jù)分析和預測能力，深入洞察企業(yè)運水平和業(yè)務運營效率；在自然化人機交互方面：YonGPT通過強大的自然語言處在智慧化知識生成方面：YonGPT通過從海量數(shù)據(jù)和信息中提取、整合知識，生用生成方面：YonGPT通過對用戶需求、企業(yè)業(yè)務和數(shù)據(jù)特征的理解，可以自動2.5中國AI端云結合大模型典型案例復雜任務編排等能力?；谒{心大模型能力，vivo開發(fā)出藍心小V和藍心千詢vivo大模型矩陣具有不同參數(shù)量級、多種部署方式，可應用于不同使用場機內存、功耗。10億參數(shù)的藍心大模型（1B），是面向端側場景打造的專業(yè)文要、生圖的場景；70億參數(shù)的藍心大模型（7B），是面向手機打造的端云兩用），低：vivo優(yōu)化模型在手機端的內存占用問題,藍心大模型1B和藍心大模型7B用需求，使得一些應用可以全天候正常運行。真安全：vivo實現(xiàn)端側內容安全的價值取向。首先，強大的基礎能力是大模型的根基。在預訓練階段，vivo利問答；超能寫作：基于用戶的要求，結合AI能力給用戶生成文本，如潤色、擴寫、總結、格式文本等；超能創(chuàng)圖：1、文生圖和圖生圖：基于用戶文字描述或通過對話消除路人，生成更為純凈的圖片；超能智慧交互：1、智能識屏服務功能：一鍵識別屏幕上的文本、網(wǎng)頁鏈接，提取有效信息；2、超直覺化的交互方vivo基于藍心大模型打造的全天侯AI私人小幫手——藍心千詢，覆蓋AI對話和AI靈感兩大核心應用場景。藍心千詢是手機行業(yè)首個大模型公開版免費戶可以通過AI對話進行文本問答、開放問答或是基于文檔的問答，以高效獲取第三章大浪淘沙：中國AI大模型產(chǎn)業(yè)發(fā)展所面臨的挑戰(zhàn)3.1大模型產(chǎn)業(yè)遭遇算力瓶頸隨著AI大模型規(guī)模呈現(xiàn)指數(shù)級增長，訓練大模型越發(fā)依賴高性能AI芯片。AI大模型的訓練速度、產(chǎn)出質量，都和算力直接相關，對于GPT這種大語言模達的A100、H100為代表的高性能AI芯片應用到主流AI大模型的訓練過程。以也正是國內云計算技術人士共識的AI大模型門檻在缺貨和溢價的情況。從我國自研AI芯片來看，中國本土的高性能芯片龍頭以3.2主流大模型架構仍存在諸多局限當前，主流AI大模型所使用的Transformer架構存在消耗算力資源大、占3.3高質量的訓練數(shù)據(jù)集仍需擴展國內的AI大模型數(shù)據(jù)主要來自互聯(lián)網(wǎng)、電商、社交、搜索等渠道，存在數(shù)的僅5TB，其中開源的文本部分僅為200GB。另外一個開源的中文本數(shù)據(jù)集型如智譜清言在聯(lián)網(wǎng)收集數(shù)據(jù)時無法直接調用業(yè)數(shù)據(jù)較少。未來，仍需構建高質量的AI大模型訓練數(shù)據(jù)集，不斷擴充數(shù)據(jù)源3.4大模型爆款應用尚未出現(xiàn)可以從2億篇學術論文中進行搜索，并獲得科學的答案；Grimoire可以在用戶相比而言，國內的AI大模型產(chǎn)業(yè)至今沒有出現(xiàn)爆款級應用，原因在于尚未第四章天闊云高：中國AI大模型產(chǎn)業(yè)趨勢展望4.1AI云側與端側大模型滿足不同需求，C端用戶將成為端側的主要客群業(yè)務模式，提供營銷、客服、會議記錄、文本全的隱私保護，使得未