2024年度中國(guó)GenAI技術(shù)棧市場(chǎng)報(bào)告

2024年中國(guó)GenAI技術(shù)棧市場(chǎng)報(bào)告RAG、多代理系統(tǒng)、模型微調(diào)、模塊化、去中心化、MaaS33沙利文市場(chǎng)研讀研究框架（1/2）GenAI技術(shù)棧概述----------5GenAI技術(shù)棧的結(jié)構(gòu)與研究范圍----------6GenAI技術(shù)棧的演變發(fā)展----------7GenAI技術(shù)棧重要性分析----------8GenAI技術(shù)棧核心組件分析----------9GenAI應(yīng)用構(gòu)建架構(gòu)----------10RAG-構(gòu)建更懂業(yè)務(wù)的生成式AI應(yīng)用----------11MAS-提供更高效的復(fù)雜任務(wù)解決方案----------12提示工程-指引更精準(zhǔn)的模型輸出----------13防護(hù)欄-構(gòu)建更安全的應(yīng)用----------14API服務(wù)-助推更流暢的應(yīng)用集成----------15MLOps-實(shí)現(xiàn)更快速可靠的應(yīng)用發(fā)布----------16用戶構(gòu)建GenAI應(yīng)用考量因素分析----------17高質(zhì)模型的構(gòu)建----------18安全合規(guī)的優(yōu)化----------21推理成本的降低----------23數(shù)據(jù)價(jià)值的釋放----------25產(chǎn)品應(yīng)用化的實(shí)現(xiàn)----------27GenAI技術(shù)棧發(fā)展趨勢(shì)----------29模塊化與標(biāo)準(zhǔn)化----------30平臺(tái)化與簡(jiǎn)易化----------31去中心化----------32MaaS模式重構(gòu)生成式AI商業(yè)化生態(tài)----------33GenAI下的信息商品變革----------34400-072-558844沙利文市場(chǎng)研讀研究框架（2/2）中國(guó)GenAI技術(shù)棧廠商競(jìng)爭(zhēng)力分析----------35廠商競(jìng)爭(zhēng)優(yōu)勢(shì)構(gòu)筑----------36評(píng)價(jià)指標(biāo)----------372024年中國(guó)GenAI技術(shù)棧市場(chǎng)綜合競(jìng)爭(zhēng)表現(xiàn)----------39中國(guó)GenAI技術(shù)棧行業(yè)領(lǐng)導(dǎo)者----------40名詞解釋----------48參考文獻(xiàn)----------50方法論----------51法律聲明----------52400-072-5588 章節(jié)一GenAI技術(shù)棧概述1.11.21.3GenAI技術(shù)棧連接了硬件設(shè)施層與終端用戶交互，集成了包括基礎(chǔ)模型、模型開發(fā)、數(shù)據(jù)處理、模型部署監(jiān)控以及應(yīng)用交互等在內(nèi)的技術(shù)和工具，提供從模型初始化到在早期的決策式AI時(shí)代，AI棧。直至2012年AlexNet的突破，AI技術(shù)棧開始逐步建立，并在2018年開始的大模型階段，生成式AI技術(shù)棧由原本的碎片化工具格局向更具凝聚力和專業(yè)化的生態(tài)系統(tǒng)演變。作為旨在簡(jiǎn)化生成式AI應(yīng)用程序開發(fā)和管理的解決方案和組件合集，生成式AI技術(shù)棧的設(shè)計(jì)目的主要包括為開發(fā)者提供更高效的編程語(yǔ)言、開發(fā)框架與工具鏈以提升開發(fā)效率，給予生成式AI任務(wù)系統(tǒng)級(jí)的完善支持以及探索和滿足大規(guī)模與跨平臺(tái)部署等新需求挑戰(zhàn)。沙利文市場(chǎng)研讀

章節(jié)一 行業(yè)概述GenAI技術(shù)棧結(jié)構(gòu)與研究范圍關(guān)鍵發(fā)現(xiàn)GenAI技術(shù)棧連接了硬件設(shè)施層與終端用戶交互，集成了包括基礎(chǔ)模型、模型開發(fā)、數(shù)據(jù)處理、模型部署監(jiān)控以及應(yīng)用交互等在內(nèi)的技術(shù)和工具，提供從模型初始化到部署全過(guò)程的一站式解決方案。協(xié)助開發(fā)者高效地構(gòu)建、訓(xùn)練、微調(diào)、部署和維護(hù)生成式AI模型。AI包括CPU、GPU、存儲(chǔ)設(shè)備等硬件設(shè)施層包括CPU、GPU、存儲(chǔ)設(shè)備等硬件設(shè)施層數(shù)據(jù)管道數(shù)據(jù)存儲(chǔ)上下文緩存ETL數(shù)據(jù)清洗與標(biāo)注數(shù)據(jù)向量數(shù)據(jù)庫(kù)特征工程數(shù)據(jù)采集模型維護(hù)模型路由代理框架部署與監(jiān)控GenAI技術(shù)棧（本篇報(bào)告主要研究范圍）終端用戶用戶交互使用應(yīng)用層模型監(jiān)控應(yīng)用編排WorkflowsAgent用戶體驗(yàn)UXAPIRAG用戶界面UI基礎(chǔ)模型文基礎(chǔ)模型文本生成 ? 語(yǔ)音生成圖像生成 ? 代碼生成視頻生成 ? 多模態(tài)…模型開發(fā)模型管理模型微調(diào)FineTunning模型推理…來(lái)源：沙利文

6400-072-5588沙利文市場(chǎng)研讀

章節(jié)一 行業(yè)概述GenAI技術(shù)棧演進(jìn):從基礎(chǔ)到智能體關(guān)鍵發(fā)現(xiàn)在早期的決策式AI時(shí)代，AI技術(shù)棧的定義較為模糊，業(yè)內(nèi)尚未出現(xiàn)確立的通用技術(shù)棧。直至2012年AlexNet的突破，AI技術(shù)棧開始逐步建立，并在2018年開始的大模型階段，生成式AI技術(shù)棧由原本的碎片化工具格局向更具凝聚力和專業(yè)化的生態(tài)系統(tǒng)演變。GenAI技術(shù)棧的演進(jìn)歷程2012年以前 2012-2017年 2018年-至今發(fā)展背景：由弱人工智能階段向統(tǒng)計(jì)機(jī)器學(xué)習(xí)階段發(fā)展，進(jìn)入1990年后，算法和模型開始向多樣化發(fā)展。代表性技術(shù)成果:1966年：ELIZA對(duì)話系統(tǒng)20世紀(jì)70年代：HMM模型在語(yǔ)音識(shí)別領(lǐng)域開始應(yīng)用1998年：LeNet-5模型被提出，開始應(yīng)用于手寫數(shù)字識(shí)別技術(shù)棧定義:由基于專家知識(shí)和規(guī)則的系統(tǒng)向“統(tǒng)計(jì)機(jī)器學(xué)習(xí)算法+算力包”結(jié)構(gòu)轉(zhuǎn)變

深度學(xué)習(xí)階段：GenAI技術(shù)棧開始建立發(fā)展背景：深度學(xué)習(xí)的興起標(biāo)志著AI技術(shù)進(jìn)入了全新的階段，GenAI技術(shù)棧開始建立。代表性技術(shù)成果:2012年：AlexNet獲獎(jiǎng)，展示了深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的潛能2015年：ResNet問(wèn)題2017年：Transformer模型被正式提出，為自然語(yǔ)言處理奠定了基礎(chǔ)技術(shù)棧定義:深度神經(jīng)網(wǎng)絡(luò)+開發(fā)框架（TensorFlow,PyTorch）

大模型階段：GenAI技術(shù)棧生態(tài)系統(tǒng)逐步完善發(fā)展背景：2018年之后，大語(yǔ)言模型迅速崛起并高效地適用于不同地應(yīng)用場(chǎng)景。代表性技術(shù)成果:2018年：BERT模型正式提出2020年：GPT-3完成大多數(shù)NLP任務(wù)2021年：CLIP被提出，實(shí)現(xiàn)了跨模態(tài)文本生成圖像技術(shù)。2023年：LLaMA模型提出，對(duì)全球AI社區(qū)產(chǎn)生深遠(yuǎn)影響技術(shù)棧定義:基礎(chǔ)模型+微調(diào)+開發(fā)者工具鏈+模型監(jiān)督與運(yùn)維等HMM模型 CTF

ImageNet

ResNet

BERT

LLaMA反向傳播 卷積網(wǎng)絡(luò)

Attention Transformer

GPT-4

GLMAI技術(shù)棧也由傳統(tǒng)機(jī)器學(xué)習(xí)的碎片化格局向更完善且專業(yè)化的技術(shù)棧生態(tài)系統(tǒng)演變。AI：隨著第一代GPT在2018年發(fā)來(lái)源：沙利文7400-072-5588沙利文市場(chǎng)研讀

章節(jié)一 行業(yè)概述GenAI技術(shù)棧重要性分析關(guān)鍵發(fā)現(xiàn)作為旨在簡(jiǎn)化生成式AI應(yīng)用程序開發(fā)和管理的解決方案和組件合集，生成式AI技術(shù)棧的設(shè)計(jì)目的主要包括為開發(fā)者提供更高效的編程語(yǔ)言、開發(fā)框架與工具鏈以提升開發(fā)效率，給予生成式AI任務(wù)系統(tǒng)級(jí)的完善支持以及探索和滿足大規(guī)模與跨平臺(tái)部署等新需求挑戰(zhàn)。生成式AI任務(wù)的系統(tǒng)級(jí)支持生成式AI技術(shù)棧設(shè)計(jì)目的生成式AI任務(wù)的系統(tǒng)級(jí)支持提供高效編程語(yǔ)言、提供高效編程語(yǔ)言、開發(fā)框架和工具鏈協(xié)助開發(fā)者提升GenAI應(yīng)用開發(fā)效率，屏蔽底層硬件計(jì)算的細(xì)節(jié)，提供更靈活的原語(yǔ)支持。02更直觀的編輯、調(diào)試和實(shí)驗(yàn)工具。讓用戶可以完整的進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的開發(fā)、測(cè)試、調(diào)整診斷與修復(fù)和優(yōu)化程序，提升所開發(fā)AI應(yīng)用程序的性能與魯棒性。02支持AI生命周期中的各個(gè)環(huán)03 節(jié)：數(shù)據(jù)處理、模型開發(fā)與訓(xùn)練、模型壓縮與推理、安全和隱私保護(hù)等。

提供更強(qiáng)大和可擴(kuò)展的計(jì)算能力。讓用戶的AI程序可擴(kuò)展并部署于可以并行計(jì)算的節(jié)點(diǎn)或者集群，應(yīng)對(duì)大數(shù)據(jù)和大模型的挑戰(zhàn)。0102自動(dòng)編譯優(yōu)化算法，實(shí)現(xiàn)對(duì)計(jì)算圖的自動(dòng)推導(dǎo)和根據(jù)不同結(jié)構(gòu)的自動(dòng)并行化。010203云原生自動(dòng)分布式化，面對(duì)云與集群場(chǎng)景，自動(dòng)將AI任務(wù)擴(kuò)展與部署，進(jìn)而支撐分布式計(jì)算、彈性計(jì)算，讓用戶按需使用資源。03

更大規(guī)模壞境的部署需求，探索解決新需求挑戰(zhàn)01 享集群資源的環(huán)境下，提探索解決新需求挑戰(zhàn)境也尤為重要。面對(duì)割裂的邊緣側(cè)硬件與軟件棧，如何讓模型訓(xùn)練一次，的重要問(wèn)題。缺失更容易產(chǎn)生安全性問(wèn)題，且在企業(yè)級(jí)環(huán)境以及云環(huán)境生成式AIAI應(yīng)用開發(fā)效率、給予生成式AI任務(wù)系統(tǒng)級(jí)的完善支持以及探索解決新需求挑戰(zhàn)層面起到至關(guān)重要的作用。AIAIAIAIAIGPU來(lái)源：Github、沙利文8400-072-5588 章節(jié)二GenAI技術(shù)棧核心組件分析應(yīng)用構(gòu)建完整的端到端GenAI應(yīng)用涉及到復(fù)雜豐富的模塊組件與流程，從用戶交互至可落地應(yīng)用的結(jié)果輸出，涉及了AI模型的準(zhǔn)備、調(diào)優(yōu)、服務(wù)、以及治理等相關(guān)關(guān)鍵模塊。在支持GenAI應(yīng)用構(gòu)建過(guò)程中，用戶應(yīng)依據(jù)項(xiàng)目、業(yè)務(wù)線以及組織成熟度等因沙利文市場(chǎng)研讀

章節(jié)二 組件分析GenAI應(yīng)用構(gòu)建架構(gòu)關(guān)鍵發(fā)現(xiàn)構(gòu)建完整的端到端GenAI應(yīng)用涉及到復(fù)雜豐富的模塊組件與流程，從用戶交互至可落地應(yīng)用的結(jié)果輸出，涉及了AI模型的準(zhǔn)備、調(diào)優(yōu)、服務(wù)、以及治理等相關(guān)關(guān)鍵模塊。在支持GenAI應(yīng)用構(gòu)建過(guò)程中，用戶應(yīng)依據(jù)項(xiàng)目、業(yè)務(wù)線以及組織成熟度等因素在這些模塊組件中進(jìn)行選擇組合，并非每個(gè)應(yīng)用均涉及到所有組件模塊。MLOps：編排GenAI應(yīng)用構(gòu)建的組件與流程MLOps：編排RAG多智能體體系

輸入防護(hù)欄：個(gè)人身份信息、用戶內(nèi)部信息等…

模型網(wǎng)關(guān)模型列表、權(quán)限管理等API服務(wù)API服務(wù)模型管理用戶 緩存 緩存模型管理只讀操作SQL查詢、Web搜索等

模型微調(diào)模型微調(diào)模型推理向量數(shù)據(jù)庫(kù)模型推理…寫入操作…進(jìn)度保存、更新排序等輸出防護(hù)欄：輸出可觀測(cè)性可觀測(cè)性來(lái)源：TheGenAIReferenceArchitecture、沙利文10400-072-5588沙利文市場(chǎng)研讀

章節(jié)二 組件分析RAG–構(gòu)建更懂業(yè)務(wù)的生成式AI應(yīng)用關(guān)鍵發(fā)現(xiàn)在各行業(yè)領(lǐng)域?qū)Ｏ蚰Ｐ陀楷F(xiàn)的環(huán)境下，大語(yǔ)言模型在特定領(lǐng)域與企業(yè)知識(shí)缺失的局限性暴露，因此基于外部數(shù)據(jù)庫(kù)，可及時(shí)調(diào)用最新數(shù)據(jù)和專有領(lǐng)域知識(shí)進(jìn)行補(bǔ)充的RAG顯得至關(guān)重要。此外，基于外部權(quán)威數(shù)據(jù)信息的整合及數(shù)據(jù)源的控制，RAG可提升模型回答準(zhǔn)確性及可解釋性，數(shù)據(jù)與模型本身的分離也給予了更好的數(shù)據(jù)隱私管理。LLMLLM因此RAG成為了為企業(yè)賦予特定內(nèi)存的重要組件。工作原理及重要性：RAGRAG（如數(shù)）RAG的核心優(yōu)勢(shì)：RAG的保護(hù)以及成本效益的提升。RAG準(zhǔn)和豐富的回答。濟(jì)效益。RAG工作流程輸入輸入索引檢索嵌入01文件問(wèn)題向量塊相關(guān)文檔02提問(wèn)無(wú)RAG部分領(lǐng)域及企業(yè)專屬知識(shí)缺失生成0304用戶 有RAG結(jié)合問(wèn)題與提示器輸出嵌入與索引：使用嵌入模型將文本轉(zhuǎn)換為向量，并存儲(chǔ)在向量數(shù)據(jù)庫(kù)中查詢檢索：用戶查詢轉(zhuǎn)換為向量，從數(shù)據(jù)庫(kù)中檢索相關(guān)知識(shí)提示增強(qiáng)：結(jié)合檢索結(jié)果構(gòu)建增強(qiáng)提示模板05增強(qiáng)模板生成準(zhǔn)確答案來(lái)源：騰訊云、沙利文

11400-072-5588沙利文市場(chǎng)研讀

章節(jié)二 組件分析MAS–提供更高效的復(fù)雜任務(wù)解決方案關(guān)鍵發(fā)現(xiàn)多智能體系統(tǒng)是分布式AI的重要分支，其將“大而雜”的任務(wù)分解給多個(gè)互相服務(wù)的單個(gè)智能體，通過(guò)相互通信、信息與資源共享，以及協(xié)作以實(shí)現(xiàn)共同的整體目標(biāo)。在復(fù)雜任務(wù)下，多智能體系統(tǒng)彌補(bǔ)了單智能體的視角單一難點(diǎn)，在魯棒性與容錯(cuò)性、靈活性與可擴(kuò)展性等層面具備核心優(yōu)勢(shì)?？蚣芏唐谟洃涢L(zhǎng)期記憶日歷反射記憶短期記憶長(zhǎng)期記憶日歷反射記憶計(jì)算器自我反思工具智能體規(guī)劃思維鏈代碼解釋器行動(dòng)子目標(biāo)拆解搜索交互協(xié)作…智體 智體利己模式混合模式競(jìng)爭(zhēng)模式合作模式協(xié)作方式Contct效率、魯棒性與容錯(cuò)性、靈活性與可擴(kuò)展性層面具備優(yōu)勢(shì)。系統(tǒng)可以根據(jù)需求輕松地?cái)U(kuò)展或縮減，這種靈活性使系統(tǒng)可快速使用不同的環(huán)境變化。下繼續(xù)工作，這種冗余的設(shè)計(jì)增加了系統(tǒng)的魯棒性與容錯(cuò)能力。來(lái)源：華為云、沙利文12400-072-5588沙利文市場(chǎng)研讀

章節(jié)二 組件分析提示工程–指引更精準(zhǔn)的模型輸出關(guān)鍵發(fā)現(xiàn)提示工程通過(guò)提示詞的優(yōu)化設(shè)計(jì)，引導(dǎo)模型生成符合預(yù)期的回答。提示質(zhì)量直接影響語(yǔ)境和輸出，且具備效率提升、訓(xùn)練成本低、靈活性高等優(yōu)勢(shì)，因此對(duì)于模型尤為關(guān)鍵。但過(guò)于具體的提示也存在限制模型創(chuàng)新性的可能，因此用戶需依據(jù)平衡點(diǎn)對(duì)該模塊進(jìn)行取舍。提示工程及提示優(yōu)化工作流程11提示評(píng)價(jià)指標(biāo)初始提示設(shè)計(jì)2目標(biāo)LLM3評(píng)估LLM用戶???提示上下文例子輸入問(wèn)題輸出設(shè)置提示更新優(yōu)化6迭代循環(huán)4優(yōu)化LLM5數(shù)據(jù)集7評(píng)估分?jǐn)?shù)AIAI大語(yǔ)言模型的語(yǔ)境和輸出，這對(duì)大語(yǔ)言模型至關(guān)重要。）勢(shì)。反復(fù)修改和調(diào)整，提高整體工作效率。AI確的控制，以確保輸出內(nèi)容符合特定的需求與預(yù)期。型進(jìn)行頻繁調(diào)整與訓(xùn)練，減少了不必要的模型訓(xùn)練成本。AI行任務(wù)的靈活性與適應(yīng)性，擴(kuò)展AI模型的應(yīng)用場(chǎng)景。和創(chuàng)造性的可能，因此用戶在使用提示工程時(shí)應(yīng)找到模型準(zhǔn)確性與靈活性的平衡點(diǎn)進(jìn)行取舍。來(lái)源：EvaluatingAIEvaluation:PerilsandProspects、沙利文13400-072-5588沙利文市場(chǎng)研讀

章節(jié)二 組件分析防護(hù)欄–構(gòu)建更安全的應(yīng)用關(guān)鍵發(fā)現(xiàn)防護(hù)欄的重要性在AI技術(shù)動(dòng)態(tài)發(fā)展中不可被低估，防護(hù)欄在防止AI技術(shù)濫用、確保內(nèi)容公平性、維持公眾信任以及遵守法規(guī)標(biāo)準(zhǔn)等層面起到核心作用。防護(hù)欄是抵御與AI技術(shù)部署相關(guān)的潛在風(fēng)險(xiǎn)的堡壘，是構(gòu)建安全可靠應(yīng)用不可或缺的部分。防護(hù)欄防護(hù)欄類型與設(shè)置防護(hù)欄輸入防護(hù)設(shè)置防護(hù)風(fēng)險(xiǎn)：用戶信息暴露給外部API；執(zhí)行可能危及系統(tǒng)的不良提示。個(gè)人身份信息用戶 ? 企業(yè)商業(yè)機(jī)密人臉特征…

防護(hù)風(fēng)險(xiǎn)：模型輸出內(nèi)容存在惡意、不道德內(nèi)容等。事實(shí)性錯(cuò)誤內(nèi)容帶有偏見(jiàn)、不道德內(nèi)容大模型調(diào)用病毒攻擊…輸出防護(hù)設(shè)置

話題限定防護(hù)欄對(duì)話安全防護(hù)欄防護(hù)欄AIGenAIGenAI技術(shù)得到負(fù)系統(tǒng)成機(jī)器學(xué)習(xí)技術(shù)采取主動(dòng)防御措施提高系統(tǒng)的安全性與可靠性。AI度允許問(wèn)責(zé)制，確?？梢宰R(shí)別和糾正相關(guān)錯(cuò)誤內(nèi)容或信息與技術(shù)濫用。來(lái)源：亞馬遜云科技、英偉達(dá)、沙利文14400-072-5588沙利文市場(chǎng)研讀

章節(jié)二 組件分析API服務(wù)–助推更流暢的應(yīng)用集成關(guān)鍵發(fā)現(xiàn)大模型API服務(wù)提供了一種強(qiáng)大、靈活且易于集成的方式協(xié)助用戶快速將AI功能無(wú)縫集成到程序和服務(wù)中，進(jìn)而降低用戶的開發(fā)門檻，提升開發(fā)效率。API服務(wù)核心優(yōu)勢(shì)體現(xiàn)在促進(jìn)軟件集成、實(shí)現(xiàn)數(shù)據(jù)共享、提高可擴(kuò)展性以及增強(qiáng)系統(tǒng)安全性等層面?？蓴U(kuò)展性集成性安全性開發(fā)者接入API可擴(kuò)展性集成性安全性開發(fā)者接入APIAssistants通用語(yǔ)言 多模態(tài) 語(yǔ)音合成 語(yǔ)音識(shí)別 文生圖行業(yè)特色功能語(yǔ)音合成音色定制語(yǔ)音識(shí)別文生圖圖生圖金融醫(yī)療RAG在線搜索… 模型微調(diào)…交通政務(wù)……助手構(gòu)建自定義插件預(yù)置插件多模態(tài)對(duì)話對(duì)話生成函數(shù)調(diào)用LLM微調(diào)…APIAIAPI成AI能力，標(biāo)準(zhǔn)API在促進(jìn)軟件集成、實(shí)現(xiàn)數(shù)據(jù)共享以及提高可擴(kuò)展性方面價(jià)值顯著。：APIAPIAI強(qiáng)了系統(tǒng)的整體安全性。：APIAPI，用戶可避免重復(fù)開發(fā)功能，提高開發(fā)效率。升級(jí)，新功能可以通過(guò)添加新的API或者擴(kuò)展現(xiàn)有API實(shí)現(xiàn)。：利用APIAPI提供的安全特性保護(hù)用戶數(shù)據(jù)。來(lái)源：商湯科技、ChallengesinDeployingMachineLearning:aSurveyofCaseStudies、百度智能云、沙利文15400-072-5588沙利文市場(chǎng)研讀

章節(jié)二 組件分析MLOps–實(shí)現(xiàn)更快速可靠的應(yīng)用發(fā)布關(guān)鍵發(fā)現(xiàn)MLOps整合了機(jī)器學(xué)習(xí)的應(yīng)用開發(fā)、系統(tǒng)部署與運(yùn)維，通過(guò)在整個(gè)機(jī)器學(xué)習(xí)生命周期中實(shí)現(xiàn)自動(dòng)化和標(biāo)準(zhǔn)化以實(shí)現(xiàn)更快速的產(chǎn)品開發(fā)上市，更高效的團(tuán)隊(duì)合作以及模型的持續(xù)性改進(jìn)優(yōu)化，是協(xié)助企業(yè)用戶將模型高效部署到生產(chǎn)環(huán)境中的重要組件。MLOps（機(jī)器學(xué)習(xí)運(yùn)維）=ML+Dev+OpsMLOps（機(jī)器學(xué)習(xí)運(yùn)維）=ML+Dev+Ops模型設(shè)計(jì)模型開發(fā)模型操作需求工程 ? 數(shù)據(jù)工程ML用例優(yōu)先級(jí) ? 機(jī)器學(xué)習(xí)模型工程數(shù)據(jù)可用性檢查 ? 模型測(cè)試和驗(yàn)證? … ? …機(jī)器學(xué)習(xí)模型部署CI/CD管道監(jiān)控和觸發(fā)…AI模型的MLOps應(yīng)用的其次通過(guò)自動(dòng)創(chuàng)建和部署模型可縮短產(chǎn)品上市時(shí)間，降低運(yùn)營(yíng)成本。協(xié)作效率提高：通過(guò)統(tǒng)一的平臺(tái)，開發(fā)團(tuán)隊(duì)可以在機(jī)器學(xué)習(xí)軟件開發(fā)全生命周期中進(jìn)行協(xié)作和協(xié)調(diào)，減少重復(fù)性工作，大幅提升工作效率。來(lái)源：亞馬遜云科技、沙利文16400-072-5588 章節(jié)三用戶構(gòu)建GenAI應(yīng)用考量因素分析大模型是生成式AI應(yīng)用構(gòu)建的核心，針對(duì)不同領(lǐng)域的用戶，特定場(chǎng)景的適配性與生成內(nèi)容質(zhì)量可控性為模型質(zhì)量的主要考量因素。模型適配性為用戶提供專業(yè)領(lǐng)域更具針對(duì)性的決策建議，提升相關(guān)領(lǐng)域解決方案的靈活性，質(zhì)量可控性則為用戶提升領(lǐng)域內(nèi)容生成效率。生成式AI錯(cuò)誤決策等潛在風(fēng)險(xiǎn)，安全合規(guī)優(yōu)化在用戶權(quán)益與隱私保護(hù)、市場(chǎng)秩序與企業(yè)責(zé)任維護(hù)等方面至關(guān)重要，因此安全合規(guī)性為構(gòu)建生成式AI應(yīng)用的主要考量因素之一。模型推理是將聯(lián)結(jié)終端場(chǎng)景需求的關(guān)鍵環(huán)節(jié)，隨著生成式AI所融合的業(yè)務(wù)場(chǎng)景愈發(fā)多樣化，推理在未來(lái)市場(chǎng)的發(fā)展?jié)摿薮?，但目前AI支出的主要部分仍集中在推理部分，因此推理成本的降低是助推AI技術(shù)發(fā)展、提升用戶對(duì)于生成式AI可及性的重要因素。大模型發(fā)展帶來(lái)了數(shù)據(jù)架構(gòu)新需求，生成式AI應(yīng)用在用戶企業(yè)內(nèi)部落地過(guò)程中，企業(yè)與模型的數(shù)據(jù)協(xié)同以及數(shù)據(jù)價(jià)值的釋放成為了“數(shù)據(jù)驅(qū)動(dòng)決策”過(guò)程中的重要考量因素，數(shù)據(jù)資產(chǎn)的統(tǒng)一、自動(dòng)化工具的操作以及高校計(jì)算能力均對(duì)數(shù)據(jù)價(jià)值釋放的有效性產(chǎn)生影響。生成式AI產(chǎn)品應(yīng)用化包含產(chǎn)品應(yīng)用目標(biāo)設(shè)立、生成式AI工具選擇、產(chǎn)品流程整合以及用戶體驗(yàn)反饋等步驟，其中生成式界面設(shè)計(jì)以及與用戶的交互方式等為最直接影響產(chǎn)品應(yīng)用反饋與迭代的因素。產(chǎn)品應(yīng)用化是推動(dòng)生成式AI技術(shù)從實(shí)驗(yàn)理論邁向?qū)嵺`應(yīng)用的關(guān)鍵過(guò)程。沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素3.1高質(zhì)模型的構(gòu)建（1/3）關(guān)鍵發(fā)現(xiàn)大模型是生成式AI應(yīng)用構(gòu)建的核心，針對(duì)不同領(lǐng)域的用戶，特定場(chǎng)景的適配性與生成內(nèi)容質(zhì)量可控性為模型質(zhì)量的主要考量因素。模型適配性為用戶提供專業(yè)領(lǐng)域更具針對(duì)性的決策建議，提升相關(guān)領(lǐng)域解決方案的靈活性，質(zhì)量可控性則為用戶提升領(lǐng)域內(nèi)容生成效率。模型質(zhì)量的影響因素及重要性準(zhǔn)確率準(zhǔn)確率重要性數(shù)據(jù)精準(zhǔn)率數(shù)據(jù)集 模型適配質(zhì)量數(shù)據(jù)多樣性模型調(diào)整召回率模型復(fù)雜度 …穩(wěn)定性????泛化力更好地匹配用戶業(yè)務(wù)需求提高用戶業(yè)務(wù)決策質(zhì)量提升相關(guān)領(lǐng)域生成內(nèi)容效率為用戶提供在不同場(chǎng)景下需求的靈活解決方案…內(nèi)容可控…AI容的可控性為主要考量因素。模型質(zhì)量的重要性：模型質(zhì)量的重要性針對(duì)不同用戶重要體現(xiàn)在模型適配與模型生成內(nèi)容可控性兩個(gè)層面。模型適配性：隨著生成式AI與各產(chǎn)業(yè)的深度結(jié)合，大模型與下游任務(wù)的適配難題成為了主要關(guān)注點(diǎn)。大模型在預(yù)訓(xùn)練階段需解決的廣泛?jiǎn)栴}與在實(shí)際應(yīng)用中所需解決問(wèn)題存在模型內(nèi)容質(zhì)量可控性：除了與特殊場(chǎng)景的適配性，生成質(zhì)量的可控性，即在保持生成內(nèi)容的有效性、流暢性與多樣性以外，保證模型生成內(nèi)容符合預(yù)定的控制條件，滿足用戶的切實(shí)期望，例如場(chǎng)景一致性、語(yǔ)言風(fēng)格等。模型內(nèi)容質(zhì)量的可控性為用戶提高相關(guān)領(lǐng)來(lái)源：百度智能云、沙利文18400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素高質(zhì)模型的構(gòu)建（2/3）關(guān)鍵發(fā)現(xiàn)針對(duì)不同業(yè)務(wù)場(chǎng)景的模型適配性，用戶可結(jié)合計(jì)算資源成本、效果呈現(xiàn)以及數(shù)據(jù)量級(jí)等考量因素最優(yōu)化模型專屬化路徑，較為常見(jiàn)的模型專屬化包含應(yīng)用層的直接調(diào)優(yōu)、外掛知識(shí)庫(kù)、參數(shù)微調(diào)與繼續(xù)與訓(xùn)練等方式。模型適配性優(yōu)化措施11應(yīng)用層調(diào)優(yōu)2外掛知識(shí)庫(kù)3 參數(shù)高效微調(diào)業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用Prompt調(diào)優(yōu) 企業(yè)業(yè)務(wù)流程調(diào)優(yōu) 知識(shí)庫(kù)垂直場(chǎng)景大模型少量標(biāo)注數(shù)據(jù)LoRA基座大模型基座大模型基座大模型4全量SFT5繼續(xù)預(yù)訓(xùn)練業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用Prompt調(diào)優(yōu)業(yè)務(wù)流程調(diào)優(yōu)企業(yè)知識(shí)庫(kù)應(yīng)用調(diào)優(yōu)垂直場(chǎng)景大模型大量精標(biāo)數(shù)據(jù)全量SFT基座大模型基座大模型價(jià)值對(duì)齊L1大模型海量無(wú)標(biāo)注數(shù)據(jù)垂直場(chǎng)景模型調(diào)優(yōu)L2大模型企業(yè)知識(shí)庫(kù)Prompt調(diào)優(yōu)業(yè)務(wù)流程調(diào)優(yōu)Prompt調(diào)優(yōu)業(yè)務(wù)流程優(yōu)化應(yīng)用層調(diào)優(yōu)：通過(guò)從應(yīng)用端的Prompt工程優(yōu)化，指引模型對(duì)用戶需求的理解，該方式所需的數(shù)據(jù)量級(jí)與開發(fā)成本均較低，但效果受限于提示工程的質(zhì)量。外掛知識(shí)庫(kù)：基于相關(guān)領(lǐng)域外掛知識(shí)庫(kù)信息的檢索，提高模型預(yù)測(cè)適配性，該方式在信息的實(shí)時(shí)動(dòng)態(tài)性與回答相關(guān)性層面優(yōu)勢(shì)顯著，但其效果極大依賴于檢索信息的相關(guān)性和準(zhǔn)確性。參數(shù)高效微調(diào)：在凍結(jié)與訓(xùn)練模型的大多數(shù)參數(shù)的基礎(chǔ)上，僅微調(diào)或添加少量參數(shù)以提高生成內(nèi)容的適用性，該方式在計(jì)算資源受限的條件下尤為重要。全量SFT：通過(guò)將預(yù)訓(xùn)練模型中的參數(shù)進(jìn)行微調(diào)，使其更好地適應(yīng)目標(biāo)任務(wù)的輸入與輸出，由于全量SFT需要大量標(biāo)注數(shù)據(jù)，對(duì)于數(shù)據(jù)分布差異較大的任務(wù)下可能存在過(guò)擬合等難題繼續(xù)預(yù)訓(xùn)練：基于大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，針對(duì)下游任務(wù)的特定語(yǔ)料對(duì)模型進(jìn)行相關(guān)領(lǐng)域的繼續(xù)訓(xùn)練，該方式效果受到預(yù)訓(xùn)練模型選擇影響且對(duì)于計(jì)算資源需求極高。來(lái)源：商湯科技、騰訊云、沙利文19400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素高質(zhì)模型的構(gòu)建（3/3）關(guān)鍵發(fā)現(xiàn)模型選擇與模型評(píng)估為提升模型生成內(nèi)容質(zhì)量可控性的常用方式，模型選擇是理解問(wèn)題的核心，其依據(jù)驗(yàn)證誤差最小等原則篩選出業(yè)務(wù)場(chǎng)景下的最優(yōu)模型。模型評(píng)估則通過(guò)準(zhǔn)確率等一些列評(píng)估指標(biāo)對(duì)模型性能進(jìn)行量化與優(yōu)化，決定了模型的預(yù)測(cè)精度與實(shí)用性。模型生成內(nèi)容質(zhì)量可控性優(yōu)化措施內(nèi)容生成內(nèi)容生成可控性假設(shè)空間 損失函數(shù)評(píng)估模型算法訓(xùn)練數(shù)據(jù)準(zhǔn)確率精確率和召回率F1分?jǐn)?shù)ROCAUC值???真相??常用評(píng)估指標(biāo)常用評(píng)估方法數(shù)據(jù)集劃分為訓(xùn)練集（訓(xùn)練模型）、驗(yàn)證集（調(diào)整模型參數(shù)）測(cè)試集（評(píng)估模型的最終性能）交叉驗(yàn)證：將數(shù)據(jù)集分為多個(gè)子集，并重復(fù)進(jìn)行訓(xùn)練和測(cè)試迭代優(yōu)化?2 模型評(píng)估訓(xùn)練、調(diào)參、確定模型驗(yàn)證集測(cè)試集訓(xùn)練集“訓(xùn)練+驗(yàn)證+測(cè)試”流程1 模型選擇機(jī)器學(xué)習(xí)模型測(cè)試集訓(xùn)練集最終性能數(shù)據(jù)集特點(diǎn)，靈活應(yīng)用模型評(píng)估和選擇可提升模型的準(zhǔn)確性和可靠性。來(lái)源：百度智能云、沙利文20400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素安全合規(guī)的優(yōu)化（1/2）關(guān)鍵發(fā)現(xiàn)生成式AI應(yīng)用構(gòu)建的過(guò)程涉及到數(shù)據(jù)、模型等安全合規(guī)問(wèn)題，為用戶帶來(lái)隱私泄露、錯(cuò)誤決策等潛在風(fēng)險(xiǎn)，安全合規(guī)優(yōu)化在用戶權(quán)益與隱私保護(hù)、市場(chǎng)秩序與企業(yè)責(zé)任維護(hù)等方面至關(guān)重要，因此安全合規(guī)性為構(gòu)建生成式AI應(yīng)用的主要考量因素之一。????????惡意軟件攻擊服務(wù)拒絕攻擊數(shù)據(jù)傳輸泄露未授權(quán)訪問(wèn)…設(shè)計(jì)硬件兼容硬件篡硬件安全 ? 旁路攻設(shè)計(jì) ? …軟硬件安全????訓(xùn)練數(shù)據(jù)污染模型保密性數(shù)據(jù)偏差數(shù)據(jù)集不一致性…數(shù)據(jù)完整性安全合規(guī)數(shù)據(jù)安全模型模型??????????成員推斷攻擊屬性推斷攻擊模型反演模型竊取…對(duì)抗樣本…????敏感數(shù)據(jù)泄露數(shù)據(jù)濫用身份盜用…數(shù)據(jù)隱私性模型 ? 算法不透明可解釋性 ? 系統(tǒng)決策復(fù)缺乏嚴(yán)格的數(shù)學(xué)證明…重要性用戶權(quán)益保護(hù)用戶隱私保護(hù)市場(chǎng)秩序維護(hù)企業(yè)責(zé)任維護(hù)…AI生成式AI：生成式AI：首先，構(gòu)建生成式AI應(yīng)用的過(guò)程中需要處理大量的敏感數(shù)據(jù)和個(gè)人來(lái)源：百度安全、沙利文21400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素安全合規(guī)的優(yōu)化（2/2）關(guān)鍵發(fā)現(xiàn)在應(yīng)用構(gòu)建到業(yè)務(wù)部署過(guò)程中構(gòu)建完善的安全防御鏈路是優(yōu)化安全合規(guī)的基礎(chǔ)框架，根據(jù)安全合規(guī)優(yōu)化措施三層防御鏈路三層防御鏈路攻防安全防閃避攻擊防藥餌攻擊防后門攻擊…模型安全數(shù)據(jù)可解釋模型可驗(yàn)證模型可解釋…隔離與檢測(cè)冗余與熔斷數(shù)據(jù)自恰性…架構(gòu)安全設(shè)備數(shù)據(jù)設(shè)備數(shù)據(jù)設(shè)備數(shù)據(jù)功能功能功能AI推理業(yè)務(wù)反饋業(yè)務(wù)總控模型推理部署業(yè)務(wù)部署模型大模型訓(xùn)練數(shù)據(jù)云側(cè)訓(xùn)練…安全策略配置語(yǔ)料過(guò)濾清洗安全率評(píng)估語(yǔ)料來(lái)源篩選從生成式AI應(yīng)用構(gòu)建到真實(shí)業(yè)務(wù)場(chǎng)景部署過(guò)程中，完善的安全合規(guī)防御架構(gòu)是優(yōu)化安全合規(guī)的基礎(chǔ)。來(lái)源：華為、沙利文

22400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素推理成本的降低（1/2）關(guān)鍵發(fā)現(xiàn)AI推理在未來(lái)市場(chǎng)的發(fā)展?jié)摿薮?，但目前AI支出的主要部分仍集中在推理部分，因此推理成本的降低是助推AI技術(shù)發(fā)展、提升用戶對(duì)于生成式AI可及性的重要因素。推理成本的影響因素及重要性100生產(chǎn)資料昂貴100生產(chǎn)資料昂貴芯片制造、電力消耗等成本高75計(jì)算需求提高50LLM參數(shù)越來(lái)越大，更大的模型意味著更高的計(jì)算需求25硬件架構(gòu)和模型推理特性限制了推理效率0所有企業(yè)501-1,001-1,000FTEs 5,000FTEs5,001-26,000FTEs >26,000FTEs訓(xùn)練推理落地鏈路拉長(zhǎng)業(yè)務(wù)場(chǎng)景愈發(fā)豐富，落地鏈路拉長(zhǎng)帶來(lái)的計(jì)算存儲(chǔ)資源消耗降低推理成本的重要性的是提高AI可及性與普適性的關(guān)鍵因素。9093969794

推理成本居高不下的因素AIAI高，降低推理成本成為了提升生成式AI產(chǎn)品普適性的關(guān)鍵因素。生成式AI推理成本的影響因素：生成式AI推理成本主要受到生產(chǎn)資料成本、計(jì)算需求、推理AI推理與用戶終端場(chǎng)景需求更為緊密，是將AI技術(shù)從實(shí)驗(yàn)室搬到實(shí)際應(yīng)用的關(guān)鍵步驟，AIAI支出AI應(yīng)用可及性與普惠性來(lái)源：MenloVentures、百度智能云、沙利文23400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素推理成本的降低（2/2）關(guān)鍵發(fā)現(xiàn)模型推理優(yōu)化技術(shù)可從數(shù)據(jù)層、模型層與系統(tǒng)層全方位展開，其中模型層優(yōu)化措施使用較為廣泛，其包含知識(shí)蒸餾、模型剪枝、模型量化等在保證模型性能前提下，減小模型大小和計(jì)算難度的一系列技術(shù)。模型推理優(yōu)化技術(shù)數(shù)據(jù)層優(yōu)化模型推理優(yōu)化技術(shù)數(shù)據(jù)層優(yōu)化模型層優(yōu)化系統(tǒng)層優(yōu)化輸入壓縮技術(shù)高效結(jié)構(gòu)設(shè)計(jì)推理引擎?????基于軟提示詞的壓縮檢索增強(qiáng)生成…（）……服務(wù)系統(tǒng)輸出規(guī)劃技術(shù)模型壓縮技術(shù)SoT…????量化稀疏…調(diào)度…推理優(yōu)化方式使用較為廣泛。過(guò)對(duì)輸入內(nèi)容進(jìn)行相關(guān)性篩查、凝練與壓縮進(jìn)而優(yōu)化數(shù)據(jù)層輸入。技術(shù)為常見(jiàn)的推理優(yōu)化途徑。計(jì)算難度。低推理成本。服務(wù)系統(tǒng)的優(yōu)化。來(lái)源：北京大學(xué)、沙利文24400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素?cái)?shù)據(jù)價(jià)值的釋放（1/2）關(guān)鍵發(fā)現(xiàn)大模型發(fā)展帶來(lái)了數(shù)據(jù)架構(gòu)新需求，生成式AI應(yīng)用在用戶企業(yè)內(nèi)部落地過(guò)程中，企業(yè)與模型的數(shù)據(jù)協(xié)同以及數(shù)據(jù)價(jià)值的釋放成為了“數(shù)據(jù)驅(qū)動(dòng)決策”過(guò)程中的重要考量因素，數(shù)據(jù)資產(chǎn)的統(tǒng)一、自動(dòng)化工具的操作以及高校計(jì)算能力均對(duì)數(shù)據(jù)價(jià)值釋放的有效性產(chǎn)生影響。數(shù)據(jù)加載與接入大模型在企業(yè)落地對(duì)數(shù)據(jù)體系的關(guān)鍵需求數(shù)據(jù)資產(chǎn)的統(tǒng)一數(shù)據(jù)加載與接入大模型在企業(yè)落地對(duì)數(shù)據(jù)體系的關(guān)鍵需求數(shù)據(jù)資產(chǎn)的統(tǒng)一數(shù)據(jù)數(shù)據(jù)管道嵌入模型向量數(shù)據(jù)庫(kù)?多模態(tài)數(shù)據(jù)需要多種加載、轉(zhuǎn)換方法提示示例Playground(OpenAI等)API接口插件提問(wèn)LLM緩存自動(dòng)化工具件工具和模型算法自動(dòng)化驅(qū)動(dòng)輸出LLM運(yùn)維應(yīng)用托管頻繁的數(shù)據(jù)交互箭頭代表數(shù)據(jù)在技術(shù)棧的流動(dòng)開發(fā)者為大模型輸出所提供的上下文數(shù)據(jù)輸入大模型的提示及示例評(píng)估用戶提問(wèn)?返回用戶的結(jié)果輸出高效計(jì)算能力頻繁的數(shù)據(jù)交互帶來(lái)計(jì)算量倍增編排框架（Python、LangChain、ChatGPT等）生成式AIAI應(yīng)用在企業(yè)用戶內(nèi)部落地的流生成式AI來(lái)源：a16z、《大模型趨勢(shì)下的企業(yè)數(shù)據(jù)體系思考》、沙利文25400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素?cái)?shù)據(jù)價(jià)值的釋放（2/2）關(guān)鍵發(fā)現(xiàn)生成式AI應(yīng)用數(shù)據(jù)價(jià)值的釋放可通過(guò)算力、模型以及決策三層形成完整的數(shù)據(jù)優(yōu)化閉環(huán)。其中模型優(yōu)化與決策優(yōu)化路徑較為輕量靈活，模型層，用戶主要通過(guò)RAG等方式將專向數(shù)據(jù)與大模型進(jìn)行結(jié)合產(chǎn)生獨(dú)特價(jià)值；決策優(yōu)化可通過(guò)“AI+BI”工具實(shí)現(xiàn)智能決策支持。數(shù)據(jù)價(jià)值釋放的優(yōu)化措施模型優(yōu)化層：決策優(yōu)化層：AI與BI工具的結(jié)合，可依據(jù)用戶數(shù)據(jù)查詢和分析需求，通過(guò)應(yīng)用、增強(qiáng)分析等，提供進(jìn)一步深入分析，實(shí)現(xiàn)層層遞進(jìn)的智能決策支持。數(shù)據(jù)價(jià)值優(yōu)化閉環(huán)數(shù)據(jù)價(jià)值優(yōu)化閉環(huán)決策流業(yè)務(wù)應(yīng)用平臺(tái)PaaS層…AI+BIBI應(yīng)用多維分析增強(qiáng)分析…決策優(yōu)化模型優(yōu)化數(shù)據(jù)管理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)清洗模型微調(diào)RAG算力優(yōu)化…硬件配置軟件優(yōu)化…數(shù)據(jù)流來(lái)源：百度智能云、沙利文26400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素產(chǎn)品應(yīng)用化的實(shí)現(xiàn)（1/2）關(guān)鍵發(fā)現(xiàn)生成式AI產(chǎn)品應(yīng)用化包含產(chǎn)品應(yīng)用目標(biāo)設(shè)立、生成式AI工具選擇、產(chǎn)品流程整合以及用戶體驗(yàn)反饋等步驟，其中生成式界面設(shè)計(jì)以及與用戶的交互方式等為最直接影響產(chǎn)品應(yīng)用反饋與迭代的因素。產(chǎn)品應(yīng)用化是推動(dòng)生成式AI技術(shù)從實(shí)驗(yàn)理論邁向?qū)嵺`應(yīng)用的關(guān)鍵過(guò)程。生成式AI產(chǎn)品應(yīng)用化的影響因素及重要性AIAI生成式AI產(chǎn)品應(yīng)用化的影響因素：生成式AI產(chǎn)品應(yīng)用化流程圍繞用戶體驗(yàn)反哺產(chǎn)品應(yīng)用目標(biāo)AIAI產(chǎn)品應(yīng)用化是一項(xiàng)系統(tǒng)工程，其不僅是對(duì)前沿技術(shù)AI技術(shù)從實(shí)驗(yàn)理論邁向?qū)嵺`應(yīng)用，從實(shí)驗(yàn)室走向市場(chǎng)選擇合適的工具生成式AI工具的功能價(jià)值生成式AI工具的易用性生成式AI工具的性能生成式AI工具的成本…

整合產(chǎn)品流程數(shù)據(jù)集成模型訓(xùn)練和部署（確保模型可以準(zhǔn)確接受傳輸產(chǎn)品數(shù)據(jù)）…明確產(chǎn)品目標(biāo)應(yīng)用設(shè)定具體且可衡量的目標(biāo)定位明確的業(yè)務(wù)場(chǎng)景及目標(biāo)用戶…

用戶中心化，重塑產(chǎn)品構(gòu)建

關(guān)注用戶體驗(yàn)生成式界面設(shè)計(jì)編輯體驗(yàn)交互方式設(shè)計(jì)…產(chǎn)品迭代優(yōu)化來(lái)源：百度云、阿里云、沙利文27400-072-5588沙利文市場(chǎng)研讀

章節(jié)三 用戶考量因素3.5產(chǎn)品應(yīng)用化的實(shí)現(xiàn)（2/2）關(guān)鍵發(fā)現(xiàn)生成式AI產(chǎn)品應(yīng)用化可從最為直接的用戶交互體驗(yàn)進(jìn)行優(yōu)化，平臺(tái)可以對(duì)用戶操作界面設(shè)計(jì)創(chuàng)新，例如融合了LUI與GUI交互的CUI對(duì)話式用戶界面，通過(guò)更加直觀和自然的語(yǔ)言交大腦里的隱喻：操作一臺(tái)機(jī)器大腦里的隱喻：操作一臺(tái)機(jī)器大腦里的隱喻：和顧問(wèn)或助理溝通GUI交互VSLUI交互清晰的指引和約束交互和功能缺乏靈活性交互更為靈活指引和約束的缺失LUI包含GUI 交互 GUI包含LUI本質(zhì)是解決“溝通成本”難題力無(wú)邊界CUI更應(yīng)該是LUI包含GUI核心優(yōu)勢(shì)：以更加直觀和自然的語(yǔ)言交互，降低用戶操作難度，直接通過(guò)語(yǔ)音或文字與系統(tǒng)進(jìn)行對(duì)話映射，延伸用戶能力100為優(yōu)化用戶體驗(yàn)，生成式AI產(chǎn)品的用戶界面設(shè)計(jì)不斷演變，為改善傳統(tǒng)GUI交互方式的高學(xué)習(xí)CUI（對(duì)話式用戶界面）：CUI是一種允許用戶通過(guò)自然語(yǔ)言對(duì)話與計(jì)算機(jī)系統(tǒng)或者軟件進(jìn)行GUILUIGUI交互UI設(shè)計(jì)師所設(shè)計(jì)的GUI交互，CUI來(lái)源：阿里云、沙利文

28400-072-5588 章節(jié)四GenAI技術(shù)棧發(fā)展趨勢(shì)目前生成式AI成為未來(lái)重要發(fā)展方向。通過(guò)將技術(shù)棧劃分為一系列的模塊和標(biāo)準(zhǔn)化接口，進(jìn)而更生成式AI用開發(fā)生態(tài)，形成一站式的開發(fā)服務(wù)平臺(tái)。此外，與平臺(tái)化并行的是平臺(tái)的簡(jiǎn)易化，通過(guò)易用工具與開放式API的提供，降低用戶開發(fā)門檻，為用戶提供操作性強(qiáng)的完整的開發(fā)解決方案。目前AI等風(fēng)險(xiǎn)。AI去中心化旨在將AI的開發(fā)、部署以及控制權(quán)分散到多個(gè)實(shí)體或用戶之間，以提高透明度、減少濫用風(fēng)險(xiǎn)，是未來(lái)發(fā)展的一大趨勢(shì)。旨在通過(guò)一系列工具與服務(wù)協(xié)助用戶降低模型開發(fā)門檻的MaaS模式將成為未來(lái)大模型的主流商業(yè)模式，并對(duì)生成式AI應(yīng)用在商業(yè)化生態(tài)、產(chǎn)品落地等方面產(chǎn)生連帶影響，反向重構(gòu)生成式AI商業(yè)模式。GenAI外，GenAI孕育著創(chuàng)造新信息商品類型的巨大空間，這也助推了全新產(chǎn)品時(shí)代與超級(jí)產(chǎn)品誕生的可能性。沙利文市場(chǎng)研讀

章節(jié)四 發(fā)展趨勢(shì)模塊化與標(biāo)準(zhǔn)化關(guān)鍵發(fā)現(xiàn)目前生成式AI技術(shù)棧工具與系統(tǒng)存在碎片化與不兼容性等難題，模塊化與標(biāo)準(zhǔn)化將成為未來(lái)重要發(fā)展方向。通過(guò)將技術(shù)棧劃分為一系列的模塊和標(biāo)準(zhǔn)化接口，進(jìn)而更方便地進(jìn)行組件替換與升級(jí)，提高系統(tǒng)的靈活性與可擴(kuò)展性。技術(shù)棧模塊化與標(biāo)準(zhǔn)化數(shù)據(jù)模塊化數(shù)據(jù)模塊化學(xué)習(xí)標(biāo)準(zhǔn)化框架任務(wù)模塊化模塊化與標(biāo)準(zhǔn)化價(jià)值：…評(píng)估工具模型模塊化碎片化交互接口模塊化……感。隨著生成式AI技術(shù)棧的復(fù)雜性不斷增加，通過(guò)將技術(shù)棧劃分為一系列的模塊和標(biāo)準(zhǔn)化接口將提高系統(tǒng)的靈活性和可擴(kuò)展性。技術(shù)棧碎片化現(xiàn)狀：目前生成式AI技術(shù)棧面臨系統(tǒng)和工具鏈互不兼容和碎片化難題，各種多模塊化與標(biāo)準(zhǔn)化價(jià)值可復(fù)用性提高等方面。的模塊以實(shí)現(xiàn)定制化設(shè)計(jì)，使用不同的應(yīng)用場(chǎng)景。來(lái)源：百度智能云、ModularityinDeepLearning:ASurvey、沙利文30400-072-5588沙利文市場(chǎng)研讀

章節(jié)四 發(fā)展趨勢(shì)平臺(tái)化與簡(jiǎn)易化關(guān)鍵發(fā)現(xiàn)生成式AI技術(shù)?；谀Ｐ烷_發(fā)、場(chǎng)景適配、推理部署以及產(chǎn)品應(yīng)用將進(jìn)一步完善應(yīng)用開發(fā)生態(tài)，形成一站式的開發(fā)服務(wù)平臺(tái)。此外，與平臺(tái)化并行的是平臺(tái)的簡(jiǎn)易化，通過(guò)易用工具與開放式API的提供，降低用戶開發(fā)門檻，為用戶提供操作性強(qiáng)的完整的開發(fā)解決方案。生成式AI技術(shù)棧平臺(tái)化與簡(jiǎn)易化微調(diào)工具開發(fā)工具微調(diào)工具開發(fā)工具應(yīng)用工具部署工具

場(chǎng)景適配

推理部署

產(chǎn)品應(yīng)用…

應(yīng)用層調(diào)優(yōu)RAG參數(shù)高效微調(diào)全景SFT繼續(xù)預(yù)訓(xùn)練…

大小模型結(jié)合自適應(yīng)分布式推理自動(dòng)化壓縮加密部署…

Agent…一站式、簡(jiǎn)易化開發(fā)服務(wù)平臺(tái)AI技術(shù)棧平臺(tái)化現(xiàn)狀技術(shù)棧平臺(tái)化與簡(jiǎn)易化價(jià)值：AI平臺(tái)AI大模型內(nèi)的AI插件，探索AI加持下自身應(yīng)用的新場(chǎng)景。這些應(yīng)用可以依賴大模型的AI來(lái)源：阿里云、沙利文

31400-072-5588沙利文市場(chǎng)研讀

章節(jié)四 發(fā)展趨勢(shì)去中心化關(guān)鍵發(fā)現(xiàn)目前AI系統(tǒng)仍多依賴于中心化架構(gòu)以便高效的管理與控制，但隨之帶來(lái)了數(shù)據(jù)隱私等風(fēng)險(xiǎn)。AI去中心化旨在將AI的開發(fā)、部署以及控制權(quán)分散到多個(gè)實(shí)體或用戶之間，以提高透明度、減少濫用風(fēng)險(xiǎn)，是未來(lái)發(fā)展的一大趨勢(shì)。中心化結(jié)構(gòu)去中心化結(jié)構(gòu)中心化結(jié)構(gòu)去中心化結(jié)構(gòu)數(shù)據(jù)隱私保護(hù)減少壟斷提高魯棒性與容錯(cuò)能力促進(jìn)公平性與包容性AIAI濫用風(fēng)險(xiǎn)，AI的去中心化發(fā)展被認(rèn)為是未來(lái)的必然趨勢(shì)。AI中心化現(xiàn)狀：現(xiàn)今，AIAI決策AI去中心化價(jià)值能力的提升以及公平性與包容性的提升。行大規(guī)模的拆卸與重組，僅需對(duì)存在問(wèn)題的模塊單獨(dú)替換維修即可，大幅降低維修成本。的模塊以實(shí)現(xiàn)定制化設(shè)計(jì)，使用不同的應(yīng)用場(chǎng)景。添加新模塊，標(biāo)準(zhǔn)化接口都能保證系統(tǒng)運(yùn)行的穩(wěn)定性。來(lái)源：阿里云、百度智能云、沙利文32400-072-5588沙利文市場(chǎng)研讀

章節(jié)四 發(fā)展趨勢(shì)MaaS模式下的商業(yè)模式重構(gòu)關(guān)鍵發(fā)現(xiàn)旨在通過(guò)一系列工具與服務(wù)協(xié)助用戶降低模型開發(fā)門檻的MaaS模式將成為未來(lái)大模型的主流商業(yè)模式，并對(duì)生成式AI應(yīng)用在商業(yè)化生態(tài)、產(chǎn)品落地等方面產(chǎn)生連帶影響，反向重構(gòu)生成式AI商業(yè)模式。SaaS應(yīng)用智能硬件應(yīng)用層SaaS應(yīng)用智能硬件應(yīng)用層優(yōu)化微調(diào)提供SDK產(chǎn)品/一體化解決方案變現(xiàn)大型 大型CV大模型基礎(chǔ)層：多模態(tài)大模型多模態(tài)RLHF基礎(chǔ)層：多模態(tài)基模型計(jì)算/存儲(chǔ)/網(wǎng)絡(luò)/數(shù)據(jù)庫(kù) 公有云/私有云/GPU/XPU景的深度耦合應(yīng)用。MaaS模式的發(fā)展將為生成式AI產(chǎn)品的商業(yè)化落地帶來(lái)重大改革。MaaS模式結(jié)構(gòu)：MaaS模式由基礎(chǔ)層、中間層以及應(yīng)用層三部分構(gòu)建。其中基礎(chǔ)層提供基模型SaaS應(yīng)用以及CCChatGPT的單來(lái)源：百度智能云、沙利文33400-072-5588沙利文市場(chǎng)研讀

章節(jié)四 發(fā)展趨勢(shì)GenAI下的信息商品變革關(guān)鍵發(fā)現(xiàn)GenAI作為底層創(chuàng)新技術(shù)，對(duì)于信息商品各環(huán)節(jié)產(chǎn)生了全面的、革命性的影響，此外，GenAI孕育著創(chuàng)造新信息商品類型的巨大空間，這也助推了全新產(chǎn)品時(shí)代與超級(jí)產(chǎn)品誕生的可能性。GenAI對(duì)信息商品經(jīng)濟(jì)各環(huán)節(jié)的影響生產(chǎn)分配消費(fèi)信息商品是指以某類信息為核心價(jià)值的產(chǎn)品。GenAI生產(chǎn)分配消費(fèi)生產(chǎn)環(huán)節(jié)信息商品的生產(chǎn)效率將脫離生產(chǎn)者的時(shí)間和精力限制：創(chuàng)意和算力將成為信息商品的關(guān)鍵生產(chǎn)要素信息商品的生產(chǎn)范圍將更加社會(huì)化

分配環(huán)節(jié)信息商品生產(chǎn)端到終端訂單需求的邏輯變化由“需求決定分配”轉(zhuǎn)向“需求決定生產(chǎn)”，中間分配環(huán)節(jié)將弱化甚至消失

消費(fèi)環(huán)節(jié)用戶消費(fèi)的信息商品類型由GenAI算法能力決定用戶與信息商品交互的方式由GUI向CUI進(jìn)行轉(zhuǎn)變：從追求效率轉(zhuǎn)向效率與靈活度兼?zhèn)銰enAI對(duì)信息商品類型的影響對(duì)已有信息商品類型影響對(duì)已有信息商品類型影響評(píng)價(jià)維度GenAI不僅對(duì)已有信息產(chǎn)品類型產(chǎn)生深刻的影響，且孕育著創(chuàng)造新信息商品類型的巨大空間。?能力：決定了GenAI在哪些信息商品類型中發(fā)揮作用質(zhì)量：決定了GenAI在某種信息商品中能夠兌現(xiàn)的價(jià)值和被兌現(xiàn)的方式可交互信息??對(duì)已有信息類型的影響，能力、質(zhì)量、效率三個(gè)評(píng)價(jià)維度分別決力、兌現(xiàn)價(jià)值以及商業(yè)可行性。?效率：決定了GenAI在某種信息商品中的商業(yè)可行性以及商業(yè)模式融合對(duì)于新信息商品類型尚無(wú)具體性方向，但可交互的信息以及信息的模態(tài)融合在GenAI技術(shù)發(fā)展下存在較大新產(chǎn)品形態(tài)的可能性。來(lái)源：沙利文400-072-558834 章節(jié)五中國(guó)GenAI技術(shù)棧廠商競(jìng)爭(zhēng)力分析沙利文市場(chǎng)研讀

章節(jié)五 競(jìng)爭(zhēng)力分析廠商競(jìng)爭(zhēng)優(yōu)勢(shì)構(gòu)筑關(guān)鍵發(fā)現(xiàn)針對(duì)用戶構(gòu)建GenAI應(yīng)用面臨的匹配需求難、數(shù)據(jù)與隱私安全、輸出質(zhì)量以及推理成本等挑戰(zhàn)，GenAI技術(shù)棧廠商是否有匹配高效的工具及技術(shù)經(jīng)驗(yàn)協(xié)助用戶更便捷、安全地構(gòu)建高質(zhì)應(yīng)用為主要核心優(yōu)勢(shì)。需求匹配難輸出質(zhì)量不佳標(biāo)準(zhǔn)化支持服務(wù)不足應(yīng)用構(gòu)建效率低…數(shù)據(jù)安全與需求匹配難輸出質(zhì)量不佳標(biāo)準(zhǔn)化支持服務(wù)不足應(yīng)用構(gòu)建效率低…數(shù)據(jù)安全與隱私保護(hù)推理成本高昂專業(yè)知識(shí)缺失場(chǎng)景落地難用戶構(gòu)建生成式AI應(yīng)用面臨挑戰(zhàn)基礎(chǔ)模型觸達(dá)廠商關(guān)鍵成功因素應(yīng)用的高效構(gòu)建合規(guī)與安全工作流構(gòu)建增長(zhǎng)因素創(chuàng)新因素行業(yè)客戶與場(chǎng)景應(yīng)用應(yīng)用開發(fā)交互數(shù)據(jù)與存儲(chǔ)模型質(zhì)量生態(tài)建設(shè)支持AI算力基礎(chǔ)設(shè)施與模型部署構(gòu)筑競(jìng)爭(zhēng)優(yōu)勢(shì)來(lái)源：沙利文

36400-072-5588沙利文市場(chǎng)研讀

章節(jié)五 競(jìng)爭(zhēng)力分析創(chuàng)新指數(shù)評(píng)價(jià)指標(biāo)關(guān)鍵發(fā)現(xiàn)本報(bào)告設(shè)立創(chuàng)新指數(shù)評(píng)估體系對(duì)GenAI技術(shù)棧進(jìn)行評(píng)價(jià)及分析，下設(shè)工作流構(gòu)建、數(shù)據(jù)與存儲(chǔ)、AI算力基礎(chǔ)設(shè)施與模型部署、模型質(zhì)量、應(yīng)用的高效構(gòu)建五大指標(biāo)。一級(jí)指標(biāo)二級(jí)指標(biāo)指標(biāo)要點(diǎn)工作流構(gòu)建工作流構(gòu)建支持工具與方案編排框架的兼容、工作流支持的目標(biāo)用例、工作流的持續(xù)優(yōu)化、可配置觸發(fā)器功能、跨團(tuán)隊(duì)協(xié)作等全局?jǐn)?shù)據(jù)治理組織內(nèi)部的數(shù)據(jù)聯(lián)通、數(shù)據(jù)質(zhì)量與一致性、數(shù)據(jù)隱私保護(hù)、數(shù)據(jù)共享、配置方式設(shè)置、數(shù)據(jù)與存儲(chǔ)數(shù)據(jù)存儲(chǔ)部署技術(shù)棧一體式融合的數(shù)據(jù)存儲(chǔ)解決方案、GenAI專用功能集、GenAI數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施等算力供給能力AI芯片類型、算力資源的管理與分配、LaC能力、預(yù)置吞吐量與成本效率優(yōu)化等AI算力基礎(chǔ)設(shè)施與模型部署資源利用率優(yōu)化管理高性能編譯器和運(yùn)行時(shí)、推理GPU優(yōu)化、推理加速工具集成、自研網(wǎng)絡(luò)架構(gòu)等模型部署成本優(yōu)化資源配置商業(yè)模式支持、優(yōu)化咨詢服務(wù)、靈活的部署模式等模型微調(diào)調(diào)優(yōu)與微調(diào)方式、精調(diào)模版、全流程自動(dòng)調(diào)優(yōu)功能等緩存與記憶長(zhǎng)期記憶功能支持、數(shù)據(jù)庫(kù)方式讀寫用戶結(jié)構(gòu)化信息輸入模型質(zhì)量模型評(píng)估模型評(píng)估