




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
MaaS框架與應(yīng)用研究報(bào)告中國(guó)信息通信研究院人工智能研究所中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟2024年6月版權(quán)聲明本報(bào)告版權(quán)屬于中國(guó)信息通信研究院、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟,并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報(bào)告文字或者觀點(diǎn)的,應(yīng)注明“來(lái)源:中國(guó)信息通信研究院、中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟”。違反上述聲明者,本院將追究其相關(guān)法律責(zé)任。以大模型為代表的新一代人工智能技術(shù)迅猛發(fā)展,展現(xiàn)出廣闊應(yīng)用前景,有望成為驅(qū)動(dòng)新質(zhì)生產(chǎn)力發(fā)展的重要技術(shù)引擎。然而,大模型的應(yīng)用面臨著技術(shù)復(fù)雜、訓(xùn)練推理成本高、應(yīng)用開(kāi)發(fā)難度大等挑戰(zhàn)。模型即服務(wù)(MaaS,ModelasaService是指將人工智能算法模型以及相關(guān)能力進(jìn)行封裝,以服務(wù)的形式對(duì)用戶提供,其核心目標(biāo)是降低人工智能技術(shù)使用門(mén)檻,控制應(yīng)用建設(shè)成本,簡(jiǎn)化系統(tǒng)運(yùn)維管理復(fù)雜度,提升人工智能技術(shù)的綜合應(yīng)用效能,從而加速“人工智能+”進(jìn)程。近年來(lái),隨著大模型的快速發(fā)展,MaaS服務(wù)和產(chǎn)品也進(jìn)入快速發(fā)展期,并在金融、政務(wù)、電信等行業(yè)不斷落地,產(chǎn)生了積極成效。但目前產(chǎn)業(yè)界各方就MaaS定義和框架仍未形成廣泛共識(shí),模型服務(wù)能力也尚未標(biāo)準(zhǔn)化,一定程度制約了MaaS的本報(bào)告系統(tǒng)梳理了MaaS的發(fā)展歷程、現(xiàn)狀和面臨的挑戰(zhàn),基并對(duì)MaaS落地應(yīng)用情況進(jìn)行了分析,最后對(duì)MaaS發(fā)展趨勢(shì)進(jìn)行展望。由于大模型和人工智能技術(shù)產(chǎn)業(yè)仍然處在快速發(fā)展階段,MaaS技術(shù)產(chǎn)品、服務(wù)和應(yīng)用也在快速演變,我們對(duì)MaaS的認(rèn)識(shí)將 1 1 2 5 7 7 10 13 13 14 18 20 23 25 25 28 36 39 40 7 9 10 13 14 15 17 18 20 21 23 24 26 27 28 29 30 31 32 34 34 35表1大模型落地問(wèn)題及MaaS解決方式................................................................51一、MaaS概述隨著以大模型為核心的人工智能技術(shù)的深入發(fā)展,模型即服務(wù)(MaaS,ModelasaService)作為一種新型人工智能服務(wù)模式煥發(fā)新生。本章將明確MaaS的概念及主要的服務(wù)能力范圍,剖析大模型時(shí)代MaaS快速發(fā)展的必然性,闡述MaaS在解決大模型規(guī)模化(一)MaaS起源與概念MaaS基本形態(tài)早已形成。2012年美國(guó)數(shù)據(jù)科學(xué)家DJ·帕蒂爾(DJPatil)首次提出MaaS概念1,即“將機(jī)器學(xué)習(xí)算法打包成可重復(fù)使用的服務(wù),使企業(yè)能夠快速地構(gòu)建、部署和監(jiān)控模型,無(wú)須開(kāi)此時(shí)MaaS多以AI能力開(kāi)放平臺(tái)的形式存在,平別、光學(xué)字符識(shí)別(OCR)等特定場(chǎng)景的AI能力。該類AI能力由若干個(gè)模型及規(guī)則、數(shù)據(jù)庫(kù)等組合構(gòu)成,但覆蓋功能和場(chǎng)景有限,傳統(tǒng)AI模型落地成本低且泛化性不足,MaaS所帶來(lái)的增益尚不明大模型以其龐大的參數(shù)量與獨(dú)特的模型結(jié)構(gòu)展現(xiàn)了良好性能,推理能力的提高使得模型可以解決復(fù)雜邏輯問(wèn)題,泛化性的提升拓模型的高性能對(duì)數(shù)據(jù)和算力的需求也相應(yīng)增長(zhǎng),成本的增加使得模2型規(guī)?;涞卮嬖谧璧K。在此背景下,MaaS通過(guò)提供服務(wù)的方顯著降低了用戶使用大模型的門(mén)檻,讓業(yè)務(wù)能夠更快速、更有效地享受大模型價(jià)值。根據(jù)畢馬威預(yù)測(cè),模型即服務(wù)(MaaS)將是AGI大模型背景下MaaS概念是指將AI模型及其相關(guān)能力打包成可重復(fù)使用的服務(wù),使企業(yè)能夠快速高效地構(gòu)建、部署、監(jiān)控、調(diào)用模型,無(wú)須開(kāi)發(fā)和維護(hù)底層基礎(chǔ)能力。與早期MaaS概念相比能力范圍有所拓展,一方面機(jī)器學(xué)習(xí)算法擴(kuò)展至包括深度學(xué)習(xí)、大模型等在內(nèi)的所有AI模型;另一方面基于模型服務(wù),用戶不僅可直接調(diào)用服務(wù)進(jìn)行推理,也可基于服務(wù)進(jìn)行AI應(yīng)用的構(gòu)建,擴(kuò)大模型服務(wù)MaaS主要提供三部分服務(wù)能力,一是提供包括模型訓(xùn)練、用戶無(wú)需關(guān)注AI算力、框架和平臺(tái)即可生產(chǎn)和部署模型;二是提供包括大小模型及公私域數(shù)據(jù)集的豐富資產(chǎn)庫(kù)服務(wù),以支持模型和數(shù)據(jù)集的靈活快速調(diào)用,用戶無(wú)須生產(chǎn)和部署模型即可調(diào)用模型和數(shù)(二)大模型促使MaaS快速發(fā)展大模型正驅(qū)動(dòng)著“人工智能+”(AI+)需求的迅猛增長(zhǎng),加快了3催生了龐大的市場(chǎng)需求。如金融行業(yè),主要應(yīng)用于營(yíng)銷、客服、風(fēng)控等場(chǎng)景,有效解決金融領(lǐng)域人力成本高、風(fēng)險(xiǎn)管控滯后等問(wèn)題,準(zhǔn)確率提升約2倍;電信行業(yè),主要應(yīng)用于客戶服務(wù)、營(yíng)銷推廣、網(wǎng)絡(luò)運(yùn)維、故障預(yù)測(cè)等場(chǎng)景,有效解決電信領(lǐng)域用戶需求復(fù)雜、網(wǎng)絡(luò)優(yōu)化難度高等問(wèn)題,某運(yùn)營(yíng)商打造基于網(wǎng)絡(luò)大模型的網(wǎng)絡(luò)運(yùn)維AI助手,使得網(wǎng)絡(luò)運(yùn)維準(zhǔn)確率達(dá)88%以上;政務(wù)行業(yè),主要應(yīng)用于市數(shù)據(jù)孤島等問(wèn)題,某單位利用大模型提升政務(wù)工作效率,在接訴即辦場(chǎng)景中派單準(zhǔn)確率達(dá)到87%以上3;除了賦能行業(yè)的散點(diǎn)場(chǎng)景外,企業(yè)內(nèi)AI+逐步向全流程賦能邁進(jìn),推進(jìn)全域數(shù)智化轉(zhuǎn)型,如某頭部互聯(lián)網(wǎng)企業(yè)內(nèi)部已有超過(guò)400個(gè)業(yè)務(wù)及場(chǎng)景接入大模型,其中協(xié)作類應(yīng)用產(chǎn)品全部接入大模型,全面賦能會(huì)議、文檔、代碼等相關(guān)然而,隨著大模型性能的不斷增強(qiáng)和應(yīng)用需求大規(guī)模增長(zhǎng),其一是大模型在落地過(guò)程中需要海量算力,而企業(yè)獲取算力門(mén)檻高。隨著模型參數(shù)量變大,大模型訓(xùn)練算力需求以每2個(gè)月翻一番4/s/EvPpycoG-ystkljz_eu-YA4的速度增長(zhǎng)5,模型推理成本也在持續(xù)增加。并且大模型訓(xùn)練推理所二是大模型較傳統(tǒng)AI模型在訓(xùn)練、調(diào)優(yōu)、推理和部署等方面的對(duì)數(shù)據(jù)集數(shù)量和質(zhì)量的要求更高,并且出現(xiàn)了提示工程、強(qiáng)化學(xué)習(xí)等新技術(shù),增加了技術(shù)壁壘。同時(shí),巨大的算力需求對(duì)分布式并行計(jì)算加速提出了更高要求,此外大模型用于邊端推理時(shí),需對(duì)模型三是大模型工程化落地時(shí)煙囪式建設(shè)造成資源浪費(fèi)。大模型成為當(dāng)前諸多企業(yè)數(shù)智化轉(zhuǎn)型的敲門(mén)磚,在企業(yè)內(nèi)部往往有多個(gè)團(tuán)隊(duì)進(jìn)一步提升業(yè)務(wù)價(jià)值。但從企業(yè)整體視角來(lái)看,內(nèi)部場(chǎng)景需求多有重復(fù),而大模型的泛化能力足以應(yīng)對(duì)同類行業(yè)場(chǎng)景的不同需求,若仍采用各團(tuán)隊(duì)自行維護(hù)模型的煙囪式模式,將會(huì)導(dǎo)致算力和人力的四是大模型應(yīng)用在落地最后一公里時(shí)仍存在場(chǎng)景適配難和開(kāi)發(fā)效率不足的挑戰(zhàn)。一方面模型應(yīng)用方具備豐富的行業(yè)經(jīng)驗(yàn)和高質(zhì)量數(shù)據(jù)集,但缺乏模型落地相關(guān)技術(shù),而模型廠商雖然有相關(guān)技術(shù)儲(chǔ)隨著企業(yè)AI+的全線推進(jìn),模型應(yīng)用的場(chǎng)景需求越來(lái)越多,而模型5/articles/s41586-0215源綜上所述,大模型規(guī)?;涞孛媾R高性能、高需求、高成本等落地壓力和挑戰(zhàn),而MaaS基于高效、便捷、靈活等優(yōu)勢(shì),可成為推動(dòng)大模型應(yīng)用落地的重要力量,使得MaaS在大模型時(shí)代下的增(三)MaaS助推大模型規(guī)模化落地MaaS主要具備三個(gè)顯著特性。技術(shù)低門(mén)檻,有助于將更廣泛的用戶群體;模型可共享,推動(dòng)行業(yè)資源的有效利用和技術(shù)模型服務(wù)、數(shù)據(jù)集服務(wù)、AI應(yīng)用開(kāi)發(fā)服務(wù)在內(nèi)的全棧服務(wù),并對(duì)模型等資產(chǎn)進(jìn)行統(tǒng)一管理,提升規(guī)?;a(chǎn)效率,培育和打造新質(zhì)生來(lái)源:中國(guó)信息通信研究院6降低了學(xué)習(xí)新型訓(xùn)練或調(diào)優(yōu)算法的成本,可快速找到合適的調(diào)優(yōu)路徑并完成閉環(huán)的強(qiáng)化學(xué)習(xí)通路,新手亦可快速完成專屬模型定制;在模型部署及運(yùn)營(yíng)管理方面,對(duì)于部署上線過(guò)程復(fù)雜等問(wèn)題,提供快速部署服務(wù),并匹配全生命周期運(yùn)營(yíng)監(jiān)控工具,降低了模型部署MaaS通過(guò)提供集約化的模型庫(kù)和數(shù)據(jù)集,解決重復(fù)造輪子的資模型的量變將引起效率的質(zhì)變,通過(guò)模型共享可減少開(kāi)發(fā)資源的浪費(fèi),通過(guò)模型等數(shù)字資產(chǎn)的統(tǒng)一管理有助于提升風(fēng)險(xiǎn)可控性,資源的高效利用和規(guī)范管理將成為企業(yè)長(zhǎng)遠(yuǎn)發(fā)展的保障;在落地方面,通過(guò)直接調(diào)用模型服務(wù)和數(shù)據(jù)集,減少了數(shù)據(jù)處理、選擇模型以及模型調(diào)優(yōu)部署的過(guò)程,加快了開(kāi)發(fā)進(jìn)度,快速M(fèi)aaS通過(guò)提供模型應(yīng)用的高效開(kāi)發(fā)能力,適配企業(yè)規(guī)模化場(chǎng)景需求。模型應(yīng)用場(chǎng)景眾多,但企業(yè)內(nèi)部開(kāi)發(fā)資源有限,MaaS在模型服務(wù)的基礎(chǔ)上提供面向業(yè)務(wù)場(chǎng)景的應(yīng)用開(kāi)發(fā)平臺(tái)或工具,幫助用戶快速構(gòu)建基于AI模型的應(yīng)用。如在面臨單個(gè)模型無(wú)法解決復(fù)雜業(yè)務(wù)排等多種方式以增強(qiáng)模型能力,并以智能體(AIAgent)等方式向用戶提供更優(yōu)質(zhì)的服務(wù)。MaaS讓更多用戶可以生產(chǎn)個(gè)性化的模型應(yīng)7二、MaaS發(fā)展現(xiàn)狀及挑戰(zhàn)MaaS作為一種智能化服務(wù)新模式得到迅速發(fā)展,本章將圍繞產(chǎn)業(yè)圖譜及落地方式闡述當(dāng)前MaaS的產(chǎn)業(yè)發(fā)展現(xiàn)狀,并分析MaaS(一)MaaS產(chǎn)業(yè)發(fā)展現(xiàn)狀MaaS在人工智能產(chǎn)業(yè)鏈中處于中游位置,基于平臺(tái)服務(wù)、模型1.MaaS產(chǎn)業(yè)圖譜初步形成MaaS基于算力基礎(chǔ)設(shè)施的支持,面向場(chǎng)景提供多種應(yīng)用,具備來(lái)源:中國(guó)信息通信研究院MaaS產(chǎn)業(yè)圖譜(如圖2所示)中,平臺(tái)服務(wù)構(gòu)成了MaaS生態(tài)MachineLearning以及亞馬遜的AmazonS從數(shù)據(jù)處理到模型訓(xùn)練、驗(yàn)證、部署及監(jiān)控的流水線服務(wù)。國(guó)內(nèi)如8阿里云PAI平臺(tái)、騰訊云太極平臺(tái)、百度千帆大模型平臺(tái)和華為的ModelArts平臺(tái)等,均支持多種機(jī)器學(xué)習(xí)算法和大模型,并提供低代碼開(kāi)發(fā)環(huán)境與高效的模型訓(xùn)練及部署能力,能夠適應(yīng)多樣化的模型在模型服務(wù)方面,通過(guò)提供豐富多樣的模型資源以支持各種應(yīng)用需求。如HuggingFace提供模型及模型調(diào)用服務(wù),截止2024年5國(guó)內(nèi)模型服務(wù)生態(tài)迅速發(fā)展,頭部企業(yè)通過(guò)搭建模型服務(wù)開(kāi)源社區(qū)或平臺(tái),匯聚各類模型及服務(wù)能力,包括大模型、傳統(tǒng)AI模型及各在數(shù)據(jù)集服務(wù)方面,通過(guò)匯聚和管理處理好的數(shù)據(jù)集,為其他AI模型的訓(xùn)練與微調(diào)提供可直接獲取的高質(zhì)量數(shù)據(jù)集,一定程度上幫助企業(yè)快速獲取某些模型訓(xùn)練所需的數(shù)據(jù)集。截至2023年Scale·AI數(shù)據(jù)集服務(wù)商已累計(jì)標(biāo)注10億條2D、3D場(chǎng)景化數(shù)據(jù)7,提供了豐富的數(shù)據(jù)集服務(wù),據(jù)GrandViewResearch報(bào)告顯示,全球數(shù)據(jù)收集和標(biāo)注市場(chǎng)規(guī)模預(yù)計(jì)從2023年到2030年將以28.9%編排及代碼開(kāi)發(fā)等多元化工具,為用戶提供了一條高效便捷的用開(kāi)發(fā)新路徑。如GPTs作為基于大模型的應(yīng)用開(kāi)發(fā)工具,可通過(guò)6https://huggingface.co/7/about8/sector-report/data-collection-labeling-indust9個(gè)GPTs9。國(guó)內(nèi)頭部企業(yè)也紛紛推出各類應(yīng)用開(kāi)發(fā)平臺(tái),可實(shí)現(xiàn)AI原生應(yīng)用開(kāi)發(fā),并支持構(gòu)建AIAgent(智能體達(dá)到大模型與各組件或系統(tǒng)工具的強(qiáng)互動(dòng)及關(guān)聯(lián),據(jù)MarketsandMarkets預(yù)測(cè),至來(lái)源:中國(guó)信息通信研究院2.MaaS兩種落地方式MaaS具備公有云和私有云兩種落地方式,公有云模式下模型資源更加豐富,但私有云模式下模型資源的行業(yè)領(lǐng)域?qū)傩愿鼘I(yè)(如產(chǎn)品知名度,有助于進(jìn)一步商業(yè)轉(zhuǎn)化。其模型面向社會(huì)大眾提供服務(wù),模型的種類和數(shù)量更多,通用性更強(qiáng),但是對(duì)于業(yè)務(wù)需求較高的特定場(chǎng)景,部分模型難以直接應(yīng)用。私有云方式下,企業(yè)內(nèi)研發(fā)團(tuán)隊(duì)專注于研究符合垂直領(lǐng)域場(chǎng)景需求的模型,旨在通過(guò)調(diào)用模型9/index/introducing-the-gpt-store10Marketsandmarkets《AttractiveOpportuntitesintheAutonomousAgentsMarke/Market-Reports/autonomous-ai-and-autonomo服務(wù)以直接解決業(yè)務(wù)需求,且模型資產(chǎn)和數(shù)據(jù)隱私性強(qiáng),各團(tuán)隊(duì)在來(lái)源:中國(guó)信息通信研究院在公有云環(huán)境下面向C端用戶主要有按量計(jì)費(fèi)和訂閱兩種模式,其中按量計(jì)費(fèi)是指按照模型實(shí)際調(diào)用量或者算力消耗量計(jì)費(fèi),如按照調(diào)用模型接口(API)次數(shù)或輸入輸出數(shù)計(jì)費(fèi);訂閱模式是指按照月租或年租的方式計(jì)費(fèi),常見(jiàn)于模型應(yīng)用的使用場(chǎng)景,適合追求“開(kāi)箱即用”便捷性的用戶群體。在私有云環(huán)境下面向B端客戶以私有化部署的項(xiàng)目制方式計(jì)費(fèi),可根據(jù)企業(yè)需求部署對(duì)應(yīng)的服務(wù),如需提供模型生產(chǎn)的工具則部署模型平臺(tái),如對(duì)應(yīng)用開(kāi)發(fā)有需求則部署應(yīng)用開(kāi)發(fā)平臺(tái),私有化部署的MaaS在企業(yè)內(nèi)部實(shí)現(xiàn)服務(wù)的共享使用,(二)MaaS發(fā)展面臨的挑戰(zhàn)但MaaS在規(guī)范性、生態(tài)建設(shè)等方面仍存在不足,模型服務(wù)的易用無(wú)法確保用戶獲得滿意的服務(wù)。一方面模型服務(wù)本身的可用性要求尚未建立統(tǒng)一規(guī)范,另一方面服務(wù)規(guī)?;涞厮仨毜姆€(wěn)定性、可模型服務(wù)易用性不足。由于模型卡片的建設(shè)尚不完善,導(dǎo)致模型信息的不透明現(xiàn)象較為普遍。用戶無(wú)法獲取清晰、準(zhǔn)確的模型信息,從而難以選擇所需模型。此外,模型的可解釋性也相對(duì)較弱,使得用戶難以理解模型的運(yùn)作機(jī)制和輸出結(jié)果。因此,加強(qiáng)模型卡片的信息透明度,增強(qiáng)模型的可解釋性,提升模型服務(wù)易用性,是MaaS基建成本控制能力需加強(qiáng)。MaaS的體系構(gòu)建離不開(kāi)堅(jiān)實(shí)的基建支撐,涵蓋云計(jì)算基礎(chǔ)設(shè)施如算力資源和數(shù)據(jù)中心的搭建,以及專業(yè)技術(shù)人才的培育,這些都需要巨額的資金投入。因此MaaS建設(shè)方應(yīng)考慮有效地管理和利用基建資產(chǎn),降低運(yùn)營(yíng)成本提高運(yùn)營(yíng)合規(guī)管理體系亟需進(jìn)一步完善。MaaS在合規(guī)性方面面臨數(shù)據(jù)規(guī)范與權(quán)責(zé)確認(rèn)的雙重考驗(yàn)。就數(shù)據(jù)合規(guī)而言,既要關(guān)注用戶在使用模型服務(wù)時(shí)個(gè)人數(shù)據(jù)的隱私安全,也要確保用于模型訓(xùn)練和優(yōu)化的數(shù)據(jù)來(lái)源合法合規(guī)。在權(quán)責(zé)確認(rèn)方面,當(dāng)模型服務(wù)出現(xiàn)不可用時(shí),國(guó)內(nèi)MaaS生態(tài)建設(shè)尚不完備。一方面由于當(dāng)前MaaS各層之間,以及同層的不同企業(yè)服務(wù)之間接口模式尚未統(tǒng)一,使得MaaS的推廣和應(yīng)用也面臨數(shù)據(jù)互通、技術(shù)對(duì)接等難題,這在一定程度上制約了其生態(tài)建設(shè)的步伐;另一方面國(guó)內(nèi)模型服務(wù)和用戶的體量較國(guó)際先進(jìn)水平還存在差距,模型共建共享的生態(tài)環(huán)境有待進(jìn)一步完三、MaaS框架與能力要求模型的使用需求,提供更加高效的模型觸達(dá)方式。本章由中國(guó)信息通信研究院(以下簡(jiǎn)稱“信通院”)和行業(yè)專家結(jié)合產(chǎn)業(yè)實(shí)踐對(duì)MaaS開(kāi)展研究,圍繞模型落地的全生命周期,分析和總結(jié)框架體系及能(一)MaaS框架說(shuō)明模型服務(wù)層和模型應(yīng)用開(kāi)發(fā)層,每層可作為單獨(dú)服務(wù)供用戶調(diào)取,來(lái)源:中國(guó)信息通信研究院在人工智能體系架構(gòu)中,MaaS處于應(yīng)用層和基礎(chǔ)設(shè)施層之間(如圖5所示與云計(jì)算架構(gòu)相比,對(duì)其原有的平臺(tái)層和應(yīng)用層進(jìn)來(lái)源:中國(guó)信息通信研究院一方面,云計(jì)算架構(gòu)下的平臺(tái)層將操作系統(tǒng)、中間件等軟件棧通過(guò)服務(wù)模式提供給用戶,用戶只需關(guān)注應(yīng)用程序的開(kāi)發(fā)和管理,減少了開(kāi)發(fā)過(guò)程中基礎(chǔ)設(shè)施相關(guān)問(wèn)題的考慮。而MaaS在其基礎(chǔ)上增強(qiáng)了平臺(tái)層能力,首先通過(guò)對(duì)模型訓(xùn)練框架、工具等進(jìn)行抽象和服務(wù)化,使得用戶可以直接構(gòu)建、使用或基于模型再次調(diào)優(yōu);同時(shí)MaaS補(bǔ)充了模型層能力,對(duì)模型及服務(wù)進(jìn)行集約化管理,為用戶提接在線使用應(yīng)用程序,無(wú)需安裝及維護(hù)本地軟件。而MaaS對(duì)應(yīng)用以下將對(duì)MaaS各層能力架構(gòu)和模塊進(jìn)行介紹,并對(duì)產(chǎn)業(yè)典型(二)模型平臺(tái)層模型平臺(tái)層為模型定制開(kāi)發(fā)提供全套的工具鏈及全流程管理能力,包括數(shù)據(jù)處理、模型開(kāi)發(fā)交付和運(yùn)營(yíng)等能力。基于該層,一方面通過(guò)全套的工具鏈幫助企業(yè)降低模型定制開(kāi)發(fā)的技術(shù)門(mén)檻,另一方面通過(guò)全流程的運(yùn)營(yíng)管理提高多團(tuán)隊(duì)協(xié)作效率,并實(shí)時(shí)監(jiān)控線上模型平臺(tái)層包括數(shù)據(jù)工程、模型開(kāi)發(fā)、模型交該層以基礎(chǔ)大模型、算法、私有數(shù)據(jù)集等為輸入來(lái)源:中國(guó)信息通信研究院2.能力模塊接被用于模型訓(xùn)練和模型評(píng)估的高質(zhì)量數(shù)據(jù)集。數(shù)據(jù)采集方面支持主流數(shù)據(jù)源接入以及本地?cái)?shù)據(jù)導(dǎo)入,具備處理海量、多模態(tài)和多格式數(shù)據(jù)的能力;數(shù)據(jù)標(biāo)注方面平臺(tái)支持在線標(biāo)注,提供人工與自動(dòng)等多種標(biāo)注方式,并對(duì)標(biāo)注好的數(shù)據(jù)集做統(tǒng)一管理;數(shù)據(jù)處理方面支持清洗、過(guò)濾、去重、去隱私等流水線處理方式,從而提升數(shù)據(jù)質(zhì)量?jī)?yōu)化模型效果;數(shù)據(jù)生成方面支持在數(shù)據(jù)分布不均衡或缺少數(shù)據(jù)的情況下,根據(jù)需求生成相應(yīng)的數(shù)據(jù)以達(dá)到數(shù)據(jù)平衡;數(shù)據(jù)回流方面支持將業(yè)務(wù)數(shù)據(jù)回流至數(shù)據(jù)集以持續(xù)優(yōu)化模訓(xùn),和強(qiáng)化學(xué)習(xí)等環(huán)節(jié)的工具支持,以實(shí)現(xiàn)模型的定制,同時(shí)降低開(kāi)發(fā)的技術(shù)門(mén)檻。在模型訓(xùn)練方面支持各類AI模型訓(xùn)練所涉及的特征工程、模型調(diào)參和模型實(shí)驗(yàn)等能力;在模型調(diào)優(yōu)方面通過(guò)提供多種調(diào)優(yōu)工具,支持自動(dòng)化或半自動(dòng)化的模型調(diào)優(yōu),完成私域模型定制;在模型重訓(xùn)方面,根據(jù)私域數(shù)據(jù)集進(jìn)行場(chǎng)景化訓(xùn)練,生成專屬模型;在強(qiáng)化學(xué)習(xí)方面,基于人類反饋數(shù)據(jù),支持等能力,支持將調(diào)優(yōu)好的模型發(fā)布上線,縮短交付周期并快速響應(yīng)業(yè)務(wù)需求。在壓縮轉(zhuǎn)換方面,支持量化、蒸餾、剪枝等多類算法選擇,并預(yù)估不同算法的壓縮效果,支持用戶在保持模型性能在模型部署方面,支持在多種環(huán)境下快速部署模型,縮短上線周模型托管等能力平臺(tái)化,通過(guò)平臺(tái)工具實(shí)現(xiàn)低代碼快速處理和模型的高效調(diào)優(yōu)部署,同時(shí)將調(diào)優(yōu)好的來(lái)源:科大訊飛托管、服務(wù)監(jiān)控、服務(wù)告警、結(jié)果和反饋等,對(duì)模型服務(wù)進(jìn)行有(三)模型層直接調(diào)取的模型服務(wù),降低了用戶使用各類模型的難度,推動(dòng)了大模型層包括豐富的模型庫(kù)、數(shù)據(jù)集和服務(wù)管理等能力,提供來(lái)源:中國(guó)信息通信研究院2.能力模塊>模型庫(kù):包括大模型和傳統(tǒng)AI模型,通過(guò)庫(kù)的方式對(duì)模型資產(chǎn)進(jìn)行統(tǒng)一納管。模型庫(kù)中的模型支持被模型平臺(tái)層調(diào)用而進(jìn)一步調(diào)優(yōu)生成新的模型,并將其發(fā)布至模型庫(kù)中進(jìn)行共享;同時(shí)也支持被上層的應(yīng)用開(kāi)發(fā)層調(diào)用,配合多模型、知識(shí)庫(kù)和插件等共同ModelScope建設(shè)了模型庫(kù)、數(shù)據(jù)集、知識(shí)教程ModelScope建設(shè)了模型庫(kù)、數(shù)據(jù)集、知識(shí)教程并進(jìn)行模型版本管理與服務(wù)托管,同時(shí)數(shù)據(jù)集模塊提供數(shù)據(jù)集共享服務(wù)調(diào)用管理和模型庫(kù)管理。模型卡片管理是指管理模型的基礎(chǔ)信息,如同藥品說(shuō)明書(shū),模型使用者需知曉模型的適配場(chǎng)景及使用方式、使用限制,從而幫助用戶更快選對(duì)模型、用對(duì)模型;模型文件管理是對(duì)所有模型對(duì)應(yīng)的文件進(jìn)行統(tǒng)一管理,包括模型版本管理、模型追溯、模型存儲(chǔ)等,以便集約化管理模型文件;服務(wù)調(diào)用管理是指管理不同用戶在各類服務(wù)使用過(guò)程中的調(diào)用權(quán)限管理、調(diào)用數(shù)據(jù)監(jiān)控及分析和調(diào)用計(jì)費(fèi)等內(nèi)容;模型庫(kù)管理是為了維護(hù)庫(kù)的正常運(yùn)行,對(duì)模型進(jìn)行入庫(kù)、更新、出庫(kù)等維度的管來(lái)源:阿里云來(lái)源:阿里云(四)應(yīng)用開(kāi)發(fā)層應(yīng)用開(kāi)發(fā)層基于各類模型服務(wù)和知識(shí)庫(kù)、插件等能力,通過(guò)自然語(yǔ)言、工作流編排、界面配置等方式,完成基于模型的AI發(fā)和集成,同時(shí)對(duì)應(yīng)用從創(chuàng)建到使用的全生命周期進(jìn)行管理,提高應(yīng)用開(kāi)發(fā)層包括支撐能力、應(yīng)用開(kāi)發(fā)集成、應(yīng)用生命周期管理三部分。支撐能力是構(gòu)建AI應(yīng)用所需的基礎(chǔ)能力,如模型服務(wù)、插不同用戶技術(shù)水平和場(chǎng)景的需求分為自然語(yǔ)言、界面配置、工作流編排以及代碼開(kāi)發(fā)等方式,滿足不同開(kāi)發(fā)難度和靈活度的需求;應(yīng)用生命周期管理對(duì)應(yīng)用創(chuàng)建到上線運(yùn)營(yíng)的整個(gè)流程進(jìn)行統(tǒng)一管理,來(lái)源:中國(guó)信息通信研究院2.能力模塊擇相應(yīng)能力進(jìn)行組合編排或開(kāi)發(fā)。其中模型服務(wù)可直接被調(diào)取以提供AI能力;插件提供了各類可擴(kuò)展的工具能力,使得應(yīng)用功能更加豐富,包括自建插件和第三方插件等;知識(shí)庫(kù)提供了豐富的行業(yè)知識(shí)和私有數(shù)據(jù)支持,并結(jié)合RAG等能力將新數(shù)據(jù)引入模型,增強(qiáng)輸出結(jié)果的準(zhǔn)確性;Prompt提供了創(chuàng)建應(yīng)用、使用應(yīng)用的提示詞管理能力,以幫助模型更好地理解用戶意圖;Agent通過(guò)自主感知、決策和執(zhí)行等環(huán)節(jié)進(jìn)一步提升了應(yīng)用的智AppBuilder在AIAppBuilder在AI原生應(yīng)用開(kāi)發(fā)領(lǐng)的多種能力組件,降低AI原生應(yīng)用的開(kāi)發(fā)門(mén)檻,賦能開(kāi)發(fā)者快速AppBuilder面向不同開(kāi)發(fā)能力的用戶和開(kāi)發(fā)場(chǎng)景,分別以碼態(tài)和代碼態(tài)的產(chǎn)品形態(tài),提供了應(yīng)用組件、應(yīng)用框架兩層服務(wù)。低代碼態(tài)下通過(guò)點(diǎn)選配置,調(diào)取所需的模型服務(wù)和組件,設(shè)置相關(guān)參數(shù)即可打造AI原生應(yīng)用。代碼態(tài)下支持有一定開(kāi)發(fā)能力的技術(shù)通過(guò)恰當(dāng)?shù)腜rompt可快速實(shí)現(xiàn)專屬場(chǎng)景下的應(yīng)用構(gòu)建;界面配置的方式支持用戶通過(guò)選擇基礎(chǔ)模型、設(shè)置模型性能、匹配插件知識(shí)庫(kù)等組件完成應(yīng)用構(gòu)建;工作流編排的方式支持用戶將多個(gè)模型及各類組件以某種邏輯規(guī)則進(jìn)行編排,可自定義不同模型和組件之間的邏輯關(guān)系,提升應(yīng)用開(kāi)發(fā)的擴(kuò)展性;代碼開(kāi)發(fā)適合具備編碼能力的用戶,可基于API接口、SDK套件等進(jìn)行靈活編監(jiān)控運(yùn)營(yíng)的完整流程。通過(guò)全生命周期過(guò)程管理,提高應(yīng)用開(kāi)發(fā)過(guò)程可控性;通過(guò)監(jiān)控運(yùn)營(yíng)及時(shí)發(fā)現(xiàn)并解決問(wèn)題,保障應(yīng)用的持來(lái)源:百度云來(lái)源:百度云(五)模型服務(wù)協(xié)議框架當(dāng)前諸多MaaS產(chǎn)品集成了大量模型服務(wù),但在服務(wù)水平協(xié)議(SLA)方面仍存在要求不統(tǒng)一等問(wèn)題,使得用戶難以獲得滿意的為此,信通院聯(lián)合產(chǎn)業(yè)各界對(duì)模型服務(wù)協(xié)議框架進(jìn)行總結(jié),為用戶獲取模型服務(wù)時(shí)如何衡量服務(wù)質(zhì)量提供參考。模型服務(wù)協(xié)議框架的目標(biāo)是規(guī)范和提升模型服務(wù)質(zhì)量,適用于人工智能領(lǐng)域包括大模型和傳統(tǒng)AI模型在內(nèi)的所有模型服務(wù)。該協(xié)議框架對(duì)服務(wù)范圍及服務(wù)內(nèi)容進(jìn)行明確,并對(duì)于如何從多個(gè)維度衡量模型服務(wù)的水平提供參考,包括服務(wù)可用性、隱私安全性、計(jì)量準(zhǔn)確性及權(quán)責(zé)條款等來(lái)源:中國(guó)信息通信研究院分別包括模型性能、模型可解釋性等要求,以及服務(wù)穩(wěn)定性、可四、MaaS應(yīng)用分析各行業(yè)積極探索MaaS落地之道,并在部分領(lǐng)域的應(yīng)用初見(jiàn)成效。本章首先從全行業(yè)角度對(duì)MaaS進(jìn)行分析,其次對(duì)MaaS落地實(shí)踐進(jìn)行闡述,如在金融等領(lǐng)域率先應(yīng)用,并有效賦能經(jīng)營(yíng)管理、(一)MaaS落地條件及優(yōu)勢(shì)場(chǎng)景解析MaaS作為新型智能化服務(wù)模式,其落地實(shí)踐需具備外需和內(nèi)驅(qū)兩個(gè)條件。一是需要有模型規(guī)?;涞氐耐獠啃枨?,當(dāng)組織面臨全線AI+需求時(shí),模型應(yīng)用的需求量隨之變大,導(dǎo)致模型開(kāi)發(fā)及人工成本急劇增加,使組織需變革模型生產(chǎn)和應(yīng)用工具以提升效率。二是需具備組織內(nèi)部驅(qū)動(dòng)力,自頂向下層層推進(jìn)模型共建共享機(jī)制,推進(jìn)煙囪式開(kāi)發(fā)方式向集約式轉(zhuǎn)變,最大化發(fā)揮模型、數(shù)據(jù)、平臺(tái)等AI資產(chǎn)的價(jià)值。在外需和內(nèi)驅(qū)的條件下搭建MaaS多層級(jí)服務(wù),已在多行業(yè)落地,覆蓋研發(fā)設(shè)計(jì)、經(jīng)營(yíng)管理、營(yíng)銷推廣等多個(gè)生產(chǎn)環(huán)節(jié),助力企業(yè)在業(yè)務(wù)、技術(shù)、管理等全方面提效,成為大模型時(shí)金融行業(yè)率先成為落地最多的領(lǐng)域。MaaS在各行業(yè)落地情況如圖13所示,金融行業(yè)具備MaaS落地的良好環(huán)境,其案例數(shù)量占全行業(yè)49%11,成為落地探索最多最快的行業(yè),一方面是因?yàn)榧夹g(shù)儲(chǔ)備較為完善,有傳統(tǒng)人工智能的落地通路和經(jīng)驗(yàn),如基礎(chǔ)設(shè)施和平臺(tái)等層面均有基礎(chǔ);另一方面是因?yàn)闃I(yè)務(wù)數(shù)據(jù)較為豐富,對(duì)模型的種類和數(shù)量需求多。落地場(chǎng)景主要包括營(yíng)銷、客服、風(fēng)控等,可有來(lái)源:中國(guó)信息通信研究院經(jīng)營(yíng)管理環(huán)節(jié)的落地實(shí)踐最為成熟。經(jīng)營(yíng)管理環(huán)節(jié)的應(yīng)用案例在企業(yè)全價(jià)值鏈中占比達(dá)50%11(如圖14所示該環(huán)節(jié)涵蓋的智慧辦公、經(jīng)營(yíng)分析、智能流程等場(chǎng)景,以輔助人工提升工作效率為主而非直接對(duì)客服務(wù)。由于該類場(chǎng)景見(jiàn)效快、風(fēng)險(xiǎn)低,通過(guò)大模型基礎(chǔ)能力加私域少樣本數(shù)據(jù)即可達(dá)到場(chǎng)景性能要求,成為最適合模來(lái)源:中國(guó)信息通信研究院AI應(yīng)用在多樣性和個(gè)性化方面取得了顯著提升。同時(shí),隨著來(lái)源:中國(guó)信息通信研究院(二)MaaS行業(yè)實(shí)踐案例及成效剖析MaaS行業(yè)落地目標(biāo)是降本增效,縮短模型及應(yīng)用構(gòu)建的周期,以應(yīng)對(duì)頻繁迭代的業(yè)務(wù)需求,同時(shí)通過(guò)模型的共享降低重復(fù)建設(shè)成本。本節(jié)詳細(xì)介紹了精選的四個(gè)MaaS落地代表案例,案例材料來(lái)1.銀行業(yè)金融MaaS平臺(tái)應(yīng)用實(shí)踐(1)場(chǎng)景痛點(diǎn):模型開(kāi)發(fā)及部署效率低平安銀行積極探索大模型在業(yè)務(wù)場(chǎng)景智能化和降本增效方面的解決方案,雖然模型應(yīng)用需求向多而廣的趨勢(shì)變化,使得傳統(tǒng)模型研發(fā)流程中存在的自動(dòng)化程度低、資源利用率低、知識(shí)和能力缺乏(2)解決方案:BankGPT服務(wù)平臺(tái)高效賦能模型落地為解決以上痛點(diǎn),平安銀行自主研發(fā)MaaS服務(wù)平臺(tái),即為各業(yè)務(wù)場(chǎng)景的模型應(yīng)用提供了高效、低成本的模型使用和開(kāi)發(fā)支持。BankGPT一方面提供模型微調(diào)功能,開(kāi)發(fā)人員以極低技術(shù)門(mén)檻開(kāi)發(fā)上線大模型服務(wù),另一方面提供底座模型的共享,可訓(xùn)練調(diào)優(yōu)來(lái)源:平安銀行(3)實(shí)踐成效:多種落地模式賦能全行員工BankGPT平臺(tái)經(jīng)過(guò)持續(xù)迭代,截止2024年1月,已實(shí)現(xiàn)支持四種不同的落地模式,支撐行內(nèi)模型應(yīng)用的高效、低成本開(kāi)發(fā),從而實(shí)現(xiàn)智能化普及。該平臺(tái)目前已上線10+底座模型,算法團(tuán)隊(duì)、業(yè)務(wù)開(kāi)發(fā)團(tuán)隊(duì)落地應(yīng)用數(shù)十個(gè),基于Prompt調(diào)優(yōu)創(chuàng)建應(yīng)用數(shù)百個(gè),來(lái)源:平安銀行2.電網(wǎng)領(lǐng)域MaaS實(shí)踐(1)場(chǎng)景痛點(diǎn):電力模型精度及開(kāi)發(fā)效率受限導(dǎo)致模型研發(fā)及部署不夠便捷,生產(chǎn)效率較低,且各單位模型重復(fù)(2)解決方案:一體化MaaS平臺(tái)為各層中國(guó)電科院結(jié)合設(shè)備智能巡檢、作業(yè)安全管控等典型業(yè)務(wù)實(shí)際需求,構(gòu)建電網(wǎng)領(lǐng)域的一體化MaaS平臺(tái)(如圖1基于“模型+服務(wù)+應(yīng)用”建設(shè)模式,包括資源層、平臺(tái)層、模型層、服務(wù)層、應(yīng)用層六部分,可以API、SDK對(duì)外提供服務(wù),還可提供自動(dòng)建模、智能標(biāo)注等組件支撐能力,并結(jié)合自動(dòng)化訓(xùn)練技術(shù),支來(lái)源:中國(guó)電科院(3)實(shí)踐成效:縮短周期,提升人效通過(guò)一體化MaaS平臺(tái),顯著縮短開(kāi)發(fā)周期約50%,模型精度3.電信運(yùn)營(yíng)商在私域領(lǐng)域的MaaS實(shí)踐(1)場(chǎng)景痛點(diǎn):公域模型難滿足特定需求公域大模型直接應(yīng)用到移動(dòng)內(nèi)部,存在問(wèn)題和風(fēng)險(xiǎn),公域大模同時(shí)企業(yè)大模型在多域運(yùn)作中缺乏統(tǒng)一生態(tài)管理,需要在現(xiàn)有系統(tǒng)來(lái)源:中國(guó)移動(dòng)廣東分公司針對(duì)上述痛點(diǎn),廣東移動(dòng)打造了自主的私域大模型體系,采用了“平臺(tái)+生態(tài)”的模式,包括數(shù)據(jù)源、MaaS模型能力層、場(chǎng)景組件系中,集成了自主研發(fā)的模型、專業(yè)模型以及第三方生態(tài)大模型。同時(shí),通過(guò)積極開(kāi)發(fā)和整合行業(yè)特定大模型,支持企業(yè)內(nèi)部應(yīng)用的(3)實(shí)踐成效:提升平臺(tái)靈活性推動(dòng)數(shù)智化轉(zhuǎn)型該方案實(shí)現(xiàn)了平臺(tái)的高靈活性和可擴(kuò)展性,通過(guò)算力和模型的適配提高了平臺(tái)可擴(kuò)展能力和兼容性。應(yīng)用層接入接口的統(tǒng)一使平臺(tái)能快速拓展至各業(yè)務(wù)場(chǎng)景,并建立了統(tǒng)一的數(shù)智人運(yùn)營(yíng)體系,有4.金融風(fēng)控領(lǐng)域的MaaS實(shí)踐(1)場(chǎng)景痛點(diǎn):金融動(dòng)態(tài)風(fēng)控建模效率低、樣本少繁迭代模型,而傳統(tǒng)建模周期長(zhǎng),POC、建模、評(píng)估、上線各環(huán)支持模型調(diào)優(yōu)。同時(shí)在新產(chǎn)品或新業(yè)務(wù)上線時(shí),少樣本或零樣本(2)解決方案:金融風(fēng)控MaaS,實(shí)現(xiàn)低門(mén)檻平臺(tái)實(shí)現(xiàn)全流程的自動(dòng)化建模和部署上線,縮短模型上線周期,滿足快速迭代需求,適配業(yè)務(wù)動(dòng)態(tài)變化;二是集成了大量專家模型,以模型服務(wù)的方式提供快速調(diào)用及組合編排,進(jìn)一步提升模型的精度和落地效率;三是積累了風(fēng)控領(lǐng)域豐富的知識(shí)經(jīng)驗(yàn),通過(guò)大模型加高質(zhì)量數(shù)據(jù)解決小樣本訓(xùn)練難題,并配備360度模型評(píng)估模塊,來(lái)源:騰訊云(3)實(shí)踐成效:快速適應(yīng)存量業(yè)務(wù)頻繁迭代及新業(yè)務(wù)開(kāi)拓>模型精度、建模效率雙提升,快速適配業(yè)務(wù)變化。在金融風(fēng)控來(lái)源:騰訊云>快速應(yīng)對(duì)新業(yè)務(wù)拓展。在新業(yè)務(wù)缺乏樣本的情況下,基于MaaS來(lái)源:騰訊云五、總結(jié)與展望在大模型時(shí)代發(fā)展的浪潮下,各行業(yè)面臨著前所未有的數(shù)智化轉(zhuǎn)型挑戰(zhàn)與機(jī)遇。而MaaS作為模型服務(wù)靈活供給的新模式,為行MaaS概念在大模型時(shí)代得以重塑,助力大模型規(guī)?;涞?。MaaS框架組成逐漸清晰,但落地挑戰(zhàn)不一而足。中國(guó)信通院聯(lián)合產(chǎn)業(yè)專家對(duì)MaaS框架做出系統(tǒng)性歸納,包括模型平臺(tái)層、模型層和應(yīng)用開(kāi)發(fā)層,并對(duì)MaaS能力建設(shè)要求進(jìn)行梳理,同時(shí)將MaaS但MaaS在模型服務(wù)質(zhì)量規(guī)范性、服務(wù)易用性、風(fēng)險(xiǎn)合規(guī)及生態(tài)建MaaS應(yīng)用日趨廣泛,落地效果逐漸顯現(xiàn)。在外需和內(nèi)驅(qū)雙向推動(dòng)下,金融、電信等行業(yè)率先涌現(xiàn)出諸多優(yōu)秀的MaaS落地實(shí)踐,將模型服務(wù)更加便捷地提供給用戶,使其在使用大模型等AI技術(shù)時(shí)能夠達(dá)到多快好省的效果。同時(shí)Maa
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- T-ZSM 0055-2024“領(lǐng)跑者”評(píng)價(jià)技術(shù)要求 燒結(jié)釹鐵硼永磁材料
- 2025年度資質(zhì)借用與投標(biāo)環(huán)境保護(hù)合作協(xié)議
- 二零二五年度智能交通管理系統(tǒng)單方解除合同
- 2025年度跨海大橋旋挖灌注樁施工合同
- 二零二五年度防盜門(mén)市場(chǎng)調(diào)研與采購(gòu)合作協(xié)議
- 二零二五年度生物技術(shù)專利申請(qǐng)合作協(xié)議
- 二零二五年度體育健身公司聘用兼職教練合同書(shū)
- 二零二五年度勞務(wù)派遣公司勞動(dòng)合同范本(含合同解除與賠償)
- 四川省2025年度房屋租賃租賃合同解除與終止合同
- 二零二五年度消費(fèi)金融貸款連帶保證合同書(shū)
- 《自動(dòng)噴水滅火系統(tǒng)設(shè)計(jì)》圖示
- 第二章陸地和海洋【真題訓(xùn)練】(人教版)(原卷版)
- 小吃街概念性規(guī)劃
- 創(chuàng)新小白實(shí)操手冊(cè) 第2版 課件全套 吳雋 模塊1-8 人人皆可創(chuàng)新-商業(yè)呈現(xiàn)與商業(yè)計(jì)劃
- 2024年世界職業(yè)院校技能大賽高職組“關(guān)務(wù)實(shí)務(wù)組”賽項(xiàng)參考試題庫(kù)(含答案)
- 電商提成合同模板
- 正念八周課件
- 服務(wù)響應(yīng)時(shí)間和服務(wù)保障方案
- 蟾蜍毒抗病毒作用機(jī)制
- 光伏發(fā)電監(jiān)理合同協(xié)議
- 新能源汽車概論課件 3.1認(rèn)知純電動(dòng)汽車
評(píng)論
0/150
提交評(píng)論