中國移動研究院張世磊在北京郵電大學第四屆“系統(tǒng)論-信息論-博弈論”三論融合學術(shù)會議上的演講：體系化人工智能技術(shù)（Holistic AI）技術(shù)探索

體系化人工智能(HolisticAI)技術(shù)探索中國移動研究院張世磊2023.11.24GPT-3大模型訓練成本費用成本時間成本GPT-3大模型訓練成本費用成本時間成本典型AI商用定制化項目成本構(gòu)成定制化研發(fā)售后運維售前解決方案數(shù)據(jù)采集合同驗收18009000日趨泛在的智能化需求和智能化技術(shù)賦能成本高之間的矛盾日趨泛在的智能化需求智能化技術(shù)賦能成本高20192022人工智能的應(yīng)用弱人工智能強人工智能需求復雜、迭代優(yōu)化、運營成本數(shù)據(jù)成本、算法成本算力成本、人才成本提供技術(shù)基礎(chǔ)性能降成本自動化提高定制化任務(wù)性能神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索LLM使能的自主智能體自動機器學習LLM使能的自主智能體自動機器學習ASurveyonLargeLanguageModelbasedAutonomousAgents單模型的通用化基于AI任務(wù)的自動化選擇環(huán)境，培育環(huán)境共性能力：合理評估AI能力的可達性，構(gòu)建可達的共性AI能力平臺化：平臺化：實用便捷的工具，運營運維業(yè)務(wù)本身是規(guī)模化的：客戶規(guī)模，經(jīng)濟規(guī)模規(guī)?；瘧?yīng)用個10086智能客服-服務(wù)10+億客戶-問題一次解決率94.2%大屏數(shù)字內(nèi)容推薦-服務(wù)家庭7600+萬戶-觀看率提升42%-單省收入賦能7000+萬甘肅智能客服-服務(wù)2500萬甘肅百姓-6000萬關(guān)系政務(wù)知識圖譜智能基站節(jié)電-單站節(jié)電量提升8%-10%智慧黨建-知識檢索效率提升90%核心能力自然語言理解通用能力網(wǎng)絡(luò)智能化能力簇322核心能力自然語言理解通用能力網(wǎng)絡(luò)智能化能力簇智能語音智能推薦機器視覺智能數(shù)據(jù)分析預(yù)測智能診斷智能決策智能控制智能智能語音智能推薦機器視覺智能數(shù)據(jù)分析預(yù)測智能診斷智能決策智能控制智能CHBN賦能價值57服務(wù)外部客戶服務(wù)內(nèi)部客戶服務(wù)外部客戶云端能力云端能力調(diào)用次數(shù)調(diào)用次數(shù)賦能價值服務(wù)客戶物聯(lián)網(wǎng)模型...醫(yī)療模型能源模型客服模型...司法模型...物聯(lián)網(wǎng)模型...醫(yī)療模型能源模型客服模型...司法模型...網(wǎng)絡(luò)模型衍生語言大模型視覺大模型語音大模型結(jié)構(gòu)化數(shù)據(jù)大模型多模態(tài)大模型基礎(chǔ)大模型：加快構(gòu)建適用于泛場景的自主可控通用基礎(chǔ)大模型，打造通用智能底座行業(yè)大模型：聚焦供給側(cè)，加快構(gòu)建行業(yè)大模型，加速國民經(jīng)濟主體行業(yè)的智能化轉(zhuǎn)型升級，促進我國整體生產(chǎn)力躍升L1行業(yè)大模型L0基礎(chǔ)大模型行業(yè)智能化應(yīng)用行業(yè)智能化應(yīng)用支撐支撐通信特色民生服務(wù)通信特色民生服務(wù)工業(yè)生產(chǎn)交通模型...政務(wù)模型治理基于體系化人工基于體系化人工智能的智力運營數(shù)據(jù)數(shù)據(jù)評測大小模型網(wǎng)絡(luò)基礎(chǔ)數(shù)據(jù)基礎(chǔ)算力基礎(chǔ)性能評測安全評測以九天基礎(chǔ)模型為基礎(chǔ)，聯(lián)合通信、能源、航空等行業(yè)的骨干企業(yè)，共建共享九天·眾擎基座大模型航航空九天基礎(chǔ)模型人工智能訓推技術(shù)服務(wù)平臺測評系統(tǒng)交通運輸政務(wù)建筑能源通信冶金算力網(wǎng)絡(luò)算力網(wǎng)絡(luò)大規(guī)模智算中心數(shù)據(jù)匯聚平臺網(wǎng)絡(luò)問題投訴級聯(lián)優(yōu)化網(wǎng)絡(luò)問題投訴級聯(lián)優(yōu)化通常需要在滿足計算、傳輸、安全、可控性等多項約束前提下，組合使用多個模型或能力，包括基礎(chǔ)模型、行業(yè)模型或面向特定任務(wù)的小模型，并能夠端到端優(yōu)化服務(wù)于業(yè)務(wù)目標泛AI算力云/網(wǎng)/邊/端/…業(yè)務(wù)大閉環(huán)AI能力大閉環(huán)網(wǎng)絡(luò)原生 可信原子化體系化AIOS泛AI算力云/網(wǎng)/邊/端/…業(yè)務(wù)大閉環(huán)AI能力大閉環(huán)網(wǎng)絡(luò)原生 可信原子化體系化AIOS體系化人工智能（HolisticAI，HAI）是中國移動研究院九天團隊原創(chuàng)技術(shù)的攻關(guān)方向，依托泛在的網(wǎng)絡(luò)和AI算力，在開放環(huán)境中實現(xiàn)對AI能力進行靈活且高效的配置、調(diào)度、訓練和部署，以滿足日益豐富的數(shù)智化業(yè)務(wù)需求，同時確保AI業(yè)務(wù)可信可控安全，其主要特征為AI服務(wù)大閉環(huán)、AI能力原子化重構(gòu)、網(wǎng)絡(luò)原生AI及安全可信AI。泛在網(wǎng)絡(luò)資源提供方1、“大閉環(huán)”（1、“大閉環(huán)”（BigLoopAI）“大閉環(huán)”AI以業(yè)務(wù)端到端的大閉環(huán)優(yōu)化為目標，重點攻關(guān)多能力級聯(lián)與并聯(lián)優(yōu)化、開放動態(tài)環(huán)境中AI能力優(yōu)化的基礎(chǔ)理論和技術(shù)，從而達到AI產(chǎn)業(yè)閉環(huán)。2、2、AI技術(shù)原子化重構(gòu)（AtomizedAI）AI能力依據(jù)高復用、易調(diào)度、自閉環(huán)、易適配等原則進行原子化拆解和重構(gòu)。一個典型的原子化AI能力包含通用智能層、適配層、接口層，通用智能層可多個能力共享。AI原子化重構(gòu)是體系化人工智能得以實現(xiàn)的基礎(chǔ)。3、3、網(wǎng)絡(luò)原生（NetworkNativeAI）網(wǎng)絡(luò)原生AI將AI能力與算力通過標準化的方式接入網(wǎng)絡(luò)、按需調(diào)度，重點攻關(guān)AI模型自動伸縮的理論和機制，制定AI計算資源、數(shù)據(jù)、模型、能力、服務(wù)的功能、流程、接口和計量的標準，實現(xiàn)AI能力在網(wǎng)云邊端彈性部署、計算和迭代。4、安全可信（4、安全可信（TrustedAI）AI數(shù)據(jù)、模型、能力、業(yè)務(wù)的安全可信是體系化人工智能服務(wù)的重要基礎(chǔ)，重點攻關(guān)AI服務(wù)可追溯、可互信、可審計、抗攻擊的基礎(chǔ)理論與方法。可追溯、可計量HAIprotocol注冊需求動態(tài)測量評估模型類1模型類n場景類1場景類n場景類N需求1需求n 需求N功能區(qū)原子能力區(qū)行業(yè)區(qū)任務(wù)區(qū)模型類N 可追溯、可計量HAIprotocol注冊需求動態(tài)測量評估模型類1模型類n場景類1場景類n場景類N需求1需求n 需求N功能區(qū)原子能力區(qū)行業(yè)區(qū)任務(wù)區(qū)模型類N 服務(wù)計量、評估、回收分層次多粒度的原子AI能力市場maxf(D,M,A,P,0,E,S,F,U,T)s.t.c(D,M,P,0,E,S,F,U,T)≤Cf是一個復雜的函數(shù)，表示體系化人工智能的內(nèi)部邏輯和流程。真實場景數(shù)據(jù)漂移集F={f1,f2,…,fn}，每個漂移fi都有一個類型xi∈{0,1,2,…,x},表示協(xié)變量漂移、先驗漂移和概念漂移等。數(shù)據(jù)傳輸?shù)难莼录疷={u1,u2,…,uk}，每個更新ui都有一個方法yj∈用戶需求服務(wù)集T={t1,t2,…,tz}，表示用戶提出動態(tài)的需求和任考慮體系化人工智能的內(nèi)部流程和邏輯，進一步可以將f分解為以下幾個子函數(shù)：maxf(g,?,i,j,k,?,o)s.t.c(g,?,i,j,k,?,o)≤C端到端跨模態(tài)異構(gòu)數(shù)據(jù)建模：g(D,M)；模型學習機理的優(yōu)化建模：?(D,M,P,U)；模型的原子化表征和建模：i(M,E)；模型的標準規(guī)范入庫：j(M,S)；數(shù)據(jù)漂移的優(yōu)化建模：k(D,P,F,；模型數(shù)據(jù)傳輸?shù)难莼拢?(M,F,U)；>存在性問題：給定D,R,T，是否存在M，使得S(R,T)=1，即是否有足夠的資源和合理的目標來實現(xiàn)AI模型的構(gòu)建？>唯一性問題：給定D,R,T，是否存在唯一的M，使得S(R,T)=1，即是否存在唯一的AI模型能以最低資源消耗來滿足目標的要求？>有效性問題：給定D,R,T，設(shè)M是滿足S(R,T)=1的人工智能模型，是否有η>0，使得e(D,M,T)<η,即AI模型是否能達到預(yù)期的誤差水平？>可解釋性問題：給定D,R,T，設(shè)M是滿足S(R,T)=1的人工智能模型，是否有ξ>0，使得i(D,M,T)>ξ,即AI模型是否是可解釋的?其中：D是數(shù)據(jù)空間，M是模型空間，f:D→M是數(shù)據(jù)到模型的映射函數(shù)，g:M→D是模型到數(shù)據(jù)的映射函數(shù)，?:D→D是數(shù)據(jù)到數(shù)據(jù)的映射函數(shù)，l:M→M是模型到模型的映射函數(shù)，R是資源空間，T是目標空間，c:R×T→R是代價函數(shù)，S:R×T→{0,1}是可行性函數(shù)，e:D×M×T→R是誤差函數(shù)，i:D×M模型服務(wù)提供商模型服務(wù)提供商Ability、Architecture、OutputResourceConsumption、ModelSizeDataset、InferenceComplexityStorageSpace、MemoryUsage…InterfaceTesting、…InterfaceTesting、DataTesting、CapabilityTestingPerformanceTesting、MetricTesting、ReliabilityTesting、UserExperienceTesting…NetworkSparsityInductionNeuralArchitectureSearchKernelMethods、KnowledgeDistillation…f1(f2(f3(…fn(x))))→g(x)應(yīng)用環(huán)境的約束條件?；A(chǔ)模型的功能解耦üAutomaticMaskPruning(AMP):automaticallyidentifytask-specificfilters/nodesfordifferenttasksinthepre-trainedmodel.üapplytheLogExpectedEmpiricalPrediction(LEEP)whichisusedtoevaluatethetransferabilityofrepresentationslearnedbythesourcetasktothetargettask.üScalableMaskSelectionPruning(SMSP):fast-adaptthepre-trainedmodeltodownstreamtasks.One-ShotPruningforFast-adaptingPre-trainedModelsonDevices,HaiyanZhaoandGuodongLong，arXiv:2307.04365v1DecoupleoneModelintoAtomizednetworks?知識分解：包含結(jié)構(gòu)分解和表征分解?每個因子網(wǎng)絡(luò)包含兩部分：通用知識網(wǎng)絡(luò)（CKN）和特定任務(wù)網(wǎng)絡(luò)（TSN）?一種新的信息衡量指標-InfoMaxBottleneck(IMB)，使輸入和通用特征間互信息最大（最大限度保留大模型的通用知識使不同特定任務(wù)特征間互信息最?。ㄊ固囟ㄈ蝿?wù)網(wǎng)絡(luò)之間盡可能解耦）。模型蒸餾?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum?2?3?4?1?2?3?1?4?3?2?1?2?3?4?1fGeneratedInputEmbeddingInputEmbeddingFeatureExtractorFeatureExtractorlul?WeightedSum基礎(chǔ)模型的功能蒸餾PredictedEmbedding?4PredictedEmbedding?4<EOS><EOS>Embeddingfflayerlayer1layer2layer3layer4(a)Distillation(b)Downstream:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023基礎(chǔ)模型的功能蒸餾Two-dimensionalAttentionMechanism：DistillationLoss:DistillingPre-trainedLanguageModelsbasedonGenerativeModels,Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Archive-2023搜索空間巨大：層級搜索、免訓練（trainingfree）端到端閉環(huán)數(shù)據(jù)稀疏：無監(jiān)督參數(shù)量和內(nèi)存消耗大：適配器、蒸餾、剪枝接口復雜：維度一致、梯度連續(xù)端到端閉環(huán)數(shù)據(jù)稀疏參數(shù)量大FuseMultipleModelsintoonetargetmodel?多個神經(jīng)元網(wǎng)絡(luò)層形成一個功能塊?功能相似網(wǎng)絡(luò)：輸入相似時，輸出相似?將一個網(wǎng)絡(luò)分成多個功能塊，相似的功能塊形成一個集合，這個集合稱為：等同網(wǎng)絡(luò)塊集合"DeepModelReassembly",XingyiYang,etc.NeurIPS2022StitchMultipleBigModelsintoonetargetmodelASRNLUASRNLU網(wǎng)絡(luò)問題投訴級聯(lián)優(yōu)化語音識別+自然語言理解級聯(lián)優(yōu)化【12】InterfacesInterfacesFuseMultipleModelsintoonetargetmodel"CascadedMulti-taskAdaptiveLearningBasedonNeuralArchitectureSearch",Y.Gao,ShileiZhang,ZihaoCui,ChaoDeng,JunlanFeng*.Interspeech2023++Cancadethreemodels-speechenhancement,ASR，NLU-withBottleneckAdapterVisionDecodervisionpatchtokensMaskedSelf/Cross-