AI框架發(fā)展白皮書

AI框架發(fā)展白皮書（2022年）前 言AI助力當前經(jīng)濟社會步入智能經(jīng)濟時代。世界正在進入以新一代Intelligence）作為其中重要的使能技術，對激活實體經(jīng)濟具有溢出帶動性很強的“AI框架是智能經(jīng)濟時代的操作系統(tǒng)。作為人工智能開發(fā)環(huán)節(jié)中AIAIAI框架已經(jīng)成為了人工智能產(chǎn)業(yè)創(chuàng)新AIAIAIAIAIAI目 錄一、AI框架技術持續(xù)演進，已形成較為完整的體系 1(一)AI框架演進步入深化階段 1(二)AI框架技術演化出三個層次 5(三)AI框架重要性愈加突顯 13二、全球AI框架繁榮發(fā)展，多元化競合態(tài)勢漸顯 14(一)供給主體方面，企校貢獻最活躍 14(二)開源生態(tài)方面，全球進入活躍期 16(三)市場格局方面，雙寡頭持續(xù)引領 18(四)支撐應用方面，科研與產(chǎn)業(yè)齊驅(qū) 20(五)推廣途徑方面，三條路齊發(fā)并進 25三、應對未來多樣化挑戰(zhàn)，AI框架有六大技術趨勢 27(一)泛開發(fā)：AI框架將注重前端便捷性與后端高效性的統(tǒng)一 27(二)全場景：AI框架將支持端邊云全場景跨平臺設備部署 28(三)超大規(guī)模：AI框架將著力強化對超大規(guī)模AI的支持 29(四)科學計算：AI框架將進一步與科學計算深度融合交叉 31(五)安全可信：AI框架將助力提升AI模型可解釋性與魯棒性 32(六)工程化：AI框架將加速AI應用產(chǎn)業(yè)規(guī)模級工程化落地 34四、AI框架生態(tài)遠未成熟，未來發(fā)展空間可觀 36(一)從硬件適配向算子接口標準化演進 36(二)強化開源社區(qū)打造與開源氛圍營造 36(三)重視與高?？蒲性核鶑V泛開放合作 37(四)推進融入AI基礎設施布局落地 37(五)支持深度賦能大模型及科學計算 38圖目錄圖1AI框架技術演進 2圖2AI框架核心技術體系 5表目錄表1Github社區(qū)中主流AI框架情況（2022.1） 16表2Gitee社區(qū)中主流AI框架情況（2022.1） 18一、AI框架技術持續(xù)演進，已形成較為完整的體系AIAIAIAI（業(yè)界也稱AI開發(fā)框AI場景。(一)AI框架演進步入深化階段結合人工智能的發(fā)展歷程和AI框架的技術特性來看，AI框架的發(fā)展大致可以分為四個階段，分別為萌芽階段（2000年初期）、成長階段（2012~2014年）、穩(wěn)定階段（2015年~2019年）、深化階段（2020年以后）。其發(fā)展脈絡與人工智能，特別是神經(jīng)網(wǎng)絡技術的異峰突起有非常緊密的聯(lián)系。1AI

來源：中國信息通信研究院萌芽階段：受限于計算能力不足，這一階段的神經(jīng)網(wǎng)絡技術影響力相對有限，因而出現(xiàn)了一些傳統(tǒng)的機器學習工具來提供基本支持，也就是AI框架的雛形，但這些工具或者不是專門為神經(jīng)網(wǎng)絡模型開發(fā)定制的，或者API極其復雜對開發(fā)者并不友好，且這些工具并沒有對GPU算力進行支持。這一階段的AI框架并不完善，開發(fā)者不得不進行大量基礎的工作，例如手寫反向傳播、搭建網(wǎng)絡結構、自行設計優(yōu)化器等。Krizhevsky網(wǎng)絡架構，即著名的ImageNetAICaffe、ChainerTheano的早期AICNN、RNNLSTMGPU訓AIImageNetGoogleTensorFlow它至今仍是機器學習領域最流行的AICaffeMeta）并發(fā)布了Caffe2FacebookAI研究團隊也發(fā)布了另一個流行的框架PyTorch，該框架拓展自Torch框架，但使用了更流行的PythonAPI。微軟研究院開發(fā)了CNTKAmazon采用了CMU和其PaddlePaddle飛2016TensorFlowCNTKTheanoTorchCholletKerasAIAI框架都支持的自動微分能力，TensorFlow提供了分布式版本的AI框架和支持iOSPython的基APIAI經(jīng)過激烈的競爭后，最終形成了兩大陣營，TensorFlow和PyTorch2019CNTKPyTorch；KerasTensorFlowTensorFlow2.0版本中成為其高級API（GPT-3），AIAIAI2020昇思MegEngine面深度布局。在這一階段，AI框架正向著全場景支持、超大規(guī)模AI(二)AI框架技術演化出三個層次根據(jù)技術所處環(huán)節(jié)及定位，當前主流AI框架的核心技術可分為基礎層、組件層和生態(tài)層。圖2AI

來源：中國信息通信研究院基礎層基礎層實現(xiàn)AIAIAIAPI是AIAI源完成計算。硬件使能層是AI框架與AI編程開發(fā)-編程接口API：開發(fā)者通過調(diào)用編程接口來描述算法的計算過程。對于開發(fā)者來說，編程接口的易用性以及接口的表達3圖的機器學習編程框架包括TensorFlowMXNetTheanoTorch7Scikit-Learn。編程開發(fā)AIPython//Julia支持。編譯優(yōu)化Pipeline并Pipeline存在較大的挑戰(zhàn)，需要AI編譯優(yōu)化(forwardmode)mode)編譯優(yōu)化TensorFlow2.0、MindSpore編譯優(yōu)化AI（）NEON編譯優(yōu)化Polyhedral編譯優(yōu)化-內(nèi)存優(yōu)化：由于硬件系統(tǒng)的內(nèi)存資源有限，特別是AIAI網(wǎng)絡編譯優(yōu)化-算子生成：AI些算子往往不能滿足開發(fā)者算法不斷演進的需求。因此，需要AI（DSL）AIAI框編譯優(yōu)化-中間表示：中間表示（IntermediateRepresentation，簡稱IR）是對計算圖和算子格式的定義。完備的中間表示需要支持不同硬件設備算子定義和計算圖的性能優(yōu)化，支持不同類型的AI模型網(wǎng)絡結構的靈活表達，支持不同設備間的模型中轉和遷移。硬件接入硬件接入-通信算子：用于分布式節(jié)點通信的函數(shù)節(jié)點。組件層組件層主要提供AI模型生命周期的可配置高階功能組件，實現(xiàn)細分領域性能的優(yōu)化提升，包括編譯優(yōu)化組件、科學計算組件、安全可信組件、工具組件等，對人工智能模型開發(fā)人員可見。AI混合并行策略，例如數(shù)據(jù)流并行和模型并行的組合、數(shù)據(jù)流和Pipeline并行及優(yōu)化組件-高階優(yōu)化器：AI框架支持多種不同的一階/二階優(yōu)化器，能為開發(fā)者提供靈活方便的接口，例如SGD優(yōu)化器、SGDM優(yōu)化器、NAG優(yōu)化器、AdaGrad優(yōu)化器、AdaDelta優(yōu)化器、Adam優(yōu)化器、Nadam優(yōu)化器等。-（AIAI+前AI（-（AI針對AIAI“AI+”（AI（。針對AI方AIAI“AI+”-AIAI“的可解釋性。對已構筑模型進行“解釋性分析”（TB-Net的方式-AI-AI工具組件工具組件/對應的Python生態(tài)層生態(tài)層主要面向應用服務，用以支持基于AI框架開發(fā)的各種人工智能模型的應用、維護和改進，對于開發(fā)人員和應用人員均可見。套件/模型庫：AI框架應對領域通用任務提供預訓練模型或者定義好的模型結構，方便開發(fā)者獲取和開展人工智能模型訓練和推理，如CV、NLP等。AIAIGNNAI+CVNLPAI+如電磁仿計算套件，這些套件包含高質(zhì)量的領域數(shù)據(jù)集、高精度的基礎AIAPIAI同時AI(三)AI框架重要性愈加突顯AIAIAIAIAI率、強化AI算法模型能力，如基于TensorFlow的AlphaGo在極短AlphaGoAICPU為代GPUAI規(guī)模并行計算的關鍵調(diào)度者。此外，人工智能模型將主導智能經(jīng)濟時代各行各業(yè)細分場景，智能應用將呈現(xiàn)規(guī)模化、深度化等特點，而AI框架就是智能應用快速落地的關鍵支撐者。AI作系統(tǒng)是ITAndroid/iOS+ARMAIAIAI“AI框架+”框架二、全球AI框架繁榮發(fā)展，多元化競合態(tài)勢漸顯(一)供給主體方面，企校貢獻最活躍科技企業(yè)與頂尖高校對AI框架的發(fā)展成熟貢獻最為活躍。數(shù)字科技企業(yè)巨頭與頂尖高校是AI框架發(fā)展壯大的主體維護力量，打造技術產(chǎn)業(yè)生態(tài)、營造學術創(chuàng)新氛圍，是兩大主體的源動力。個人及開源組織也扮演著重要的角色，是AI框架創(chuàng)新性、公益性的重要體現(xiàn)。AIAI業(yè)務場景需求激發(fā)AIAIAIGoogleMetaMicrosoftAmazonAIAIAI足滿足自身的AIMindSpore、百度PaddlePaddle、騰訊TNNMNNBytePS以及Mace等。AIAITheano、CaffeAI框架的AI給ApacheAmazonAIAIJittor“”等。(二)開源生態(tài)方面，全球進入活躍期AIAIAI框架的緊密互動。開源社區(qū)是AI框架開發(fā)AI展的過程中起著巨大的作用。開源社區(qū)的相關指標，也體現(xiàn)著AIAIMicrosoftGithub推出的代碼托管平臺Gitee（）。1GithubAI框架情況（2022.1）RankFrameworkCommits1Fork2Star3Contributors4ForeignFramework1TensorFlow1244948630016300030561Commits代表開源代碼提交的次數(shù)，表征開源項目活躍度.2Fork代表代碼復刻、分叉，表征開源項目被引用情況.3Star代表點贊數(shù)，表征開源項目關注度.4Contributors代表貢獻者，表征開源項目貢獻者規(guī)模.RankFrameworkCommits1Fork2Star3Contributors42PyTorch43390148005370021373Theano(StopDeveloping）28127250095003524CNTK(StopDeveloping）161164400171002015MXNet11776690019800868DomesticFramework1MindSpore3730851427002672PaddlePaddle337534300175005243MegEngine22824624100324OneFlow76213513000995Jittor1266235230031GithubGithubAIGithub指標看，國外AI框架方面，TensorFlowAI起之秀PyTorch緊隨其后，雖在頂會占據(jù)了主流地位，但與TensorFlowMXNetAI是目前活躍度最高的AIPaddlePaddlenelw表2Gitee社區(qū)中主流AI框架情況（2022.1）RankFrameworkCommitsForkStarContributors1MindSpore38549240061007742PaddlePaddle3278819536005613OneFlow7521211264MegEngine(鏡像）2280616355Jittor123931134來源：根據(jù)Gitee社區(qū)數(shù)據(jù)整理GiteeAIMegEngineidpre在iteI框架，。(三)市場格局方面，雙寡頭持續(xù)引領AI框架由GoogleMetaGoogle、Meta、Amazon、MicrosoftAI域發(fā)力，引領全球AI框架技術創(chuàng)新升級趨勢，并逐步形成了以Google-TensorFlow中Star1eorlowar60，遠高于排名第二的yoch（30，且ogle于9年推出長期的技術支持，并與GoogleCloud服務深度集成，持續(xù)鞏固PapersCode5顯示，2021AI856soo（2.8yochAIAIAIAIAIMindSporeGiteeAIPaddlePaddleIDC202135020%。5/trends.(四)支撐應用方面，科研與產(chǎn)業(yè)齊驅(qū)AI框架賦能學術科研AI202150068.4%AITensorFlow在Summit1.1EFLOP/sCPUTensorFlowCosmoFlow，利TensorFlow8000多個節(jié)點N的開普勒-90i-90解決農(nóng)業(yè)護組織RainforestConnection我國框架作為后起之秀在學術科研領域已經(jīng)嶄露頭角?；贛indSpore的鵬程2000.4096張NPU.太初是基于MindSporeMindSpore打造了全球首個專用深度學習遙感框架武漢.LuojiaNet，實現(xiàn)大規(guī)模衛(wèi)星遙感影像的智能遙感解譯。PaddlePaddle聯(lián)合鵬城百度260060PaddlePaddle研發(fā)推出量子機器學習工具集量槳（PaddleQuantum），建立起了AI框架賦能產(chǎn)業(yè)應用空客公司使用TensorFlow17000空客使用TensorFlow開發(fā)的模型在數(shù)據(jù)流監(jiān)控過程中進行異常檢決時間。CelgeneMXNet是一家從事免疫醫(yī)療的制藥企業(yè)，通過訓練神經(jīng)網(wǎng)絡識別MXNet框架PyTorch幫助采礦企業(yè)DatarockDatarock的技術，5-6MindSpore300模40005000AIMindSporeAIMindSporeAI90%99.9%3MindSporeOCR識MindSpore的智“”20280MindSpore..LuojiaPaddlePaddle服務企業(yè)遍布能源、金融、工業(yè)、醫(yī)療、農(nóng)業(yè)等多個行業(yè)，助力千行萬業(yè)智能化升級。PaddlePaddle賦能人民日報“創(chuàng)作大腦”，覆蓋了全媒體策劃、采集、編輯、傳播效果分析等各環(huán)節(jié)和業(yè)務場景，可以大幅提高新聞產(chǎn)品的生產(chǎn)效率，能夠進行視頻直播關鍵人物、語句識別、全網(wǎng)熱點數(shù)據(jù)自定義監(jiān)測預警、批量生成可視化大數(shù)據(jù)報告等多種智能化生產(chǎn)。連心醫(yī)療基于PaddlePaddle平臺開發(fā)上線“基于CT影像的肺炎篩查與病情預評估AI系統(tǒng)”，已首先在湖南郴州湘南學院附屬醫(yī)院投入使用，可快速檢測識別肺炎病灶，為病情診斷提供病灶的數(shù)量、體積、肺部占比等定量評估信息，同時輔以雙肺密度分布的直方圖和病灶勾畫疊加顯示等可視化手段，為臨床醫(yī)生篩查和預診斷患者肺炎病情提供定性和定量依據(jù)，提升醫(yī)生診斷和評估效率。曠視MegEngine曠視Brain++90%，85%10%——500倉庫效率提升了40%7*24一流科技OneFlow充分發(fā)揮分布式可擴展性能優(yōu)勢，已服務科研、政務、軍工、金融等諸多行業(yè)客戶。一流科技基于OneFlow框OFOneBrain、強化學習解決方案OneAgent及AIOneLabOneBrain(五)推廣途徑方面，三條路齊發(fā)并進AI從而吸引更多開發(fā)者參與生態(tài)構建。GoogleTensorFlow團隊基于GitHub開源，并逐步吸引早期開發(fā)者向貢獻者轉變。圍繞TensorFlowTensorFlowAPI代碼TensorFlowTensorFlowMindSpore開發(fā)MindSpore市/15012132AIAI前MindSpore100AI3000多AI框架也選擇通過設立創(chuàng)新基金激勵框架的創(chuàng)新應用。華為于2020年與中國人工智能學會共同發(fā)起《中國人工智能學會華為MindSpore1600120PapersWithCode202110月統(tǒng)MindSporeAI10%（2020合成立了“CCF-”，數(shù)據(jù)、技術支持等服務，推動AIAIAIAIAIMindSporeAIPaddlePaddleIP31OneFlowAIMindSpore“騰智造、“昇”、昇”、昇三、應對未來多樣化挑戰(zhàn)，AI框架有六大技術趨勢(一)框架將注重前端便捷性與后端高效性的統(tǒng)一AIAPIAI高、性能優(yōu)異、易于理解和使用的API體系，TensorFlowJAX等ConsortiumforPythonDataAPIStandardsPaddlePaddle備的API（C++C#JavaGo等要以PythonSwiftforTensorFlow及倉頡等AIPython，Julia（）Swift（）都Python在AIAI(二)全場景：AI框架將支持端邊云全場景跨平臺設備部署AIAIAI框架的“”AI框架訓練出來的模型進行標準化互通將是未來的挑戰(zhàn)。AIAI框架AI框架以及使得AIAI邊-云不同(三)超大規(guī)模：AI框架將著力強化對超大規(guī)模AI的支持AIOpenAI20205月發(fā)布GPT-31750處理前45T，在多項NLP及超大規(guī)模的數(shù)據(jù)集的AI產(chǎn)業(yè)界和學術界看到這種新型范式的潛力后紛紛入局，繼OpenAIMindSpore模型、阿里發(fā)布了M6模型、百度發(fā)布了文心模型等。超大規(guī)模AI正成為下一代人工智能的突破口，也是最有潛力的強人工智能技術。AIAI框架也提出了新的挑戰(zhàn)，可總結為“五堵墻”。一是內(nèi)存墻，大模型.盤古一4TB.20003.6EFLOPSAIE模AI“”AIAIAIAIAI存管理CPUNPUNVMe三層存儲AI快捷的者的調(diào)優(yōu)路徑和AI(四)科學計算：AI框架將進一步與科學計算深度融合交叉?zhèn)鹘y(tǒng)科學計算領域亟需AI技術加持融合?？茖W計算一般以準確的數(shù)學模型為根基，以嚴謹?shù)挠嬎惴椒槭侄?，對應用領域中氣候氣象、能源材料、航空航天、生物醫(yī)藥等問題進行模擬。傳統(tǒng)科學計算方法通過數(shù)值迭代的方式解決問題，面臨著維度災難引起的計算量指數(shù)上升的問題，導致在復雜問題或者場景中“算不起”，甚至是“算不動”。在科學計算的諸多領域仍舊存在著大量待求解的問題，因為機理不清楚，或是計算過于復雜，以至于傳統(tǒng)算法難以求解。而人工智能則往往依賴于以神經(jīng)網(wǎng)絡為代表的具有“萬能逼近”性質(zhì)的數(shù)學工具從數(shù)據(jù)中挖掘規(guī)律，從而在圖像處理等類型的任務上，實現(xiàn)超越人類水準的突破。AI框架提供了科學計算問題求解的新范式，推動科學計算與AI共發(fā)展AI架需構建AI與計算的一加擎持傳統(tǒng)數(shù)計算法，并過計對傳統(tǒng)值方法和AI方的混合計優(yōu)化而實現(xiàn)AI+學算端到加速AI框架需強化自動分功能通過改框架自微分機和底層子實現(xiàn)支持高階分，使得AI框具備達雜科學算公能力。AI框架需富編口過新增JacobianHessianJVPVJP等接口，為AI+科學算提供合的方式，得開以更加近數(shù)學計的方行編程AI框架內(nèi)置專領域?qū)W計算件面向不的科學算領域供簡單用的科計算套，包含質(zhì)量的領數(shù)據(jù)高精度基礎AI模型和于前理的工集合MindSpore置MindSporeScience功能組并面向電子信息行業(yè)的MindSporeElec件和向生命學行業(yè)的MindSporeSPONGE 套件。PaddlePaddle 通過擴展底層框架以及開發(fā)PaddleScience科學計算開發(fā)套件，具備求解科學計算問題的能力。(五)安全可信：AI框架將助力提升AI模型可解釋性與魯棒性可解釋性的需求增加對AI框架提出進階性要求。通過對模型決策結果以人類可理解的方式呈現(xiàn)，有助于人們理解復雜模型內(nèi)部的工作機理以及模型如何做出決策等重要問題。安全可信的AI框架需對模型可解釋性進行支持，將黑盒的人工智能決策轉化為可解AI性能。目前已有部分框架開始支持可解釋性的需求，比如基于Captum出TF-explain的AIX360AlibiMindSpore的MindSporeXAI，PaddlePaddleInterpretDLAIAIAIAIMindSporeMindSpore脆弱點。PaddlePaddlePaddleSleeve(六)工程化：AI框架將加速AI應用產(chǎn)業(yè)規(guī)模級工程化落地AIAIAI6G