基于人工智能的模型檢測平臺建設(shè)項目需求

基于人工智能的模型檢測平臺建設(shè)項目需求項目建設(shè)背景隨著人工智能技術(shù)的飛速發(fā)展，其在計算機視覺、自然語言處理等領(lǐng)域的應(yīng)用取得了顯著成效，為各行各業(yè)的高質(zhì)量發(fā)展提供了新動能；然而，人工智能在替代人類進行自主決策的過程中，面臨可解釋性差、魯棒性脆弱、數(shù)據(jù)和模型隱私泄露等安全風險，這些問題嚴重阻礙了人工智能的進一步發(fā)展和安全應(yīng)用；為了解決現(xiàn)有平臺缺少有效測試樣本，加強國內(nèi)人工智能系統(tǒng)的可靠性和魯棒性，自動確定合適的脆弱性評估，并實現(xiàn)魯棒/可解釋等多角度的測試分析，亟需建設(shè)一個高度集成的一體化人工智能測評系統(tǒng)，以彌補國內(nèi)外系統(tǒng)集成度的差距，提供底層自研的評測工具，確保評測產(chǎn)品的完全自主和評測過程的完全可控；基于此，建設(shè)基于人工智能的模型檢測平臺，為不同行業(yè)提供智能化的決策支持，推動產(chǎn)業(yè)的升級和創(chuàng)新，同時確保人工智能模型的可靠性、魯棒性和安全性，為實現(xiàn)跨領(lǐng)域的技術(shù)突破和應(yīng)用落地提供堅實的基礎(chǔ)；項目概述為解決現(xiàn)有平臺在有效測試樣本缺少、可靠性不佳及魯棒性不足等方面的問題，需要展開深入研究，生成多樣性的對抗樣本，建立多樣化的測試樣本庫，提供豐富多樣的測試數(shù)據(jù)，確保了測試的全面性；因此，建設(shè)基于人工智能的模型檢測平臺變得尤為迫切；首先該項目旨在構(gòu)建一個具有高度多樣化的測試樣本庫，其中包括不同類型、不同場景、不同特點的樣本，這不僅能夠為企業(yè)提供更為全面的測試數(shù)據(jù)，還能在實際應(yīng)用中更有效地對AI系統(tǒng)進行針對性測試，確保其在各種條件下的穩(wěn)定性，形成高效、可靠、自適應(yīng)、主動的可驗證智能系統(tǒng)檢測體系；建設(shè)平臺需要能夠?qū)崟r地響應(yīng)外部環(huán)境的變化，并動態(tài)地調(diào)整其策略和方法；除此之外，建設(shè)平臺還需要專門針對模型的可靠性和魯棒性進行深入檢測；通過持續(xù)生成大量樣本，確保模型在長時間運行后仍然可靠；通過加入人工不可察覺的微調(diào)或干擾，檢測待測模型的輸出準確性，并可向模型提供誤導(dǎo)性的數(shù)據(jù)，檢測其對這些數(shù)據(jù)的反應(yīng)；當待測模型能夠在這些經(jīng)過特定設(shè)計的輸入下仍然正常工作，其在實際應(yīng)用中的可靠性得到了驗證；魯棒性檢測可以確保模型在面對未知樣本時仍能正常工作，不影響模型表現(xiàn)的穩(wěn)定性和可靠性，有效支撐完成業(yè)務(wù)任務(wù)；本項目創(chuàng)新性地集成多角度的測試分析技術(shù)，從邊界可驗證、決策可解釋角度實現(xiàn)人工智能系統(tǒng)的分析測試，最終構(gòu)建多模態(tài)數(shù)據(jù)類型和全覆蓋模型的測試一體化平臺，具備模型離線/在線環(huán)境下的測試評估等功能；它將為人工智能開發(fā)企業(yè)和研究機構(gòu)在相關(guān)測試方面提供有力的技術(shù)支持，進一步促進人工智能產(chǎn)業(yè)的發(fā)展；項目建設(shè)內(nèi)容基于人工智能的模型檢測平臺是一個綜合性平臺，它由七個核心模塊構(gòu)成，分別為：人工智能數(shù)據(jù)與模型管理模塊、人工智能數(shù)據(jù)與模型增強模塊、樣本智能分析生成模塊、人工智能系統(tǒng)的可靠性和魯棒性檢測模塊、數(shù)據(jù)與模型分析模塊、高性能人工智能專用服務(wù)器和數(shù)據(jù)庫服務(wù)器，各模塊之間緊密關(guān)聯(lián)，協(xié)同工作以實現(xiàn)系統(tǒng)的總體目標；人工智能數(shù)據(jù)與模型管理模塊負責存儲、檢索和預(yù)處理數(shù)據(jù)和模型，為其他模塊提供基礎(chǔ)資源；人工智能數(shù)據(jù)與模型增強模塊利用管理模塊提供的數(shù)據(jù)和模型，通過數(shù)據(jù)增強技術(shù)提升模型的泛化能力和魯棒性；樣本智能分析生成模塊，可整合主流開源數(shù)據(jù)集及定制化數(shù)據(jù)集的自動生成，并對數(shù)據(jù)集的樣本稀疏性和類別不平衡性進行智能分析，通過數(shù)據(jù)增強等技術(shù)手段實現(xiàn)數(shù)據(jù)集的智能擴充，生成測試樣本；生成的測試樣本被送入人工智能系統(tǒng)的可靠性和魯棒性檢測模塊，這里對模型進行嚴格的測試和評估，以確保其在各種條件下都能穩(wěn)定運行；數(shù)據(jù)與模型分析模塊對檢測結(jié)果進行深入分析，提供洞察和建議，幫助優(yōu)化模型性能；模型基于高性能人工智能專用服務(wù)器進行訓(xùn)練、推理、算法實現(xiàn)等；數(shù)據(jù)庫服務(wù)器用于對樣本、模型等數(shù)據(jù)進行存儲；這七個模塊相互依賴，形成一個閉環(huán)系統(tǒng)，其中每個模塊的輸出都作為下一個模塊的輸入，確保了整個檢測流程的連貫性和有效性，共同推動人工智能模型向更高標準的發(fā)展；采購的基于人工智能的模型檢測平臺組成如下表所示：系統(tǒng)名稱模塊名稱指標要求基于人工智能的模型檢測平臺人工智能數(shù)據(jù)與模型管理模塊詳見四、項目具體功能和技術(shù)要求中的人工智能數(shù)據(jù)與模型管理模塊指標要求；人工智能數(shù)據(jù)與模型增強模塊詳見四、項目具體功能和技術(shù)要求中的人工智能數(shù)據(jù)與模型增強模塊指標要求；樣本智能分析生成模塊詳見四、項目具體功能和技術(shù)要求中的樣本智能分析生成模塊指標要求；人工智能系統(tǒng)的可靠性和魯棒性檢測模塊詳見四、項目具體功能和技術(shù)要求中的人工智能系統(tǒng)的可靠性和魯棒性檢測模塊指標要求；數(shù)據(jù)與模型分析模塊詳見四、項目具體功能和技術(shù)要求中的數(shù)據(jù)與模型分析模塊指標要求；高性能人工智能專用服務(wù)器詳見四、項目具體功能和技術(shù)要求中的高性能人工智能專用服務(wù)器指標要求；數(shù)據(jù)庫服務(wù)器詳見四、項目具體功能和技術(shù)要求中的數(shù)據(jù)庫服務(wù)器指標要求；項目具體功能和技術(shù)要求針對現(xiàn)有人工智能模型檢測系統(tǒng)存在的局限性，研制一套具有人工智能系統(tǒng)測試過程管理、樣本生成、模型測評等功能的系統(tǒng)；人工智能數(shù)據(jù)與模型管理模塊：針對當前主流平臺僅對有限類型的任務(wù)或模型進行優(yōu)化，無法滿足更廣泛用戶需求的問題，研究人工智能多模態(tài)數(shù)據(jù)處理和多種高級模型，具體包括：系統(tǒng)支持導(dǎo)入的數(shù)據(jù)類型包括但不限于圖像分類模態(tài)數(shù)據(jù)、語音模態(tài)數(shù)據(jù)、文本模態(tài)數(shù)據(jù)等數(shù)據(jù)，實現(xiàn)對圖像、文本、語音進行識別分類等操作；系統(tǒng)檢測的模型類型包括但不限于圖像分類模態(tài)、語音模態(tài)、文本模態(tài)等模型，實現(xiàn)對圖像、文本、語音進行識別分類等操作；系統(tǒng)支持自定義模型、數(shù)據(jù)集導(dǎo)入功能；人工智能數(shù)據(jù)與模型增強模塊：針對測試樣本稀缺影響模型性能的問題，研究多種數(shù)據(jù)擴樣增強算法技術(shù)；系統(tǒng)支持對圖像模態(tài)數(shù)據(jù)的光學(xué)變換、壓縮變換等偽場景模擬技術(shù)，可對圖像數(shù)據(jù)集進行數(shù)據(jù)擴樣增強功能，包括在測試前對加載數(shù)據(jù)進行翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪，縮放，平移等預(yù)處理以及利用梯度、置信度等進行擾動增強樣本；系統(tǒng)支持對文本模態(tài)數(shù)據(jù)進行數(shù)據(jù)擴樣增強功能，包括包括在測試前對加載數(shù)據(jù)進行替換、增詞，混淆同形等預(yù)處理；系統(tǒng)支持對語音模態(tài)數(shù)據(jù)進行數(shù)據(jù)擴樣增強功能，包括在測試前對數(shù)據(jù)集進行多目標擾動、普適擾動、語音合成擾動等處理；樣本智能分析生成：構(gòu)建數(shù)據(jù)集自動生成和智能管理工具，支持整合主流開源數(shù)據(jù)集及定制化數(shù)據(jù)集的自動生成，并對數(shù)據(jù)集的樣本稀疏性和類別不平衡性進行智能分析，通過數(shù)據(jù)增強等技術(shù)手段實現(xiàn)數(shù)據(jù)集的智能擴充，生成測試樣本；人工智能系統(tǒng)的可靠性和魯棒性檢測模塊：針對現(xiàn)有評價平臺缺乏完整的評估標準、方法透明度、攻擊脆弱性、隱私保護等問題，研究人工智能系統(tǒng)的可靠性和魯棒性檢測技術(shù)，實現(xiàn)深度學(xué)習(xí)算法的漏洞發(fā)現(xiàn)，以及模型的加固；（1）系統(tǒng)支持模型的可靠性測試方法，包括偽樣本模擬攻擊、對抗樣本攻擊、數(shù)據(jù)投毒攻擊以及模型竊取攻擊等；（2）系統(tǒng)支持模型的魯棒性測試方法；（3）系統(tǒng)支持采用可視化的方式展示測試結(jié)果；數(shù)據(jù)與模型分析模塊：研究數(shù)據(jù)集管理、模型庫管理、算法實現(xiàn)與調(diào)用管理（包括脆弱性評估算法、檢測與防御加固算法、魯棒性測試算法）、結(jié)果可視化報告等技術(shù)，實現(xiàn)一體化平臺集成建設(shè)；（1）系統(tǒng)支持數(shù)據(jù)集管理、模型庫管理、算法實現(xiàn)與調(diào)用管理（包括脆弱性評估算法、檢測與防御加固算法、魯棒性測試算法）；（2）系統(tǒng)內(nèi)置特定場景的數(shù)據(jù)集與模型，至少需覆蓋交通、醫(yī)療、金融等場景；（3）系統(tǒng)支持報告導(dǎo)出；（4）具備從魯棒性、透明性、可解釋等多角度對系統(tǒng)進行分析的能力，以及全面的評分系統(tǒng)和測試報告的功能；對系統(tǒng)的技術(shù)指標要求：提供基于人工智能的模型檢測平臺1套；系統(tǒng)支持不少于圖像、文本、語音3種模態(tài)模型數(shù)據(jù)的導(dǎo)入；系統(tǒng)集成不少于10種偽場景模擬技術(shù)，包括光學(xué)變換、壓縮變換等；系統(tǒng)支持對模型進行可靠性檢測，覆蓋偽樣本模擬攻擊、對抗樣本攻擊、數(shù)據(jù)投毒攻擊以及模型竊取攻擊，集成不少于5種黑盒方法和15種白盒方法；系統(tǒng)支持集成不少于5種魯棒性評估技術(shù)，包括基于對抗擾動的邊界測試、基于自然噪聲的邊界測試等；系統(tǒng)支持集成不少于5種模型防御算法，包括數(shù)據(jù)投毒樣本檢測、對抗攻擊防御算法等；系統(tǒng)提供具有鮮明特點的樣本/模型知識庫，構(gòu)建5類場景的人工智能模型評測樣本/模型庫，覆蓋不少于交通、醫(yī)療、金融等場景；硬件需求要求配置不低于下表參數(shù)要求：序號名稱數(shù)量基本參數(shù)要求1高性能人工智能專用服務(wù)器11.處理器：支持Intel?3rdGenXeon?ScalableProcessors系列處理器，最大2顆處理器，支持鉑金、金牌、銀牌、銅牌全系列級別，配置2顆處理器：每顆CPU核心數(shù)≥20核，每顆CPU主頻≥2.30GHz，每顆CPU三級緩存≥27.5M；2.內(nèi)存：最大支持32個內(nèi)存插槽；支持高級內(nèi)存糾錯（ECC）、內(nèi)存鏡像（Ememorymirroring）、內(nèi)存熱備（ranksparing）等高級功能，最大支持4T內(nèi)存容量，支持3200MT/s工作頻率，配置≥64GBDDR4RDIMM/LRDIMM內(nèi)存；3.網(wǎng)絡(luò)：支持OCP3.0網(wǎng)絡(luò)模塊，支持1Gb/10Gb/25Gb/40Gb/100Gb/200Gb速率，支持1/2/4個以太網(wǎng)或光纖網(wǎng)絡(luò)接口，支持標準1Gb/10Gb/25Gb/40G/100Gb以太網(wǎng)絡(luò),支持1/2/4個以太網(wǎng)接口，配置≥4個RJ451G網(wǎng)口；4.PCIe擴展：最大支持13個PCIE插槽（包含1個OCP3.0和一個RAIRMezz插槽），支持11個PCIex8/x16后置插槽，其中10個插槽支持x8，1個支持x16；支持1個OCP擴展(不占用PCIe插槽)，支持4個雙寬GPU或8個單寬GPU/顯卡，配置≥2塊NVIDIAA100；5.存儲：可支持最大39個SFF或20個LFF硬盤槽位，支持SAS/SATA/NVMe接口，支持2個后置基于SATA總線的M.2SSD硬盤，支持2個內(nèi)置SD存儲器，支持2個后置短RSSD存儲模塊，支持SAS/SATA/U.2（NVMe）接口，支持SATA總線的M.2SSD硬盤，支持E1.sSSD，支持硬盤熱拔插，配置≥2塊1T3.5寸機械硬盤；6.硬盤控制器：板載PCH支持14個SATA接口，支持12Gb/sSASRAID;支持SAS/SATA/NVME混合模式，配置2GBCacheRAID控制器，支持RAID0/1/5/10/50/60，支持電容掉電保護，RAID狀態(tài)遷移、RAID配置記憶等功能；7.風扇：配置≥4個熱插拔N+1冗余8056風扇，支持8038風扇(不支持N+1冗余)；由風扇控制器、風扇，獨立風扇控制；采用雙轉(zhuǎn)子大尺寸風扇，支持免工具熱插拔維護；風扇轉(zhuǎn)速自動調(diào)節(jié)，對節(jié)點透明；風流向前進后出；具備防回流設(shè)計；8.電源：兩個冗余熱插拔550W/800W/1300W/1600W/2000W高效金牌、鉑金或鈦金交流電源;支持-48V/336V直流電源，配置≥2個1600WCRPS標準電源，支持1+1冗余；9.外形：≥2U雙路機架式服務(wù)器；2數(shù)據(jù)庫服務(wù)器11.處理器：支持1顆英特爾?Xeon?E-2300系列或奔騰系列CPU，處理器最多可達8個核心，最高TDP95W，配置1顆2314CPU；2.內(nèi)存：支持≥4個內(nèi)存插槽，最大可支持128GB內(nèi)存容量；配置≥16G_DDR4-2933MHz_ECC-UDIMM內(nèi)存3.網(wǎng)絡(luò)：板載四千兆網(wǎng)口，支持網(wǎng)絡(luò)喚醒、網(wǎng)絡(luò)冗余、負載均衡等網(wǎng)絡(luò)高級特性，標準PCIe插槽的網(wǎng)絡(luò)適配器；4.PCIe擴展：最大支持2個PCIe4.0標準插