中國(guó)移動(dòng)研究院寧如虎在第四屆中央企業(yè)熠星創(chuàng)新創(chuàng)意大賽人工智能賽道上的演講：九天大模型評(píng)測(cè)系統(tǒng)

大語(yǔ)言模型探索階段大語(yǔ)言模型誕生階段大語(yǔ)言模型爆發(fā)階段大語(yǔ)言模型誕生階段與企業(yè)圍繞“多層次-多維度-多任務(wù)-多指標(biāo)-多...?不好區(qū)分Prompt寫(xiě)的不好還是模型?難以保障評(píng)測(cè)結(jié)果的準(zhǔn)確性?公開(kāi)數(shù)據(jù)集很可能已被用于模型訓(xùn)練安全可信安全可信多層次-多維度-多任務(wù)-多指標(biāo)-多模式大模型評(píng)測(cè)體系...........................換.........換...實(shí)體識(shí)別實(shí)體識(shí)別式式客觀指標(biāo)：準(zhǔn)確性、魯棒性...主觀指標(biāo)：準(zhǔn)確性、安全性...4大評(píng)測(cè)維度、5大類(lèi)性能指標(biāo)、400+評(píng)測(cè)任務(wù)、600+評(píng)測(cè)場(chǎng)景、海量評(píng)測(cè)數(shù)據(jù)評(píng)測(cè)維度?4大評(píng)測(cè)維度：基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、領(lǐng)域評(píng)測(cè)、體驗(yàn)?400+評(píng)測(cè)任務(wù)評(píng)測(cè)數(shù)據(jù)評(píng)測(cè)指標(biāo)安全能力安全能力覆蓋基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、領(lǐng)域評(píng)測(cè)、體驗(yàn)評(píng)測(cè)......可用準(zhǔn)確性、魯棒性、安全性指標(biāo)評(píng)估。...... 魯棒性、安全性指標(biāo)評(píng)測(cè)。............可通過(guò)行標(biāo)來(lái)衡量：合規(guī)性、專(zhuān)業(yè).........依賴(lài)于用戶(hù)的主觀評(píng)價(jià)，可通過(guò)問(wèn) 選取原則 選取原則涵蓋基礎(chǔ)評(píng)測(cè)數(shù)據(jù)、專(zhuān)項(xiàng)評(píng)測(cè)數(shù)據(jù)、安全評(píng)測(cè)數(shù)據(jù)等選取原則：選取種類(lèi)豐富、具有代表性、大規(guī)模的評(píng)測(cè)數(shù)據(jù)，以便衡量大模型的性能、泛化能力和安全性???評(píng)測(cè)系統(tǒng)特色u評(píng)測(cè)流程簡(jiǎn)單化u評(píng)測(cè)數(shù)據(jù)標(biāo)準(zhǔn)化uPrompt指令多樣化u評(píng)分方式多元化u多輪對(duì)話(huà)自動(dòng)化u評(píng)測(cè)報(bào)告可視化市場(chǎng)產(chǎn)品維度對(duì)比數(shù)據(jù)準(zhǔn)備準(zhǔn)備評(píng)測(cè)數(shù)據(jù)集模型注冊(cè)準(zhǔn)備模型信息模型評(píng)測(cè)發(fā)起模型評(píng)測(cè)查看報(bào)告查看模型評(píng)估報(bào)告數(shù)據(jù)準(zhǔn)備準(zhǔn)備評(píng)測(cè)數(shù)據(jù)集模型注冊(cè)準(zhǔn)備模型信息模型評(píng)測(cè)發(fā)起模型評(píng)測(cè)查看報(bào)告查看模型評(píng)估報(bào)告覆蓋基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、覆蓋基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、領(lǐng)域評(píng)測(cè)、體驗(yàn)評(píng)測(cè)、多個(gè)評(píng)測(cè)場(chǎng)景數(shù)據(jù)集靈活快速接入業(yè)界新發(fā)布大模靈活快速接入業(yè)界新發(fā)布大模型，支持最大tokens數(shù)、并發(fā)線(xiàn)程、引導(dǎo)開(kāi)關(guān)等配置項(xiàng)通過(guò)評(píng)測(cè)任務(wù)管理歷史評(píng)測(cè)通過(guò)評(píng)測(cè)任務(wù)管理歷史評(píng)測(cè)項(xiàng)。支持prompt模板配置、自動(dòng)化打分、人工審核校驗(yàn)基于準(zhǔn)確性、魯棒性、公平性、基于準(zhǔn)確性、魯棒性、公平性、安全性、基礎(chǔ)性能多維度量化打分，支持評(píng)測(cè)榜單查看對(duì)以下文本進(jìn)行情感分析，將它分類(lèi)為積極的或消極的問(wèn)題：文本：還沒(méi)穿第二天就起毛了答案：消極問(wèn)題：文本對(duì)以下文本進(jìn)行情感分析，將它分類(lèi)為積極的或消極的問(wèn)題：文本：還沒(méi)穿第二天就起毛了答案：消極問(wèn)題：文本：衣服還不錯(cuò)，這個(gè)價(jià)格值答案：積極問(wèn)題：文本：鞋子輕便輸入，好穿，值得推薦。答案：?數(shù)據(jù)樣式標(biāo)準(zhǔn)化：原始數(shù)據(jù)集轉(zhuǎn)換為自研CEVALS框架的數(shù)據(jù)格式?引導(dǎo)指令標(biāo)準(zhǔn)化：根據(jù)評(píng)測(cè)場(chǎng)景設(shè)置標(biāo)準(zhǔn)化的Prompt指令引導(dǎo)指令引導(dǎo)指令指令攻擊（instuctionatt針對(duì)多種評(píng)測(cè)場(chǎng)景，應(yīng)用配置標(biāo)準(zhǔn)及個(gè)性化prompt模板情感分析情感分析多項(xiàng)選擇多項(xiàng)選擇實(shí)體識(shí)別實(shí)體識(shí)別文本糾錯(cuò)文本糾錯(cuò)文本分類(lèi)文本分類(lèi)機(jī)器翻譯機(jī)器翻譯閱讀理解閱讀理解信息抽取信息抽取語(yǔ)言推理語(yǔ)言推理摘要生成摘要生成指代消解指代消解…………ContrastSetContrastSetchinese_mrcchinese_mrcpawsx_zhpawsx_zh臟話(huà)侮辱臟話(huà)侮辱違法犯罪身體傷害違法犯罪身體傷害心理傷害心理傷害財(cái)產(chǎn)隱私財(cái)產(chǎn)隱私道德倫理道德倫理偏見(jiàn)歧視偏見(jiàn)歧視敏感話(huà)題敏感話(huà)題目標(biāo)劫持目標(biāo)劫持prompt泄露不安全的指令主題角色扮演反面誘導(dǎo)帶有不安全觀點(diǎn)的詢(xún)問(wèn)角色扮演反面誘導(dǎo)性別歧視性別歧視種族歧視種族歧視地域歧視地域歧視職業(yè)歧視職業(yè)歧視模型打分流程step1人工審核模型打分流程step1人工審核提取打分智能評(píng)分模型responseAi=S=σ1果針對(duì)不同評(píng)測(cè)場(chǎng)景，配置不同評(píng)分策略，提高評(píng)測(cè)結(jié)果準(zhǔn)確度和可信度理解能力交互能力生成能力推理能力魯棒性公平性安全性理解能力交互能力生成能力推理能力魯棒性公平性安全性u(píng)自動(dòng)數(shù)據(jù)填充u自動(dòng)多輪對(duì)話(huà)u批量數(shù)據(jù)起聊u聊天場(chǎng)景評(píng)論u自動(dòng)場(chǎng)景打分u支持眾測(cè)分享l樹(shù)狀展示基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、領(lǐng)域評(píng)測(cè)下各評(píng)l樹(shù)狀展示基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、領(lǐng)域評(píng)測(cè)下各評(píng)支持評(píng)測(cè)報(bào)告實(shí)時(shí)查看、評(píng)測(cè)詳情分析、評(píng)測(cè)結(jié)果二次審核評(píng)測(cè)報(bào)告l展示模型準(zhǔn)確性、魯棒性、公平性、安全性評(píng)分及綜l詳細(xì)展示基礎(chǔ)評(píng)測(cè)、專(zhuān)項(xiàng)評(píng)測(cè)、領(lǐng)域評(píng)測(cè)每個(gè)評(píng)測(cè)類(lèi)打分聚合評(píng)測(cè)詳情及結(jié)果審核打分聚合l展示目標(biāo)評(píng)測(cè)場(chǎng)景下的每條請(qǐng)求及響應(yīng)結(jié)果、評(píng)價(jià)指l展示自動(dòng)化響應(yīng)結(jié)果及自動(dòng)化評(píng)分結(jié)果l支持針對(duì)自動(dòng)評(píng)分結(jié)果進(jìn)行二次人工校驗(yàn)動(dòng)態(tài)評(píng)測(cè)優(yōu)化資源分配推動(dòng)技術(shù)革新促進(jìn)創(chuàng)新發(fā)展多模態(tài)評(píng)測(cè)增加公眾信任提高競(jìng)爭(zhēng)力降本增效加強(qiáng)產(chǎn)學(xué)合作行業(yè)規(guī)范