AIIA PG 0161-2024 面向行業(yè)的大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評(píng)估方法 第11 部分：文旅大模型

AIIA/PG0161-2024面向行業(yè)的大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評(píng)估方法第11部分：文旅大模型Industryorientedlarge-scalepre-trainedmodeltechnologyandapplicationevaluationmethodsPart11:Culturalandtourismlarge-scalepre-trainedmodels2024-09-05發(fā)布2024-09-05實(shí)施中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布I 1 1 1 1 1 2 26.1.1?化場(chǎng)景 36.1.2旅游場(chǎng)景 6 96.2.1任務(wù)?持度 96.2.2性能優(yōu)越度 10 156.3.1服務(wù)多樣性 156.3.2服務(wù)成熟度 16海鷗、楊曉飛、賀琳、鄭會(huì)平、王勇、陳臻、陳澤斌、趙曉志、周支持度、應(yīng)用成熟度三大維度，綜合評(píng)估金支持度、應(yīng)用成熟度三大維度，綜合評(píng)估電支持度、應(yīng)用成熟度三大維度，綜合評(píng)估教支持度、應(yīng)用成熟度三大維度，綜合評(píng)估汽支持度、應(yīng)用成熟度三大維度，綜合評(píng)估傳支持度、應(yīng)用成熟度三大維度，綜合評(píng)估政支持度、應(yīng)用成熟度三大維度，綜合評(píng)估家支持度、應(yīng)用成熟度三大維度，綜合評(píng)估工支持度、應(yīng)用成熟度三大維度，綜合評(píng)估招1GB/T35273-2017信息安全技術(shù)個(gè)人通用大模型Generallargescalepre-traine文旅大模型Educationallargescalepre-tr4縮略語Recall-OrientedUnderstudyforGi2能力域能力子域能力項(xiàng)3化遺產(chǎn)（民間文學(xué)、傳統(tǒng)戲劇、傳統(tǒng)舞蹈、傳得分能力項(xiàng)分項(xiàng)要求44)文物知識(shí)推理：模型能夠理解和處理以可移動(dòng)文物和不可移動(dòng)文物為載體的b)主題覆蓋：模型能夠涵蓋各類文化主題，包括但不限于歷史、藝術(shù)、文學(xué)、民得分能力項(xiàng)分項(xiàng)要求評(píng)估目的：評(píng)估文旅大模型覆蓋的文化遺產(chǎn)保護(hù)1)安全監(jiān)測(cè)：包括但不限于城墻沉降監(jiān)測(cè)、白蟻監(jiān)測(cè)、裂縫傾斜監(jiān)測(cè)、非得分能力項(xiàng)分項(xiàng)要求55)文化景觀設(shè)計(jì)：包括但不限于為城市景觀提供具有文化特色的景觀設(shè)計(jì)方案得分能力項(xiàng)分項(xiàng)要求6得分能力項(xiàng)分項(xiàng)要求評(píng)估內(nèi)容：評(píng)估文旅大模型對(duì)旅游營(yíng)銷場(chǎng)景應(yīng)b)營(yíng)銷手段：包括但不限于社交媒體營(yíng)銷、內(nèi)容營(yíng)銷、活動(dòng)營(yíng)銷、會(huì)員營(yíng)銷、電子得分能力項(xiàng)分項(xiàng)要求7得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求2.應(yīng)覆蓋1種及以上具體的旅游規(guī)劃任務(wù)評(píng)估內(nèi)容：評(píng)估文旅大模型對(duì)旅游規(guī)劃場(chǎng)景應(yīng)3)預(yù)算管理：模型能夠幫助用戶管理旅游預(yù)算，包括交通、住宿、餐飲、門票評(píng)估內(nèi)容：評(píng)估文旅大模型對(duì)景區(qū)管理場(chǎng)景應(yīng)81)景區(qū)優(yōu)化：包括但不限于景區(qū)布局優(yōu)化、景區(qū)服務(wù)優(yōu)化、設(shè)施配置3)交通管理：包括但不限于景區(qū)外部路況監(jiān)測(cè)、景區(qū)內(nèi)部交通規(guī)劃、景區(qū)內(nèi)部4)安全管理：包括但不限于安全隱患評(píng)估、應(yīng)急預(yù)案制定、應(yīng)急事件預(yù)警、應(yīng)得分能力項(xiàng)分項(xiàng)要求2.應(yīng)覆蓋9種及以上具體的景區(qū)管理任務(wù)評(píng)估內(nèi)容：評(píng)估文旅大模型對(duì)平臺(tái)服務(wù)場(chǎng)景應(yīng)5)體驗(yàn)評(píng)價(jià)：包括景點(diǎn)評(píng)價(jià)、酒店評(píng)價(jià)、餐飲評(píng)價(jià)等。得分能力項(xiàng)分項(xiàng)要求9得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求評(píng)估內(nèi)容：評(píng)估文旅大模型對(duì)智能導(dǎo)游場(chǎng)景應(yīng)3)總結(jié)階段：評(píng)估智能導(dǎo)游是否能提供照片整理、游記生成、滿意度分析等；b)語言支持：包括但不限于中文、英文、韓文、德語、藏語、維吾爾語、蒙語等。評(píng)估目的：評(píng)估文旅大模型對(duì)檢索、分析、推薦、問答得分能力項(xiàng)分項(xiàng)要求相關(guān)結(jié)果數(shù)量得分能力項(xiàng)分項(xiàng)要求P——待分類的總文本數(shù)；得分能力項(xiàng)分項(xiàng)要求a)準(zhǔn)確率：調(diào)用文本內(nèi)容推薦接口獲取推薦結(jié)果，評(píng)分評(píng)分準(zhǔn)則推薦結(jié)果涵蓋用戶部分意圖，但最相關(guān)的內(nèi)容推推薦結(jié)果涵蓋用戶完整意圖，但最相關(guān)的內(nèi)容推得分能力項(xiàng)分項(xiàng)要求b)下文識(shí)別正確率，即多輪問答中某個(gè)輪次正確則視為下文識(shí)別正確，計(jì)算方式如接受度評(píng)分。每名評(píng)分人員的可接受度評(píng)分為其流暢性、連貫平均分，參測(cè)文旅大模型可接受度最終得分為多名評(píng)測(cè)人員可可接受度評(píng)分評(píng)分準(zhǔn)則流暢性連貫性有趣性得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求得分能力項(xiàng)分項(xiàng)要求評(píng)估內(nèi)容：評(píng)估文旅大模型在應(yīng)用階段的是否具備實(shí)時(shí)c)排隊(duì)信息：提供各大景點(diǎn)的排隊(duì)信息，包括但不限于時(shí)長(zhǎng)、預(yù)計(jì)等待時(shí)間等；e)衛(wèi)生間信息：提供各大景點(diǎn)的衛(wèi)生間信息，包括但不限于位置得分能力項(xiàng)分項(xiàng)要求評(píng)估內(nèi)容：評(píng)估文旅大模型在應(yīng)用階段是否具備完善的保障c)內(nèi)容安全：包括但不限于模型輸入信息檢測(cè)、模d)風(fēng)險(xiǎn)控制：包括但不限于模型外部攻擊檢測(cè)、供應(yīng)鏈安全檢測(cè)等；e)訪問控制：包括但不限于服務(wù)權(quán)限管理、人得分能力項(xiàng)分項(xiàng)要求評(píng)估內(nèi)容：評(píng)估文旅大模型在應(yīng)用階段是否具備b)回復(fù)客戶頻率：針對(duì)客服反饋問題回復(fù)的頻率，如按周、按天、得分得分能力項(xiàng)分項(xiàng)要求ES_T=R_Tfinish?R_Tstart（9）R_Tfinish——系統(tǒng)或應(yīng)用程序返回結(jié)果的時(shí)間（非流式）或系統(tǒng)或應(yīng)用程序返R_Tstart——用戶發(fā)起請(qǐng)求的開始時(shí)間。得分能力項(xiàng)分項(xiàng)要求a)操作系統(tǒng)兼容性：評(píng)估文旅大模型對(duì)主流操作系統(tǒng)的適配度，包括但不限于iOS、