人工智能 知識(shí)圖譜 性能評(píng)估與測(cè)試規(guī)范（征求意見稿）

準(zhǔn)T/CESAXXXX—2024人工智能知識(shí)圖譜性能評(píng)估與測(cè)試規(guī)范Artificialintelligence-Knowledgegraph-Performanceevaluationandtestingrequirements2024-XX-XX發(fā)布2024-XX-XX實(shí)施中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)發(fā)布I 29 311GB/T42131-2022人工智GB/T39788-2021系統(tǒng)與軟GB/T25000.20-2021系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求GB/T29831.1-2013系統(tǒng)與軟件功能性GB/T29831.2-2013系統(tǒng)與軟件功能性API：應(yīng)用程序編程接口（ApplicationProgrammingInterfaRDF：資源描述框架（ResourceDeSDK：軟件開發(fā)工具包（SoftwareD知識(shí)圖譜是以結(jié)構(gòu)化形式描述的知識(shí)元素及其聯(lián)系的集合。根據(jù)GB/T42131-2022識(shí)維護(hù)、系統(tǒng)管理等知識(shí)圖譜應(yīng)用相關(guān)模塊。相應(yīng)地，知識(shí)圖譜構(gòu)建與應(yīng)用系統(tǒng)的質(zhì)量評(píng)價(jià)體系如圖1b)知識(shí)圖譜應(yīng)用相關(guān)模塊質(zhì)量評(píng)價(jià)指標(biāo)體系：主要關(guān)注于保障知識(shí)圖譜應(yīng)用過程中的系統(tǒng)特性，26)場(chǎng)景支撐性：度量系統(tǒng)及其攜帶的知識(shí)圖譜對(duì)于跨行業(yè)和特定行業(yè)中知識(shí)圖譜應(yīng)用場(chǎng)景該指標(biāo)體系著重聚焦知識(shí)圖譜構(gòu)建和知識(shí)圖譜應(yīng)用相關(guān)指標(biāo)，部分基礎(chǔ)通用軟件相關(guān)的質(zhì)量評(píng)價(jià)知識(shí)圖譜構(gòu)建相關(guān)模塊質(zhì)量評(píng)價(jià)指標(biāo)體系知識(shí)圖譜應(yīng)用相關(guān)模塊質(zhì)量評(píng)價(jià)指標(biāo)體系場(chǎng)景支撐性成熟性可繼承性易維護(hù)性場(chǎng)景支撐性成熟性可繼承性易維護(hù)性可審查性智能問答智能檢索輔助決策知識(shí)管理領(lǐng)域應(yīng)用場(chǎng)景可移植性可擴(kuò)展性3c)應(yīng)支持?jǐn)?shù)值表示的知識(shí)表示形式，如：向量（包括嵌入（embeding）XR_P=（1）XR_P=（2）BR_P——知識(shí)表示模型生成的知識(shí)表示總數(shù)4a)本體模型的語(yǔ)義明確性：衡量構(gòu)建的本體模型是否對(duì)其中包含的術(shù)語(yǔ)給出明確和客觀語(yǔ)義定Xo_C=（3）Ao_C——給出語(yǔ)義描述或定義的實(shí)體類型Bo_C——本體模型中實(shí)體類型和關(guān)系類型的總數(shù)。Xo_I=（4）Bo_I——本體模型中實(shí)體類型和關(guān)系類型總數(shù)。Xo_U=（5）Ao_U——符合一致性要求的實(shí)體類型和關(guān)系類Bo_U——本體模型中實(shí)體類型和關(guān)系類型總數(shù)。Xo_M=（6）Ao_M——存在定義交叉或重疊的實(shí)體類型和關(guān)系Bo_M——本體模型中實(shí)體類型和關(guān)系類型總數(shù)。改動(dòng)的情況下應(yīng)用于新的任務(wù)與數(shù)據(jù)集?？赏ㄟ^抽Xo_T=（7）Bo_T——本體模型中實(shí)體類型和關(guān)系類型總數(shù)。f)本體模型的兼容性和可擴(kuò)展性：衡量形成的本體模型是否可實(shí)現(xiàn)與已有本體模型的兼容或繼5Xo_S=（8）Bo_S——本體模型中實(shí)體類型和關(guān)系類型總數(shù)。6d)知識(shí)獲取的全面性:）；）；注:對(duì)于知識(shí)獲取的整體能力評(píng)估，可考慮實(shí)體-屬性/關(guān)系-實(shí)體聯(lián)合作為一組評(píng)測(cè)數(shù)據(jù)來進(jìn)行精確率、召回率、F1b)可支持創(chuàng)建和存儲(chǔ)索引;7（12）M——占用的存儲(chǔ)空間。3)K跳鄰居查詢響應(yīng)時(shí)間：度量系統(tǒng)完成1跳、2跳、K跳等不同展開相連接層級(jí)Xi=Reci?sendi,(i~n)（13）Yi=（Xi?XT）(i~n,xi>Xsendi——第i次發(fā)出K跳查詢請(qǐng)求的時(shí)間；yxT——K跳查詢的超時(shí)時(shí)間閾值；實(shí)體與關(guān)系的總量K跳數(shù)量查詢響應(yīng)時(shí)間范圍小于等于一百萬2跳小于0.5秒小于等于一千萬2跳小于1秒小于等于一億3跳小于2秒大于一億3跳小于10秒Xmax=MAx（Nr[i]15）xmax——K跳查詢最大并發(fā)請(qǐng)求數(shù)；8（16）BR——圖譜查詢的總次數(shù)。Ti=Reci–sendi(i~n)sendi——第i次更新操作發(fā)出請(qǐng)求的時(shí)間。RPs=（17）CRg——總請(qǐng)求數(shù)；注：約束條件為：20并發(fā)數(shù)下，一度鄰居2)數(shù)據(jù)加載/導(dǎo)入時(shí)間：度量系統(tǒng)完成基準(zhǔn)數(shù)據(jù)集加載的時(shí)間（），xi=Reci?sendi,(i~n)（18）n——測(cè)試的總數(shù)。5)事務(wù)一致性的指標(biāo)（并發(fā)情況下的數(shù)據(jù)沖突衡量在并發(fā)情況下，系統(tǒng)能夠確——事務(wù)沖突率（TCR度量事務(wù)在執(zhí)行過程中，因并發(fā)導(dǎo)致的沖突的頻Nconflict——在并發(fā)操作中發(fā)生沖突的事務(wù)數(shù)量；Ntotal——總的事務(wù)數(shù)量。）：9Nrollback——因沖突而必須回滾的事務(wù)數(shù)量；Ntotal——總的事務(wù)數(shù)量。RecallF=（20）Hit@kF=（21）tc=tend-tstart（24）tstart——知識(shí)計(jì)算任務(wù)啟動(dòng)時(shí)間；tend——知識(shí)計(jì)算任務(wù)結(jié)束時(shí)間。ConfidenceT=（28）pTPX=NPpTPvv注1:對(duì)于屬性圖，度量屬性值；對(duì)于時(shí)序、Fa)知識(shí)覆蓋率：評(píng)估知識(shí)圖譜在特定領(lǐng)域或者應(yīng)用場(chǎng)景內(nèi)所包含的知識(shí)占此范圍內(nèi)所有相關(guān)知*100%（32）Daut為領(lǐng)域內(nèi)的權(quán)威證據(jù)，如指南、標(biāo)準(zhǔn)、政策等，中實(shí)體的數(shù)量。Dpra為實(shí)踐證據(jù)，如本地化經(jīng)驗(yàn)，特殊流程或異常流程等，中實(shí)體的數(shù)量。RecallF=（34）Nr——知識(shí)圖譜中的關(guān)系總數(shù)量；（36）RecallF=（38）FNF——假陰性：反饋結(jié)果中未被識(shí)別的正確結(jié)果數(shù)量。（39）5)宜支持通過可視化界面進(jìn)行數(shù)據(jù)的導(dǎo)入、導(dǎo)出、的重復(fù)建設(shè)和浪費(fèi)，如:4)可支持知識(shí)體系/實(shí)例集合的引用，并可基于可視化界面、接口和文可用性是指系統(tǒng)在給定時(shí)間內(nèi)可以正常工作的概率，它反映了系統(tǒng)在故障發(fā)生后能夠及時(shí)恢復(fù)正常運(yùn)行的能力?？捎眯韵嚓P(guān)測(cè)試指標(biāo)，包括但不限于給定時(shí)間內(nèi)的平均故障時(shí)間，如：30天）（40）F——發(fā)生故障次數(shù)。——SLA：SLA（服務(wù)等級(jí)協(xié)議，ServiceLevelAgreement）是指服務(wù)提供者和客戶之間的一供的服務(wù)的類型和標(biāo)準(zhǔn)。不低于99.9%的可用性，可用性的可靠性成熟度是指一個(gè)系統(tǒng)或產(chǎn)品在設(shè)計(jì)和實(shí)現(xiàn)過程中，能夠達(dá)到預(yù)期的可靠性水平和目標(biāo)的程（41）F——測(cè)試中出現(xiàn)的故障數(shù)量。（42）TR——系統(tǒng)運(yùn)行時(shí)間；F——系統(tǒng)發(fā)生故障數(shù)量。TR——系統(tǒng)運(yùn)行時(shí)間。容錯(cuò)性是指一個(gè)系統(tǒng)或產(chǎn)品在遇到故障或異常時(shí)，能夠繼續(xù)提供服務(wù)易恢復(fù)性是指在發(fā)生中斷或失效時(shí)，產(chǎn)品或系統(tǒng)能夠恢復(fù)直接受影響的數(shù)據(jù)并重建所期望的系統(tǒng)）；可移植性是指一個(gè)系統(tǒng)或產(chǎn)品從一種環(huán)境轉(zhuǎn)移到另一種環(huán)境的能力。它反映了系統(tǒng)的適應(yīng)性和靈XI=（44）1)宜支持防范對(duì)抗樣本攻擊、監(jiān)測(cè)和2)宜支持?jǐn)?shù)據(jù)替換、刪減造成的知識(shí)圖譜異1)測(cè)試場(chǎng)所的環(huán)境溫度：15℃~35℃;；（d)確定被抽取結(jié)果中定義清晰的實(shí)體類型、關(guān)系或?qū)傩詳?shù)量AO_C；1)打開知識(shí)建模相關(guān)模塊；2)根據(jù)本體知識(shí)體系的范圍、知識(shí)來源的范圍等約束條件，確定本體模型中知識(shí)的抽樣方式和比例，如：均勻抽樣、正態(tài)分布抽樣、隨機(jī)抽樣等；關(guān)系或?qū)傩詳?shù)量AO_D1；1)打開知識(shí)建模相關(guān)模塊；2)根據(jù)本體知識(shí)體系的范圍、知識(shí)來源的范圍等約束條件，確定根據(jù)所設(shè)計(jì)本體模型所抽取的知識(shí)圖譜中實(shí)體、關(guān)系、屬性的抽樣方式和比例，如：均勻抽樣、正態(tài)分布抽樣、隨機(jī)抽樣等；4）確定抽取實(shí)體、關(guān)系或?qū)傩缘谋倔w模型與事實(shí)相符合的數(shù)量AO_D2；5)統(tǒng)計(jì)抽取結(jié)果中AO_D2與BO_D2的比例。d)確定被抽取結(jié)果中語(yǔ)義一致的實(shí)體類型、關(guān)系或?qū)傩詳?shù)量AO_E；e)統(tǒng)計(jì)抽取結(jié)果中AO_M與BO_M的c)為b步驟中的結(jié)果增加、刪除、修改實(shí)體類型、關(guān)系類型、屬e)統(tǒng)計(jì)AO_M可實(shí)現(xiàn)實(shí)體、屬性、關(guān)系同步修改的實(shí)體類型、關(guān)系類型、屬性數(shù)量CO_Mh)統(tǒng)計(jì)準(zhǔn)確率（TPA/(TPA+FPA)）、每秒獲取