人工智能 知識(shí)圖譜應(yīng)用系統(tǒng) 第2部分：性能要求與測(cè)試方法 征求意見(jiàn)稿

1人工智能知識(shí)圖譜應(yīng)用系統(tǒng)第2部分：性能要求與測(cè)試方法本文件規(guī)定了知識(shí)圖譜應(yīng)用系統(tǒng)的性能要求、測(cè)試環(huán)境、測(cè)試方法等。本文件適用于知識(shí)圖譜應(yīng)用系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)及性能測(cè)試。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T42131-2022人工智能知識(shí)圖譜技術(shù)框架GB/TAAAAA-AAAA人工智能知識(shí)圖譜應(yīng)用系統(tǒng)第1部分：功能要求3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1知識(shí)knowledge通過(guò)學(xué)習(xí)、實(shí)踐或探索所獲得的認(rèn)識(shí)、判斷或技能。[來(lái)源：GB/T23703.2-2010,2.1]3.2知識(shí)圖譜knowledgegraph以結(jié)構(gòu)化形式描述的知識(shí)元素及其聯(lián)系的集合。[來(lái)源：GB/T42131-2022,2.1]3.3知識(shí)單元knowledgeunit按照一定關(guān)系組織的一組知識(shí)元素的集合。[來(lái)源：GB/T42131-2022,2.1]3.4知識(shí)圖譜應(yīng)用系統(tǒng)knowledgegraphapplicationsystem整合知識(shí)圖譜和業(yè)務(wù)實(shí)現(xiàn)邏輯，并具備知識(shí)圖譜構(gòu)建和應(yīng)用完整信息流與預(yù)設(shè)功能的系統(tǒng)。3.5知識(shí)獲取的準(zhǔn)確率precisionofknowledgeacquisition已獲取知識(shí)中正確知識(shí)的占比。3.62知識(shí)獲取的召回率recallofknowledgeacquisition已獲取知識(shí)對(duì)正確知識(shí)覆蓋的程度。3.7K跳鄰居查詢響應(yīng)時(shí)間responsetimeofKnearestneighbourquery系統(tǒng)完成1跳、2跳、K跳等不同展開(kāi)相連接層級(jí)中關(guān)聯(lián)對(duì)象的查詢時(shí)間。3.8毫秒級(jí)數(shù)據(jù)查詢響應(yīng)率queriyresponsetimelessthansecond查詢操作過(guò)程中響應(yīng)在毫秒級(jí)以下的次數(shù)占比。3.9吞吐率throughputrate系統(tǒng)在特定并發(fā)數(shù)下單位時(shí)間內(nèi)處理的請(qǐng)求數(shù)量。3.10知識(shí)圖譜體量knowledgegraphvolume知識(shí)圖譜中包含的實(shí)體和關(guān)系數(shù)量。3.11知識(shí)圖譜復(fù)雜度knowledgegraphcomplexity知識(shí)圖譜中包含的實(shí)體類型和關(guān)系類型數(shù)量。3.12平均故障時(shí)間meantimetofailure在故障發(fā)生時(shí)系統(tǒng)處于不可用狀態(tài)的時(shí)長(zhǎng)。3.13平均失效間隔時(shí)間meantimebetweenfailures系統(tǒng)在運(yùn)行中失敗間隔的時(shí)長(zhǎng)。3.14故障率failurerate在規(guī)定時(shí)間內(nèi)的平均故障數(shù)。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。HTTP：超文本傳輸協(xié)議（HyperTextTransferProtocol）QPS：每秒查詢率（Queries-per-second）RPC：遠(yuǎn)程過(guò)程調(diào)用（RemoteProcedureCall）5概述3知識(shí)圖譜是以結(jié)構(gòu)化形式描述的知識(shí)元素及其聯(lián)系的集合。根據(jù)GB/T42131-2022、GB/TAAAAA-AAAA可知，知識(shí)圖譜應(yīng)用系統(tǒng)根據(jù)功能構(gòu)成可劃分為：知識(shí)表示、知識(shí)建模、知識(shí)獲取、知識(shí)存儲(chǔ)、知識(shí)計(jì)算等知識(shí)圖譜構(gòu)建相關(guān)模塊；知識(shí)應(yīng)用、知識(shí)維護(hù)等知識(shí)圖譜應(yīng)用相關(guān)模塊。知識(shí)圖譜應(yīng)用系統(tǒng)的知識(shí)圖譜構(gòu)建性能主要關(guān)注對(duì)知識(shí)圖譜構(gòu)建過(guò)程中各項(xiàng)活動(dòng)的支持水平；知識(shí)圖譜應(yīng)用系統(tǒng)的安全性、可靠性、易用性等特性主要關(guān)注知識(shí)圖譜應(yīng)用系統(tǒng)在部署和應(yīng)用過(guò)程中的整體性能。本文件僅聚焦知識(shí)圖譜構(gòu)建和知識(shí)圖譜應(yīng)用相關(guān)指標(biāo)，基礎(chǔ)通用軟件質(zhì)量評(píng)價(jià)指標(biāo)及其度量方法可參考GB/T39788-2021、GB/T25000.20-2021、GB/T29831.1-2013、GB/T29831.2-2013等系統(tǒng)與軟件工程相關(guān)標(biāo)準(zhǔn)中規(guī)定。6知識(shí)圖譜構(gòu)建性能要求6.1知識(shí)表示6.1.1知識(shí)表示響應(yīng)時(shí)間應(yīng)不大于3s。6.1.2知識(shí)表示響應(yīng)速度應(yīng)每秒不小于100個(gè)圖形化的節(jié)點(diǎn)或關(guān)系。6.1.3系統(tǒng)可呈現(xiàn)的最大節(jié)點(diǎn)數(shù)量應(yīng)不小于200個(gè)。6.2知識(shí)建模6.2.1系統(tǒng)中構(gòu)建的本體模型應(yīng)對(duì)其中包含的術(shù)語(yǔ)給出明確和客觀語(yǔ)義定義，本體模型的明確度不小于80%。6.2.2系統(tǒng)中構(gòu)建的本體模型應(yīng)完全表達(dá)所描述領(lǐng)域或業(yè)務(wù)場(chǎng)景內(nèi)術(shù)語(yǔ)的含義，本體模型的完整度不小于80%。6.2.3系統(tǒng)中構(gòu)建的本體模型應(yīng)正確一致地展示對(duì)象和信息，且由術(shù)語(yǔ)得出的推理或計(jì)算結(jié)果不會(huì)與術(shù)語(yǔ)本身含義產(chǎn)生矛盾，本體模型的一致度不小于90%。6.2.4系統(tǒng)中構(gòu)建的本體模型的術(shù)語(yǔ)定義不應(yīng)存在歧義、重疊或交叉，本體模型的最大單調(diào)性不小于80%。6.3知識(shí)獲取6.3.1面向結(jié)構(gòu)化數(shù)據(jù)，知識(shí)獲取的精確率應(yīng)不小于95%；面向半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，知識(shí)獲取的準(zhǔn)確率應(yīng)不小于75%。6.3.2面向結(jié)構(gòu)化數(shù)據(jù)，知識(shí)獲取的召回率應(yīng)不小于95%；面向半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，知識(shí)獲取的召回率應(yīng)不小于75%。6.3.3面向結(jié)構(gòu)化數(shù)據(jù)，知識(shí)獲取的F1測(cè)量值應(yīng)不小于95%；面向半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，知識(shí)獲取的F1測(cè)量值應(yīng)不小于75%。6.4知識(shí)存儲(chǔ)6.4.1知識(shí)存儲(chǔ)模塊支持的字符集類型總數(shù)應(yīng)不小于10種。6.4.2知識(shí)存儲(chǔ)模塊完成基準(zhǔn)數(shù)據(jù)集加載的時(shí)間應(yīng)不大于10s。6.4.3知識(shí)存儲(chǔ)模塊完成1跳鄰居查詢的時(shí)間應(yīng)不大于0.1s；完成2跳鄰居查詢的時(shí)間應(yīng)不大于0.5s；完成3跳鄰居查詢的時(shí)間應(yīng)不大于2s。6.4.4K跳鄰居查詢支持的最大并發(fā)數(shù)應(yīng)不小于20個(gè)，用于度量系統(tǒng)能夠承受的同時(shí)受到的K跳查詢請(qǐng)求數(shù)的極限，超過(guò)該請(qǐng)求數(shù)，將導(dǎo)致系統(tǒng)效率嚴(yán)重下滑并可能導(dǎo)致系統(tǒng)失效。6.4.5毫秒級(jí)數(shù)據(jù)查詢響應(yīng)率應(yīng)不小于90%。46.4.6在20并發(fā)數(shù)下，一度鄰居的吞吐率不低于10。6.4.7QPS（單條指令）用于度量系統(tǒng)在每秒能夠響應(yīng)的單條指令查詢次數(shù)，應(yīng)大于等于100條。6.4.8QPS（多條指令)用于度量系統(tǒng)在每秒能夠響應(yīng)的多條指令查詢次數(shù)，應(yīng)大于等于50條。6.4.9數(shù)據(jù)加載存儲(chǔ)空間應(yīng)不低于500GB。6.5知識(shí)融合6.5.1知識(shí)融合的精確率用于度量知識(shí)融合結(jié)果正確知識(shí)與總?cè)诤现R(shí)規(guī)模的比例，應(yīng)不小于80%。6.5.2知識(shí)融合的召回率用于度量知識(shí)融合結(jié)果中已融合知識(shí)對(duì)正確知識(shí)覆蓋的程度，應(yīng)不小于80%。6.5.3知識(shí)融合的F1測(cè)量值用于綜合度量知識(shí)融合結(jié)果的精確性和完整性，應(yīng)不小于80%。6.6知識(shí)計(jì)算6.6.1知識(shí)計(jì)算任務(wù)的響應(yīng)時(shí)間用于度量知識(shí)計(jì)算任務(wù)啟動(dòng)到結(jié)束所耗費(fèi)的時(shí)間，應(yīng)不大于10s。6.6.2知識(shí)計(jì)算任務(wù)的均方根誤差用于度量知識(shí)計(jì)算任務(wù)的準(zhǔn)確程度（適用于每個(gè)實(shí)體都存在計(jì)算結(jié)果的算法），應(yīng)不大于0.1。6.6.3知識(shí)計(jì)算任務(wù)的準(zhǔn)確率用于度量知識(shí)計(jì)算結(jié)果與預(yù)設(shè)目標(biāo)值一致的程度，應(yīng)不大于90%。6.6.4知識(shí)計(jì)算模塊的邏輯語(yǔ)言豐富度用于度量可支持的邏輯語(yǔ)言的數(shù)量，應(yīng)不小于3種。6.6.5知識(shí)計(jì)算模塊的規(guī)則引擎豐富度用于度量可支持的規(guī)則引擎的數(shù)量，應(yīng)不小于3個(gè)。6.6.6知識(shí)計(jì)算模塊的軟硬件資源消耗度用于度量計(jì)算任務(wù)執(zhí)行過(guò)程中耗費(fèi)的最大軟硬件資源，內(nèi)存應(yīng)不超過(guò)512GB。6.7知識(shí)溯源6.7.1知識(shí)溯源的覆蓋率用于度量知識(shí)圖譜中知識(shí)能夠溯源的覆蓋情況，應(yīng)不小于20%。6.7.2知識(shí)溯源的正確率用于度量知識(shí)計(jì)算和融合結(jié)果的可解釋性溯源準(zhǔn)確率，應(yīng)不小于85%。7知識(shí)圖譜應(yīng)用性能要求7.1響應(yīng)性7.1.1知識(shí)圖譜體量應(yīng)不小于10萬(wàn)個(gè)。7.1.2知識(shí)圖譜復(fù)雜度應(yīng)不小于10個(gè)。7.1.3效率用于度量在規(guī)定時(shí)間內(nèi)處理請(qǐng)求的數(shù)量，應(yīng)不小于5個(gè)/s。7.1.4準(zhǔn)確率用于度量符合請(qǐng)求的結(jié)果占返回結(jié)果總數(shù)的比例，應(yīng)不小于90%。7.1.5實(shí)時(shí)性用于度量知識(shí)圖譜應(yīng)用系統(tǒng)在限定的時(shí)間內(nèi)對(duì)用戶發(fā)送的請(qǐng)求的響應(yīng)比例，應(yīng)不小于95%。7.2可移植性7.2.1平均安裝時(shí)間應(yīng)不大于12h。7.2.2安裝成功率應(yīng)不小于70%。7.3可靠性7.3.1可用性平均故障時(shí)間應(yīng)不大于24h。訪問(wèn)權(quán)限的控制數(shù)量應(yīng)不小于20個(gè)。7.3.2成熟性故障排除率應(yīng)不小于99%。平均失效間隔時(shí)間應(yīng)不小于180天。故障率在3個(gè)月內(nèi)應(yīng)不大于3次。8測(cè)試環(huán)境除另有規(guī)定外，知識(shí)圖譜應(yīng)用系統(tǒng)的測(cè)試環(huán)境應(yīng)滿足以下要求：a)具備知識(shí)圖譜應(yīng)用系統(tǒng)專用的測(cè)試工具，且部署了與待測(cè)系統(tǒng)相適應(yīng)的測(cè)試場(chǎng)景；a)測(cè)試場(chǎng)所的環(huán)境溫度：15℃~35℃;b)測(cè)試場(chǎng)所的相對(duì)濕度：25%～75%；c)操作系統(tǒng)：基于x86架構(gòu)的操作系統(tǒng)，如：Ubuntu16.04系統(tǒng)、CentOS7.8系統(tǒng)、麒麟系統(tǒng)d)測(cè)試服務(wù)器CPU：大于等于32核；e)測(cè)試服務(wù)器內(nèi)存：大于等于256GB；f)測(cè)試服務(wù)器硬盤(pán)：大于等于1TB。知識(shí)圖譜應(yīng)用系統(tǒng)的測(cè)試流程參見(jiàn)附錄A。9知識(shí)圖譜構(gòu)建性能測(cè)試方法9.1知識(shí)表示9.1.1知識(shí)表示響應(yīng)時(shí)間知識(shí)表示響應(yīng)時(shí)間的測(cè)試步驟包括：a)打開(kāi)知識(shí)表示相關(guān)模塊；b)設(shè)置擬呈現(xiàn)的實(shí)體或關(guān)系的數(shù)量；c)在用戶觸發(fā)渲染操作的瞬間開(kāi)始計(jì)時(shí)，統(tǒng)計(jì)發(fā)出請(qǐng)求的時(shí)間ta；d)等待渲染過(guò)程完成，定義明確的渲染結(jié)束標(biāo)準(zhǔn)，并統(tǒng)計(jì)結(jié)束時(shí)間tr；e)按公式（1）計(jì)算知識(shí)表示響應(yīng)速度Tp：Tp=tr?taf)判斷Tp是否符合6.1.1的要求。9.1.2知識(shí)表示響應(yīng)速度知識(shí)表示響應(yīng)速度的測(cè)試步驟包括：a)打開(kāi)知識(shí)表示相關(guān)模塊；b)設(shè)置擬呈現(xiàn)的實(shí)體或關(guān)系的數(shù)量Np；c)在用戶觸發(fā)渲染操作的瞬間開(kāi)始計(jì)時(shí)，統(tǒng)計(jì)發(fā)出請(qǐng)求的時(shí)間；d)等待渲染過(guò)程完成，定義明確的渲染結(jié)束標(biāo)準(zhǔn)，并統(tǒng)計(jì)結(jié)束時(shí)間；e)使用結(jié)束時(shí)間減去開(kāi)始時(shí)間計(jì)算知識(shí)表示響應(yīng)時(shí)間Tp；f)按公式（2）計(jì)算知識(shí)表示響應(yīng)速度xp：6g)判斷xp是否符合6.1.2的要求。9.1.3最大呈現(xiàn)節(jié)點(diǎn)數(shù)量最大呈現(xiàn)節(jié)點(diǎn)數(shù)量的測(cè)試步驟包括：a)打開(kāi)知識(shí)表示相關(guān)模塊；b)設(shè)置擬呈現(xiàn)的實(shí)體或關(guān)系的數(shù)量；c)統(tǒng)計(jì)呈現(xiàn)結(jié)束時(shí)的節(jié)點(diǎn)數(shù)量；d)遞增擬呈現(xiàn)的實(shí)體或關(guān)系的數(shù)量；e)按照b）繼續(xù)執(zhí)行，直至呈現(xiàn)結(jié)束時(shí)節(jié)點(diǎn)數(shù)量無(wú)法繼續(xù)增加；f)統(tǒng)計(jì)最終呈現(xiàn)的節(jié)點(diǎn)數(shù)量；g)判斷終呈現(xiàn)的節(jié)點(diǎn)數(shù)量是否符合6.1.3的要求。9.2知識(shí)建模9.2.1本體模型的明確度該特性的測(cè)試步驟包括：a)打開(kāi)知識(shí)模塊相關(guān)模塊；b)隨機(jī)抽取Bo_C個(gè)構(gòu)建后本體模型中的實(shí)體類型、關(guān)系或?qū)傩?；c)篩選出對(duì)應(yīng)的原始數(shù)據(jù)；d)確定被抽取結(jié)果中定義清晰的實(shí)體類型、關(guān)系或?qū)傩詳?shù)量Ao_C；e)按公式（3）計(jì)算本體模型的明確度：XO_C=(3)f)判斷本體模型的明確度是否符合6.2.1的要求。9.2.2本體模型的完整度該特性的測(cè)試步驟包括：a)打開(kāi)知識(shí)模塊相關(guān)模塊；b)隨機(jī)抽取Bo_I個(gè)構(gòu)建后本體模型中的實(shí)體類型、關(guān)系或?qū)傩?；c)c)出對(duì)應(yīng)的原始數(shù)據(jù)；d)確定被抽取結(jié)果中完全表達(dá)所描述領(lǐng)域內(nèi)術(shù)語(yǔ)含義的實(shí)體類型、關(guān)系或?qū)傩詳?shù)量Ao_I；e)按公式（4）計(jì)算本體模型的完整度：f)判斷本體模型的完整度是否符合6.2.2的要求。9.2.3本體模型的一致度該特性的測(cè)試步驟包括：a)打開(kāi)知識(shí)模塊相關(guān)模塊；b)隨機(jī)抽取Bo_U個(gè)構(gòu)建后本體模型中的實(shí)體類型、關(guān)系或?qū)傩裕籧)篩選出對(duì)應(yīng)的原始數(shù)據(jù)；d)確定被抽取結(jié)果中能正確一致展示對(duì)象和信息的實(shí)體類型、關(guān)系或?qū)傩詳?shù)量Ao_U；e)按公式（5）計(jì)算本體模型的一致度：Xo_U=(5)f)判斷本體模型的一致度是否符合6.2.3的要求。9.2.4本體模型的最大單調(diào)性該特性的測(cè)試步驟包括：a)打開(kāi)知識(shí)模塊相關(guān)模塊；b)隨機(jī)抽取Bo_M個(gè)構(gòu)建后本體模型中的實(shí)體類型、關(guān)系或?qū)傩?；c)篩選出對(duì)應(yīng)的原始數(shù)據(jù)；d)確定被抽取結(jié)果中存在定義交叉或重疊的實(shí)體類型、關(guān)系或?qū)傩詳?shù)量Ao_M；e)按公式（6）計(jì)算本體模型的最大單調(diào)性：Xo_M=(6)f)判斷本體模型的最大單調(diào)性是否符合6.2.4的要求。9.3知識(shí)獲取9.3.1結(jié)構(gòu)化數(shù)據(jù)知識(shí)獲取相關(guān)模塊性能的測(cè)試步驟包括：a)打開(kāi)知識(shí)獲取相關(guān)模塊；b)設(shè)置知識(shí)獲取的參數(shù)；c)統(tǒng)計(jì)發(fā)出指令的開(kāi)始時(shí)間；d)統(tǒng)計(jì)發(fā)出指令的結(jié)束時(shí)間；e)統(tǒng)計(jì)獲取并與真實(shí)相符的實(shí)體、關(guān)系或?qū)傩詳?shù)量TPA；f)統(tǒng)計(jì)獲取但與真實(shí)不符的實(shí)體、關(guān)系或?qū)傩詳?shù)量FPA；g)統(tǒng)計(jì)被標(biāo)注為真實(shí)但未識(shí)別的實(shí)體、關(guān)系或?qū)傩詳?shù)量FNA；h)按公式（7）計(jì)算知識(shí)獲取的準(zhǔn)確率：i)按公式（8）計(jì)算知識(shí)獲取的召回率：j)按公式（9）計(jì)算知識(shí)獲取的F1測(cè)量值：k)判斷面向結(jié)構(gòu)化數(shù)據(jù)的知識(shí)獲取準(zhǔn)確率、召回率和F1測(cè)量值是否符合6.3的要求。9.3.2半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)知識(shí)獲取相關(guān)模塊性能的測(cè)試步驟包括：a)打開(kāi)知識(shí)獲取相關(guān)模塊；b)設(shè)置知識(shí)獲取的參數(shù)；c)統(tǒng)計(jì)發(fā)出指令的開(kāi)始時(shí)間；d)統(tǒng)計(jì)發(fā)出指令的結(jié)束時(shí)間；8e)篩選出對(duì)應(yīng)的原始半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)；f)統(tǒng)計(jì)被識(shí)別并與真實(shí)相符的實(shí)體、關(guān)系或?qū)傩詳?shù)量TPA；g)統(tǒng)計(jì)被識(shí)別但與真實(shí)不符的實(shí)體、關(guān)系或?qū)傩詳?shù)量FPA；h)統(tǒng)計(jì)被標(biāo)注為真實(shí)但未識(shí)別的實(shí)體、關(guān)系或?qū)傩詳?shù)量FNA；i)統(tǒng)計(jì)面向半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的精確率、召回率和F1測(cè)量值；j)判斷面向半結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)獲取準(zhǔn)確率、召回率和F1測(cè)量值是否符合6.3的要求。9.4知識(shí)存儲(chǔ)9.4.1字符集支持度字符集支持度的測(cè)試步驟包括：a)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；b)統(tǒng)計(jì)在數(shù)據(jù)庫(kù)管理系統(tǒng)中被描述的導(dǎo)入數(shù)據(jù)的字符集類型；c)判斷字符集支持度是否符合6.4.1的要求。9.4.2數(shù)據(jù)加載時(shí)間數(shù)據(jù)加載時(shí)間的測(cè)試步驟包括：a)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；b)準(zhǔn)備擬加載的數(shù)據(jù)，并計(jì)算數(shù)據(jù)量；c)統(tǒng)計(jì)發(fā)出指令的時(shí)間；d)統(tǒng)計(jì)加載結(jié)束的時(shí)間；e)按公式（10）計(jì)算數(shù)據(jù)加載時(shí)間：xi=Reci?sendi,(i~n)(10)式中：xi——第i次加載的響應(yīng)時(shí)間；Reci——第i次加載收到響應(yīng)結(jié)果的時(shí)間；Sendi——第i次發(fā)出加載數(shù)據(jù)請(qǐng)求的時(shí)間；n——測(cè)試的總數(shù)。f)執(zhí)行n次c)至e)，并計(jì)算平均值；g)判斷數(shù)據(jù)加載時(shí)間是否符合6.4.2的要求。9.4.3K跳鄰居查詢響應(yīng)時(shí)間K跳鄰居查詢響應(yīng)時(shí)間的測(cè)試步驟包括：a)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；b)設(shè)置K跳查詢參數(shù)；c)統(tǒng)計(jì)發(fā)出指令的時(shí)間sendi,(i~n)；d)統(tǒng)計(jì)查詢結(jié)束的時(shí)間Reci；e)計(jì)算查詢響應(yīng)時(shí)間Xi；f)執(zhí)行N次c)至e)，并按公式（11）、公式（12）計(jì)算平均值。Xi=Reci?sendi,(i~n)(11)Yi=（Xi?XT）(i~n,xi>XT) 式中：Xi——第i次K跳查詢的響應(yīng)時(shí)間；Reci——第i次K跳查詢收到響應(yīng)結(jié)果的時(shí)間；Sendi——第i次發(fā)出K跳查詢請(qǐng)求的時(shí)間；Yi——第i次K跳查詢的超時(shí)時(shí)間；XT——K跳查詢的超時(shí)時(shí)間閾值；n——測(cè)試的總數(shù)。g)判斷數(shù)據(jù)加載時(shí)間是否符合6.4.3的要求。9.4.4K跳鄰居查詢支持的最大并發(fā)數(shù)K跳鄰居查詢支持的最大并發(fā)數(shù)的測(cè)試步驟包括：a)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；b)設(shè)置并發(fā)請(qǐng)求數(shù)序列；c)針對(duì)每個(gè)需要嘗試的并發(fā)請(qǐng)求數(shù)執(zhí)行并發(fā)測(cè)試；d)針對(duì)每個(gè)請(qǐng)求，測(cè)試并發(fā)請(qǐng)求的響應(yīng)時(shí)間或吞吐率；e)監(jiān)控測(cè)試結(jié)果，如果出現(xiàn)以下情況，可停止測(cè)試：1)測(cè)試過(guò)程出現(xiàn)異常，測(cè)試無(wú)法正常完成；2)響應(yīng)時(shí)間變得不可測(cè)試。f)如果測(cè)試完仍然未得到最大并發(fā)請(qǐng)求數(shù)，增加嘗試次數(shù)或調(diào)整嘗試范圍與遞增量；g)統(tǒng)計(jì)在測(cè)試停止時(shí)，K跳鄰居查詢支持的最大并發(fā)數(shù)；h)判斷K跳鄰居查詢支持的最大并發(fā)數(shù)是否符合6.4.4的要求。9.4.5吞吐率測(cè)試步驟包括：a)確定點(diǎn)樣本、邊樣本；b)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；c)設(shè)置并發(fā)請(qǐng)求線程數(shù)、總操作數(shù)；d)設(shè)置并發(fā)操作序列；e)每個(gè)線程循環(huán)執(zhí)行操作序列；f)監(jiān)控測(cè)試結(jié)果，當(dāng)累計(jì)操作數(shù)等于設(shè)置的總操作數(shù)則停止測(cè)試；g)針對(duì)每個(gè)線程的每個(gè)請(qǐng)求，驗(yàn)證結(jié)果的正確性和記錄請(qǐng)求的響應(yīng)時(shí)長(zhǎng)；h)按公式（13）計(jì)算毫秒級(jí)數(shù)據(jù)查詢響應(yīng)率：式中：AR——查詢響應(yīng)時(shí)間在毫秒級(jí)別以下的次數(shù)；BR——圖譜查詢的總次數(shù)。i)按公式（14）計(jì)算吞吐率：式中：CRg——總請(qǐng)求數(shù)；Tg——處理這些請(qǐng)求的總完成時(shí)間。j)還可依次執(zhí)行如下壓力測(cè)試，并統(tǒng)計(jì)吞吐率：1)執(zhí)行查詢點(diǎn)、查詢邊壓力測(cè)試；2)執(zhí)行增加點(diǎn)、增加邊壓力測(cè)試；3)執(zhí)行修改點(diǎn)、修改邊壓力測(cè)試；4)執(zhí)行刪除點(diǎn)、刪除邊壓力測(cè)試。k)判斷毫秒級(jí)數(shù)據(jù)查詢響應(yīng)率、吞吐率是否符合6.4.5、6.4.6的要求。9.4.6QPS（單條指令）QPS（單條指令）的測(cè)試步驟包括：a)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；b)設(shè)置并發(fā)請(qǐng)求線程數(shù)、持續(xù)時(shí)間；c)設(shè)置單條指令查詢參數(shù)；d)每個(gè)線程循環(huán)執(zhí)行設(shè)置的單條指令；e)監(jiān)控測(cè)試時(shí)間，當(dāng)測(cè)試時(shí)間等于b)設(shè)置的持續(xù)時(shí)間則停止測(cè)試；f)針對(duì)每個(gè)線程的每個(gè)請(qǐng)求，驗(yàn)證結(jié)果的正確性和記錄請(qǐng)求的響應(yīng)時(shí)長(zhǎng)；g)統(tǒng)計(jì)QPS，并判斷是否符合6.4.7的要求。9.4.7QPS(多條指令)QPS（多條指令）的測(cè)試步驟包括：a)打開(kāi)知識(shí)存儲(chǔ)相關(guān)模塊；b)設(shè)置并發(fā)請(qǐng)求線程數(shù)、持續(xù)時(shí)間；c)設(shè)置多條指令查詢參數(shù)序列；d)每個(gè)線程循環(huán)執(zhí)行多條指令序列；e)監(jiān)控測(cè)試時(shí)間，當(dāng)測(cè)試時(shí)間等于b)設(shè)置的持續(xù)時(shí)間則停止測(cè)試；f)針對(duì)每個(gè)線程的每個(gè)請(qǐng)求，驗(yàn)證結(jié)果的正確性和記錄請(qǐng)求的響應(yīng)時(shí)長(zhǎng)；g)統(tǒng)計(jì)QPS，并判斷是否符合6.4.8的要求。9.5知識(shí)融合知識(shí)融合相關(guān)模塊性能的測(cè)試步驟包括：a)打開(kāi)知識(shí)表示相關(guān)模塊。b)準(zhǔn)備測(cè)試數(shù)據(jù)：根據(jù)測(cè)試需求，準(zhǔn)備一系列具有代表性、覆蓋多種類型和復(fù)雜度的知識(shí)數(shù)據(jù)作為測(cè)試輸入。確保測(cè)試數(shù)據(jù)足以評(píng)估知識(shí)融合模塊在不同負(fù)載下的處理速度。c)設(shè)置測(cè)試參數(shù)：在測(cè)試界面中，配置測(cè)試參數(shù)，包括數(shù)據(jù)輸入速率（每秒發(fā)送的數(shù)據(jù)量）、測(cè)試時(shí)長(zhǎng)、并發(fā)用戶數(shù)（如適用）等。確保測(cè)試參數(shù)的設(shè)置能夠準(zhǔn)確反映系統(tǒng)在實(shí)際應(yīng)用中的使用情況。d)啟動(dòng)測(cè)試并記錄時(shí)間：?jiǎn)?dòng)測(cè)試程序，開(kāi)始發(fā)送測(cè)試數(shù)據(jù)到知識(shí)融合模塊進(jìn)行處理。同時(shí)，記錄測(cè)試開(kāi)始的精確時(shí)間作為基準(zhǔn)時(shí)間點(diǎn)。e)統(tǒng)計(jì)處理結(jié)束時(shí)間：當(dāng)達(dá)到預(yù)設(shè)的測(cè)試時(shí)長(zhǎng)或系統(tǒng)處理完所有輸入數(shù)據(jù)時(shí)，記錄此時(shí)的精確時(shí)間作為測(cè)試結(jié)束時(shí)間。f)計(jì)算處理速度：根據(jù)測(cè)試期間系統(tǒng)處理的數(shù)據(jù)總量以及測(cè)試時(shí)長(zhǎng)，計(jì)算出平均處理速度（如每秒處理的數(shù)據(jù)量）。g)統(tǒng)計(jì)融合結(jié)果中與真實(shí)相符的實(shí)體、關(guān)系或?qū)傩詳?shù)量TPF。h)統(tǒng)計(jì)融合結(jié)果中已融合但與真實(shí)不符的實(shí)體、關(guān)系或?qū)傩詳?shù)量FPF。i)統(tǒng)計(jì)融合結(jié)果中待融合但未融合的實(shí)體、關(guān)系或?qū)傩詳?shù)量FNF。j)按公式（15）計(jì)算知識(shí)融合的精確率：k)按公式（16）計(jì)算知識(shí)融合的召回率：l)按公式（17）計(jì)算知識(shí)融合的F1測(cè)量值：m)判斷知識(shí)融合的精確率、召回率、F1測(cè)量值是否符合6.5的要求。9.6知識(shí)計(jì)算知識(shí)計(jì)算相關(guān)模塊性能的測(cè)試步驟包括：a)按照說(shuō)明書(shū)運(yùn)行待測(cè)的系統(tǒng)；b)選定待計(jì)算的知識(shí)圖譜；c)選定知識(shí)計(jì)算任務(wù)，配置參數(shù)，執(zhí)行計(jì)算任務(wù)；d)完成計(jì)算任務(wù)并記錄知識(shí)計(jì)算任務(wù)的啟動(dòng)時(shí)間和結(jié)束時(shí)間；e)按公式（18）計(jì)算知識(shí)計(jì)算任務(wù)的響應(yīng)時(shí)間：T=tend?tstart(18)式中：tstart——知識(shí)計(jì)算任務(wù)啟動(dòng)時(shí)間；tend——知識(shí)計(jì)算任務(wù)結(jié)束時(shí)間。f)按公式（19）計(jì)算知識(shí)計(jì)算任務(wù)的均方根誤差：式中：g)按公式（20）計(jì)算知識(shí)計(jì)算任務(wù)的準(zhǔn)確率：式中：TPkc——真陽(yáng)性：知識(shí)計(jì)算結(jié)果中與預(yù)設(shè)目標(biāo)值一致的數(shù)量；FPkc——假陽(yáng)性：知識(shí)計(jì)算結(jié)果中與預(yù)設(shè)目標(biāo)值不一致的數(shù)量。h)統(tǒng)計(jì)知識(shí)計(jì)算模塊可支持的邏輯語(yǔ)言的數(shù)量；i)統(tǒng)計(jì)知識(shí)計(jì)算模塊可支持的規(guī)則引擎的數(shù)量；j)統(tǒng)計(jì)計(jì)算任務(wù)執(zhí)行過(guò)程中耗費(fèi)的最大軟硬件資源；k)判斷知識(shí)計(jì)算任務(wù)的響應(yīng)時(shí)間是否符合6.6的要求。9.7知識(shí)溯源知識(shí)溯源相關(guān)模塊性能的測(cè)試步驟包括：a)按照說(shuō)明書(shū)運(yùn)行待測(cè)的系統(tǒng)；b)選定待溯源的知識(shí)圖譜中的實(shí)體或關(guān)系；c)選定知識(shí)溯源任務(wù)，配置參數(shù)，執(zhí)行溯源任務(wù)；d)完成溯源任務(wù)并記錄計(jì)算時(shí)間；e)統(tǒng)計(jì)溯源結(jié)果中正確的實(shí)體或關(guān)系等知識(shí)數(shù)量；f)統(tǒng)計(jì)知識(shí)圖譜中知識(shí)計(jì)算和融合結(jié)果的總數(shù)量；g)按公式（21）計(jì)算知識(shí)溯源的覆蓋率：式中：Na——能準(zhǔn)確找到溯源的知識(shí)數(shù)目；N——知識(shí)總數(shù)目。注：如覆蓋率較低，說(shuō)明知識(shí)圖譜可信度可能較低。h)按公式（22）計(jì)算知識(shí)溯源的正確率：式中：Naz——知識(shí)計(jì)算和融合結(jié)果可解釋性溯源正確的個(gè)數(shù)；Nz——知識(shí)計(jì)算和融合結(jié)果總數(shù)目。i)判斷知識(shí)計(jì)算任務(wù)的響應(yīng)時(shí)間是否符合6.7的要求。10知識(shí)圖譜應(yīng)用性能測(cè)試方法10.1響應(yīng)性10.1.1知識(shí)圖譜體量知識(shí)圖譜體量的測(cè)試步驟包括：a)運(yùn)行系統(tǒng)，并選定待測(cè)的知識(shí)圖譜；b)統(tǒng)計(jì)知識(shí)圖譜中的實(shí)體數(shù)量ve；c)統(tǒng)計(jì)知識(shí)圖譜中的關(guān)系數(shù)量vr；d)計(jì)算實(shí)體數(shù)量和關(guān)系數(shù)量的總和；e)判斷知識(shí)圖譜的體量是否符合7.1.1的要求。10.1.2知識(shí)圖譜復(fù)雜度知識(shí)圖譜體量的測(cè)試步驟包括：a)運(yùn)行系統(tǒng)，并選定待測(cè)的知識(shí)圖譜；b)統(tǒng)計(jì)知識(shí)圖譜中的實(shí)體類型數(shù)量Fe；c)統(tǒng)計(jì)知識(shí)圖譜中的關(guān)系類型數(shù)量Fr；d)計(jì)算實(shí)體類型數(shù)量和關(guān)系類型數(shù)量的總和；e)判斷知識(shí)圖譜的體量是否符合7.1.2的要求。10.1.3效率效率的測(cè)試步驟包括：a)運(yùn)行系統(tǒng)，并選定待測(cè)的知識(shí)圖譜；b)設(shè)置查詢參數(shù)，如K跳數(shù)等；c)設(shè)置并發(fā)參數(shù)；d)啟動(dòng)查詢操作；e)設(shè)定1min，統(tǒng)計(jì)成功處理的請(qǐng)求總數(shù)；f)按公式（23）計(jì)算系統(tǒng)的效率：式中：AR——處理的請(qǐng)求總數(shù)；T——處理請(qǐng)求所用的時(shí)間。g)判斷系統(tǒng)的效率是否符合7.1.3的要求。10.1.4準(zhǔn)確率準(zhǔn)確率的測(cè)試步驟包括：a)運(yùn)行系統(tǒng)，并選定待測(cè)的知識(shí)圖譜；b)設(shè)置查詢參數(shù)，如K跳數(shù)等；c)設(shè)置并發(fā)參數(shù)；d)啟動(dòng)查詢操作；e)設(shè)定1min，統(tǒng)計(jì)成功處理的請(qǐng)求總數(shù)；f)統(tǒng)計(jì)被識(shí)別并與真實(shí)相符的響應(yīng)數(shù)量；g)統(tǒng)計(jì)被識(shí)別但與真實(shí)不符的響應(yīng)數(shù)量h)按公式（24）計(jì)算準(zhǔn)確率：式中：TPR——真陽(yáng)性：被識(shí)別并與真實(shí)相符的響應(yīng)數(shù)量；FPR——假陽(yáng)性：被識(shí)別但與真實(shí)不符的響應(yīng)數(shù)量。i)判斷系統(tǒng)的效率是否符合7.1.4的要求。10.1.5實(shí)時(shí)性實(shí)時(shí)性的測(cè)試步驟包括：a)運(yùn)行系統(tǒng)，并選定待測(cè)的知識(shí)圖譜；b)設(shè)置查詢參數(shù)，如K跳數(shù)等；c)設(shè)置并發(fā)參數(shù)；d)啟動(dòng)查詢操作；e)設(shè)定1min，統(tǒng)計(jì)在該時(shí)間內(nèi)獲得響應(yīng)的請(qǐng)求總數(shù)；f)統(tǒng)計(jì)發(fā)送的請(qǐng)求總數(shù)；g)按公式（25）計(jì)算系統(tǒng)的實(shí)時(shí)性：XA=(25)式中：AR——發(fā)出請(qǐng)求后在限定時(shí)間內(nèi)響應(yīng)的次數(shù)；A——發(fā)出請(qǐng)求的總次數(shù)。h)判斷系統(tǒng)的效率是否符合7.1.5的要求。10.2可移植性該特性的測(cè)試步驟包括：a)運(yùn)行系統(tǒng)，并選定待測(cè)的知識(shí)圖譜；b)在新的目標(biāo)硬件環(huán)境下安裝、運(yùn)行系統(tǒng)，確定系統(tǒng)可進(jìn)行安裝并能正常啟動(dòng)，功能可正常運(yùn)c)在新的目標(biāo)操作系統(tǒng)下安裝、運(yùn)行系統(tǒng)，確定系統(tǒng)可進(jìn)行安裝并能正常啟動(dòng)，功能可正常運(yùn)d)檢查系統(tǒng)是否支持常見(jiàn)的接口調(diào)用，如：HTTP、RPC等；e)檢查系統(tǒng)是否支持?jǐn)?shù)據(jù)的導(dǎo)入導(dǎo)出；f)統(tǒng)計(jì)在目標(biāo)硬件環(huán)境、操作系統(tǒng)中完成安裝的時(shí)間；g)統(tǒng)計(jì)在目標(biāo)硬件環(huán)境、操作系統(tǒng)中安裝3次的成功率；h)判斷系統(tǒng)的可移植性是否符合7.2的要求。10.3可靠性10.3.1可用性該特性的測(cè)試步驟包括：a)按照說(shuō)明書(shū)運(yùn)行待測(cè)的知識(shí)圖譜應(yīng)用系統(tǒng)；b)選定待測(cè)的知識(shí)圖譜；c)選擇概率最大的前25%的可造成系統(tǒng)異常輸入元素構(gòu)成系統(tǒng)運(yùn)行剖面；d)統(tǒng)計(jì)在系統(tǒng)發(fā)生故障情況下，系統(tǒng)處于不可用狀態(tài)的時(shí)長(zhǎng)；e)統(tǒng)計(jì)給定運(yùn)行時(shí)間內(nèi)通過(guò)異常輸入出現(xiàn)故障的次數(shù)；f)計(jì)算平均故障時(shí)間；g)統(tǒng)計(jì)訪問(wèn)權(quán)限的控制數(shù)量；h