版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領(lǐng)
文檔簡介
ICS35.240在提交反饋意見時，請將您知道的相關(guān)專利連同
L70支持性文件一并附上
團體標準
T/CESAXXXX—XXXX
信息技術(shù)人工智能小樣本機器學(xué)習(xí)樣本
量和算法要求
Informationtechnology-Artificialintelligence-Samplesizeandalgorithm
requirementsforfew-shotlearning
（征求意見稿）
XXXX-XX-XX發(fā)布XXXX-XX-XX實施
中國電子工業(yè)標準化技術(shù)協(xié)會發(fā)布
T/XXXXXXXX—XXXX
前??言
本標準按照GB/T1.1-2009給出的規(guī)則起草。
請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。
本標準由中國電子技術(shù)標準化研究院提出并歸口。
本標準起草單位：
本標準主要起草人：
II
T/XXXXXXXX—XXXX
信息技術(shù)人工智能小樣本機器學(xué)習(xí)樣本量和算法要求
1范圍
本標準規(guī)定了小樣本機器學(xué)習(xí)算法在不同場景情況下的樣本量及算法的要求。
本標準適用于小樣本量機器學(xué)習(xí)相關(guān)產(chǎn)品。
2規(guī)范性引用文件
下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文
件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。
ISO3534-1:2006統(tǒng)計學(xué)詞匯及符號第1部分：一般統(tǒng)計術(shù)語與用于概率的術(shù)語（Statistics--
Vocabularyandsymbols--Part1:Generalstatisticaltermsandtermsusedinprobability）
3術(shù)語和定義
下列術(shù)語和定義適用于本文件。
3.1
樣本量samplesize
樣本中包含的個體（或抽樣單元）的數(shù)目。
[ISO3534-1:2006,定義3.7]
3.2
小樣本smallsample
數(shù)量較少或不足的樣本量。
3.3
小樣本機器學(xué)習(xí)few-shotlearning
樣本數(shù)據(jù)量較少或不足情況下的機器學(xué)習(xí)。
4縮略語
以下縮略語適用于本文件。
AP：平均精確率（AveragePrecision）
AUC：ROC曲線覆蓋區(qū)域面積（AreaUnderCurveROC）
mAP：平均精確率均值（MeanAveragePrecision）
MOS：平均主觀意見得分（MeanOpinionScore）
ROC曲線：接受者操作特性曲線（ReceiverOperatingCharacteristicCurve）
1
T/XXXXXXXX—XXXX
5小樣本機器學(xué)習(xí)樣本量和算法要求
5.1算法要求描述項
算法要求包含評價要素、指標屬性、量化方法和量化范圍四個部分，含義分別為：
a)評價要素：每個評價指標項的具體評價內(nèi)容和要求；
b)指標屬性：每個評價指標的屬性為“定性指標”和“定量指標”之一；
c)量化方法：每個評價指標的量化方法；
d)量化范圍：每個評價指標的取值范圍。
5.2算法要求量化方法
5.2.1精確率/查準率
精確率是被模型預(yù)測為正的正樣本（真正例）占預(yù)測為正的樣本的比例。精確率見式（1）。
TP
P...............................................................................(1)
TPFP
式中：
P——精確率/查準率；
TP——被判定為正樣例，實際為正樣例數(shù)目；
FP——被判定為正樣例，實際為負樣例數(shù)目。
5.2.2交叉精確率
交叉精確率是多次交叉抽樣計算的精確率的平均值。交叉精確率見式（2）。
kP
crossPseti............................................................................(2)
ik
式中：
crossP——交叉精確率；
P——第i次測試樣本隨機抽樣子集合的精確率；
seti
k——抽樣次數(shù)。
5.2.3召回率/查全率
召回率是被模型預(yù)測為正的正樣本（真正例）占實際正樣本的比例。召回率見式（3）。
TP
R...............................................................................(3)
TPFN
式中：
R——召回率/查全率；
TP——被判定為正樣例，實際為正樣例數(shù)目；
FN——被判定為負樣例，實際為正樣例數(shù)目。
5.2.4交叉召回率
交叉召回率是多次交叉抽樣得到的召回率的平均值。交叉召回率見式（4）。
kR
crossRseti...........................................................................(4)
ik
式中：
2
T/XXXXXXXX—XXXX
crossR——交叉召回率；
R——第i次測試樣本隨機抽樣子集合的召回率；
seti
k——抽樣次數(shù)。
5.2.5準確率/正確率
準確率是模型預(yù)測正確的結(jié)果占所有分類結(jié)果的比例。準確率/正確率見式（5）。
TPTN
A.....................................................................(5)
TPTNFPFN
式中：
A——準確率/正確率；
TP——被判定為正樣例，實際為正樣例數(shù)目；
TN——被判定為負樣例，實際為負樣例數(shù)目；
FP——被判定為正樣例，實際為負樣例數(shù)目；
FN——被判定為負樣例，實際為正樣例數(shù)目。
5.2.6交叉準確率
交叉準確率是多次交叉抽樣得到的準確率的平均值。交叉準確率見式（6）。
kA
crossAseti............................................................................(6)
ik
式中：
crossA——交叉準確率；
A——第i次測試樣本隨機抽樣子集合的準確率；
seti
k——抽樣次數(shù)。
5.2.7F值
F值是精確率和召回率的加權(quán)調(diào)和平均值，表達對精確率/召回率的不同偏好。F值見式（7）。
21PR
F.........................................................................(7)
2PR
式中：
——調(diào)和因子；
P——精確率；
R——召回率。
5.2.8交叉F值
交叉F值是多次交叉抽樣得到的F值的平均值。交叉F值見式（8）。
kF
crossFseti...........................................................................(8)
ik
式中：
crossF——交叉F值；
F——第i次測試樣本隨機抽樣子集合的F值；
seti
k——抽樣次數(shù)。
3
T/XXXXXXXX—XXXX
5.2.9接受者操作特性曲線
接受者操作特性曲線是根據(jù)預(yù)測結(jié)果對樣例進行排序，按順序逐個把樣例作為正例進行預(yù)測，每次
計算出假正率和真正率，分別以它們?yōu)闄M縱坐標作ROC曲線圖。橫縱坐標見式（9）、式（10）。
FP
FPR............................................................................(9)
TNFP
TP
TPR..........................................................................(10)
TPFN
式中：
FPR——假正率；
TPR——真正率；
FP——被判定為正樣例，實際為負樣例數(shù)目；
TN——被判定為負樣例，實際為負樣例數(shù)目；
TP——被判定為正樣例，實際為正樣例數(shù)目；
FN——被判定為負樣例，實際為正樣例數(shù)目。
5.2.10ROC曲線覆蓋區(qū)域面積
AUC通過對ROC曲線下各部分求和得到，比較AUC大小是判斷模型優(yōu)劣的標準之一。
5.2.11平均精確率
根據(jù)預(yù)測結(jié)果對樣例進行排序，按順序逐個將樣例作為正例進行預(yù)測，每次計算當(dāng)前的精確率和召
回率，最終計算精確率的平均值。以召回率為橫軸，精確率為縱軸作曲線。平均精確率就是精確率-召
回率曲線下的面積。
5.2.12交叉平均精確率
測試樣本中多次交叉抽樣子集合的平均精確率的均值。交叉平均精確率見式（11）。
kAP
crossAPseti.......................................................................(11)
ik
式中：
crossAP——交叉平均精確率；
AP——第i次測試樣本隨機抽樣子集合的AP值；
seti
k——抽樣次數(shù)。
5.2.13平均精確率均值
各類別平均精確率的均值。平均精確率均值見式（12）。
n
APi
mAPi1..........................................................................(12)
n
式中：
mAP——平均精確率均值；
第類樣本的平均精確率；
APi——i
n——樣本的總類別數(shù)。
5.2.14交叉平均精確率均值
測試樣本中多次交叉抽樣子集合的mAP的均值。交叉平均精確率均值見式（13）。
4
T/XXXXXXXX—XXXX
kmAP
crossmAPseti....................................................................(13)
ik
式中：
crossmAP——交叉平均精確率均值；
mAP——第i次測試樣本隨機抽樣子集合的mAP值；
seti
k——抽樣次數(shù)。
5.2.15目標身份匹配錯次數(shù)
同一個目標在上一幀和當(dāng)前幀匹配的身份號不一致，視為身份號匹配錯一次。
5.2.16目標身份重復(fù)次數(shù)
跟蹤過程中，一個目標匹配出的身份總數(shù)量。
5.2.17跟蹤穩(wěn)定率
衡量目標跟蹤準確程度，結(jié)合誤檢數(shù)量,漏檢數(shù)量,匹配錯次數(shù),給出整體跟蹤性能的度量。跟蹤穩(wěn)
定率見式（14）。
i
dt
TPi,t.............................................................................(14)
c
tt
式中：
TP——跟蹤穩(wěn)定率；
t——幀圖像序列號；
i——跟蹤算法輸出的單目標框；
i時刻算法輸出的第個目標框與目標框標簽的誤差；
dt——ti
時刻算法輸出結(jié)果和標簽匹配上的目標框數(shù)量。
ct——t
5.2.18跟蹤準確率
衡量目標跟蹤穩(wěn)定程度，描述了目標被精確跟蹤的程度，并通過邊界框重疊和邊界框間的距離度量。
跟蹤準確率見式（15）。
mtfptmmet
TA1t.............................................................(15)
g
tt
式中：
TA——跟蹤準確率；
t——幀圖像序列號；
時刻標簽中未被匹配的目標個數(shù)；
mt——t
時刻誤檢數(shù)量；
fpt——t
時刻匹配錯次數(shù)；
mmet——t
時刻目標框標簽的數(shù)量。
gt——t
5
T/XXXXXXXX—XXXX
5.2.19交并比
目標檢測中，產(chǎn)生的候選框與原標記框的交疊率。交并比見式（16）。
areaCareaG
IOU...............................................................(16)
areaCareaG
式中：
IOU——交并比；
areaC——候選框區(qū)域面積；
areaG——原標記框區(qū)域面積。
5.2.20交叉熵
用于度量兩個概率分布間的差異性信息。交叉熵見式（17）。
n
Hp,qpxlogqx...........................................................(17)
i1ii
式中：
Hp,q——交叉熵；
的真實概率分布；
pxi——xi
的預(yù)測概率分布；
qxi——xi
n——測試集的大小。
5.2.21均方誤差
觀測值與真值之差的平方的期望值。均方誤差見式（18）。
2
n
Xbos,iXmodel,i
MSEi1.............................................................(18)
n
式中：
MSE——均方誤差；
第次的觀測值；
Xbos,i——
第次的真值；
Xmodel,i——
n——觀測