《電力人工智能樣本存儲(chǔ)技術(shù)要求》

ICS國(guó)際標(biāo)準(zhǔn)分類號(hào)

CCS中國(guó)標(biāo)準(zhǔn)文獻(xiàn)分類號(hào)

團(tuán)體標(biāo)準(zhǔn)

T/CESXXX-XXXX

電力人工智能樣本存儲(chǔ)技術(shù)要求

Technicalrequirementsforsamplestorageofpowerartificialintelligence

（征求意見稿）

XXXX-XX-XX發(fā)布XXXX-XX-XX實(shí)施

中國(guó)電工技術(shù)學(xué)會(huì)發(fā)布

T/CESXXX—XXXX

電力人工智能樣本存儲(chǔ)技術(shù)要求

1范圍

本文件規(guī)定了電力行業(yè)人工智能樣本包含圖像、文本、音頻電力樣本處理技術(shù)中樣本存儲(chǔ)技術(shù)總

體架構(gòu)、基本要求和各項(xiàng)技術(shù)指標(biāo)。

本文件適用于電力行業(yè)人工智能平臺(tái)樣本存儲(chǔ)的建設(shè)、管理和使用。

2規(guī)范性引用文件

下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。

GB/T41867-2022信息技術(shù)人工智能術(shù)語(yǔ)

GB/T25000.51-2017軟件工程軟件產(chǎn)品質(zhì)量要求和評(píng)價(jià)體系(SQuaRE)質(zhì)量測(cè)量框架

Q/GDW12118—2021人工智能平臺(tái)架構(gòu)及技術(shù)要求

T/CES129-2022電力人工智能平臺(tái)樣本規(guī)范

3術(shù)語(yǔ)和定義

下列術(shù)語(yǔ)和定義適用于本文件。

3.1

樣本存儲(chǔ)系統(tǒng)Samplestoragesystem

指實(shí)現(xiàn)樣本存儲(chǔ)技術(shù)的軟硬件系統(tǒng)，包括樣本數(shù)據(jù)庫(kù)、樣本文件系統(tǒng)、樣本元數(shù)據(jù)管理系統(tǒng)等。

3.2

樣本存儲(chǔ)效率Samplestorageefficiency

指樣本存儲(chǔ)系統(tǒng)在存儲(chǔ)和訪問樣本數(shù)據(jù)時(shí)所消耗的時(shí)間、空間和資源的指標(biāo)。

3.3

樣本數(shù)據(jù)Sampledata

其具備的特征能夠反映總體數(shù)據(jù)情況的一部分個(gè)體數(shù)據(jù)

3.4

文件格式fileformat

存儲(chǔ)介質(zhì)對(duì)存儲(chǔ)信息制定的編碼方式，用于識(shí)別內(nèi)部?jī)?chǔ)存的資料。

4符號(hào)、代號(hào)和縮略語(yǔ)

下列符號(hào)、代號(hào)和縮略語(yǔ)適用于本文件。

4.1符號(hào)

無(wú)

4.2代號(hào)

無(wú)

4.3縮略語(yǔ)

JPEG：聯(lián)合圖像專家組(JointPhotographicExpertsGroup)

PNG：便攜式網(wǎng)絡(luò)圖型（PortableNetworkGraphics）

5電力人工智能樣本存儲(chǔ)總體架構(gòu)

3

T/CESXXX—XXXX

電力人工智能樣本存儲(chǔ)技術(shù)總體架構(gòu)包括：

a)樣本數(shù)據(jù)，指用于電力人工智能訓(xùn)練和應(yīng)用的原始數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)

構(gòu)化數(shù)據(jù)可以分為文本類、音頻類和圖像類三種類型，每種類型都有自己的格式和規(guī)范。樣本數(shù)據(jù)需要

被存儲(chǔ)在一個(gè)高性能、高可靠、高可用的樣本文件系統(tǒng)中，以便于快速地讀取和處理。

b)樣本元數(shù)據(jù)，指對(duì)樣本數(shù)據(jù)的描述性信息，包括但不限于編號(hào)、類型、來源、標(biāo)簽、質(zhì)量、時(shí)

間、位置等內(nèi)容。每個(gè)樣本數(shù)據(jù)都應(yīng)該有一個(gè)唯一的編號(hào)，用于標(biāo)識(shí)和關(guān)聯(lián)。樣本元數(shù)據(jù)需要被存儲(chǔ)在

一個(gè)高效、安全、靈活的樣本數(shù)據(jù)庫(kù)中，以便于進(jìn)行增刪改查等操作。

c)樣本元數(shù)據(jù)管理系統(tǒng)，指用于實(shí)現(xiàn)樣本數(shù)據(jù)庫(kù)和樣本文件系統(tǒng)之間的關(guān)聯(lián)和協(xié)同的系統(tǒng)，主要有

三個(gè)功能：通過樣本編號(hào)建立一一對(duì)應(yīng)的關(guān)系，通過樣本元數(shù)據(jù)進(jìn)行檢索和定位，通過樣本元數(shù)據(jù)進(jìn)行

同步和更新。這個(gè)系統(tǒng)需要保證數(shù)據(jù)的一致性、完整性和可用性。

圖1電力人工智能樣本存儲(chǔ)技術(shù)總體架構(gòu)圖

6樣本存儲(chǔ)技術(shù)基本要求

6.1樣本數(shù)據(jù)格式

樣本數(shù)據(jù)應(yīng)采用統(tǒng)一的文件格式進(jìn)行存儲(chǔ)，以便于后續(xù)的處理和分析。原則上同批次樣本文件

中，單個(gè)文件最大不得超過該批次樣本文件平均大小的200%，最小不得小于平均大小的50%。各類

型樣本數(shù)據(jù)具體格式如下：

a)文本類樣本數(shù)據(jù)應(yīng)采用TXT、JSON、XML、CSV等常見的文本文件格式進(jìn)行存儲(chǔ)，每個(gè)文件應(yīng)包

含一段或多段文本。

b)音頻類樣本數(shù)據(jù)應(yīng)采用WAV、MP3、WMA、WAV、APE、FLAC、OGG、AAC等常見的音頻文件格式進(jìn)

行存儲(chǔ)，每個(gè)文件應(yīng)包含一段或多段音頻。

c)圖像類樣本數(shù)據(jù)應(yīng)采用JPEG、PNG、BMP、SVG、WEBP、EPS等常見的圖像文件格式進(jìn)行存儲(chǔ)，

每個(gè)文件應(yīng)包含一個(gè)圖像。

d)視頻類樣本數(shù)據(jù)應(yīng)采用MP4、M4V、WEBM、MOV、AVI、DIV等常見的視頻文件格式進(jìn)行存儲(chǔ)，每

個(gè)文件應(yīng)包含一段視頻。

6.2樣本元數(shù)據(jù)

樣本元數(shù)據(jù)是對(duì)樣本數(shù)據(jù)的描述性信息，包括但不限于以下內(nèi)容：

a)樣本編號(hào)：唯一標(biāo)識(shí)每個(gè)樣本數(shù)據(jù)的編碼。

b)樣本類型：表示樣本數(shù)據(jù)屬于圖像、音頻或文本類。

c)樣本來源：表示樣本數(shù)據(jù)的獲取方式和來源渠道。

4

T/CESXXX—XXXX

d)樣本標(biāo)簽：表示樣本數(shù)據(jù)所屬的類別或?qū)傩浴?/p>

e)樣本質(zhì)量：表示樣本數(shù)據(jù)的清晰度、完整度、有效性等質(zhì)量屬性。

f)樣本時(shí)間：表示樣本數(shù)據(jù)的采集或生成時(shí)間。

g)樣本位置：表示樣本數(shù)據(jù)與電力系統(tǒng)中的設(shè)備或場(chǎng)景的關(guān)聯(lián)位置。

h)其他信息：根據(jù)不同的應(yīng)用場(chǎng)景，可以增加其他與樣本數(shù)據(jù)相關(guān)的信息。

6.3樣本數(shù)據(jù)庫(kù)

樣本數(shù)據(jù)庫(kù)是用于存儲(chǔ)和管理樣本元數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng)，應(yīng)具備以下功能：

a)支持對(duì)樣本元數(shù)據(jù)進(jìn)行增、刪、改、查等基本操作。

b)支持對(duì)樣本元數(shù)據(jù)進(jìn)行分類、分組、排序、篩選等高級(jí)操作。

c)支持對(duì)樣本元數(shù)據(jù)進(jìn)行備份、恢復(fù)、遷移等維護(hù)操作。

d)支持對(duì)樣本元數(shù)據(jù)進(jìn)行安全、權(quán)限、審計(jì)等管理操作。

6.4樣本文件系統(tǒng)

樣本文件系統(tǒng)是用于存儲(chǔ)和管理樣本數(shù)據(jù)的文件系統(tǒng)，應(yīng)具備以下功能：

a)支持對(duì)樣本數(shù)據(jù)進(jìn)行存儲(chǔ)、讀取、刪除等基本操作。

b)支持對(duì)樣本數(shù)據(jù)進(jìn)行壓縮、加密、解密等高級(jí)操作。

c)支持對(duì)樣本數(shù)據(jù)進(jìn)行備份、恢復(fù)、遷移等維護(hù)操作。

d)支持對(duì)樣本數(shù)據(jù)進(jìn)行安全、權(quán)限、審計(jì)等管理操作。

e)支持對(duì)樣本數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換操作。

6.5樣本元數(shù)據(jù)管理系統(tǒng)

樣本元數(shù)據(jù)管理系統(tǒng)是用于實(shí)現(xiàn)樣本數(shù)據(jù)庫(kù)和樣本文件系統(tǒng)之間的關(guān)聯(lián)和協(xié)同的系統(tǒng)，應(yīng)具備以

下功能：

a)支持通過樣本編號(hào)在樣本數(shù)據(jù)庫(kù)和樣本文件系統(tǒng)之間建立一一對(duì)應(yīng)的關(guān)系。

b)支持通過樣本元數(shù)據(jù)在樣本數(shù)據(jù)庫(kù)和樣本文件系統(tǒng)之間進(jìn)行檢索和定位。

c)支持通過樣本元數(shù)據(jù)在樣本數(shù)據(jù)庫(kù)和樣本文件系統(tǒng)之間進(jìn)行同步和更新。

7樣本存儲(chǔ)技術(shù)技術(shù)指標(biāo)

7.1樣本存儲(chǔ)容量

指樣本存儲(chǔ)系統(tǒng)能夠存儲(chǔ)的最大樣本數(shù)據(jù)量，單位為GB或TB；原則上應(yīng)大于現(xiàn)有樣本量，同時(shí)

為滿足后續(xù)使用，應(yīng)按實(shí)際情況預(yù)備適宜富余量。

7.2樣本存儲(chǔ)速度

指樣本存儲(chǔ)系統(tǒng)在存儲(chǔ)或讀取樣本數(shù)據(jù)時(shí)的平均速度，單位為MB/s或GB/s；原則上平均讀寫速

度下限為100MB/s，不設(shè)上限。

7.3樣本存儲(chǔ)可靠性

指樣本存儲(chǔ)系統(tǒng)在正常運(yùn)行條件下，能夠保證樣本數(shù)據(jù)不丟失、不損壞、不篡改的概率，單位

為%；原則上應(yīng)為100%。

7.4樣本存儲(chǔ)可用性

指樣本存儲(chǔ)系統(tǒng)在正常運(yùn)行條件下，能夠正常響應(yīng)用戶請(qǐng)求的概率，單位為%；原則上應(yīng)大于

80%，盡可能達(dá)到100%。

7.5樣本存儲(chǔ)安全性

指樣本存儲(chǔ)系統(tǒng)在正常運(yùn)行條件下，能夠保證樣本數(shù)據(jù)不被非法獲取和篡改的概率，單位為%；

原則上應(yīng)為100%。

7.6樣本存儲(chǔ)時(shí)效性

5

T/CESXXX—XXXX

對(duì)于部分存在時(shí)效性限制的樣本，應(yīng)依據(jù)實(shí)際場(chǎng)景和使用要求制定合適的時(shí)效限制，在選取樣本

時(shí)應(yīng)選取在規(guī)定可用時(shí)效限制內(nèi)的樣本，從而保證所選取的樣本的時(shí)效性以及實(shí)際訓(xùn)練任務(wù)的順利推

進(jìn)。

6

T/CESXXX—XXXX

參考文獻(xiàn)

[1]GB/T41867-2022信息技術(shù)人工智能術(shù)語(yǔ)

[2]GB/T25000.51-2017軟件工程軟件產(chǎn)品質(zhì)量要求和評(píng)價(jià)體系(SQuaRE)質(zhì)量測(cè)量框架

[3]Q/GDW12118—2021人工智能平臺(tái)架構(gòu)及技術(shù)要求

[4