人臉數(shù)據(jù)庫發(fā)展的特點及方向

1、人臉數(shù)據(jù)庫開展的特點及方向 梁元錯來源：計算機與網(wǎng)絡(luò)2021年第04期摘要：根據(jù)人臉數(shù)據(jù)庫開展至今的歷史，劃分了人臉數(shù)據(jù)庫開展的2個主要歷史時期，介 紹了這2個歷史時期中一些典型的人臉數(shù)據(jù)庫，以此歸納出這2個歷史時期中人臉數(shù)據(jù)庫的主 要特點。通過列舉人臉數(shù)據(jù)庫在不同歷史階段開展時產(chǎn)生的變化并加以分析，總結(jié)出了這些變 化發(fā)生的原因。同時還依據(jù)人臉數(shù)據(jù)庫開展的特點，提出了一些未來可能出現(xiàn)并開展的人臉數(shù) 據(jù)庫及其使用方法。關(guān)鍵詞：人臉數(shù)據(jù)庫;人臉識別;開展趨勢中圖分類號：TP392文獻標志碼：A文章編號：1008-1739 (2021) 04-64-4Development Characterist

2、ics and Direction of Face DatabaseLIANG Yuankai(College of Mathematics, South China University of Technology, Guangzhou 510000. China)Abstract： The development of human face database can be divided into two main historical periods according to the development history of face database. Sonic classic

3、human face databases in these two historical periods arc introduced, and the main characteristics of human face databases in these two historical periods are summarized. The changes of face database in different historical periods are enumerated and analyzed, and then the reasons of these changes ar

4、e summarized. Based on the development characteristics of face database, some possible face databases and their using methods are proposed.Keywocds： face database; face recognition; development trend。引言如中科院算所著名研究員山世光所說：“人臉識別技術(shù)史本質(zhì)是測評人臉庫更替史工人 臉數(shù)據(jù)庫的核心功能是供人臉識別技術(shù)進行算法性能的分析和測試。其中，人臉識別技術(shù)是人 臉識別、人臉檢測、關(guān)鍵點識別等檢測

5、技術(shù)的統(tǒng)稱。人臉數(shù)據(jù)庫的開展歷史大致可以劃分為 2000年以前和2000年以后2個開展階段，本文將對這2個階段的典型人臉數(shù)據(jù)庫進行分析和 比照，說明它們之間的差異以及產(chǎn)生差異的原因，并展望人臉數(shù)據(jù)庫未來可能的開展。1早期人臉數(shù)據(jù)庫早期的人臉數(shù)據(jù)庫是指產(chǎn)生于2000年以前的人臉數(shù)據(jù)庫。一般認為，對人臉識別的研究 始于1964年Bledsoe和Chanl于Panoramic Research Inc上發(fā)表的一份關(guān)于人臉自動識別的報 告。1964-1990年，人臉識別的開展較為緩慢，且被視為一般的識別問題。此階段的處理方法 包括基于剪影分析的人臉識別、基于人臉低維表示的人臉識別等方法。在一個人群密度

6、較大且不斷運動的場地中，試圖捕捉一個特定對象的運動軌跡，那么目標對 象的人臉會產(chǎn)生正向、側(cè)向乃至背向的變化，并會被遮擋。對動態(tài)視頻，可以將其分解為靜態(tài) 圖像來處理，但這可能導(dǎo)致一些問題：運動中的人臉在靜態(tài)圖像中會呈現(xiàn)較嚴重的晃動和模 糊、人臉在運動中發(fā)生的改變（如佩戴眼鏡）可能影響識別結(jié)果和目標的隱匿會使識別出的運 動路徑失去連貫性。1990年初，美國吸引了大量面部識別領(lǐng)域的專家參與人臉識別研究，激發(fā)了全球范圍內(nèi) 一批典型人臉數(shù)據(jù)庫的產(chǎn)生，這一時期的人臉數(shù)據(jù)庫突出顯示了早期人臉數(shù)據(jù)庫的特點。ORL人臉數(shù)據(jù)庫ORL人臉數(shù)據(jù)庫是典型的用于進行人臉識別測試的人臉數(shù)據(jù)庫，內(nèi)含來自40名對象，每 人10

7、張，共400張的256級灰度人臉圖像，均為PGM格式，大小均為92 pixelxl 12 pixel。這 些人臉圖像拍攝時的表情、面部細節(jié)、光照條件各異，所有圖像中的人臉位于圖像正中，占圖 片整體面積比例較大，有些圖像中的人臉有一定程度的側(cè)向偏移。ORL人臉數(shù)據(jù)庫中的人臉受到了較強的限制，如人臉在圖像中的位置和比例、被攝者的 拍攝姿勢、面部偏轉(zhuǎn)角度等變化較少，因而適用于一些基于圖像分割的人臉識別算法3-4,例 如連續(xù)密度隱馬爾可夫模型法5。此類方法較依賴人臉數(shù)據(jù)庫中人臉圖像的自然特性，遷移 性較差。ORL人臉數(shù)據(jù)庫是早期人類數(shù)據(jù)庫中格式規(guī)范化的典型代表。FERET人臉數(shù)據(jù)庫FERET人臉數(shù)據(jù)庫

8、是自1994年起逐步建立的人臉數(shù)據(jù)庫，內(nèi)含超過14 000張在不同姿 態(tài)、光照條件下拍攝的，來自近1 200名被攝對象的灰度人臉圖像。FERET人臉數(shù)據(jù)庫中的一 些圖像是相同對象在不同時間拍攝的，這些圖像被稱為“重復(fù)集”。重復(fù)集的提出意味著人臉數(shù) 據(jù)庫在建立時首次考慮了時間這一被識別對象的外觀變化尺度。FERET人臉數(shù)據(jù)庫擁有相較于同時代產(chǎn)品大得多的樣本量，已初步具有近期人臉數(shù)據(jù)庫 大容量的特點，成為了具有相對客觀評價測試能力的人臉數(shù)據(jù)庫，但對被攝對象仍限定較多。 故FERET人臉數(shù)據(jù)庫可被視為早期和近期人臉數(shù)據(jù)庫的分界。早期的人臉數(shù)據(jù)庫被攝者人數(shù)較少、拍攝環(huán)境布置刻意、被攝者配合，導(dǎo)致人臉圖

9、像的格 式統(tǒng)一，因而適用的識別算法一般只在較為理想的環(huán)境下表現(xiàn)良好，實際應(yīng)用價值較低。2近期人臉數(shù)據(jù)庫人臉識別技術(shù)于2001年首次被用于大規(guī)模犯罪分子搜查活動，標志著人臉識別正式轉(zhuǎn)化 為具有經(jīng)濟社會價值的技術(shù)。此階段逐漸產(chǎn)生了包括人臉檢測、人臉關(guān)鍵點檢測、情緒識別在 內(nèi)的不同類型、多種側(cè)重的人臉識別算法需求。Wider Face人臉數(shù)據(jù)庫Wider Face人臉數(shù)據(jù)庫適用于進行人臉檢測測試，其中包含3萬多張大小為1024 pixelxl024pixel的彩色圖片,共計有約40萬張人臉,且其中大量的人臉尺度較小。圖片中的 人臉幾乎均有標注，其中最小者可至10 pixelxlO pixeloWid

10、er Face人臉數(shù)據(jù)庫是目前難度最大的人臉檢測測試集之一。該人臉數(shù)據(jù)庫中的人臉圖 片基于61種事件類型進行分類，同時包含了姿態(tài)、遮擋、化妝、光照及模糊等各類人臉識別 難點。附屬于每種類型事件的圖片被隨機分為訓(xùn)練集、驗證集和測試集，占比依次為40%, 10%, 50%,其中測試集未對人臉進行標注，需將測試結(jié)果交由官方比對，保證了檢驗結(jié)果的 公正性。Wider Face人臉數(shù)據(jù)庫中的圖像劃分為Easy, Medium, Hard三個檢測難度，一些典型算 法在這3種難度下識別的準確率如圖1所示。(a) tel(b) Medium set(c Hard wl圖1典型算法在Wider face人臉數(shù)據(jù)

11、庫3種難度的數(shù)據(jù) 集下的識別率(a) tel(b) Medium set(c Hard wlFRGC人臉數(shù)據(jù)庫FRGC人臉數(shù)據(jù)庫基于FRGC工程產(chǎn)生，用于人臉識別，其中的50 000張人臉圖像于 2002-2004年間采集。在FRGC人臉數(shù)據(jù)庫的一個圖像組中，含有同一被攝對象的4張在限制 條件下的圖像、2張非限制條件下的圖像和1張三維圖像，其中三維圖像包括三維形狀信道和 紋理信道，如圖2所示。4張限制條件下的二維圖像2張非限制條件下的二維圖像(c)三維形狀信道和紋理信道圖2 FRGC人臉數(shù)據(jù)庫中的人臉圖像FRGC人臉數(shù)據(jù)庫中的圖像分為訓(xùn)練集和驗證集，其中訓(xùn)練集包括一個靜止訓(xùn)練集和一個 三維訓(xùn)練

12、集。前者包括來自222名被攝者的6 388張受限靜態(tài)圖像和6 388張非受限靜態(tài)圖像 后者是來自943個主題的圖像集(包括三維掃描圖像以及對應(yīng)的受限和非受限靜態(tài)圖像)的圖 像構(gòu)成的，可用于訓(xùn)練三維或三維到二維算法的訓(xùn)練集，驗證集由來自466個主題的4 007個 圖像集構(gòu)成。2.3 LFW人臉數(shù)據(jù)庫LFW人臉數(shù)據(jù)庫9適用于人臉識別測試，含13 000多張圖像，來自互聯(lián)網(wǎng)上的超過5 700名國外名人，其中有1 600多人在LFW人臉數(shù)據(jù)庫中有2張及以上的圖像，剩下約4000 人只有1張。所有圖像的格式均為250 pixelx250 pixel的JPEG圖像，大多數(shù)為彩色。LFW人臉數(shù)據(jù)庫中的人臉幾

13、乎不受任何限制（唯一要求是可被典型的Viola-Jones檢測器 識別）。其中被攝對象有性別、種族、年齡、裝飾等區(qū)分，圖像中的人臉有不同的姿態(tài)、光影 條件、背景等區(qū)別，甚至一張圖片中會有多張人臉（只有包含圖像中心像素的人臉會被標 記）。使用LFW人臉數(shù)據(jù)庫時，一般從中抽取6 000對人臉對（其中約3 000對來自同一名人 物，其余那么不然），再逐次輸入一對人臉對，由識別算法判斷是否為同一人，即可計算算法的 判斷準確率。這種方法簡單易懂，而由于LFW人臉數(shù)據(jù)庫對包含其中的人臉圖片要求很少， 幾乎沒有規(guī)律可循，故算法測試一般能取得較好效果。3不同時期典型人臉數(shù)據(jù)庫產(chǎn)生的變化及原因近期人臉數(shù)據(jù)庫相對

14、于早期人臉數(shù)據(jù)庫產(chǎn)生的變化人臉圖像的質(zhì)量提升相較于早期人臉數(shù)據(jù)庫，近期人臉數(shù)據(jù)庫質(zhì)量的提升主要表達在：圖像的數(shù)量大量增加：近期人臉數(shù)據(jù)庫內(nèi)所含圖像數(shù)量一般為10 00050 000張。被攝對象特征更加多樣：近期人臉數(shù)據(jù)庫一般為數(shù)百人到數(shù)千人，被攝對象本身的特征 更加多樣，除神態(tài)、表情、姿勢等方面外還出現(xiàn)了膚色、發(fā)型、圖案、特定裝飾等更多樣的人 臉特征。清晰度顯著提升：近期產(chǎn)生的人臉數(shù)據(jù)庫，如Wider Face人臉數(shù)據(jù)庫中的圖像大小與 ORL人臉數(shù)據(jù)庫相同，但到達了 1 024 pixelx 1 024 pixel o由灰度圖像為主變?yōu)椴噬珗D像為主：近期的人臉數(shù)據(jù)庫中的人臉圖像多為彩色，被攝對

15、 象的特征更加明顯10。人臉圖像的理想程度降低早期人臉數(shù)據(jù)庫中的人臉被嚴格控制，使得人臉在圖像中處于自然分布，導(dǎo)致其中圖像與 實際應(yīng)用場景有較大不同。多數(shù)近期的人臉數(shù)據(jù)庫中人臉的放置更貼近實際場景，特殊化處理 較少，如Wider Face人臉數(shù)據(jù)庫滿足的識別需求類型更加多樣化針對某種特定的目的或需求，近期人臉數(shù)據(jù)庫的設(shè)計性更強。設(shè)計性的增強不代表對人臉 的限制性增強，表達在圖片的數(shù)量和某一類圖片在人類數(shù)據(jù)庫中所占的比例上等非圖像本身的 屬性進行規(guī)劃，而限制性表達的是對人臉的控制。提供者對人臉數(shù)據(jù)庫的后續(xù)更為關(guān)注近期人臉數(shù)據(jù)庫的提供者對人臉數(shù)據(jù)庫的更新更加頻密，例如LFW人臉數(shù)據(jù)庫會不定期 更新

16、，更新消息將會被發(fā)布于官網(wǎng)U,甚至出現(xiàn)了由商業(yè)公司提供并維護的人臉數(shù)據(jù)庫，如 BioID人臉數(shù)據(jù)庫。變化產(chǎn)生的原因321技術(shù)條件的提高主要有計算機儲存容量和計算能力的提升、圖像處理技術(shù)的開展12和資源獲取手段的增 多3個方面。近年來互聯(lián)網(wǎng)的迅猛開展、公共社交平臺與新興媒體的興起拓寬了數(shù)據(jù)庫的樣本，特別是 非限制場景下樣本的來源。同時，拍攝工具輕便化和拍攝結(jié)果的優(yōu)質(zhì)化提高了非限制場景，特 別是偶發(fā)場景下所拍攝圖像的可用性。322高效而通用的識別算法的提出和開展1990年前，人臉識別建模方法主要是基于人臉本身特征的方法;1990-2000年主要是基于線 性子空間的距離比擬或統(tǒng)計學(xué)方法;2000年后

17、，光照錐技術(shù)、支持向量機等方法出現(xiàn)13。2006年出現(xiàn)的深度學(xué)習，至今仍是主流人臉識別方法?？傮w上看，提出時間越晚的算法往往 有越高的識別能力和效率，使得一些早期人臉數(shù)據(jù)庫的使用價值被挖掘殆盡，如ORL人臉數(shù) 據(jù)庫和FERET人臉數(shù)據(jù)庫的首選識別率均已到達99%14。近年來，基于深度學(xué)習，F(xiàn)RGC A 臉數(shù)據(jù)庫和LFW人臉數(shù)據(jù)庫也正在接近使用價值上限。另一方面，適用于人臉識別的算法的通用性增強，可應(yīng)對非限制條件，這是人臉識別具備 實際應(yīng)用價值的基礎(chǔ)條件。人臉識別等技術(shù)應(yīng)用場景的增加伴隨人臉識別技術(shù)與產(chǎn)業(yè)經(jīng)濟的日漸融合，人臉識別技術(shù)的應(yīng)用場景隨之多樣化。例如， 在身份識別這一應(yīng)用領(lǐng)域，利用了人臉

18、檢測、人臉識別及人臉關(guān)鍵點識別等技術(shù)身份識別還 可細化地應(yīng)用于人口出入境管理、嫌疑人身份鑒別、敏感人物動向監(jiān)視、游戲自動登錄、家政 機器人服務(wù)對象識別等方面，每一個細化方面對人臉識別技術(shù)的精準度、正確率和反響速度等 都有不同要求。324研究氛圉的改善人臉識別技術(shù)已廣泛受到各大高校和研究所的重視，研究人臉識別技術(shù)的氣氛相較早些年 更加濃厚。同時，人臉識別技術(shù)的商業(yè)價值也吸引了商業(yè)公司的注意，為人臉識別研究提供了 資金來源。4人臉數(shù)據(jù)庫的開展方向4.1針對復(fù)雜運動對象的人臉數(shù)據(jù)庫在一個人群密度較大且不斷運動的場地中，試圖捕捉一個特定對象的運動軌跡，那么目標對 象的人臉會產(chǎn)生正向、側(cè)向乃至背向的變化

19、，并會被遮擋。對動態(tài)視頻，可以將其分解為靜態(tài) 圖像來處理，但這可能導(dǎo)致一些問題：運動中的人臉在靜態(tài)圖像中會呈現(xiàn)較嚴重的晃動和模 糊、人臉在運動中發(fā)生的改變（如佩戴眼鏡）可能影響識別結(jié)果和目標的隱匿會使識別出的運 動路徑失去連貫性。FRGC人臉數(shù)據(jù)庫中的圖像分為訓(xùn)練集和驗證集，其中訓(xùn)練集包括一個靜止訓(xùn)練集和一個 三維訓(xùn)練集。前者包括來自222名被攝者的6 388張受限靜態(tài)圖像和6 388張非受限靜態(tài)圖像； 后者是來自943個主題的圖像集（包括三維掃描圖像以及對應(yīng)的受限和非受限靜態(tài)圖像）的圖 像構(gòu)成的，可用于訓(xùn)練三維或三維到二維算法的訓(xùn)練集，驗證集由來自466個主題的4 007個 圖像集構(gòu)成。2.

20、3 LFW人臉數(shù)據(jù)庫LFW人臉數(shù)據(jù)庫9適用于人臉識別測試，含13 000多張圖像，來自互聯(lián)網(wǎng)上的超過5 700名國外名人，其中有1 600多人在LFW人臉數(shù)據(jù)庫中有2張及以上的圖像，剩下約4000 人只有1張。所有圖像的格式均為250 pixelx250 p僅e1的JPEG圖像，大多數(shù)為彩色。LFW人臉數(shù)據(jù)庫中的人臉幾乎不受任何限制（唯一要求是可被典型的Viola-Jones檢測器 識別）。其中被攝對象有性別、種族、年齡、裝飾等區(qū)分，圖像中的人臉有不同的姿態(tài)、光影 條件、背景等區(qū)別，甚至一張圖片中會有多張人臉（只有包含圖像中心像素的人臉會被標 記）。使用LFW人臉數(shù)據(jù)庫時，一般從中抽取6 00

21、0對人臉對（其中約3 000對來自同一名人 物，其余那么不然），再逐次輸入一對人臉對，由識別算法判斷是否為同一人，即可計算算法的 判斷準確率。這種方法簡單易懂，而由于LFW人臉數(shù)據(jù)庫對包含其中的人臉圖片要求很少， 幾乎沒有規(guī)律可循，故算法測試一般能取得較好效果。3不同日寺期典型人臉數(shù)據(jù)庫產(chǎn)生的變化及原因3.1近期人臉數(shù)據(jù)庫相對于早期人臉數(shù)據(jù)庫產(chǎn)生的變化3.L1人臉圖像的質(zhì)量提升相較于早期人臉數(shù)據(jù)庫，近期人臉數(shù)據(jù)庫質(zhì)量的提升主要表達在：圖像的數(shù)量大量增加：近期人臉數(shù)據(jù)庫內(nèi)所含圖像數(shù)量一般為10 00050 000張。被攝對象特征更加多樣：近期人臉數(shù)據(jù)庫一般為數(shù)百人到數(shù)千人，被攝對象本身的特征 更

22、加多樣，除神態(tài)、表情、姿勢等方面外還出現(xiàn)了膚色、發(fā)型、圖案、特定裝飾等更多樣的人 臉特征。清晰度顯著提升：近期產(chǎn)生的人臉數(shù)據(jù)庫，如Wider Face人臉數(shù)據(jù)庫中的圖像大小與 ORL人臉數(shù)據(jù)庫相同，但到達了 1 024 pixelxl 024 pixel o由灰度圖像為主變?yōu)椴噬珗D像為主：近期的人臉數(shù)據(jù)庫中的人臉圖像多為彩色，被攝對 象的特征更加明顯10。3.L2人臉圖像的理想程度降低早期人臉數(shù)據(jù)庫中的人臉被嚴格控制，使得人臉在圖像中處于自然分布，導(dǎo)致其中圖像與 實際應(yīng)用場景有較大不同。多數(shù)近期的人臉數(shù)據(jù)庫中人臉的放置更貼近實際場景，特殊化處理 較少，如Wider Face人臉數(shù)據(jù)庫。滿足的識別需求類型更加多樣化針對某種特定的目的或需求，近期人臉數(shù)據(jù)庫的設(shè)計性更強。設(shè)計性的增強不代表對人臉 的限制性增強，表達在圖片的數(shù)量和某一類圖片在人類數(shù)據(jù)庫中所占的比例上等非圖像本身的 屬性進行規(guī)劃，而限制性表達的是對人臉的控制。提供者對人臉數(shù)據(jù)庫的后續(xù)更為關(guān)注近期人臉數(shù)據(jù)庫的提供者對人臉數(shù)據(jù)庫的更新更加頻密，例如LFW人臉數(shù)據(jù)庫會不定期 更新，更新消息將會被發(fā)布于官網(wǎng)11,甚至出現(xiàn)了由商業(yè)公司提供并維護的人臉數(shù)據(jù)庫，如 BioID人臉數(shù)據(jù)庫。3.2變化產(chǎn)生的原因321技術(shù)條件的提高主要有計算機儲存容量和計算