人工智能及大數(shù)據(jù)學(xué)習(xí)圖像識別facenet

1、FaceNet2018 年 01 月 04 日 11:38:42 TchaikovskyBear 閱讀數(shù)：4215本文來源于山人七的博客，在其基礎(chǔ)上做了一定修改便于閱讀原文:近年來，人臉識別技術(shù)取得了飛速的進展，但是人臉驗證和識別在自然條件中應(yīng)用仍然存在。本文中，作者開發(fā)了一個新的人臉識別系統(tǒng)：FaceNet，可以直接將人臉圖像到歐幾里得空間，空間距離的長度代表了人臉圖像的相似性。只要該空間生成，人臉識別，驗證和聚類等任務(wù)就可以輕松完成。文章的方法是基于深度卷積神經(jīng)網(wǎng)絡(luò)。FaceNet 在 LFW數(shù)據(jù)集上，準確率為 0.9963，在Faces DB 數(shù)據(jù)集上，準確率為 0.9512。1，前言F

2、aceNet 是一個通用的系統(tǒng)，可以用于人臉驗證（是否是同一人？），識別（這個人是誰？）和聚類（尋找類似的人？）。FaceNet 采用的方法是通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將圖像到歐幾里得空間?？臻g距離直接和圖片相似度相關(guān)：同一個人的不同圖像在空間距離很小，不同人的圖像在空間中有較大的距離。只要該確定下來，相關(guān)的人臉識別任務(wù)就變得很簡單。當前存在的基于深度神經(jīng)網(wǎng)絡(luò)的人臉識別模型使用了分類層（classification layer）：中間層為人臉圖像的向量，然后以分類層作為輸出層。這類方法的弊端是不直接和效率低。與當前方法不同，F(xiàn)aceNet 直接使用基于 triplets 的 LMNN（最大邊界近鄰分

3、類）的 loss函數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)直接輸出為 128 維度的向量空間。我們選取的 triplets（三聯(lián)子）包含兩個匹配臉部縮略圖和一個非匹配的臉部縮略圖，loss 函數(shù)目標是通過距離邊界區(qū)分正負類，如圖 1-1 所示。圖 1-1 模型結(jié)構(gòu)臉部縮略圖為緊密裁剪的臉部區(qū)域，沒有使用 2d，3d 對齊以及放大轉(zhuǎn)換等預(yù)處理。本文中，作者探索了兩類深度卷積神經(jīng)網(wǎng)絡(luò)。第一類為 Zeiler&Fergus 研究中使用的神經(jīng)網(wǎng)絡(luò)，我們在網(wǎng)絡(luò)后面加了多個 1*1*d 卷積層；第二類為 Inception 網(wǎng)絡(luò)。模型結(jié)構(gòu)的末端使用 triplet loss 來直接分類。triplet loss 的啟

4、發(fā)是傳統(tǒng) loss 函數(shù)趨向于將有一類特征的人臉圖像到同一個空間。而 triplet loss 嘗試將一個的人臉圖像和其它人臉圖像。下文包含以下內(nèi)容：· 三聯(lián)子（triplets）loss· triplets 篩選方法· 模型結(jié)構(gòu)描述· 實驗結(jié)果· 評論2,三聯(lián)子（triplets）loss模型的目的是將人臉圖像X embedding 入d 維度的歐幾里得空間。在該向量空間內(nèi)，我們希望保證單個的圖像和該的其它圖像距離近，與其它的圖像距離遠。loss 函數(shù)目標是通過距離邊界區(qū)分正負類：（1）變換一下，得到損失函數(shù)：圖 2-1 triplet lo

5、ss 示意圖其中，為 positive/negtive 的邊界。3, triplets 篩選triplets 的選擇對模型的收斂非常重要。如公式 1 所示，對于，我們我們需要選擇同一的不同圖片，使；同時，還需要選擇不同的圖片，使得。在實際訓(xùn)練中，所有訓(xùn)練樣本來計算 argmin 和 argmax 是不現(xiàn)實的，還會由于錯誤標簽圖像導(dǎo)致訓(xùn)練收斂。實際訓(xùn)練中，有兩種方法來進行篩選：一，每隔 n 步，計算子集的 argmin 和 argmax。二，生成 triplets，即在每個 mini-batch 中進行篩選 positive/negative 樣本。本文中，我們采用生成 triplets 的方法

6、。我們選擇了大樣本的 mini-batch（1800 樣本/batch）來增加每個 batch 的樣本數(shù)量。每個 mini-batch 中，我們對單個選擇 40 張人臉圖片作為正樣本，隨機篩選其它人臉圖片作為負樣本。負樣本選擇不當也可能導(dǎo)致訓(xùn)練過早進入局部最小。為了避免，我們采用如下公式來幫助篩選負樣本：4, 深度卷積神經(jīng)網(wǎng)絡(luò)采用 adagrad 優(yōu)化器，使用隨機梯度下降法訓(xùn)練模型。在 cpu 集群上訓(xùn)練了1000-2000 小時。邊界值設(shè)定為 0.2?？偣矊嶒灹藘深惸Ｐ停?#183; 第一種是 Zeiler&Fergus 架構(gòu)，22 層，140M 參數(shù)，1.6billionFLOPS

7、(FLOPS 是計算量？)。稱之為 NN1。· 第二種是Net 式的 Inception 模型。模型參數(shù)是第一個的 20 分之一，F(xiàn)LOPS 是第一個的五分之一。· 基于 Inception 模型，減小模型大小，形成兩個小模型。· NNS1：26M 參數(shù)，220M FLOPS。· NNS2：4.3M 參數(shù)，20M FLOPS。· NN3 與 NN4 和 NN2 結(jié)構(gòu)一樣，但輸入變小了。· NN2 原始輸入：224×224· NN3 輸入：160×160· NN4 輸入：96×965,

8、實驗結(jié)果作者采用了約 8million 個的將近 100million-200million 張人臉縮略圖。人臉縮略圖通過臉部檢測器緊密裁剪生成。最后，在四類數(shù)據(jù)集上評價零 FaceNet：· hold-out 測試集：從訓(xùn)練集中分出 100million 圖像作為測試集。· 個人：總共包括 12k 個人。· 學(xué)術(shù)數(shù)據(jù)集：我們采用了 LFW 數(shù)據(jù)集和Faces DB。5.1 計算量與準確率權(quán)衡在測試中，隨著神經(jīng)網(wǎng)絡(luò)深度增加，計算量增加，準確率也增加，如表 5-1 和圖 5-1 所示。表 5-1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與 VAL圖 5-1計算量（FLOPS）與準確率關(guān)系5

9、.2模型結(jié)構(gòu)對 loss 的影響作者了不同模型對結(jié)果的影響，如圖 5-2 所示。圖 5-2 網(wǎng)絡(luò)結(jié)構(gòu)對 VAL 的影響5.3 圖像質(zhì)量對結(jié)果的影響模型對圖像質(zhì)量（像素值）不敏感，即使 80*80 像素的圖片生成的結(jié)果也可以接受，如表5-2 所示。表 5-2 圖像質(zhì)量（像素值）對結(jié)果的影響5.4 Embedding 維度對結(jié)果的影響作者測試了不同的 embedding 維度，結(jié)果如表 5-3 所示，發(fā)現(xiàn) 128 維度是最為合適的。表 5-3 不同輸出維度對結(jié)果的影響5.5 訓(xùn)練數(shù)據(jù)量對結(jié)果的影響隨著訓(xùn)練數(shù)據(jù)量的增加，準確率也隨之增加，如表 5-4 所示。表 5-4 訓(xùn)練數(shù)據(jù)量與 VAL5.6 評

10、價結(jié)果FaceNet 在 LFW 數(shù)據(jù)集上取得了 99.63%0.09 的準確率；在Faces DB 數(shù)據(jù)集上獲得了 95.12%0.39 的結(jié)果。在個人的數(shù)據(jù)集上，對單個進行embeding 后聚類測試，結(jié)果如圖 5-3 所示。圖 5-3對單個的不同進行聚類的結(jié)果6, 評論FaceNet 是的工作，工作量非常大，結(jié)果也很好。FaceNet 是一種直接將人臉圖像 embedding 進入歐幾里得空間的方法。該模型的優(yōu)點是只需要對圖片進行很少量的處理（只需要裁剪臉部區(qū)域，而不需要額外預(yù)處理，比如 3d 對齊等），即可作為模型輸入。同時，該模型在數(shù)據(jù)集上準確率非常高。未來的工作可以有幾個方向：一，分析錯誤的樣本