[Day 19] Facial Recognition: 使用孪生网路做辨识

只要你资料集越完整，辨识模型就越强大

这个系列偏重於方法的介绍与使用，因此今天我们不会重头开始训练模型，而是使用：

由Google提出的FaceNet架构
架构中使用的CNN是Inception-ResNet
在MS-Celeb-1M资料集训练
经过训练後得出的模型

此模型是由Hiroki Taniai的github网站中取得

模型的快速下载点在这

本文开始

接下来我们就一样用之前文章中下载的资料集来做孪生网路的人脸辨识吧！

开启你的专案 (前面系列建立的)，我们需要下载一个新的套件来载入FaceNet模型
- tensorflow == 2.0.4
  (这里的tensorflow为求方便是使用CPU的版本；你可以依据喜好使用GPU版本tensorflow-gpu或是其他更高版号的tensorflow)
安装完後，在face_recognition目录下新建一个档案siamese.py
将上面模型facenet_keras.h5下载下来

相关程序码与说明 (images_to_faces函数在Day15文章中)：

import ntpath
import sys

# resolve module import error in PyCharm
import cv2
import numpy as np

sys.path.append(ntpath.dirname(ntpath.dirname(ntpath.abspath(__file__))))

import argparse
import random

from scipy.spatial import distance
from sklearn.preprocessing import normalize
from tensorflow.keras.models import load_model

from dataset.load_dataset import images_to_faces


def l2_normalize(x, axis=-1, epsilon=1e-10):
    output = x / np.sqrt(np.maximum(np.sum(np.square(x), axis=axis, keepdims=True), epsilon))
    return output

def main():
    # 初始化arguments
    ap = argparse.ArgumentParser()
    ap.add_argument("-i", "--input", type=str, required=True, help="the input dataset path")
    ap.add_argument("-m", "--model", type=str, required=True, help="the facenet model path")
    args = vars(ap.parse_args())

    # 载入模型 (模型输入为(160, 160)大小的图片，输出为128-dimensions embeddings)
    model = load_model(args["model"])
    # 你可以取消下方的注解看看这个模型的长相
    # print(model.summary())

    print("[INFO] loading dataset....")
    (faces, labels) = images_to_faces(args["input"])
    print(f"[INFO] {len(faces)} images in dataset")

    # 随机抽取图片检查相似度 (抽取两组：一组为同样的人、一组为不同的人)
    classes = np.unique(labels)
    idxs = [np.where(labels == cls)[0] for cls in classes]
    idx = random.choice(idxs)
    pos_ids = random.sample(list(idx), 2)
    pos_faces = faces[pos_ids]
    pos_label = labels[pos_ids[0]]
    neg_face = faces[random.choice(np.where(labels != pos_label)[0])]

    # 对这两组资料进行相似度比对
    for compares in (pos_faces, [pos_faces[0], neg_face]):
        # 将照片改为模型输入的大小
        img1 = cv2.resize(compares[0], (160, 160))
        img2 = cv2.resize(compares[1], (160, 160))
        # 将照片由灰阶扩展到3-channels
        img1 = np.dstack([img1] * 3)
        img2 = np.dstack([img2] * 3)
        # 预测图片的embeddings
        p1 = model.predict(np.expand_dims(img1, axis=0))
        p2 = model.predict(np.expand_dims(img2, axis=0))
        # 将结果正规化到[0 ,1]
        p1 = normalize(p1)
        p2 = normalize(p2)
        # 透过判断欧式距离来比较相似度 (数值越小越相似)
        dist = distance.euclidean(p1, p2)
        final = np.hstack([img1, img2])
        cv2.putText(final, f"similarity: {round(dist, 3)}", (10, 15), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 2)
        cv2.imshow("result", final)
        cv2.waitKey(0)


if __name__ == '__main__':
    main()