01.02 DeepFace ～顔照合・顔/眼抽出～
前回本サイトで「python未来の技術」と題した「感情分析」にライブラリ「DeepFace 」を用いました。当時使用していたpython仮想環境py36からpythonのバージョンを「３．９」に上げ、新バージョンのDeepFaceを使用したサンプルプログラムで動作を確認しました。
「感情分析」という目新しい機能を試すためネット検索するとDeepFaceが真っ先にピックアップされますが、実は感情・年齢・人種を分析する機能は「顔に関するライブラリ」の一部分でしかありません。
DeepFaceは「顔認識」が正確に行えるようになったことで、顔を分析したり認証したりが可能になりました。 検出(detect) ⇒ 整列(align) ⇒ 表現(represent) ⇒ 分類(classify)
https://research.facebook.com/publications/deepface-closing-the-gap-to-human-level-performance-in-face-verification/ ★ DeepFace ～顔認識～ オブジェクト検出 」とカテゴリーへと変化してきました。実際には「見分けている」「識別する」のではなく、ニューラルネットワークが分類しているためです。sliding windows approach 」、つまり検出窓をスライドさせ物体を検出する技術を指し、openCVのカスケード分類器がその代表例です。機械学習による「パーツ検出する技術」 で、ターゲットは「特定パーツ」であり、機械学習時のデータセットの種類により「特定パーツ」が一意的に決定されました。機械学習からR-CNN(Regions with CNN) に変化したことによって、対象が「特定パーツ」から「オブジェクト識別」という概念に変化しました。一方では収集できる情報の数も増加したため、物体認識精度需要により実装には高速かつ高精度が求められるようになりました。End to end 」の時代と称される「検出」と「認識」を同時に複数個行う手法で、「検出」も「認識」もCNNを用います。その代表格は「YOLO 」です。「YOLO」解説によると、
『オブジェクト検出に関する以前の作業では、分類子を再利用して検出を実行します。代わりに、オブジェクト検出を空間的に分離されたバウンディングボックスへの回帰問題としてフレーム化し、関連するクラス確率。単一のニューラルネットワークは、バウンディングボックスとクラス確率を直接予測します』sliding windows approach 」を使用したopenCVのカスケード分類器で、ニューラルネットワークが普及していなかったため「機械学習 」で行っていました。Haar-Like特徴計算 」を用います。R-CNN(Regions with
CNN) という物体検出専用モデルを使用する第二世代オブジェクト検出へ移行していったということです。横向いていても正面を向いた姿を推定 できるようになったことを意味します。★ 顔認証(Facial Verification)解説 py39(python3.9)ではエラー になるとが確認されています。
仮想環境
py36
py39
python
3.6.10
3.9.18
deepface
0.0.75
0.0.86
tensorflow
1.14.0
2.16.0
tensorflowバージョンが(～２．１５．０) に限定されており、最新版2.16.0はエラーとなります。モデル・バックエンド・類似度・正規化の全ての組み合わせをチェックした際に必要としたモジュール になります。
pip install tensorflow==2.15.0
pip3 install mecab-python3
pip install psutil
pip install dlib
pip install ultralytics
pip install facenet-pytorch
pip install mediapipe
仮想環境
py36
py39
python
3.6.10
3.9.18
deepface
0.0.75
0.0.86
tensorflow
1.14.0
2.15.0
Facial Verification(顔照合) 」です。二つの画像を用意し顔のみを比較し同一人物かを照合します。OpenCV がデフォルトの検出器 です。
# /// バックエンド(backends)
# /// オプションの検出器バックエンド入力引数を受け入れます。
# /// この引数を使用して、これらの検出器を切り替えることができます。 OpenCV がデフォルトの検出器です。
# ////////////////////////////////////////////////////////////////////////////
backends = [
'opencv',
'ssd',
'dlib',
'mtcnn',
'retinaface',
'mediapipe',
'yolov8',
'yunet',
'fastmtcnn',
]
デフォルト設定では VGG-Face モデル が使用されます。
# /// 顔認識モデル(models)
# /// ハイブリッド顔認識パッケージです。多くの最先端の顔認識モデル、VGG-Face、Google FaceNet,,,をラップ
# /// デフォルト設定では VGG-Face モデルが使用
# ////////////////////////////////////////////////////////////////////////////
models = [
"VGG-Face",
"Facenet",
"Facenet512",
"OpenFace",
"DeepFace",
"DeepID",
"ArcFace",
"Dlib",
"SFace",
]
類似度 」を計算します。類似度には、コサイン類似度、ユークリッド距離、L2
形式などがラップされており選択して使用します。デフォルト設定ではコサイン類似度 が使用されています。最近の研究では、コサインや通常のユークリッド距離よりもユークリッド L2
形式が安定 していると報告されています。
# /// 類似度( metrics)
# /// 顔認識モデルは通常の畳み込みニューラル ネットワークであり、顔をベクトルとして表現する役割を果たします。
# /// 類似度は、コサイン類似度、ユークリッド距離、L2 形式などのさまざまな指標によって計算できます。
# /// デフォルト設定ではコサイン類似度が使用されます。
# /// 実験によると、ユークリッド L2 形式はコサインや通常のユークリッド距離よりも安定しているようです。
# ////////////////////////////////////////////////////////////////////////////
metrics = ["cosine", "euclidean", "euclidean_l2"]
★ 顔認証(Facial Verification)実装
#coding: utf-8
# ////////////////////////////////////////////////////////////////////////////
# ///【DeepFace・顔認証(Facial Verification)】
# ////////////////////////////////////////////////////////////////////////////
if "__file__" in globals():
import os, sys
sys.path.append(os.path.join(os.path.dirname(__file__), ".."))
sys.path.append(os.path.join(os.path.dirname(__file__), "..") + "//..//")
os.environ['TF_ENABLE_ONEDNN_OPTS'] = '0'
from DeZero.common.nlp_util import *
import cv2
from deepface import DeepFace
tensorflow_warning_cancel()
if __name__ == "__main__":
img1_path = "c:\\Photo\\aragaki.jpg"
img2_path = "c:\\Photo\\aragaki-2.jpg"
# /// 顔認識モデル(models)
# ////////////////////////////////////////////////////////////////////////////
models = [
"VGG-Face",
"Facenet",
"Facenet512",
"OpenFace",
"DeepFace",
"DeepID",
"ArcFace",
"Dlib",
"SFace",
]
# /// バックエンド(backends)
# ////////////////////////////////////////////////////////////////////////////
backends = [
'opencv',
'ssd',
'dlib',
'mtcnn',
'retinaface',
'mediapipe',
'yolov8',
'yunet',
'fastmtcnn',
]
# /// 類似度( metrics)
# ////////////////////////////////////////////////////////////////////////////
metrics = ["cosine", "euclidean", "euclidean_l2"]
# /// 顔照合(face verification)
# ////////////////////////////////////////////////////////////////////////////
verification = DeepFace.verify(
img1_path=img1_path, # img1_path: Union[str, np.ndarray, List[float]]
img2_path=img2_path, # img2_path: Union[str, np.ndarray, List[float]]
model_name=models[0], # model_name: str = "VGG-Face"
detector_backend = backends[0], # detector_backend: str = "opencv"
distance_metric=metrics[0], # distance_metric: str = "cosine"
enforce_detection=False, # enforce_detection: bool = True
align=True, # align: bool = True
expand_percentage= 0, # expand_percentage: int = 0
normalization="base", # normalization: str = "base"
silent=False, # silent: bool = False
)
★ 顔認証(Facial Verification)動作結果
# [result]
# (py39) d:\VisualStudio2017\Python3.5_GPU\Sample_TEST\顔認識2024>python DF_FaceVerification_test01A.py
#
# verification : {
# 'verified': True,
# 'distance': 0.6333374542244692,
# 'threshold': 0.68,
# 'model': 'VGG-Face',
# 'detector_backend': 'opencv',
# 'similarity_metric': 'cosine',
# 'facial_areas': {
# 'img1': {'x': 102, 'y': 75, 'w': 276, 'h': 276, 'left_eye': (86, 100) , 'right_eye': (187, 101)},
# 'img2': {'x': 151, 'y': 118, 'w': 447, 'h': 447, 'left_eye': (147, 180), 'right_eye': (294, 173)}
# },
# 'time': 4.06
# }
★ 顔認証(Facial Verification)動作結果可視化
#coding: utf-8
# ////////////////////////////////////////////////////////////////////////////
# ///【DeepFace・顔認証(Facial Verification)】
# ////////////////////////////////////////////////////////////////////////////
if "__file__" in globals():
import os, sys
sys.path.append(os.path.join(os.path.dirname(__file__), ".."))
sys.path.append(os.path.join(os.path.dirname(__file__), "..") + "//..//")
os.environ['TF_ENABLE_ONEDNN_OPTS'] = '0'
from DeZero.common.nlp_util import *
import cv2
import numpy as np
from deepface import DeepFace
tensorflow_warning_cancel()
if __name__ == "__main__":
img1_path = "c:\\Photo\\aragaki.jpg"
img2_path = "c:\\Photo\\aragaki-2.jpg"
# /// 顔認識モデル(models)
# ////////////////////////////////////////////////////////////////////////////
models = [
"VGG-Face",
"Facenet",
"Facenet512",
"OpenFace",
"DeepFace",
"DeepID",
"ArcFace",
"Dlib",
"SFace",
]
# /// バックエンド(backends)
# ////////////////////////////////////////////////////////////////////////////
backends = [
'opencv',
'ssd',
'dlib',
'mtcnn',
'retinaface',
'mediapipe',
'yolov8',
'yunet',
'fastmtcnn',
]
# /// 類似度( metrics)
# ////////////////////////////////////////////////////////////////////////////
metrics = ["cosine", "euclidean", "euclidean_l2"]
# /// 顔比較(face verification)
# ////////////////////////////////////////////////////////////////////////////
verification = DeepFace.verify(
img1_path=img1_path, # img1_path: Union[str, np.ndarray, List[float]]
img2_path=img2_path, # img2_path: Union[str, np.ndarray, List[float]]
model_name=models[0], # model_name: str = "VGG-Face"
detector_backend = backends[0], # detector_backend: str = "opencv"
distance_metric=metrics[0], # distance_metric: str = "cosine"
enforce_detection=False, # enforce_detection: bool = True
align=True, # align: bool = True
expand_percentage= 0, # expand_percentage: int = 0
normalization="base", # normalization: str = "base"
silent=False, # silent: bool = False
)
# /// 比較結果の抽出
# ////////////////////////////////////////////////////////////////////////////
faceArea_1 = verification["facial_areas"]["img1"]
faceArea_2 = verification["facial_areas"]["img2"]
print("faceArea_1 : " , faceArea_1)
print("faceArea_2 : " , faceArea_2)
# /// 認識ラインサイズ宣言
# ////////////////////////////////////////////////////////////////////////////
line_thickness = 3
line_color = (255, 0, 0)
line_type = cv2.LINE_AA
circle_size = 20
common_figsize = (300, 300)
# /// 画像読み込み
# ////////////////////////////////////////////////////////////////////////////
frame_1 = cv2.imread(img1_path)
frame_2 = cv2.imread(img2_path)
# /// 眼の認識・可視化
# ////////////////////////////////////////////////////////////////////////////
eyeArea_L1 = (faceArea_1["left_eye"][0]+faceArea_1["x"] , faceArea_1["left_eye"][1]+faceArea_1["y"])
eyeArea_R1 = (faceArea_1["right_eye"][0]+faceArea_1["x"] , faceArea_1["right_eye"][1]+faceArea_1["y"])
cv2.circle(frame_1, eyeArea_L1, circle_size, line_color, thickness=-1)
cv2.circle(frame_1, eyeArea_R1, circle_size, line_color, thickness=-1)
eyeArea_L2 = (faceArea_2["left_eye"][0]+faceArea_2["x"] , faceArea_2["left_eye"][1]+faceArea_2["y"])
eyeArea_R2 = (faceArea_2["right_eye"][0]+faceArea_2["x"] , faceArea_2["right_eye"][1]+faceArea_2["y"])
cv2.circle(frame_2, eyeArea_L2, circle_size, line_color, thickness=-1)
cv2.circle(frame_2, eyeArea_R2, circle_size, line_color, thickness=-1)
# /// 顔の認識・可視化
# ////////////////////////////////////////////////////////////////////////////
cv2.rectangle(frame_1, (faceArea_1["x"], faceArea_1["y"]), (faceArea_1["x"]+faceArea_1["w"], faceArea_1["y"]+faceArea_1["h"]), line_color, line_thickness, line_type)
cv2.rectangle(frame_2, (faceArea_2["x"], faceArea_2["y"]), (faceArea_2["x"]+faceArea_2["w"], faceArea_2["y"]+faceArea_2["h"]), line_color, line_thickness, line_type)
# /// 表示用リサイズ
# ////////////////////////////////////////////////////////////////////////////
result_1 = cv2.resize(frame_1, common_figsize)
result_2 = cv2.resize(frame_2, common_figsize)
mergeImg = np.hstack((result_1, result_2))
cv2.imshow("deepface verification", mergeImg)
cv2.waitKey(0)
cv2.destroyAllWindows()
★ 可視化結果
# [result]
# (py39) d:\VisualStudio2017\Python3.5_GPU\Sample_TEST\顔認識2024>python DF_FaceVerification_test02.py
# WARNING:tensorflow:From C:\Users\yamin\anaconda3\envs\py39\lib\site-packages\keras\src\losses.py:2976: The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead.
#
# faceArea_1 : {'x': 102, 'y': 75, 'w': 276, 'h': 276, 'left_eye': (86, 100), 'right_eye': (187, 101)}
# faceArea_2 : {'x': 151, 'y': 118, 'w': 447, 'h': 447, 'left_eye': (147, 180), 'right_eye': (294, 173)}
★ まとめ ディープラーニングモデルによって顔が正確に抽出できた ということ。そして抽出部分の顔領域情報と眼情報は、出力情報として提供されるということです。
つまり、DeepFaceは、実は複数の学習済み畳み込みディープラーニングモデルをラップした顔に関する万能ライブラリで、かなりの精度があるということです。py36でインストールされたdeepface
バージョン0.0.75と、今回の使用している 0.0.86ではかなりの個所が動かなくなる はずです。
このため、DeepFaceのネットリファレンス等のサンプルプログラムも、かなり使用不能になっていますので、ご注意ください。≪清須電脳倶楽部メインページへ戻る場合はここ をクリックしてください≫
