顔画像処理技術の過去の研究

最近、コンピュータビジョンの歴史を追いかけています。KinectとかIntel Real Senseでも当然のようにSDKに搭載されている顔認識系技術だけど、そのバックグラウンドを知りたいのだ。

2009年までのまとめ↓
顔画像処理技術の研究動向と応用事例

顔画像処理技術

顔検出

画像の中から漏れなく誤りなくリアルタイムで顔の位置を検出する技術。動画処理時にはトラッキングも必要。
ViolaとJonesによるHaarタイプの特徴量を用いた高速顔検出手法をベースとして多くの改善手法が提案されている。

顔特徴点検出

顔の性別、年齢を含めた属性推定や個人識別を行うために、顔の各器官の特徴点の検出を行う技術。
多種特徴点抽出に対応したCootesらのActive Shape Model(ASM)やActive Appearance Model(AAM)が有名。拡張・改良に関する提案多数。

顔認識

検出された顔特徴点位置に基づき、個人を特定するための個人特徴量を生成する技術。
検出された特徴点間の配置の関係や特徴点付近のローカルな特徴記述子に基づくFeature-basedアプローチと、顔全体の輝度情報に基づき各特徴点を3次元的に正規化した顔パタンの抽出を行うAppearance-basedアプローチに分けられる。

顔属性・表情推定技術

顔から性別、年齢などの属性を推定する技術、顔の向きや視線を測定する技術、顔の表情を推定する技術。

それ以後から急速に発展してたりして…

関連記事

OpenCVで顔のモーフィングを実装する

Photogrammetry (写真測量法)

iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』

OpenCVの三角測量関数『cv::triangulatepoints』

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

ポリ男からMetaHumanを作る

OpenMVSのサンプルを動かしてみる

BGSLibrary:OpenCVベースの背景差分ライブラリ

Blendify:コンピュータービジョン向けBlenderラッパー

PyTorch3D:3Dコンピュータービジョンライブラリ

DensePose:画像中の人物表面のUV座標を推定する

openMVGをWindows10 Visual Studio 2015環境でビルドする

PCA (主成分分析)

統計的な顔モデル

2D→3D復元技術で使われる用語まとめ

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

Kubric:機械学習用アノテーション付き動画生成パイプライン

OpenCVのバージョン3が正式リリースされたぞ

Accord.NET Framework:C#で使える機械学習ライブラリ

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

CycleGAN:ドメイン関係を学習した画像変換

ポイントクラウドコンソーシアム

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

Facebookの顔認証技術『DeepFace』

iPhoneで3D写真が撮れるアプリ『seene』

COLMAP:オープンソースのSfM・MVSツール

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

OpenCVでPhotoshopのプラグイン開発

顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト

Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

Adobe MAX 2015

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

Structure from Motion (多視点画像からの3次元形状復元)

fSpy:1枚の写真からカメラパラメーターを割り出すツール

OpenCVでカメラ画像から自己位置認識 (Visual Odometry)

ディープラーニング

BlenderでPhotogrammetryできるアドオン

Pix2Pix:CGANによる画像変換

PeopleSansPeople:機械学習用の人物データをUnityで生成する

Googleが画像解析旅行ガイドアプリのJetpac社を買収

3D復元技術の情報リンク集

第25回コンピュータビジョン勉強会@関東に行って来た

コメント