Active Appearance Models(AAM)

勉強のためのメモ。
最近こちらの資料を見ていて、顔の器官を検出する手法っていっぱい研究されてるんだなぁ、と。



そして、器官の検出の手法って、トラッキングとニアリーのようで。



器官の追跡は、ただのオプティカルフロートラッキングではなくて、顔に適した幾何学的制約を設けて推定するアプローチが基本みたい。
よく聞くAAM(Active Appearance Models)は、ある特徴点群の配置を基本形状として、その基本形状からのAppearance(見え方)の変化(歪み)を表現したモデル。
ある人の顔をAAMでモデル化しておくと、その人の表情変化した顔に対して顔の見え方(Appearance)がどのように変化した(歪んだ)かを知る事ができる。
AAMの構造はシンプルで、顔の形(shape)と見え方(appearance)がそれぞれ単純な線形結合として表現されている。

【チュートリアル】 Active Appearace Models(入門編)
Iain Matthews:映画Avatarの顔表情キャプチャシステムを開発した研究者

関連記事

CGのためのディープラーニング

DensePose:画像中の人物表面のUV座標を推定する

OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

OpenCV 3.3.0-RCでsfmモジュールをビルド

Accord.NET Framework:C#で使える機械学習ライブラリ

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

hloc:SuperGlueで精度を向上させたSfM実装

cvui:OpenCVのための軽量GUIライブラリ

OpenCV 3.1のsfmモジュールのビルド再び

openMVGをWindows10 Visual Studio 2015環境でビルドする

BlenderでPhotogrammetryできるアドオン

SDカードサイズのコンピューター『Intel Edison』

Runway ML:クリエイターのための機械学習ツール

海外ドラマのChromaKey

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

NeRF (Neural Radiance Fields):深層学習による新規視点合成

続・ディープラーニングの資料

ニューラルネットワークで画像分類

OpenCVでiPhone6sのカメラをキャリブレーションする

ディープラーニング

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

BGSLibrary:OpenCVベースの背景差分ライブラリ

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

Qlone:スマホのカメラで3Dスキャンできるアプリ

TorchStudio:PyTorchのための統合開発環境とエコシステム

Fast R-CNN:ディープラーニングによる一般物体検出手法

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』

Kubric:機械学習用アノテーション付き動画生成パイプライン

機械学習について最近知った情報

Rerun:マルチモーダルデータの可視化アプリとSDK

Googleが画像解析旅行ガイドアプリのJetpac社を買収

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

OpenCV 3.1から追加されたSfMモジュール

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

Kinect for Windows V2のプレオーダー開始

viser:Pythonで使える3D可視化ライブラリ

Google Colaboratoryで遊ぶ準備

U-Net:ディープラーニングによるSemantic Segmentation手法

Facebookの顔認証技術『DeepFace』

コメント