Active Appearance Models（AAM）

勉強のためのメモ。
最近こちらの資料を見ていて、顔の器官を検出する手法っていっぱい研究されてるんだなぁ、と。

非技術者でもわかる（？）コンピュータビジョン紹介資料 from Minagawa Takuya

そして、器官の検出の手法って、トラッキングとニアリーのようで。

器官の追跡は、ただのオプティカルフロートラッキングではなくて、顔に適した幾何学的制約を設けて推定するアプローチが基本みたい。
よく聞くAAM(Active Appearance Models)は、ある特徴点群の配置を基本形状として、その基本形状からのAppearance(見え方)の変化（歪み）を表現したモデル。
ある人の顔をAAMでモデル化しておくと、その人の表情変化した顔に対して顔の見え方(Appearance)がどのように変化した(歪んだ)かを知る事ができる。
AAMの構造はシンプルで、顔の形(shape)と見え方(appearance)がそれぞれ単純な線形結合として表現されている。

【チュートリアル】 Active Appearace Models（入門編）
Iain Matthews：映画Avatarの顔表情キャプチャシステムを開発した研究者

OpenAR：OpenCVベースのマーカーARライブラリ

OpenSfM：PythonのStructure from Motionライブラリ

OpenCVの顔検出過程を可視化した動画

複数画像から3次元形状を再構築するライブラリ『Multi-View Environment』

Pix2Pix：CGANによる画像変換

AfterEffectsプラグイン開発

OpenCVの三角測量関数『cv::triangulatepoints』

スクラッチで既存のキャラクターを立体化したい

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

Google Colaboratoryで遊ぶ準備

Point Cloud Libraryに動画フォーマットが追加されるらしい

OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる