Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
OpenCV 3.3.0-RCでsfmモジュールをビルド
ディープラーニング
GAN (Generative Adversarial Ne...
PyTorch3D：3Dコンピュータービジョンライブラリ
Google製オープンソース機械学習ライブラリ『Tensor...
機械学習について最近知った情報
Point Cloud Utils：Pythonで3D点群・...
UnityでPoint Cloudを表示する方法
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Faceshiftで表情をキャプチャしてBlender上でM...
DCGAN (Deep Convolutional GAN)...
書籍『イラストで学ぶ ディープラーニング』
FacebookがDeep learningツールの一部をオ...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
viser：Pythonで使える3D可視化ライブラリ
BlenderProc：Blenderで機械学習用の画像デー...
Digital Emily Project：人間の顔をそっく...
OpenCVの超解像(SuperResolution)モジュ...
BlenderでPhotogrammetryできるアドオン
UnityでOpenCVを使うには？
Multi-View Environment：複数画像から3...
Structure from Motion (多視点画像から...
BGSLibrary：OpenCVベースの背景差分ライブラリ
ベイズ推定とグラフィカルモデル
OpenGVのライブラリ構成
コンピュータビジョンの技術マップ
OpenCV バージョン4がリリースされた！
Facebookの顔認証技術『DeepFace』
オープンソースのロボットアプリケーションフレームワーク『RO...
UnrealCV：コンピュータビジョン研究のためのUnrea...
オープンソースの顔の動作解析ツールキット『OpenFace』
R-CNN (Regions with CNN featur...
2D→3D復元技術で使われる用語まとめ
OpenAR：OpenCVベースのマーカーARライブラリ
OpenCVのfindEssentialMat関数を使ったサ...
Fast R-CNN：ディープラーニングによる一般物体検出手...
書籍『ゼロから作るDeep Learning』で自分なりに学...
DUSt3R：3Dコンピュータービジョンの基盤モデル
3D復元技術の情報リンク集
OpenCVでカメラ画像から自己位置認識 (Visual O...
Mask R-CNN：ディープラーニングによる一般物体検出・...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
コメント