Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
VGGT：マルチビュー・フィードフォワード型3Dビジョン基盤...
オープンソースのロボットアプリケーションフレームワーク『RO...
OpenCVの超解像(SuperResolution)モジュ...
OpenCV 3.1とopencv_contribモジュール...
Adobe MAX 2015
openMVGをWindows10 Visual Studi...
OpenCV3.3.0でsfmモジュールのビルドに成功！
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
OpenGVのライブラリ構成
OpenCV 3.3.0 contribのsfmモジュールの...
Mask R-CNN：ディープラーニングによる一般物体検出・...
YOLO (You Only Look Once)：ディープ...
Regard3D：オープンソースのStructure fro...
CGのためのディープラーニング
Kinect for Windows v2の日本価格決定
PyTorch3D：3Dコンピュータービジョンライブラリ
CNN Explainer：畳み込みニューラルネットワーク可...
Cartographer：オープンソースのSLAMライブラリ
Point Cloud Utils：Pythonで3D点群・...
書籍『OpenCV 3 プログラミングブック』を購入
BGSLibrary：OpenCVベースの背景差分ライブラリ
FCN (Fully Convolutional Netwo...
RefineNet (Multi-Path Refineme...
OpenCVで顔のランドマークを検出する『Facemark ...
NeRF (Neural Radiance Fields)：...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
OpenCVのfindEssentialMat関数を使ったサ...
SegNet：ディープラーニングによるSemantic Se...
SSII2014 チュートリアル講演会の資料
書籍『ゼロから作るDeep Learning』で自分なりに学...
Pix2Pix：CGANによる画像変換
DensePose：画像中の人物表面のUV座標を推定する
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
Qlone：スマホのカメラで3Dスキャンできるアプリ
Autodesk Mementoでゴジラを3次元復元する
機械学習について最近知った情報
SDカードサイズのコンピューター『Intel Edison』
続・ディープラーニングの資料
機械学習手法『Random Forest』
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
iPadをハンディ3Dスキャナにするガジェット『iSense...
Active Appearance Models（AAM）
コメント