Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
3D復元技術の情報リンク集
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Qlone：スマホのカメラで3Dスキャンできるアプリ
OpenMVSのサンプルを動かしてみる
FCN (Fully Convolutional Netwo...
OpenCV
海外ドラマのChromaKey
OpenCV 3.3.0-RCでsfmモジュールをビルド
PCA (主成分分析)
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
openMVG：複数視点画像から3次元形状を復元するライブラ...
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
OpenCVで顔のモーフィングを実装する
ベイズ推定とグラフィカルモデル
TorchStudio：PyTorchのための統合開発環境と...
YOLO (You Only Look Once)：ディープ...
ニューラルネットワークと深層学習
OpenGVの用語
Structure from Motion (多視点画像から...
AfterEffectsプラグイン開発
DensePose：画像中の人物表面のUV座標を推定する
Google Colaboratoryで遊ぶ準備
書籍『ゼロから作るDeep Learning』で自分なりに学...
TensorSpace.js：ニューラルネットワークの構造を...
Theia：オープンソースのStructure from M...
OpenCVで平均顔を作るチュートリアル
Open3D：3Dデータ処理ライブラリ
Autodesk Mementoでゴジラを3次元復元する
畳み込みニューラルネットワーク (CNN: Convolut...
Point Cloud Utils：Pythonで3D点群・...
Photogrammetry (写真測量法)
OpenCV 3.1とopencv_contribモジュール...
Composition Rendering：Blenderに...
R-CNN (Regions with CNN featur...
OpenCVで顔のランドマークを検出する『Facemark ...
Mask R-CNN：ディープラーニングによる一般物体検出・...
PSPNet (Pyramid Scene Parsing ...
OpenFace：Deep Neural Networkによ...
顔画像処理技術の過去の研究
CGのためのディープラーニング
Multi-View Environment：複数画像から3...
RefineNet (Multi-Path Refineme...
コメント