Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
TensorFlowでCGを微分できる『TensorFlow...
ベイズ推定とグラフィカルモデル
Regard3D：オープンソースのStructure fro...
Facebookの顔認証技術『DeepFace』
OpenCVで平均顔を作るチュートリアル
OpenCV
CGAN (Conditional GAN)：条件付き敵対的...
OpenCV 3.3.0-RCでsfmモジュールをビルド
Theia：オープンソースのStructure from M...
OpenCVで顔のモーフィングを実装する
Rerun：マルチモーダルデータの可視化アプリとSDK
OpenCVで顔のランドマークを検出する『Facemark ...
顔追跡による擬似3D表示『Dynamic Perspecti...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
OpenGVの用語
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
bpy-renderer：レンダリング用Pythonパッケー...
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
OpenSfM：PythonのStructure from ...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
続・ディープラーニングの資料
Kornia：微分可能なコンピュータービジョンライブラリ
FreeMoCap Project：オープンソースのマーカー...
OpenCVでiPhone6sのカメラをキャリブレーションす...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
FCN (Fully Convolutional Netwo...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
openMVG：複数視点画像から3次元形状を復元するライブラ...
Adobe MAX 2015
cvui：OpenCVのための軽量GUIライブラリ
Alice Vision：オープンソースのPhotogram...
Pix2Pix：CGANによる画像変換
Google製オープンソース機械学習ライブラリ『Tensor...
DensePose：画像中の人物表面のUV座標を推定する
OpenFace：Deep Neural Networkによ...
MeshroomでPhotogrammetry
MVStudio：オープンソースのPhotogrammetr...
Kinect for Windows V2のプレオーダー開始
Dlib：C++の機械学習ライブラリ
viser：Pythonで使える3D可視化ライブラリ
SegNet：ディープラーニングによるSemantic Se...
TeleSculptor：空撮動画からPhotogramme...
コメント