Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
OpenCVで顔のランドマークを検出する『Facemark ...
Alice Vision：オープンソースのPhotogram...
OpenCVでiPhone6sのカメラをキャリブレーションす...
Dlib：C++の機械学習ライブラリ
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
OpenCV 3.1とopencv_contribモジュール...
BGSLibrary：OpenCVベースの背景差分ライブラリ
Structure from Motion (多視点画像から...
hloc：SuperGlueで精度を向上させたSfM・Vis...
FacebookがDeep learningツールの一部をオ...
CNN Explainer：畳み込みニューラルネットワーク可...
DensePose：画像中の人物表面のUV座標を推定する
TensorSpace.js：ニューラルネットワークの構造を...
OpenCV バージョン4がリリースされた！
Point Cloud Utils：Pythonで3D点群・...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
SegNet：ディープラーニングによるSemantic Se...
Google Colaboratoryで遊ぶ準備
ディープラーニング
GAN (Generative Adversarial Ne...
オープンソースの顔の動作解析ツールキット『OpenFace』
SSD (Single Shot Multibox Dete...
OpenCV 3.1のsfmモジュールを試す
Mask R-CNN：ディープラーニングによる一般物体検出・...
OpenSfM：PythonのStructure from ...
iPhoneで3D写真が撮れるアプリ『seene』
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Googleが画像解析旅行ガイドアプリのJetpac社を買収
今年もSSII
CGのためのディープラーニング
OpenCVの三角測量関数『cv::triangulatep...
OpenCVでカメラ画像から自己位置認識 (Visual O...
Adobe MAX 2015
第25回コンピュータビジョン勉強会＠関東に行って来た
Faceshiftで表情をキャプチャしてBlender上でM...
OpenCVで顔のモーフィングを実装する
Live CV：インタラクティブにComputer Visi...
Autodesk Mementoでゴジラを3次元復元する
OpenCV 3.3.0-RCでsfmモジュールをビルド
Fast R-CNN：ディープラーニングによる一般物体検出手...
3D Gaussian Splatting：リアルタイム描画...
コメント