Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Iridescence：プロトタイピング向け軽量3D可視化ラ...
OpenAR：OpenCVベースのマーカーARライブラリ
OpenGVの用語
fSpy：1枚の写真からカメラパラメーターを割り出すツール
UnrealCV：コンピュータビジョン研究のためのUnrea...
2D→3D復元技術で使われる用語まとめ
スクラッチで既存のキャラクターを立体化したい
Alice Vision：オープンソースのPhotogram...
ベイズ推定とグラフィカルモデル
OpenCVの三角測量関数『cv::triangulatep...
続・ディープラーニングの資料
書籍『OpenCV 3 プログラミングブック』を購入
PGGAN：段階的に解像度を上げて学習を進めるGAN
CycleGAN：ドメイン関係を学習した画像変換
bpy-renderer：レンダリング用Pythonパッケー...
Cartographer：オープンソースのSLAMライブラリ
ニューラルネットワークと深層学習
CGAN (Conditional GAN)：条件付き敵対的...
コンピュータビジョンの技術マップ
SegNet：ディープラーニングによるSemantic Se...
openMVG：複数視点画像から3次元形状を復元するライブラ...
OpenCV
OpenCV 3.1のsfmモジュールを試す
FreeMoCap Project：オープンソースのマーカー...
OpenCVで顔のランドマークを検出する『Facemark ...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
3D復元技術の情報リンク集
Live CV：インタラクティブにComputer Visi...
OpenCVのバージョン3が正式リリースされたぞ
iPhoneで3D写真が撮れるアプリ『seene』
OpenFace：Deep Neural Networkによ...
OpenCV バージョン4がリリースされた！
顔追跡による擬似3D表示『Dynamic Perspecti...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Kinect for Windows V2のプレオーダー開始
BlenderでPhotogrammetryできるアドオン
PeopleSansPeople：機械学習用の人物データをU...
FacebookがDeep learningツールの一部をオ...
SSII2014 チュートリアル講演会の資料
OpenCVの顔検出過程を可視化した動画
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
オープンソースの顔の動作解析ツールキット『OpenFace』
コメント