Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Dlib：C++の機械学習ライブラリ
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Regard3D：オープンソースのStructure fro...
BlenderProc：Blenderで機械学習用の画像デー...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Open3D：3Dデータ処理ライブラリ
OpenCVで平均顔を作るチュートリアル
MVStudio：オープンソースのPhotogrammetr...
Alice Vision：オープンソースのPhotogram...
AfterEffectsプラグイン開発
続・ディープラーニングの資料
OpenCV 3.1のsfmモジュールのビルド再び
OpenCVで顔のモーフィングを実装する
GAN (Generative Adversarial Ne...
Google製オープンソース機械学習ライブラリ『Tensor...
コンピュータビジョンの技術マップ
openMVGをWindows10 Visual Studi...
OpenSfM：PythonのStructure from ...
オープンソースの顔の動作解析ツールキット『OpenFace』
UnityでPoint Cloudを表示する方法
Google Colaboratoryで遊ぶ準備
cvui：OpenCVのための軽量GUIライブラリ
Super Resolution：OpenCVの超解像処理モ...
SDカードサイズのコンピューター『Intel Edison』
PSPNet (Pyramid Scene Parsing ...
SSD (Single Shot Multibox Dete...
CGのためのディープラーニング
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
PCA (主成分分析)
hloc：SuperGlueで精度を向上させたSfM・Vis...
畳み込みニューラルネットワーク (CNN: Convolut...
Digital Emily Project：人間の顔をそっく...
OpenCVの超解像(SuperResolution)モジュ...
ベイズ推定とグラフィカルモデル
ニューラルネットワークと深層学習
Faster R-CNN：ディープラーニングによる一般物体検...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Photogrammetry (写真測量法)
iPhoneで3D写真が撮れるアプリ『seene』
Point Cloud Libraryに動画フォーマットが追...
Multi-View Environment：複数画像から3...
コメント