Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
OpenCV 3.3.0 contribのsfmモジュールの...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Point Cloud Libraryに動画フォーマットが追...
Google製オープンソース機械学習ライブラリ『Tensor...
PCA (主成分分析)
RefineNet (Multi-Path Refineme...
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
U-Net：ディープラーニングによるSemantic Seg...
スクラッチで既存のキャラクターを立体化したい
openMVGをWindows10 Visual Studi...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
Alice Vision：オープンソースのPhotogram...
fSpy：1枚の写真からカメラパラメーターを割り出すツール
COLMAP：オープンソースのSfM・MVSツール
Facebookの顔認証技術『DeepFace』
続・ディープラーニングの資料
Super Resolution：OpenCVの超解像処理モ...
OpenCVの超解像(SuperResolution)モジュ...
Autodesk Mementoでゴジラを3次元復元する
Open3D：3Dデータ処理ライブラリ
Rerun：マルチモーダルデータの可視化アプリとSDK
PeopleSansPeople：機械学習用の人物データをU...
オープンソースの顔の動作解析ツールキット『OpenFace』
SDカードサイズのコンピューター『Intel Edison』
SSII 2014 デモンストレーションセッションのダイジェ...
SegNet：ディープラーニングによるSemantic Se...
Digital Emily Project：人間の顔をそっく...
OpenCVでPhotoshopのプラグイン開発
機械学習について最近知った情報
TeleSculptor：空撮動画からPhotogramme...
TorchStudio：PyTorchのための統合開発環境と...
YOLO (You Only Look Once)：ディープ...
ベイズ推定とグラフィカルモデル
Active Appearance Models（AAM）
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
Composition Rendering：Blenderに...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
CGAN (Conditional GAN)：条件付き敵対的...
今年もSSII
SSD (Single Shot Multibox Dete...
Dlib：C++の機械学習ライブラリ
OpenCV 3.1から追加されたSfMモジュール
コメント