Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
DCGAN (Deep Convolutional GAN)...
Theia：オープンソースのStructure from M...
BlenderでPhotogrammetryできるアドオン
Google製オープンソース機械学習ライブラリ『Tensor...
YOLO (You Only Look Once)：ディープ...
Point Cloud Libraryに動画フォーマットが追...
画像認識による位置情報取得 - Semi-Direct Mo...
BGSLibrary：OpenCVベースの背景差分ライブラリ
AfterEffectsプラグイン開発
続・ディープラーニングの資料
Googleが画像解析旅行ガイドアプリのJetpac社を買収
COLMAP：オープンソースのSfM・MVSツール
第25回コンピュータビジョン勉強会＠関東に行って来た
3D復元技術の情報リンク集
iPhoneで3D写真が撮れるアプリ『seene』
BlenderProc：Blenderで機械学習用の画像デー...
SSII 2014 デモンストレーションセッションのダイジェ...
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
FacebookがDeep learningツールの一部をオ...
PyTorch3D：3Dコンピュータービジョンライブラリ
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
Point Cloud Utils：Pythonで3D点群・...
CNN Explainer：畳み込みニューラルネットワーク可...
OpenCVで動画の手ぶれ補正
Caffe：読みやすくて高速なディープラーニングのフレームワ...
SSII2014 チュートリアル講演会の資料
FreeMoCap Project：オープンソースのマーカー...
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
viser：Pythonで使える3D可視化ライブラリ
OpenCVのバージョン3が正式リリースされたぞ
Super Resolution：OpenCVの超解像処理モ...
SegNet：ディープラーニングによるSemantic Se...
ニューラルネットワークで画像分類
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
Accord.NET Framework：C#で使える機械学...
機械学習について最近知った情報
SSD (Single Shot Multibox Dete...
GoogleのDeep Learning論文
機械学習手法『Random Forest』
openMVG：複数視点画像から3次元形状を復元するライブラ...
Adobe MAX 2015
OpenCV 3.3.0 contribのsfmモジュールの...
コメント