Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
スポンサーリンク
中略(統計モデルを求める計算方法)
スポンサーリンク
平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
スポンサーリンク
関連記事
SegNet：ディープラーニングによるSemantic Segmentation手法
Leap MotionでMaya上のオブジェクトを操作できるプラグイン
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
ベイズ推定とグラフィカルモデル
オープンソースの顔の動作解析ツールキット『OpenFace』
CNN Explainer：畳み込みニューラルネットワーク可視化ツール
2D→3D復元技術で使われる用語まとめ
人間の顔をそっくりそのままCGで復元する『Digital Emily Project』
機械学習について最近知った情報
顔画像処理技術の過去の研究
OpenCVベースのマーカーARライブラリ『OpenAR』
3Dコンピュータービジョンライブラリ『PyTorch3D』
書籍『イラストで学ぶ ディープラーニング』
Paul Debevec
Structure from Motion (多視点画像からの3次元形状復元)
Mask R-CNN：ディープラーニングによる一般物体検出・Instance Segmentatio...
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
ディープラーニング
DCGAN (Deep Convolutional GAN)：畳み込みニューラルネットワークによる敵...
FCN (Fully Convolutional Network)：ディープラーニングによるSema...
SSII2014 チュートリアル講演会の資料
R-CNN (Regions with CNN features)：ディープラーニングによる一般物体...
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
機械学習手法『Random Forest』
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
C#で使える機械学習ライブラリ『Accord.NET Framework』
ニューラルネットワークと深層学習
OpenCVの顔検出過程を可視化した動画
YOLO (You Only Look Once)：ディープラーニングによる一般物体検出手法
UnrealCV：コンピュータビジョン研究のためのUnreal Engineプラグイン
OpenCV 3.1から追加されたSfMモジュール
第25回コンピュータビジョン勉強会＠関東に行って来た
Adobe MAX 2015
オープンソースのStructure from Motionライブラリ『Theia』
Pix2Pix：CGANによる画像変換
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
SSII 2014 デモンストレーションセッションのダイジェスト動画
openMVGをWindows10 Visual Studio 2015環境でビルドする
OpenCVの超解像(SuperResolution)モジュールを試す
OpenCVの三角測量関数『cv::triangulatepoints』
UnityでOpenCVを使うには？
コメント