Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
機械学習手法『Random Forest』
OpenCV 3.3.0 contribのsfmモジュールの...
3D Gaussian Splatting：リアルタイム描画...
OpenCV 3.1とopencv_contribモジュール...
Photogrammetry (写真測量法)
Paul Debevec
GAN (Generative Adversarial Ne...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Runway ML：クリエイターのための機械学習ツール
Digital Emily Project：人間の顔をそっく...
SSII2014 チュートリアル講演会の資料
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
OpenCVでiPhone6sのカメラをキャリブレーションす...
GoogleのDeep Learning論文
CNN Explainer：畳み込みニューラルネットワーク可...
OpenGVのライブラリ構成
SDカードサイズのコンピューター『Intel Edison』
TensorFlowでCGを微分できる『TensorFlow...
Kinect for Windows v2の日本価格決定
Super Resolution：OpenCVの超解像処理モ...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
OpenCVで顔のランドマークを検出する『Facemark ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
AfterEffectsプラグイン開発
スクラッチで既存のキャラクターを立体化したい
SSD (Single Shot Multibox Dete...
RefineNet (Multi-Path Refineme...
PGGAN：段階的に解像度を上げて学習を進めるGAN
TensorSpace.js：ニューラルネットワークの構造を...
BlenderProc：Blenderで機械学習用の画像デー...
hloc：SuperGlueで精度を向上させたSfM・Vis...
OpenGVの用語
海外ドラマのChromaKey
UnrealCV：コンピュータビジョン研究のためのUnrea...
Alice Vision：オープンソースのPhotogram...
PSPNet (Pyramid Scene Parsing ...
OpenFace：Deep Neural Networkによ...
Google製オープンソース機械学習ライブラリ『Tensor...
Faceshiftで表情をキャプチャしてBlender上でM...
OpenCV3.3.0でsfmモジュールのビルドに成功！
Active Appearance Models（AAM）
Faster R-CNN：ディープラーニングによる一般物体検...
コメント