Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
CGのためのディープラーニング
Structure from Motion (多視点画像から...
Digital Emily Project：人間の顔をそっく...
OpenCV 3.3.0 contribのsfmモジュールの...
OpenCVで平均顔を作るチュートリアル
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
CycleGAN：ドメイン関係を学習した画像変換
NeRF (Neural Radiance Fields)：...
TensorFlowでCGを微分できる『TensorFlow...
スクラッチで既存のキャラクターを立体化したい
画像生成AI Stable Diffusionで遊ぶ
TensorSpace.js：ニューラルネットワークの構造を...
オープンソースの顔の動作解析ツールキット『OpenFace』
SSD (Single Shot Multibox Dete...
機械学習について最近知った情報
PGGAN：段階的に解像度を上げて学習を進めるGAN
ポイントクラウドコンソーシアム
FreeMoCap Project：オープンソースのマーカー...
DUSt3R：3Dコンピュータービジョンの基盤モデル
Paul Debevec
OpenCVでPhotoshopのプラグイン開発
OpenCVで顔のランドマークを検出する『Facemark ...
OpenCVでiPhone6sのカメラをキャリブレーションす...
Active Appearance Models（AAM）
BGSLibrary：OpenCVベースの背景差分ライブラリ
Multi-View Environment：複数画像から3...
OpenCVの超解像(SuperResolution)モジュ...
Rerun：マルチモーダルデータの可視化アプリとSDK
FCN (Fully Convolutional Netwo...
OpenCVのfindEssentialMat関数を使ったサ...
UnityでOpenCVを使うには？
iPadをハンディ3Dスキャナにするガジェット『iSense...
OpenCV
オープンソースのロボットアプリケーションフレームワーク『RO...
Adobe MAX 2015
OpenMVS：Multi-View Stereoによる3次...
書籍『OpenCV 3 プログラミングブック』を購入
OpenCVで顔のモーフィングを実装する
海外ドラマのChromaKey
Polyscope：3Dデータ操作用GUIライブラリ
OpenGVのライブラリ構成
OpenCVのバージョン3が正式リリースされたぞ
コメント