Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
OpenCV 3.3.0-RCでsfmモジュールをビルド
Faceshiftで表情をキャプチャしてBlender上でM...
OpenCVで顔のランドマークを検出する『Facemark ...
2D→3D復元技術で使われる用語まとめ
BlenderでPhotogrammetryできるアドオン
BGSLibrary：OpenCVベースの背景差分ライブラリ
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
OpenCV3.3.0でsfmモジュールのビルドに成功！
MVStudio：オープンソースのPhotogrammetr...
Polyscope：3Dデータ操作用GUIライブラリ
BlenderProc：Blenderで機械学習用の画像デー...
Live CV：インタラクティブにComputer Visi...
Regard3D：オープンソースのStructure fro...
COLMAP：オープンソースのSfM・MVSツール
OpenCV バージョン4がリリースされた！
Photogrammetry (写真測量法)
Active Appearance Models（AAM）
Digital Emily Project：人間の顔をそっく...
海外ドラマのChromaKey
機械学習について最近知った情報
書籍『イラストで学ぶ ディープラーニング』
Leap MotionでMaya上のオブジェクトを操作できる...
画像生成AI Stable Diffusionで遊ぶ
顔追跡による擬似3D表示『Dynamic Perspecti...
R-CNN (Regions with CNN featur...
Google製オープンソース機械学習ライブラリ『Tensor...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Pix2Pix：CGANによる画像変換
顔画像処理技術の過去の研究
ポイントクラウドコンソーシアム
続・ディープラーニングの資料
Google Colaboratoryで遊ぶ準備
OpenCV
U-Net：ディープラーニングによるSemantic Seg...
OpenCV 3.1のsfmモジュールのビルド再び
ニューラルネットワークと深層学習
openMVG：複数視点画像から3次元形状を復元するライブラ...
畳み込みニューラルネットワーク (CNN: Convolut...
DUSt3R：3Dコンピュータービジョンの基盤モデル
Adobe MAX 2015
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
Qlone：スマホのカメラで3Dスキャンできるアプリ
コメント