Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
オープンソースのロボットアプリケーションフレームワーク『RO...
Autodesk Mementoでゴジラを3次元復元する
CycleGAN：ドメイン関係を学習した画像変換
CGのためのディープラーニング
RefineNet (Multi-Path Refineme...
DCGAN (Deep Convolutional GAN)...
Faceshiftで表情をキャプチャしてBlender上でM...
Structure from Motion (多視点画像から...
UnityでPoint Cloudを表示する方法
第25回コンピュータビジョン勉強会＠関東に行って来た
OpenGVの用語
DUSt3R：3Dコンピュータービジョンの基盤モデル
PeopleSansPeople：機械学習用の人物データをU...
OpenCVの超解像(SuperResolution)モジュ...
今年もSSII
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
Adobe MAX 2015
Theia：オープンソースのStructure from M...
Live CV：インタラクティブにComputer Visi...
3D Gaussian Splatting：リアルタイム描画...
viser：Pythonで使える3D可視化ライブラリ
Paul Debevec
TensorSpace.js：ニューラルネットワークの構造を...
画像生成AI Stable Diffusionで遊ぶ
Blendify：コンピュータービジョン向けBlenderラ...
Kinect for Windows V2のプレオーダー開始
DensePose：画像中の人物表面のUV座標を推定する
SSII2014 チュートリアル講演会の資料
hloc：SuperGlueで精度を向上させたSfM・Vis...
Kinect for Windows v2の日本価格決定
OpenMVSのサンプルを動かしてみる
ニューラルネットワークで画像分類
NeRF (Neural Radiance Fields)：...
Rerun：マルチモーダルデータの可視化アプリとSDK
COLMAP：オープンソースのSfM・MVSツール
Faster R-CNN：ディープラーニングによる一般物体検...
Point Cloud Utils：Pythonで3D点群・...
openMVG：複数視点画像から3次元形状を復元するライブラ...
TensorFlowでCGを微分できる『TensorFlow...
オープンソースの顔の動作解析ツールキット『OpenFace』
OpenCV 3.1のsfmモジュールを試す
FCN (Fully Convolutional Netwo...
コメント