Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Theia：オープンソースのStructure from M...
Google Colaboratoryで遊ぶ準備
SegNet：ディープラーニングによるSemantic Se...
顔追跡による擬似3D表示『Dynamic Perspecti...
Leap MotionでMaya上のオブジェクトを操作できる...
Open3D：3Dデータ処理ライブラリ
機械学習について最近知った情報
Blendify：コンピュータービジョン向けBlenderラ...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
SSII2014 チュートリアル講演会の資料
Autodesk Mementoでゴジラを3次元復元する
FacebookがDeep learningツールの一部をオ...
Fast R-CNN：ディープラーニングによる一般物体検出手...
SDカードサイズのコンピューター『Intel Edison』
UnityでOpenCVを使うには？
OpenCVで平均顔を作るチュートリアル
OpenCVでPhotoshopのプラグイン開発
OpenFace：Deep Neural Networkによ...
OpenMVSのサンプルを動かしてみる
VGGT：マルチビュー・フィードフォワード型3Dビジョン基盤...
Point Cloud Libraryに動画フォーマットが追...
MVStudio：オープンソースのPhotogrammetr...
3D復元技術の情報リンク集
OpenMVS：Multi-View Stereoによる3次...
OpenCVの超解像(SuperResolution)モジュ...
DCGAN (Deep Convolutional GAN)...
FreeMoCap Project：オープンソースのマーカー...
PSPNet (Pyramid Scene Parsing ...
ディープラーニング
BlenderProc：Blenderで機械学習用の画像デー...
OpenCV 3.1から追加されたSfMモジュール
Kinect for Windows v2の日本価格決定
OpenCVで動画の手ぶれ補正
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
openMVG：複数視点画像から3次元形状を復元するライブラ...
OpenCV3.3.0でsfmモジュールのビルドに成功！
NeRF (Neural Radiance Fields)：...
OpenCV 3.1のsfmモジュールのビルド再び
PCA (主成分分析)
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
コンピュータビジョンの技術マップ
コメント