Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Polyscope：3Dデータ操作用GUIライブラリ
DensePose：画像中の人物表面のUV座標を推定する
オープンソースの顔の動作解析ツールキット『OpenFace』
続・ディープラーニングの資料
OpenCVで顔のランドマークを検出する『Facemark ...
PSPNet (Pyramid Scene Parsing ...
OpenCVで動画の手ぶれ補正
PGGAN：段階的に解像度を上げて学習を進めるGAN
TeleSculptor：空撮動画からPhotogramme...
Kinect for Windows v2の日本価格決定
OpenCVでカメラ画像から自己位置認識 (Visual O...
Regard3D：オープンソースのStructure fro...
CNN Explainer：畳み込みニューラルネットワーク可...
SDカードサイズのコンピューター『Intel Edison』
Alice Vision：オープンソースのPhotogram...
UnityでOpenCVを使うには？
ポイントクラウドコンソーシアム
OpenCV 3.1のsfmモジュールを試す
DUSt3R：3Dコンピュータービジョンの基盤モデル
Active Appearance Models（AAM）
iPadをハンディ3Dスキャナにするガジェット『iSense...
Digital Emily Project：人間の顔をそっく...
OpenSfM：PythonのStructure from ...
CGAN (Conditional GAN)：条件付き敵対的...
NeRF (Neural Radiance Fields)：...
GoogleのDeep Learning論文
SegNet：ディープラーニングによるSemantic Se...
OpenCVの超解像(SuperResolution)モジュ...
Blendify：コンピュータービジョン向けBlenderラ...
PeopleSansPeople：機械学習用の人物データをU...
OpenCVで平均顔を作るチュートリアル
FreeMoCap Project：オープンソースのマーカー...
SSII 2014 デモンストレーションセッションのダイジェ...
BGSLibrary：OpenCVベースの背景差分ライブラリ
Qlone：スマホのカメラで3Dスキャンできるアプリ
Structure from Motion (多視点画像から...
Paul Debevec
hloc：SuperGlueで精度を向上させたSfM・Vis...
openMVG：複数視点画像から3次元形状を復元するライブラ...
Facebookの顔認証技術『DeepFace』
スクラッチで既存のキャラクターを立体化したい
Point Cloud Consortiumのセミナー「3D...
コメント