Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Active Appearance Models（AAM）
Open3D：3Dデータ処理ライブラリ
3D Gaussian Splatting：リアルタイム描画...
Point Cloud Consortiumのセミナー「3D...
UnityでOpenCVを使うには？
OpenCV 3.1から追加されたSfMモジュール
PCA (主成分分析)
Accord.NET Framework：C#で使える機械学...
COLMAP：オープンソースのSfM・MVSツール
CGAN (Conditional GAN)：条件付き敵対的...
UnrealCV：コンピュータビジョン研究のためのUnrea...
OpenCV 3.1とopencv_contribモジュール...
OpenCV 3.3.0 contribのsfmモジュールの...
GoogleのDeep Learning論文
画像認識による位置情報取得 - Semi-Direct Mo...
BlenderProc：Blenderで機械学習用の画像デー...
オープンソースの顔認識フレームワーク『OpenBR』
顔追跡による擬似3D表示『Dynamic Perspecti...
オープンソースの顔の動作解析ツールキット『OpenFace』
OpenCV3.3.0でsfmモジュールのビルドに成功！
Alice Vision：オープンソースのPhotogram...
OpenCV バージョン4がリリースされた！
OpenMVSのサンプルを動かしてみる
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
YOLO (You Only Look Once)：ディープ...
Google製オープンソース機械学習ライブラリ『Tensor...
ArUco：OpenCVベースのコンパクトなARライブラリ
Composition Rendering：Blenderに...
Kinect for Windows v2の日本価格決定
OpenCVのバージョン3が正式リリースされたぞ
ニューラルネットワークと深層学習
PeopleSansPeople：機械学習用の人物データをU...
Photogrammetry (写真測量法)
畳み込みニューラルネットワーク (CNN: Convolut...
Blendify：コンピュータービジョン向けBlenderラ...
ベイズ推定とグラフィカルモデル
Google Colaboratoryで遊ぶ準備
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
FreeMoCap Project：オープンソースのマーカー...
OpenCVでカメラ画像から自己位置認識 (Visual O...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Faster R-CNN：ディープラーニングによる一般物体検...
コメント