Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Mask R-CNN：ディープラーニングによる一般物体検出・...
OpenCV バージョン4がリリースされた！
Leap MotionでMaya上のオブジェクトを操作できる...
Open3D：3Dデータ処理ライブラリ
顔追跡による擬似3D表示『Dynamic Perspecti...
機械学習手法『Random Forest』
Kubric：機械学習用アノテーション付き動画生成パイプライ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
OpenCV
Google Colaboratoryで遊ぶ準備
オープンソースのロボットアプリケーションフレームワーク『RO...
海外ドラマのChromaKey
Point Cloud Utils：Pythonで3D点群・...
GAN (Generative Adversarial Ne...
ポイントクラウドコンソーシアム
OpenCVで動画の手ぶれ補正
OpenCVでiPhone6sのカメラをキャリブレーションす...
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
OpenCVのfindEssentialMat関数を使ったサ...
Kornia：微分可能なコンピュータービジョンライブラリ
画像認識による位置情報取得 - Semi-Direct Mo...
Polyscope：3Dデータ操作用GUIライブラリ
ArUco：OpenCVベースのコンパクトなARライブラリ
書籍『OpenCV 3 プログラミングブック』を購入
書籍『ゼロから作るDeep Learning』で自分なりに学...
Google製オープンソース機械学習ライブラリ『Tensor...
DensePose：画像中の人物表面のUV座標を推定する
OpenCV 3.1のsfmモジュールを試す
SDカードサイズのコンピューター『Intel Edison』
OpenCVで顔のランドマークを検出する『Facemark ...
3D Gaussian Splatting：リアルタイム描画...
SSD (Single Shot Multibox Dete...
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
BGSLibrary：OpenCVベースの背景差分ライブラリ
ベイズ推定とグラフィカルモデル
iPadをハンディ3Dスキャナにするガジェット『iSense...
hloc：SuperGlueで精度を向上させたSfM・Vis...
OpenGVの用語
UnityでPoint Cloudを表示する方法
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
CNN Explainer：畳み込みニューラルネットワーク可...
openMVG：複数視点画像から3次元形状を復元するライブラ...
コメント