Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Kubric：機械学習用アノテーション付き動画生成パイプライ...
3D復元技術の情報リンク集
ニューラルネットワークで画像分類
RefineNet (Multi-Path Refineme...
オープンソースの顔の動作解析ツールキット『OpenFace』
GoogleのDeep Learning論文
OpenCVでカメラ画像から自己位置認識 (Visual O...
Google製オープンソース機械学習ライブラリ『Tensor...
Googleが画像解析旅行ガイドアプリのJetpac社を買収
TeleSculptor：空撮動画からPhotogramme...
OpenCVで顔のランドマークを検出する『Facemark ...
OpenMVSのサンプルを動かしてみる
PGGAN：段階的に解像度を上げて学習を進めるGAN
CycleGAN：ドメイン関係を学習した画像変換
MVStudio：オープンソースのPhotogrammetr...
3D Gaussian Splatting：リアルタイム描画...
Autodesk Mementoでゴジラを3次元復元する
ニューラルネットワークと深層学習
OpenCV3.3.0でsfmモジュールのビルドに成功！
Active Appearance Models（AAM）
CNN Explainer：畳み込みニューラルネットワーク可...
Accord.NET Framework：C#で使える機械学...
openMVG：複数視点画像から3次元形状を復元するライブラ...
OpenCVでPhotoshopのプラグイン開発
OpenGVのライブラリ構成
UnrealCV：コンピュータビジョン研究のためのUnrea...
FCN (Fully Convolutional Netwo...
コンピュータビジョンの技術マップ
Composition Rendering：Blenderに...
Digital Emily Project：人間の顔をそっく...
Photogrammetry (写真測量法)
第25回コンピュータビジョン勉強会＠関東に行って来た
Fast R-CNN：ディープラーニングによる一般物体検出手...
Leap MotionでMaya上のオブジェクトを操作できる...
ArUco：OpenCVベースのコンパクトなARライブラリ
機械学習手法『Random Forest』
YOLO (You Only Look Once)：ディープ...
オープンソースの顔認識フレームワーク『OpenBR』
OpenCV バージョン4がリリースされた！
OpenCV 3.1から追加されたSfMモジュール
Blendify：コンピュータービジョン向けBlenderラ...
OpenCVで動画の手ぶれ補正
コメント