Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
OpenCV 3.3.0-RCでsfmモジュールをビルド
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Qlone：スマホのカメラで3Dスキャンできるアプリ
Theia：オープンソースのStructure from M...
書籍『イラストで学ぶ ディープラーニング』
Mask R-CNN：ディープラーニングによる一般物体検出・...
Adobe MAX 2015
Fast R-CNN：ディープラーニングによる一般物体検出手...
OpenCVで顔のモーフィングを実装する
OpenSfM：PythonのStructure from ...
FCN (Fully Convolutional Netwo...
NeRF (Neural Radiance Fields)：...
Kornia：微分可能なコンピュータービジョンライブラリ
Multi-View Environment：複数画像から3...
Google Colaboratoryで遊ぶ準備
Autodesk Mementoでゴジラを3次元復元する
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Open3D：3Dデータ処理ライブラリ
Alice Vision：オープンソースのPhotogram...
hloc：SuperGlueで精度を向上させたSfM・Vis...
3D Gaussian Splatting：リアルタイム描画...
画像生成AI Stable Diffusionで遊ぶ
海外ドラマのChromaKey
OpenCVの超解像(SuperResolution)モジュ...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
オープンソースの顔認識フレームワーク『OpenBR』
Regard3D：オープンソースのStructure fro...
TensorFlowでCGを微分できる『TensorFlow...
Rerun：マルチモーダルデータの可視化アプリとSDK
続・ディープラーニングの資料
第25回コンピュータビジョン勉強会＠関東に行って来た
機械学習手法『Random Forest』
OpenGVのライブラリ構成
VGGT：マルチビュー・フィードフォワード型3Dビジョン基盤...
OpenCV 3.1のsfmモジュールを試す
BGSLibrary：OpenCVベースの背景差分ライブラリ
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
畳み込みニューラルネットワーク (CNN: Convolut...
OpenCV 3.1から追加されたSfMモジュール
機械学習について最近知った情報
書籍『OpenCV 3 プログラミングブック』を購入
Polyscope：3Dデータ操作用GUIライブラリ
コメント