Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
PeopleSansPeople：機械学習用の人物データをU...
海外ドラマのChromaKey
SSII2014 チュートリアル講演会の資料
OpenCVの超解像(SuperResolution)モジュ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
機械学習手法『Random Forest』
OpenCV3.3.0でsfmモジュールのビルドに成功！
OpenCV 3.1のsfmモジュールを試す
FacebookがDeep learningツールの一部をオ...
Kinect for Windows V2のプレオーダー開始
ベイズ推定とグラフィカルモデル
オープンソースの顔認識フレームワーク『OpenBR』
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Kinect for Windows v2の日本価格決定
OpenCVで動画の手ぶれ補正
ディープラーニング
3D Gaussian Splatting：リアルタイム描画...
OpenMVS：Multi-View Stereoによる3次...
顔画像処理技術の過去の研究
CNN Explainer：畳み込みニューラルネットワーク可...
Theia：オープンソースのStructure from M...
Blendify：コンピュータービジョン向けBlenderラ...
TeleSculptor：空撮動画からPhotogramme...
Googleが画像解析旅行ガイドアプリのJetpac社を買収
Google Colaboratoryで遊ぶ準備
fSpy：1枚の写真からカメラパラメーターを割り出すツール
Composition Rendering：Blenderに...
OpenCVでカメラ画像から自己位置認識 (Visual O...
OpenCVでiPhone6sのカメラをキャリブレーションす...
書籍『ゼロから作るDeep Learning』で自分なりに学...
画像生成AI Stable Diffusionで遊ぶ
AR (Augmented Reality)とDR (Dim...
OpenCVで平均顔を作るチュートリアル
Multi-View Environment：複数画像から3...
BlenderProc：Blenderで機械学習用の画像デー...
GAN (Generative Adversarial Ne...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Fast R-CNN：ディープラーニングによる一般物体検出手...
ニューラルネットワークで画像分類
ArUco：OpenCVベースのコンパクトなARライブラリ
コメント