Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
openMVGをWindows10 Visual Studi...
Structure from Motion (多視点画像から...
COLMAP：オープンソースのSfM・MVSツール
Polyscope：3Dデータ操作用GUIライブラリ
OpenCV 3.1とopencv_contribモジュール...
ディープラーニング
Googleが画像解析旅行ガイドアプリのJetpac社を買収
UnrealCV：コンピュータビジョン研究のためのUnrea...
UnityでPoint Cloudを表示する方法
顔画像処理技術の過去の研究
Runway ML：クリエイターのための機械学習ツール
Blendify：コンピュータービジョン向けBlenderラ...
3D Gaussian Splatting：リアルタイム描画...
ArUco：OpenCVベースのコンパクトなARライブラリ
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
NeRF (Neural Radiance Fields)：...
OpenCV 3.1から追加されたSfMモジュール
iPadをハンディ3Dスキャナにするガジェット『iSense...
Autodesk Mementoでゴジラを3次元復元する
PSPNet (Pyramid Scene Parsing ...
Adobe MAX 2015
OpenCV
Kinect for Windows v2の日本価格決定
OpenFace：Deep Neural Networkによ...
OpenCVで顔のモーフィングを実装する
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
OpenAR：OpenCVベースのマーカーARライブラリ
Kornia：微分可能なコンピュータービジョンライブラリ
OpenCV 3.3.0 contribのsfmモジュールの...
CNN Explainer：畳み込みニューラルネットワーク可...
PCA (主成分分析)
Pix2Pix：CGANによる画像変換
画像生成AI Stable Diffusionで遊ぶ
OpenCVで平均顔を作るチュートリアル
Rerun：マルチモーダルデータの可視化アプリとSDK
Qlone：スマホのカメラで3Dスキャンできるアプリ
SegNet：ディープラーニングによるSemantic Se...
YOLO (You Only Look Once)：ディープ...
Mask R-CNN：ディープラーニングによる一般物体検出・...
iPhoneで3D写真が撮れるアプリ『seene』
viser：Pythonで使える3D可視化ライブラリ
BlenderProc：Blenderで機械学習用の画像デー...
コメント