Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
TeleSculptor：空撮動画からPhotogramme...
UnityでPoint Cloudを表示する方法
Kinect for Windows v2の日本価格決定
Pix2Pix：CGANによる画像変換
AfterEffectsプラグイン開発
OpenCVでPhotoshopのプラグイン開発
ArUco：OpenCVベースのコンパクトなARライブラリ
TensorSpace.js：ニューラルネットワークの構造を...
SSD (Single Shot Multibox Dete...
Faceshiftで表情をキャプチャしてBlender上でM...
PSPNet (Pyramid Scene Parsing ...
続・ディープラーニングの資料
R-CNN (Regions with CNN featur...
書籍『イラストで学ぶ ディープラーニング』
Point Cloud Consortiumのセミナー「3D...
3D Gaussian Splatting：リアルタイム描画...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
hloc：SuperGlueで精度を向上させたSfM・Vis...
Mask R-CNN：ディープラーニングによる一般物体検出・...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
VGGT：マルチビュー・フィードフォワード型3Dビジョン基盤...
Google Colaboratoryで遊ぶ準備
OpenCV3.3.0でsfmモジュールのビルドに成功！
Leap MotionでMaya上のオブジェクトを操作できる...
BGSLibrary：OpenCVベースの背景差分ライブラリ
Runway ML：クリエイターのための機械学習ツール
Composition Rendering：Blenderに...
BlenderProc：Blenderで機械学習用の画像デー...
OpenCVで顔のモーフィングを実装する
viser：Pythonで使える3D可視化ライブラリ
iPhoneで3D写真が撮れるアプリ『seene』
FCN (Fully Convolutional Netwo...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
PyTorch3D：3Dコンピュータービジョンライブラリ
DCGAN (Deep Convolutional GAN)...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
機械学習について最近知った情報
cvui：OpenCVのための軽量GUIライブラリ
OpenCV 3.1のsfmモジュールを試す
BlenderでPhotogrammetryできるアドオン
顔追跡による擬似3D表示『Dynamic Perspecti...
Paul Debevec
コメント