Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
OpenCVのバージョン3が正式リリースされたぞ
Rerun：マルチモーダルデータの可視化アプリとSDK
Googleが画像解析旅行ガイドアプリのJetpac社を買収
CGのためのディープラーニング
Autodesk Mementoでゴジラを3次元復元する
UnityでPoint Cloudを表示する方法
iPadをハンディ3Dスキャナにするガジェット『iSense...
Point Cloud Utils：Pythonで3D点群・...
オープンソースの顔認識フレームワーク『OpenBR』
BGSLibrary：OpenCVベースの背景差分ライブラリ
OpenCV 3.1から追加されたSfMモジュール
SSD (Single Shot Multibox Dete...
BlenderProc：Blenderで機械学習用の画像デー...
PyTorch3D：3Dコンピュータービジョンライブラリ
OpenCVの顔検出過程を可視化した動画
GAN (Generative Adversarial Ne...
TorchStudio：PyTorchのための統合開発環境と...
Composition Rendering：Blenderに...
SSII2014 チュートリアル講演会の資料
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Regard3D：オープンソースのStructure fro...
TensorSpace.js：ニューラルネットワークの構造を...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
OpenCVの超解像(SuperResolution)モジュ...
Polyscope：3Dデータ操作用GUIライブラリ
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
Faceshiftで表情をキャプチャしてBlender上でM...
PeopleSansPeople：機械学習用の人物データをU...
3D Gaussian Splatting：リアルタイム描画...
CNN Explainer：畳み込みニューラルネットワーク可...
OpenCV 3.1のsfmモジュールを試す
SDカードサイズのコンピューター『Intel Edison』
OpenGVの用語
Blendify：コンピュータービジョン向けBlenderラ...
CGAN (Conditional GAN)：条件付き敵対的...
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
書籍『イラストで学ぶ ディープラーニング』
viser：Pythonで使える3D可視化ライブラリ
YOLO (You Only Look Once)：ディープ...
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
Point Cloud Libraryに動画フォーマットが追...
コメント