Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
OpenCV3.3.0でsfmモジュールのビルドに成功！
今年もSSII
OpenCV 3.3.0 contribのsfmモジュールの...
Rerun：マルチモーダルデータの可視化アプリとSDK
機械学習手法『Random Forest』
DensePose：画像中の人物表面のUV座標を推定する
Google Colaboratoryで遊ぶ準備
海外ドラマのChromaKey
viser：Pythonで使える3D可視化ライブラリ
Structure from Motion (多視点画像から...
BlenderでPhotogrammetryできるアドオン
OpenCVのfindEssentialMat関数を使ったサ...
Composition Rendering：Blenderに...
Accord.NET Framework：C#で使える機械学...
UnityでPoint Cloudを表示する方法
OpenCVでPhotoshopのプラグイン開発
Live CV：インタラクティブにComputer Visi...
オープンソースの顔の動作解析ツールキット『OpenFace』
Autodesk Mementoでゴジラを3次元復元する
Cartographer：オープンソースのSLAMライブラリ
TensorSpace.js：ニューラルネットワークの構造を...
fSpy：1枚の写真からカメラパラメーターを割り出すツール
CGAN (Conditional GAN)：条件付き敵対的...
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
Active Appearance Models（AAM）
PCA (主成分分析)
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
FCN (Fully Convolutional Netwo...
OpenCVで顔のランドマークを検出する『Facemark ...
Caffe：読みやすくて高速なディープラーニングのフレームワ...
Alice Vision：オープンソースのPhotogram...
顔追跡による擬似3D表示『Dynamic Perspecti...
3D Gaussian Splatting：リアルタイム描画...
画像認識による位置情報取得 - Semi-Direct Mo...
bpy-renderer：レンダリング用Pythonパッケー...
画像生成AI Stable Diffusionで遊ぶ
Kinect for Windows V2のプレオーダー開始
ニューラルネットワークで画像分類
OpenFace：Deep Neural Networkによ...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
OpenSfM：PythonのStructure from ...
コメント