Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
Google Colaboratoryで遊ぶ準備
BlenderProc：Blenderで機械学習用の画像デー...
書籍『OpenCV 3 プログラミングブック』を購入
CGAN (Conditional GAN)：条件付き敵対的...
U-Net：ディープラーニングによるSemantic Seg...
YOLO (You Only Look Once)：ディープ...
3D復元技術の情報リンク集
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
オープンソースの顔認識フレームワーク『OpenBR』
OpenCV バージョン4がリリースされた！
UnityでOpenCVを使うには？
続・ディープラーニングの資料
Faceshiftで表情をキャプチャしてBlender上でM...
OpenCVで平均顔を作るチュートリアル
GoogleのDeep Learning論文
Rerun：マルチモーダルデータの可視化アプリとSDK
OpenCVでカメラ画像から自己位置認識 (Visual O...
Paul Debevec
OpenCVでiPhone6sのカメラをキャリブレーションす...
DensePose：画像中の人物表面のUV座標を推定する
OpenCVで顔のモーフィングを実装する
ディープラーニング
PCA (主成分分析)
AfterEffectsプラグイン開発
hloc：SuperGlueで精度を向上させたSfM・Vis...
COLMAP：オープンソースのSfM・MVSツール
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
第25回コンピュータビジョン勉強会＠関東に行って来た
SSII2014 チュートリアル講演会の資料
TensorSpace.js：ニューラルネットワークの構造を...
Dlib：C++の機械学習ライブラリ
Cartographer：オープンソースのSLAMライブラリ
FreeMoCap Project：オープンソースのマーカー...
ベイズ推定とグラフィカルモデル
CycleGAN：ドメイン関係を学習した画像変換
Facebookの顔認証技術『DeepFace』
Photogrammetry (写真測量法)
Google製オープンソース機械学習ライブラリ『Tensor...
MVStudio：オープンソースのPhotogrammetr...
FCN (Fully Convolutional Netwo...
画像認識による位置情報取得 - Semi-Direct Mo...
OpenCVの超解像(SuperResolution)モジュ...
コメント