Point Cloud LibraryのBlog見てたら面白そうなの見つけた。
Statistical Face Model ( First phase )
イントロダクション
このプロジェクトのゴールは、RGB-Dカメラでキャプチャした顔の表情によって、スキャンモデルの顔の表情を変化させるプログラムを実装することである。
まず、顔のトレーニングデータベースに基づいた統計モデルを作成する。
ここで使用するトレーニングセットはFaceWarehouseプロジェクトによって提供されているobjファイル形式の3Dメッシュである。 FaceWarehouseの詳細はこちら→FaceWarehouse: a 3D Facial Expression Database for Visual Computing
中略(統計モデルを求める計算方法)平均顔
統計モデル
画像のように、得られたモデルは、平均顔と比べてやや平坦である。これはトレーニングセット内の顔の大多数が多少平坦なためである。本プロジェクトでは、様々なタイプの顔の取得を考慮したモデルが必要なため、データベース内のサンプルの共分散を検討した。
今後
今回のモデルでは面の頂点のみを使用したが、テクスチャ座標も考慮する必要がある。残念ながら、データベースはまだ色についての情報を提供していない。 データが利用可能になったら、色も考慮したモデルを作成する必要がある 。
統計モデルが完成したら、3Dのレジストレーションアルゴリズムを表情のテストサンプルモデルに適用する必要がある。
ダメだ、統計が絡むとちゃんと理解できない…
関連記事
BlenderProc：Blenderで機械学習用の画像デー...
openMVGをWindows10 Visual Studi...
RefineNet (Multi-Path Refineme...
3D復元技術の情報リンク集
Cartographer：オープンソースのSLAMライブラリ
Faceshiftで表情をキャプチャしてBlender上でM...
AfterEffectsプラグイン開発
R-CNN (Regions with CNN featur...
AR (Augmented Reality)とDR (Dim...
bpy-renderer：レンダリング用Pythonパッケー...
書籍『イラストで学ぶ ディープラーニング』
OpenCV 3.3.0 contribのsfmモジュールの...
FCN (Fully Convolutional Netwo...
OpenCVのfindEssentialMat関数を使ったサ...
OpenCV 3.3.0-RCでsfmモジュールをビルド
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
SSD (Single Shot Multibox Dete...
ポイントクラウドコンソーシアム
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
Googleが画像解析旅行ガイドアプリのJetpac社を買収
Live CV：インタラクティブにComputer Visi...
Point Cloud Utils：Pythonで3D点群・...
CycleGAN：ドメイン関係を学習した画像変換
Point Cloud Libraryに動画フォーマットが追...
OpenCV 3.1から追加されたSfMモジュール
UnityでPoint Cloudを表示する方法
Structure from Motion (多視点画像から...
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
Paul Debevec
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
VGGT：マルチビュー・フィードフォワード型3Dビジョン基盤...
OpenCVで顔のモーフィングを実装する
TensorFlowでCGを微分できる『TensorFlow...
OpenCVでカメラ画像から自己位置認識 (Visual O...
hloc：SuperGlueで精度を向上させたSfM・Vis...
顔画像処理技術の過去の研究
Kinect for Windows V2のプレオーダー開始
SSII2014 チュートリアル講演会の資料
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
海外ドラマのChromaKey
GoogleのDeep Learning論文
Kornia：微分可能なコンピュータービジョンライブラリ
コメント