3Dスキャンに基づくプロシージャルフェイシャルアニメーション

もうだいぶ前の話だけど、3月にあったGDCのセッション「Next-Gen Characters:From Facial Scans to Facial Animation」の情報。
スライド資料はこちらからダウンロードできる。

3次元スキャナの性能が向上して、簡単にリアルなモデリングデータを取得できるようになったけど、それにどうリグを入れてアニメーションさせるかが問題。
単に基本的な顔をスキャンして、表情ごとに形状を変化させるだけではダメで、表情それぞれでテクスチャを変える必要もある。顔のデータの変形だけでは、血流量の変化などによる表情の違いまでは表現できない。

GPU Gems 3で解説された「Playable Universal Capture」(Ucap)と、南カリフォルニア大学による「Polynomial Displacement Maps」(PDM)の手法を参考にし、高精度の基本データと低精度だが大量の表情データを組み合わせる手法を採用しているとか。


スポンサーリンク


スポンサーリンク

4Gamer.netの日本語記事が分かりやすいね。

参考:Facial Animation GDC Slides
[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際


スポンサーリンク

関連記事

R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク
『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイクダウン
ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する
Digital Emily Project:人間の顔をそっくりそのままCGで復元する
OpenCV 3.1から追加されたSfMモジュール
FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ
オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整
JavaによるCGプログラミング入門サイト (日本語)
プログラムによる景観の自動生成
NeRF (Neural Radiance Fields):機械学習による未知視点合成
Stanford Bunny
フリーで使えるスカルプト系モデリングツール『Sculptris 』
ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る
CLO:服飾デザインツール
生物の骨格
GAN (Generative Adversarial Networks):敵対的生成ネットワーク
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ
GoogleのDeep Learning論文
ベイズ推定とグラフィカルモデル
オープンソースの顔の動作解析ツールキット『OpenFace』
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
天体写真の3D動画
libigl:軽量なジオメトリ処理ライブラリ
DensePose:画像中の人物表面のUV座標を推定する
HTML5・WebGLベースのグラフィックスエンジン『Goo Engine』
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
Point Cloud Libraryに動画フォーマットが追加されるらしい
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
Adobe Photoshop CS4 Extendedの3Dモデル編集機能
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
OpenMayaのPhongShaderクラス
2012のメイキングまとめ(途中)
Alice Vision:オープンソースのPhotogrammetryフレームワーク
PCA (主成分分析)
2D→3D復元技術で使われる用語まとめ
顔モデリングのチュートリアル
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン
映画『シン・仮面ライダー』 メイキング情報まとめ
顔のモデリング
映画『ジュラシック・ワールド』のVFXメイキング

コメント