3Dスキャンに基づくプロシージャルフェイシャルアニメーション

もうだいぶ前の話だけど、3月にあったGDCのセッション「Next-Gen Characters:From Facial Scans to Facial Animation」の情報。
スライド資料はこちらからダウンロードできる。

3次元スキャナの性能が向上して、簡単にリアルなモデリングデータを取得できるようになったけど、それにどうリグを入れてアニメーションさせるかが問題。
単に基本的な顔をスキャンして、表情ごとに形状を変化させるだけではダメで、表情それぞれでテクスチャを変える必要もある。顔のデータの変形だけでは、血流量の変化などによる表情の違いまでは表現できない。

GPU Gems 3で解説された「Playable Universal Capture」(Ucap)と、南カリフォルニア大学による「Polynomial Displacement Maps」(PDM)の手法を参考にし、高精度の基本データと低精度だが大量の表情データを組み合わせる手法を採用しているとか。


4Gamer.netの日本語記事が分かりやすいね。

参考:Facial Animation GDC Slides
[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

関連記事

サンプルコードにも間違いはある?

Kaolin:3Dディープラーニング用のPyTorchライブラリ

Subsurface scatteringの動画

ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加

トランスフォーマー :リベンジのメイキング (デジタルドメイン)

ラクガキの立体化 3Dプリント注文

CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』

映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ

参考書

ZBrushでUndo Historyを動画に書き出す

CreativeCOW.net

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

OpenSfM:PythonのStructure from Motionライブラリ

ラクガキの立体化 分割ラインの変更・バランス調整

リメイク版ロボコップスーツのメイキング

布地のシワの法則性

3D映画のポストプロダクション 2D-3D変換

SIGGRAPH Asia

ZBrushで仮面ライダー3号を造る 仮面編 DynaMesh

Alice Vision:オープンソースのPhotogrammetryフレームワーク

Google Earth用の建物を簡単に作れるツール Google Building Maker 公...

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

OpenCVで顔のモーフィングを実装する

3DCGのモデルを立体化するサービス

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込み・身体の形出し

OpenCVでPhotoshopのプラグイン開発

色んな三面図があるサイト

第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』

生物の骨格

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

Unreal Engine Tokyo MeetUp!へ行ってきた

FacebookがDeep learningツールの一部をオープンソース化

JavaによるCGプログラミング入門サイト (日本語)

『パシフィック・リム: アップライジング』のVFXブレイクダウン まとめ

参考になりそうなサイト

リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』

Vancouver Film Schoolのデモリール

Structure from Motion (多視点画像からの3次元形状復元)

ZBrush4新機能ハイライト 3DCG CAMP 2010

粘土をこねるようなスカルプトモデリング

ZBrushでアヴァン・ガメラを作ってみる 歯を配置

コメント