3Dスキャンに基づくプロシージャルフェイシャルアニメーション

もうだいぶ前の話だけど、3月にあったGDCのセッション「Next-Gen Characters:From Facial Scans to Facial Animation」の情報。
スライド資料はこちらからダウンロードできる。

3次元スキャナの性能が向上して、簡単にリアルなモデリングデータを取得できるようになったけど、それにどうリグを入れてアニメーションさせるかが問題。
単に基本的な顔をスキャンして、表情ごとに形状を変化させるだけではダメで、表情それぞれでテクスチャを変える必要もある。顔のデータの変形だけでは、血流量の変化などによる表情の違いまでは表現できない。

GPU Gems 3で解説された「Playable Universal Capture」(Ucap)と、南カリフォルニア大学による「Polynomial Displacement Maps」(PDM)の手法を参考にし、高精度の基本データと低精度だが大量の表情データを組み合わせる手法を採用しているとか。


4Gamer.netの日本語記事が分かりやすいね。

参考:Facial Animation GDC Slides
[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

関連記事

ゴジラ(2014)のディティール制作の舞台裏

顔追跡による擬似3D表示『Dynamic Perspecti...

ZBrushで手首のモデリングをリファイン

ZBrushでアヴァン・ガメラを作ってみる 腕の作り込み

Composition Rendering:Blenderに...

clearcoat Shader

粘土をこねるようなスカルプトモデリング

ZBrushで人型クリーチャー

Google Colaboratoryで遊ぶ準備

書籍『The Art of Mystical Beasts』...

布地のシワの法則性

ラクガキの立体化 進捗

TensorFlowでCGを微分できる『TensorFlow...

YOLO (You Only Look Once):ディープ...

Mitsuba 2:オープンソースの物理ベースレンダラ

Mitsuba 3:オープンソースの研究向けレンダラ

3Dモデルを立体視で確認できるVRアプリを作っている

続・ディープラーニングの資料

ZBrushのお勉強

Leap MotionでMaya上のオブジェクトを操作できる...

Rerun:マルチモーダルデータの可視化アプリとSDK

無料で使える人体3DCG作成ツール

画像生成AI Stable Diffusionで遊ぶ

Qlone:スマホのカメラで3Dスキャンできるアプリ

Structure from Motion (多視点画像から...

BlenderProc:Blenderで機械学習用の画像デー...

OpenCV

Faceshiftで表情をキャプチャしてBlender上でM...

Geogram:C++の3D幾何アルゴリズムライブラリ

Blender 2.81でIntel Open Image ...

Autodesk Mementoでゴジラを3次元復元する

Javaで作られたオープンソースの3DCGレンダラ『Sunf...

Physically Based Rendering

PSPNet (Pyramid Scene Parsing ...

JavaによるCGプログラミング入門サイト (日本語)

ZBrushからBlenderへモデルをインポート

OpenCVの超解像(SuperResolution)モジュ...

adskShaderSDK

ZBrushでメカ物を作るチュートリアル動画

BlenderのPython環境にPyTorchをインストー...

オープンソースのテクスチャマッピングシステム『Ptex』

PythonでBlenderのAdd-on開発

コメント