人間の顔をそっくりそのままCGで復元する『Digital Emily Project』

これはもう2009年の話だけど、たまたまTEDのプレゼンを見つけたのでメモ代わりに。

このThe Digital Emily Projectは、アメリカの南カリフォルニア大学 ICT Graphics LabとイギリスのImage Metrics社の共同プロジェクトで、実在の人間をそっくりそのままCGで復元してデジタルダブル(CGの俳優)の可能性を示したもの。
女優のEmily O’BrienさんをLight Stageでスキャンして本人そっくりのCGアニメーションを作成した。

ポール・デベヴェック 「メイキング・オブ・デジタルエミリー」

TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。


スポンサーリンク


こちらがこの研究のデモ映像。当時は不気味の谷を越えたと言われたりしてたけど、今見るとどうでしょう。

The Digital Emily Project: Achieving a Photoreal Digital Actor

南カリフォルニア大学のポール・デベヴェックと言えば、イメージベースドレンダリングで超有名だよね。マトリックスのあの360度回転する映像の背景のCGは彼の技術によるもの。スパイダーマン2,3(サムライミ監督のシリーズ)での人の肌の表現も彼のLight Stageによるもの。



イメージベースドレンダリングは、学生の頃に初めて学校のお金で買ったこの本でもかなりフィーチャーされてた気がする。



ちなみにこの本は、2000年までのレンダリングの研究の歴史が日本語で読めるのでお勧めです。

そしてImage Metrics社は、マーカーレスの顔のパフォーマンスキャプチャをしている会社らしい。


スポンサーリンク
Image Metrics: How-To Video

Real-Time Emily Demo

この頃から5年経ったけど、今はリアルタイムでこんなの描画できちゃう時代になったんだよね。

NVIDIA FaceWorks

スポンサーリンク

関連記事

ZBrushで仮面ライダー3号を造る ベース編
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
UnityでTweenアニメーションを実装できる3種類の無料Asset
世界一下品なクマと世界一紳士なクマ
実写と実写の合成時の色の馴染ませテクニック
Blender 2.8がついに正式リリース!
Unreal Engine Tokyo MeetUp!へ行ってきた
OpenCVの超解像(SuperResolution)モジュールを試す
Photo Bash:複数の写真を組み合わせて1枚のイラストを制作する
ZBrushのUV MasterでUV展開
OpenCV 3.1のsfmモジュールを試す
MFnMeshクラスのsplit関数
参考書
PyTorch3D:3Dコンピュータービジョンライブラリ
PythonでMayaのShapeノードプラグインを作る
成果を待てない長学歴化の時代
天体写真の3D動画
UnityでShaderの入力パラメータとして行列を渡す
映画から想像するVR・AR時代のGUIデザイン
ZBrushのキャンバスにリファレンス画像を配置する
OpenCV 3.1のsfmモジュールのビルド再び
BlenderのRigifyでリギング
Faster R-CNN:ディープラーニングによる一般物体検出手法
参考になりそうなサイト
CEDEC 3日目
Maya には3 種類のシェーダSDKがある?
機械学習で流体シミュレーションを近似する『Physics Forests』
複数視点画像から3次元形状を復元するライブラリ『openMVG』
読書は趣味か?
iPhoneで3D写真が撮れるアプリ『seene』
ZBrushのZScript入門
布地のシワの法則性
CycleGAN:ドメイン関係を学習した画像変換
Ambient Occlusionを解析的に求める
2012のメイキングまとめ(途中)
『さらば あぶない刑事』を観た
PolyPaint
Mr.ビーン
2015年の振り返り
Subsurface scatteringの動画
OpenCV
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

コメント