人間の顔をそっくりそのままCGで復元する『Digital Emily Project』

これはもう2009年の話だけど、たまたまTEDのプレゼンを見つけたのでメモ代わりに。

このThe Digital Emily Projectは、アメリカの南カリフォルニア大学 ICT Graphics LabとイギリスのImage Metrics社の共同プロジェクトで、実在の人間をそっくりそのままCGで復元してデジタルダブル(CGの俳優)の可能性を示したもの。
女優のEmily O’BrienさんをLight Stageでスキャンして本人そっくりのCGアニメーションを作成した。

ポール・デベヴェック 「メイキング・オブ・デジタルエミリー」

TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。


スポンサーリンク


こちらがこの研究のデモ映像。当時は不気味の谷を越えたと言われたりしてたけど、今見るとどうでしょう。

The Digital Emily Project: Achieving a Photoreal Digital Actor

南カリフォルニア大学のポール・デベヴェックと言えば、イメージベースドレンダリングで超有名だよね。マトリックスのあの360度回転する映像の背景のCGは彼の技術によるもの。スパイダーマン2,3(サムライミ監督のシリーズ)での人の肌の表現も彼のLight Stageによるもの。



イメージベースドレンダリングは、学生の頃に初めて学校のお金で買ったこの本でもかなりフィーチャーされてた気がする。



ちなみにこの本は、2000年までのレンダリングの研究の歴史が日本語で読めるのでお勧めです。

そしてImage Metrics社は、マーカーレスの顔のパフォーマンスキャプチャをしている会社らしい。


スポンサーリンク
Image Metrics: How-To Video

Real-Time Emily Demo

この頃から5年経ったけど、今はリアルタイムでこんなの描画できちゃう時代になったんだよね。

NVIDIA FaceWorks

スポンサーリンク

関連記事

アニゴジ関連情報
オープンソースのテクスチャマッピングシステム『Ptex』
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
日立のフルパララックス立体ディスプレイ
酒井ゆうじ造型工房 ゴジラ2000ミレニアム造形デザイン 口閉じバージョン 表面の洗浄
OpenCV3.3.0でsfmモジュールのビルドに成功!
iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
書籍『OpenCV 3 プログラミングブック』を購入
CreativeCOW.net
『PIXARのひみつ展』に行ってきた
fSpy:1枚の写真からカメラパラメーターを割り出すツール
書籍『メモの魔力』読了
UnityでShaderの入力パラメータとして行列を渡す
Unity ARKitプラグインサンプルのチュートリアルを読む
かっこいい大人にはなれなかったけど
OpenCVの顔検出過程を可視化した動画
顔モデリングのチュートリアル
SDカードサイズのコンピューター『Intel Edison』
オープンソースの顔認識フレームワーク『OpenBR』
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる
スマホのカメラで3Dスキャンできるアプリ『Qlone』
PythonのStructure from Motionライブラリ『OpenSfM』
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む
『特撮のDNA ウルトラマン Genealogy』を見てきた
『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン まとめ
PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...
マジョーラ
OpenCV バージョン4がリリースされた!
仮面ライダークウガ 20周年
Paul Debevec
ゴジラの造形
Blender 2.8がついに正式リリース!
『シン・エヴァンゲリオン劇場版:||』を観てきた (ネタバレ無し)
OpenCVでiPhone6sのカメラをキャリブレーションする
ZBrushで仮面ライダー3号を造る 仮面編 PolyGroup作成に再挑戦
Point Cloud Libraryに動画フォーマットが追加されるらしい
BlenderでPhotogrammetryできるアドオン
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ
Unreal Engineの薄い本
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

コメント