Digital Emily Project:人間の顔をそっくりそのままCGで復元する

これはもう2009年の話だけど、たまたまTEDのプレゼンを見つけたのでメモ代わりに。

このThe Digital Emily Projectは、アメリカの南カリフォルニア大学 ICT Graphics LabとイギリスのImage Metrics社の共同プロジェクトで、実在の人間をそっくりそのままCGで復元してデジタルダブル(CGの俳優)の可能性を示したもの。
女優のEmily O’BrienさんをLight Stageでスキャンして本人そっくりのCGアニメーションを作成した。

ポール・デベヴェック 「メイキング・オブ・デジタルエミリー」

TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。



こちらがこの研究のデモ映像↓



当時は不気味の谷を越えたと言われたりしてたけど、今見るとどうでしょう。

南カリフォルニア大学のポール・デベヴェックと言えば、イメージベースドレンダリングで超有名だよね。マトリックスのあの360度回転する映像の背景のCGは彼の技術によるもの。



スパイダーマン2, 3(サムライミ監督のシリーズ)での人の肌の表現も彼のLight Stageによるもの。



イメージベースドレンダリングは、学生の頃に初めて学校のお金で買ったこの本でもかなりフィーチャーされてた気がする。



ちなみにこの本は、2000年までのレンダリングの研究の歴史が日本語で読めるのでお勧めです。

そしてImage Metrics社は、マーカーレスの顔のパフォーマンスキャプチャをしている会社らしい。





この頃から5年経ったけど、今はリアルタイムでこんなの描画できちゃう時代になったんだよね。



2023年 追記:今はもっとすごい↓
ポリ男からMetaHumanを作る
ポリ男をリファインしたのでポリ男のMeshからこのチュートリアル動画に従ってMetaHumanを作成してみよう↓作業に入る前に、作業の全体像と各工程で使うツールの関係を整理して把握しておこう。チュートリアル動画によると、 自作の顔Meshを...

関連記事

まだまだ続く空想科学読本

仮面ライダーアギト 20周年

ラクガキの立体化 胴体の追加

TeleSculptor:空撮動画からPhotogrammetryするツール

トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

Maya API Reference

ZBrushで仮面ライダー3号を造る 仮面編

OpenCV 3.1のsfmモジュールのビルド再び

ZBrushの練習 手のモデリング

AfterEffectsプラグイン開発

線画を遠近法で描く

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

Facebookの顔認証技術『DeepFace』

ZBrush 4R7

OpenCV バージョン4がリリースされた!

トランスフォーマー :リベンジのメイキング (デジタルドメイン)

Unite 2014の動画

CycleGAN:ドメイン関係を学習した画像変換

Subsurface scatteringの動画

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』

そのアプローチは帰納的か演繹的か

あの頃で止まった時間

Maya には3 種類のシェーダSDKがある?

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

『社会人』を諦めました

2016年の振り返り

ZBrushのUV MasterでUV展開

画像生成AI Stable Diffusionで遊ぶ

オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート

ガワコス

ZBrushでゴジラ2001を作ってみる 身体のバランスを探る

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

Stanford Bunny

Mayaのポリゴン分割ツールの進化

トランスフォーマー/ロストエイジのメイキング

3DCGのモデルを立体化するサービス

UnityでShaderの入力パラメータとして行列を渡す

OpenGVのライブラリ構成

マイケル・ベイの動画の感覚

今年もSSII

ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整

コメント