人間の顔をそっくりそのままCGで復元する『Digital Emily Project』

これはもう2009年の話だけど、たまたまTEDのプレゼンを見つけたのでメモ代わりに。

このThe Digital Emily Projectは、アメリカの南カリフォルニア大学 ICT Graphics LabとイギリスのImage Metrics社の共同プロジェクトで、実在の人間をそっくりそのままCGで復元してデジタルダブル(CGの俳優)の可能性を示したもの。
女優のEmily O’BrienさんをLight Stageでスキャンして本人そっくりのCGアニメーションを作成した。

ポール・デベヴェック 「メイキング・オブ・デジタルエミリー」

TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。


スポンサーリンク


スポンサーリンク


こちらがこの研究のデモ映像。当時は不気味の谷を越えたと言われたりしてたけど、今見るとどうでしょう。



南カリフォルニア大学のポール・デベヴェックと言えば、イメージベースドレンダリングで超有名だよね。マトリックスのあの360度回転する映像の背景のCGは彼の技術によるもの。スパイダーマン2,3(サムライミ監督のシリーズ)での人の肌の表現も彼のLight Stageによるもの。



イメージベースドレンダリングは、学生の頃に初めて学校のお金で買ったこの本でもかなりフィーチャーされてた気がする。

CG Magic:レンダリング

ちなみにこの本は、2000年までのレンダリングの研究の歴史が日本語で読めるのでお勧めです。

そしてImage Metrics社は、マーカーレスの顔のパフォーマンスキャプチャをしている会社らしい。





この頃から5年経ったけど、今はリアルタイムでこんなの描画できちゃう時代になったんだよね。



スポンサーリンク

関連記事

3DCGのモデルを立体化するサービス
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
布地のシワの法則性
世界ふしぎ発見!「特撮の神様 円谷英二の世界」
Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
Kaolin:3Dディープラーニング用のPyTorchライブラリ
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整 その2
スターウォーズ エピソードVIIの予告編
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる
Blenderの人体モデリングアドオン『MB-Lab』
タマムシっぽい質感
リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』
Unityの薄い本
ZBrushで仮面ライダー3号を造る 仮面編 DynaMesh
Maya 2015から標準搭載されたMILA
PureRef:リファレンス画像専用ビューア
Mayaのシェーディングノードの区分
オープンソースの顔の動作解析ツールキット『OpenFace』
TeleSculptor:空撮動画からPhotogrammetryするツール
ZBrushでアヴァン・ガメラを作ってみる 首回りの修正・脚の作り込み
adskShaderSDK
fSpy:1枚の写真からカメラパラメーターを割り出すツール
2016年の振り返り
SIGGRAPH Asia
OpenCVの顔検出過程を可視化した動画
ZBrush 4R8 リリース!
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
OpenCV 3.1から追加されたSfMモジュール
HTML5・WebGLベースのグラフィックスエンジン『Goo Engine』
ラクガキの立体化 分割ラインの変更・バランス調整
ZBrushでアヴァン・ガメラを作ってみる 口のバランス調整
TVML (TV program Making language)
ガメラ生誕50周年
Web配信時代のコンテンツ構成
携帯電話ロボット『RoBoHoN(ロボホン)』
BGSLibrary:OpenCVベースの背景差分ライブラリ
UnityのGameObjectの向きをScriptで制御する
フォトンの放射から格納までを可視化した動画
Kinect for Windows V2のプレオーダー開始
Structure from Motion (多視点画像からの3次元形状復元)
TorchStudio:PyTorchのための統合開発環境とエコシステム
RefineNet (Multi-Path Refinement Network):ディープラーニン...

コメント