写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

Physically Based Rendering

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

ポイントクラウドコンソーシアム

ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正

ラクガキの立体化 分割ラインの変更・バランス調整

ZBrushトレーニング

3DCG Meetup #4に行ってきた

Live CV:インタラクティブにComputer Visionコーディングができるツール

ZBrushでゴジラ2001を作ってみる 頭の概形作り

書籍『OpenCV 3 プログラミングブック』を購入

Unityの薄い本

Rerun:マルチモーダルデータの可視化アプリとSDK

ZBrushでリメッシュとディティールの転送

adskShaderSDK

TensorFlowでCGを微分できる『TensorFlow Graphics』

フリーで使えるスカルプト系モデリングツール『Sculptris 』

OpenCVで動画の手ぶれ補正

Facebookの顔認証技術『DeepFace』

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

ゴジラの造形

FreeMoCap Project:オープンソースのマーカーレスモーションキャプチャ

ZBrushでゴジラ2001を作ってみる 目元だけ作り込んでバランスを見る

ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整

Unity ARKitプラグインサンプルのドキュメントを読む

BGSLibrary:OpenCVベースの背景差分ライブラリ

Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番

オープンソースのテクスチャマッピングシステム『Ptex』

立体視を試してみた

『ピクサー展』へ行ってきた

OpenCV 3.3.0-RCでsfmモジュールをビルド

PCA (主成分分析)

Adobe MAX 2015

ベイズ推定とグラフィカルモデル

マイケル・ベイの動画の感覚

SSII2014 チュートリアル講演会の資料

CLO:服飾デザインツール

ドラマ『ファーストクラス』のモーショングラフィックス

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

3D復元技術の情報リンク集

Siggraph Asia 2009 カンファレンスの詳細

Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

コメント