写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

Maya 2015から標準搭載されたMILA

ZBrushのお勉強

『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイクダウン

Kinect for Windows V2のプレオーダー開始

映画『ゴジラ-1.0』 メイキング情報まとめ

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

UnityのAR FoundationでARKit 3

UnityのTransformクラスについて調べてみた

BlenderのRigifyでリギング

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

機械学習について最近知った情報

ZBrushのUV MasterでUV展開

MeshLab:3Dオブジェクトの確認・変換に便利なフリーウェア

ZBrushで仮面ライダー3号を造る 仮面編

実写と実写の合成時の色の馴染ませテクニック

iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』

ニンテンドー3DSのGPU PICA200

Facebookの顔認証技術『DeepFace』

Mayaのシェーディングノードの区分

ZBrushでアヴァン・ガメラを作ってみる パーツ分割

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

この本読むよ

HD画質の無駄遣い その2

Mitsuba 2:オープンソースの物理ベースレンダラ

Subsurface scatteringの動画

FCN (Fully Convolutional Network):ディープラーニングによるSema...

プログラムによる景観の自動生成

OpenAR:OpenCVベースのマーカーARライブラリ

「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか

MRenderUtil::raytrace

『ピクサー展』へ行ってきた

ZBrush キャラクター&クリーチャー

ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる

オープンソースの物理ベースGIレンダラ『appleseed』

ZBrushの作業環境を見直す

フリーのUV展開ツール Roadkill UV Tool

ハリウッド版「GAIKING」パイロット映像

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

ラクガキの立体化 胴体の追加

Blender 2.81でIntel Open Image Denoiseを使う

hloc:SuperGlueで精度を向上させたSfM・Visual Localization

参考書

コメント