写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

2014.10.11

Twitterで知ったんだけど、10月6日～8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです！　Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

続・ディープラーニングの資料

OpenMVS：Multi-View Stereoによる3次...

ゴジラ(2014)のディティール制作の舞台裏

CGWORLD CHANNEL 第21回ニコ生配信は『シン・...

Cartographer：オープンソースのSLAMライブラリ

openMVG：複数視点画像から3次元形状を復元するライブラ...

布地のシワの法則性

ZBrushのキャンバスにリファレンス画像を配置する

OpenCVの三角測量関数『cv::triangulatep...

bpy-renderer：レンダリング用Pythonパッケー...

2012のメイキングまとめ(途中)

ラクガキの立体化 反省

Oculus Goを購入！

OpenCV 3.1のsfmモジュールを試す

OpenCVでiPhone6sのカメラをキャリブレーションす...

ZBrushでアヴァン・ガメラを作ってみる 脚のポーズ調整

OpenCV

Adobeの手振れ補正機能『ワープスタビライザー』の秘密

Leap MotionでMaya上のオブジェクトを操作できる...

adskShaderSDK

機械学習について最近知った情報

ZBrush用トポロジー転送プラグイン『ZWrap Plug...

Geogram：C++の3D幾何アルゴリズムライブラリ

書籍『ゼロから作るDeep Learning』で自分なりに学...

今年もSSII

clearcoat Shader

Digital Emily Project：人間の顔をそっく...

DUSt3R：3Dコンピュータービジョンの基盤モデル

畳み込みニューラルネットワーク (CNN: Convolut...

ZBrushの作業環境を見直す

ZBrushでアヴァン・ガメラを作ってみる 歯を配置

BlenderのPython環境にPyTorchをインストー...

PGGAN：段階的に解像度を上げて学習を進めるGAN

Google製オープンソース機械学習ライブラリ『Tensor...

書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読...

コンピュータビジョンの技術マップ

映画から想像するVR・AR時代のGUIデザイン

UnityのGlobal Illumination

PureRef：リファレンス画像専用ビューア

Unite 2014の動画

参考になりそうなサイト

ZBrushで手首のモデリングをリファイン

コメント