写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

3D映画のポストプロダクション 2D-3D変換

ラクガキの立体化 反省

VCG Library:C++のポリゴン操作ライブラリ

今年もSSII

頭蓋骨からの顔復元と進化過程の可視化

Google Colaboratoryで遊ぶ準備

『パシフィック・リム: アップライジング』のVFXブレイクダウン まとめ

ZBrushでリメッシュとディティールの転送

YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法

ポリゴン用各種イテレータと関数セット

CreativeCOW.net

U-Net:ディープラーニングによるSemantic Segmentation手法

Qlone:スマホのカメラで3Dスキャンできるアプリ

ZBrushの作業環境を見直す

機械学習について最近知った情報

fSpy:1枚の写真からカメラパラメーターを割り出すツール

OpenCV3.3.0でsfmモジュールのビルドに成功!

2012 昨日のクローズアップ現代を見た

ZBrushでアヴァン・ガメラを作ってみる

注文してた本が届いた

Unite 2014の動画

オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』

MetaHumanの頭部をBlenderで編集できるアドオン

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された

Python for Unity:UnityEditorでPythonを使えるパッケージ

Vancouver Film Schoolのデモリール

SIGGRAPH ASIAのマスコット

フルCGのウルトラマン!?

adskShaderSDK

OpenCVで平均顔を作るチュートリアル

Googleが画像解析旅行ガイドアプリのJetpac社を買収

リメイク版ロボコップスーツのメイキング

OpenMayaのPhongShaderクラス

Deep Fluids:流体シミュレーションをディープラーニングで近似する

Kaolin:3Dディープラーニング用のPyTorchライブラリ

SculptrisとBlenderで作ったGodzilla 2014 (Fan Made)

NeRF (Neural Radiance Fields):深層学習による新規視点合成

自前のShaderがおかしい件

Geogram:C++の3D幾何アルゴリズムライブラリ

MB-Lab:Blenderの人体モデリングアドオン

OpenCVの超解像(SuperResolution)モジュールを試す

UnityでShaderの入力パラメータとして行列を渡す

コメント