写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

顔画像処理技術の過去の研究

mentalrayのSubsurface Scattering Shader『misss_fast_...

Autodesk Mementoでゴジラを3次元復元する

CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー

ジュラシック・パークの続編『ジュラシック・ワールド』

ZBrushでゴジラ2001を作ってみる 姿勢の変更

トランスフォーマー/ロストエイジのメイキング

WebGL開発に関する情報が充実してきている

YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法

MVStudio:オープンソースのPhotogrammetryツール

UnityでLight Shaftを表現する

映画『ジュラシック・ワールド』のVFXメイキング

JavaによるCGプログラミング入門サイト (日本語)

2012 昨日のクローズアップ現代を見た

リメイク版ロボコップスーツのメイキング

この連休でZBrushの スキルアップを…

iPhone欲しいなぁ

ZBrushのキャンバスにリファレンス画像を配置する

Faster R-CNN:ディープラーニングによる一般物体検出手法

OpenCVで動画の手ぶれ補正

openMVG:複数視点画像から3次元形状を復元するライブラリ

2D→3D復元技術で使われる用語まとめ

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

ZBrush 2018での作業環境を整える

UnityでShaderの入力パラメータとして行列を渡す

Maya LTでFBIK(Full Body IK)

プログラムによる景観の自動生成

HD画質の無駄遣い その2

ZBrush 4R8 リリース!

Paul Debevec

映画『シン・仮面ライダー』 メイキング情報まとめ

ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む

続・ディープラーニングの資料

オープンソースの顔認識フレームワーク『OpenBR』

参考書

Python for Unity:UnityEditorでPythonを使えるパッケージ

OpenCVで顔のランドマークを検出する『Facemark API』

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

機械学習手法『Random Forest』

UnityのGlobal Illumination

ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画像の表示

ZBrushでアヴァン・ガメラを作ってみる 下半身のバランス調整

コメント