写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

Unite 2014の動画

Siggraph Asia 2009 カンファレンスの詳細

OpenCV 3.1から追加されたSfMモジュール

実写と実写の合成時の色の馴染ませテクニック

ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救出

ZBrushで仮面ライダー3号を造る ベース編

ZBrushで人型クリーチャー

画像生成AI Stable Diffusionで遊ぶ

OpenCVの三角測量関数『cv::triangulatepoints』

Digital Emily Project:人間の顔をそっくりそのままCGで復元する

ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割

trimesh:PythonでポリゴンMeshを扱うライブラリ

単純に遊びに行くのはだめなのか?

Shader.jp:リアルタイム3DCG技術をあつかうサイト

openMVGをWindows10 Visual Studio 2015環境でビルドする

SIGGRAPH ASIAのマスコット

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

Dlib:C++の機械学習ライブラリ

MPC社によるゴジラ(2014)のVFXブレイクダウン

参考になりそうなサイト

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

CGAN (Conditional GAN):条件付き敵対的生成ネットワーク

Multi-View Environment:複数画像から3次元形状を再構築するライブラリ

映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込み・身体の形出し

MeshLab:3Dオブジェクトの確認・変換に便利なフリーウェア

Blendify:コンピュータービジョン向けBlenderラッパー

Photo Bash:複数の写真を組み合わせて1枚のイラストを制作する

ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher

Stanford Bunny

ZBrushトレーニング

ゴジラの造形

この連休でZBrushの スキルアップを…

geometry3Sharp:Unity C#で使えるポリゴン操作ライブラリ

Blenderでよく使うaddon

『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン まとめ

clearcoat Shader

Mitsuba 2:オープンソースの物理ベースレンダラ

iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』

fSpy:1枚の写真からカメラパラメーターを割り出すツール

Theia:オープンソースのStructure from Motionライブラリ

MFnDataとMFnAttribute

コメント