写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

コンピュータビジョンの技術マップ

今年もSSII

画像生成AI Stable Diffusionで遊ぶ

映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ

UnityでShaderの入力パラメータとして行列を渡す

iPhone欲しいなぁ

ZBrushでアヴァン・ガメラを作ってみる

株式会社ヘキサドライブの研究室ページ

ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加

Houdiniのライセンスの種類

UnityでPoint Cloudを表示する方法

OpenMayaのPhongShaderクラス

第25回コンピュータビジョン勉強会@関東に行って来た

Kaolin:3Dディープラーニング用のPyTorchライブラリ

顔モデリングのチュートリアル

ファンの力

NeRF (Neural Radiance Fields):深層学習による新規視点合成

ZBrushのZmodelerとDynamic Subdivisionを学ぶ

映画『ジュラシック・ワールド』のVFXメイキング

GAN (Generative Adversarial Networks):敵対的生成ネットワーク

ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む

Cartographer:オープンソースのSLAMライブラリ

ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救出

Javaで作られたオープンソースの3DCGレンダラ『Sunflow』

フィーリングに基づくタマムシの質感表現

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

ZBrushでリメッシュとディティールの転送

OpenCVの超解像(SuperResolution)モジュールを試す

Mitsuba 2:オープンソースの物理ベースレンダラ

ポリゴン用各種イテレータと関数セット

UnityのTransformクラスについて調べてみた

ラクガキの立体化 モールドの追加

ZBrushで仮面ライダーBLACK SUNを作る 頭部~バストの概形

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

PCA (主成分分析)

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

Open3D:3Dデータ処理ライブラリ

BGSLibrary:OpenCVベースの背景差分ライブラリ

Deep Fluids:流体シミュレーションをディープラーニングで近似する

ZBrushでアヴァン・ガメラを作ってみる パーツ分割

Unityで360度ステレオVR動画を作る

ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve

コメント