写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

Alice Vision:オープンソースのPhotogrammetryフレームワーク

OpenCVのバージョン3が正式リリースされたぞ

OpenMayaRender

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

ZBrushでアヴァン・ガメラを作ってみる 脚のトゲの作り直し

書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読んだ

ZBrushでカスタムUIを設定する

ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の作り込み

ZBrushのTranspose Masterでポーズを付ける

ZBrushトレーニング

トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

シン・ゴジラのファンアート

BGSLibrary:OpenCVベースの背景差分ライブラリ

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

HD画質の無駄遣い

ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始める

OpenCVの顔検出過程を可視化した動画

写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』

CycleGAN:ドメイン関係を学習した画像変換

TVML (TV program Making language)

MeshroomでPhotogrammetry

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

PyTorch3D:3Dコンピュータービジョンライブラリ

UnityのAR FoundationでARKit 3

fSpy:1枚の写真からカメラパラメーターを割り出すツール

PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...

Blender 2.81でIntel Open Image Denoiseを使う

ZBrush4新機能ハイライト 3DCG CAMP 2010

CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー

uGUI:Unityの新しいGUI作成システム

ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正

ZBrushで仮面ライダー3号を造る ベース編

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

OpenCV 3.1から追加されたSfMモジュール

OpenCV 3.1のsfmモジュールのビルド再び

OpenMesh:オープンソースの3Dメッシュデータライブラリ

OpenCV 3.3.0-RCでsfmモジュールをビルド

なんかすごいサイト

Leap MotionでMaya上のオブジェクトを操作できるプラグイン

サンプルコードにも間違いはある?

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ゴジラ(2014)のメイキング

コメント