写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

タマムシっぽい質感

Kinect for Windows v2の日本価格決定

ZBrush4新機能ハイライト 3DCG CAMP 2010

OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる

OpenSfM:PythonのStructure from Motionライブラリ

ラクガキの立体化 3Dプリント注文

『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が公開された

機械学習について最近知った情報

ポイントクラウドコンソーシアム

Caffe:読みやすくて高速なディープラーニングのフレームワーク

BGSLibrary:OpenCVベースの背景差分ライブラリ

中学3年生が制作した短編映像作品『2045』

参考になりそうなサイト

uGUI:Unityの新しいGUI作成システム

OpenGVの用語

OpenCVの三角測量関数『cv::triangulatepoints』

オープンソースの顔認識フレームワーク『OpenBR』

libigl:軽量なジオメトリ処理ライブラリ

ヘッドマウントディスプレイとビジュアリゼーションの未来

Runway ML:クリエイターのための機械学習ツール

オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...

OpenMayaのPhongShaderクラス

『パシフィック・リム: アップライジング』のVFXブレイクダウン まとめ

ゴジラ三昧

Faster R-CNN:ディープラーニングによる一般物体検出手法

After Effects全エフェクトの解説(6.5)

3Dスキャンに基づくプロシージャルフェイシャルアニメーション

Mayaのシェーディングノードの区分

ZBrushでアヴァン・ガメラを作ってみる 腕の作り込み

オープンソースの物理ベースGIレンダラ『appleseed』

RefineNet (Multi-Path Refinement Network):ディープラーニン...

U-Net:ディープラーニングによるSemantic Segmentation手法

ZBrushからBlenderへモデルをインポート

ZBrushでアヴァン・ガメラを作ってみる 下アゴと頭部を作り込む

ZBrushで手首のモデリングをリファイン

Alice Vision:オープンソースのPhotogrammetryフレームワーク

ベイズ推定とグラフィカルモデル

UnityでPoint Cloudを表示する方法

ZBrushの練習 手のモデリング

Pix2Pix:CGANによる画像変換

BlenderのRigifyでリギング

ヒーローに変身なりきりアーケードゲーム『ナレルンダー』

コメント