写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』

Twitterで知ったんだけど、10月6日~8日にロサンゼルスで開催されたAdobe MAX 2014というカンファレンスの、将来搭載されるかもしれない新技術をプレゼンテーションする「Sneak Peeks」というセッションの内容がすごい。全部で13のプロジェクトが紹介されたらしいんだけど、中でも3DPhotoMagicというのが個人的にツボ。
これは写真に3Dオブジェクトを違和感無く合成するための技術。実写と3DCGを合成する話は結構昔からあるんだけど、違和感無く合成するためには写真の撮影環境の情報を別途計測して利用する方法が主流だった。このプロジェクトは撮影環境の情報を写真1枚から推定してしまう技術なわけです。



3Dオブジェクトを合成する上で必要となる情報は、カメラのレンズの情報(歪みやパースなど)や、写真内に写っている物の位置関係、そして照明環境。ハリウッドの大作映画だと、これらの情報を撮影時に記録したり、撮影後の画から人海戦術で入力したりしてましたね。今まで人的な作業が非常に多いジャンルだったけど、これらが1枚の画像からサクッとできちゃう技術だそうです。
 


 
この「Sneak Peeks」で発表される技術は、Adobe製品への搭載を確約するものではなく、あくまで可能性のプレゼンテーションだけど、やっぱり期待してしまう。
その他に発表されたプロジェクトについてはこちらの記事が詳しい↓
「この昼の写真、夜にしてよ」→ できるんです! Adobeの新技術発表会「Sneak Peeks」で発表された技術群がすごい
 

関連記事

openMVG:複数視点画像から3次元形状を復元するライブラリ

ZBrushのUV MasterでUV展開

ZBrushのTranspose Masterでポーズを付ける

Qlone:スマホのカメラで3Dスキャンできるアプリ

UnityでShaderの入力パラメータとして行列を渡す

ZBrushと液晶ペンタブレットでドラゴンをモデリングするチュートリアル動画

デザインのリファイン再び

グローバルイルミネーションに手を出す前に、やり残したことがあるんじゃない?

Open Shading Language (OSL)

ニューラルネットワークで画像分類

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

Kaolin:3Dディープラーニング用のPyTorchライブラリ

Accord.NET Framework:C#で使える機械学習ライブラリ

Active Appearance Models(AAM)

OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる

ラクガキの立体化 モールドの追加

Mayaのレンダリング アトリビュート

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...

cvui:OpenCVのための軽量GUIライブラリ

Regard3D:オープンソースのStructure from Motionツール

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

OpenCVで顔のランドマークを検出する『Facemark API』

ZBrushで人型クリーチャー

Maya LTのQuick Rigを試す

ラクガキの立体化 3Dプリント注文

OpenCV

ZBrushでアヴァン・ガメラを作ってみる 下半身のバランス調整

映画『ブレードランナー 2049』のVFX

ZBrushでアヴァン・ガメラを作ってみる 下アゴと頭部を作り込む

世界一下品なクマと世界一紳士なクマ

OpenCVでカメラ画像から自己位置認識 (Visual Odometry)

ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』

株式会社ヘキサドライブの研究室ページ

ニンテンドー3DSのGPU PICA200

ZBrushでUndo Historyを動画に書き出す

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

オープンソースの物理ベースGIレンダラ『appleseed』

DensePose:画像中の人物表面のUV座標を推定する

Pix2Pix:CGANによる画像変換

UnityのGameObjectの向きをScriptで制御する

ZBrush 4R8 リリース!

映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ

コメント