この前、Autodesk Mementoで複数枚の写真から3D復元を試してみたけど、あんまり上手くいかなかった。
追記：ベータ版だったAutodesk Mementoから現在は名称が変わり、Autodesk Remakeになりました。機能限定版なら引き続き無料で利用できます。
この結果を見ると、3D復元したい被写体以外に、背景の画像特徴量も拾ってしまって復元がかかっている様子。Shape from Motionの仕組みを考えると、画像間の対応関係を求めるために局所特徴量を手掛かりにするはずなので、おそらくAutodesk Mementoも何かしらの局所特徴量を用いて処理しているはずである。
ということは、同じ撮影素材でも、被写体以外の余計な局所特徴量を取り除いてから復元処理をかければ、もう少し3D復元が上手くいくのではないかと思い始めた。
てっとり早く、前回と同じ多視点画像素材17枚をAfterEffectsでキーイングして、被写体以外の背景部分を完全に単色に塗りつぶしてフラットにして、局所特徴量を取りづらい状態にして見た。Autodesk Mementoへの入力画像はJPEG形式にしか対応していないようなので、少し劣化しちゃうけどJPEGで作った。(最初はアルファチャンネル付きPNGで試そうとしたんだけど。)
キーイング後も影は微妙に残っておりますが…
復元結果
ということで、再挑戦した復元結果です。
前よりはだいぶまともになったけど、まだ完全に造形をトレースできてないですね。↓
※背景部分もポリゴンが生成されたけど、手作業で除去しました。
被写体のゴジラにフィギュア自体は、光沢の無い、比較的理想の3D復元素材だと思うけど、今回使った画像素材はもともとiPhoneで適当に撮ったものだから、撮り方が悪かったのかも。ちゃんとカメラを固定して、ターンテーブルを使って等間隔の角度で撮った方が良さげ。怪獣という被写体は表面のディティールが多くて画像認識的には便利だと思いますよ。
Mementoというツールの使い方としては、こういう、ある程度汚い3D復元結果でも、これをユーザーが編集してキレイに整形すればコンテンツとして利用できる3Dモデルなるよ、ってことなんだろうな。現状、画像からの3D復元はそんなに万能な技術じゃないみたい。
キレイに整形したらZBrushへインポートしてみようかな。
関連記事
S.H.MonsterArts ゴジラ（2001）はプレミア...
マインドマップ作成ツール『MindNode』
この連休でZBrushの スキルアップを…
オープンソースのIT資産・ライセンス管理システム『Snipe...
Super Resolution：OpenCVの超解像処理モ...
ZBrush 4R7
OpenCVで顔のモーフィングを実装する
Connected Papers：関連研究をグラフで視覚的に...
『GODZILLA ゴジラ』のBlu-Rayを買った
ビリケン商会 メカゴジラⅡ 電飾を仕込む
ZBrushでメカ物を作るチュートリアル動画
ワンダーフェスティバル2019[冬]に行ってきた
Mitsuba 2：オープンソースの物理ベースレンダラ
Python for Unity：UnityEditorでP...
海洋堂 20cmシリーズ『デスゴジ』 クリアーオレンジVer...
S.H.MonsterArts ゴジラ（2014）
Paul Debevec
TOHO MONSTERS KIT メカゴジラ (1993)...
『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイ...
サンプルコードにも間違いはある？
ゴジラ・フェス 2018
海洋堂 20cmシリーズ『キンゴジ』 全身の塗装
OpenCVのバージョン3が正式リリースされたぞ
ゴジラ2000ミレニアムの眼の塗装
UnityでShaderの入力パラメータとして行列を渡す
MPFB2：Blenderの人体モデリングアドオン
3DCGのモデルを立体化するサービス
『ローグ・ワン/スター・ウォーズ・ストーリー』"あのキャラク...
LuxCoreRender：オープンソースの物理ベースレンダ...
アニメーション映画『GODZILLA』
酒井ゆうじ造型工房『20cm ビオゴジ出現』 眼の周りのレタ...
海洋堂 20cmシリーズ『キンゴジ』 表面処理
2012のメイキングまとめ(途中)
ZBrushでゴジラ2001を作ってみる 身体のバランスを探...
第25回コンピュータビジョン勉強会＠関東に行って来た
Maya API Reference
海洋堂の20cm ゴジラ ソフビキットが7月に再販
ラクガキの立体化 目標設定
Faceshiftで表情をキャプチャしてBlender上でM...
ビリケン商会 メカゴジラⅡ 耳パーツの型取り・複製
ゴジラのスマホゲーム『Godzilla: Strike Zo...
Blender 2.81でIntel Open Image ...
コメント