Alice Vision:オープンソースのPhotogrammetryフレームワーク

3D人-3dnchu-さんでオープンソースのPhotogrammetryアプリケーション「meshroom」とその基盤となっているフレームワーク「Alice Vision」が紹介されていたのでちょっと調べてみた。
http://3dnchu.com/archives/alicevision-meshroom/

AliceVision – Photogrammetric Computer Vision Framework

AliceVision

AliceVisionは3D復元とカメラトラッキングのアルゴリズムを提供するPhotogrammetricコンピュータービジョンフレームワークです。AliceVisionは、state-of-the-artのコンピュータビジョンアルゴリズムを、テスト・分析・再利用可能な強力なソフトウェアのベースとして提供することを目指しています。このプロジェクトはアカデミアと産業のコラボレーションにより、プロダクションでの使用に耐える堅牢性と品質を備えた最先端のアルゴリズムを提供します。

このプロジェクトを基にしたパイプラインとツールの詳細はAliceVisionのWebサイトでご覧ください。

パイプラインによる処理結果はsketchfabを参照してください。

Alice VisionフレームワークのライセンスはMPLv2(Mozilla Public License, version 2.0)とのことで、商用利用は可能だけどソースコードの開示が必要。

COPYING.mdを読むと、Structure from Motionの処理はopenMVG、Multi-View Stereoの処理にはCMPMVSが使われている他、libmvなど色んなサードパーティーのライブラリが使用されている。



また、GitHub上のリポジトリだけでなく、Alice Vision公式のWebサイトがあります↓
https://alicevision.github.io/


スポンサーリンク

関連ライブラリ

関連ライブラリが2つある。

CCTag

CCTag

このライブラリを使用すると、CCTagマーカーを検出・識別することができます。
このマーカシステムは、チャレンジングな撮影条件でもサブピクセル精度の堅牢性を提供します。

CCTagはCVPR 2016で発表された論文”Detection and Accurate Localization of Circular Fiducials under Highly Challenging Conditions“で提案されているマーカー検出システムを実装したライブラリ。
CPUとGPU両方の実装が入っているようです。こちらもMPLv2ライセンス。

PopSIFT

PopSIFT

このライブラリは、SIFT特徴量抽出のGPU実装を提供します。
最近のグラフィックカードなら、HD解像度の画像に対して25fpsのパフォーマンスを発揮できます。

PopSiftはSHIFTをGPUで高速に処理できるライブラリ。
こちらも基本はMPLv2ライセンスだけど、SHIFTは特許で守られているので、その辺の権利が面倒そうですね。

スタンドアローンのアプリケーション

さて、ライセンス的に商用アプリケーションに組み込みづらいAlice Visionフレームワークですが、公式にフレームワークを使用したソフトウェアが公開されている。もちろんオープンソース。
ただ、meshroom以外はソースコードのみの公開なので、自前でビルドしないと使えません。そのうちビルド済みのバイナリが配布されると良いですね。

meshroom


meshroomは、AliceVisionフレームワークを使った無料でオープンソースの3D復元ソフトウェアです。


スポンサーリンク

meshroomはAliceVisionフレームワークをベースにしたスタンドアローンなPhotogrammetryアプリケーション。3D人-3dnchu-さんではメインで紹介されていました。
無料で使えるPhotogrammetryツールなので色々と可能性が広がりますね。meshroomはダウンロードページでWindows, Linux用にビルド済みのパッケージが配布されている。

2019年6月 追記:使ってみた↓


DCCツール向けプラグイン

その他、各DCCツールアプリケーション向けのプラグインもある。

MeshroomMaya

MeshroomMaya

MeshroomMayaによって、グラフィックアーティスト達は画像からピクセル精度での3D復元モデリング(点群とカメラ)が可能になります。

MeshroomMayaは複数枚画像から3Dモデルを作成できるMayaプラグイン。旧名はMayaMVGだったんですね。

ofxMVG

ofxMVG

このプラグインは、meshroomで3D復元されたシーンからカメラの姿勢を推定します。

ofxMVGはNuke用プラグインで、OpenFX規格に対応している。

Houdini用AliceVisionプラグイン

Houdini用のAliceVisionプラグインもある。(Windowsのみ)

AliceVision は、3D再構成およびカメラ追跡アルゴリズムを提供するフォトグラメトリコンピュータビジョンフレームワークで 、こちらに概要が出ている研究者と開発者によって Github で提供されています。
そのコマンドライン機能により、Houdini の無償の GameDevelopmentToolset の一部として利用可能になりました。
AliceVision MPL2 によってライセンスされています。

Photogrammetryのパイプライン

Alice VisionのサイトでPhotogrammetryのパイプラインを解説しているページが分かりやすかったので引用↓

Photogrammetry Pipeline

Photogrammetryは複数の写真から測量する技術です。
Photogrammetryでは、順序付けされていない複数枚の写真やビデオのセットからシーンのジオメトリを推定します。
写真は3Dシーンを2D平面に投影したものであり、奥行き情報を失っています。この投影プロセスの逆行がPhotogrammetryの目標となります。

  1. Natural Feature Extraction
  2. Image Matching
  3. Features Matching
  4. Structure from Motion
  5. Depth maps estimation
  6. Meshing
  7. Texturing
  8. Localization

2021年追記:MeshroomからBlenderにインポートするためのアドオンもある↓

meshroom2blender



Blender importer of AliceVision Meshroom datafiles: cameras, images, sparse pointcloud and obj’s.
Basic implementation of meshroom importer. If you have sphisticated node three it will use only the first nodes from the file. Addon assumes you did compute each stages/nodes, and the output is same.


スポンサーリンク

関連記事

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
Unityからkonashiをコントロールする
オープンソースのプリント基板設計ツール『KiCad』
タダでRenderManを体験する方法
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
自前のShaderがおかしい件
頭蓋骨からの顔復元と進化過程の可視化
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
iPhone 3GSがますます欲しくなる動画
ベイズ推定とグラフィカルモデル
Web経由でRaspberry PiのGPIOを操作したい
PyTorch3D:3Dコンピュータービジョンライブラリ
SIGGRAPH ASIAのマスコット
Physically Based Rendering
UnityでTweenアニメーションを実装できる3種類の無料Asset
WebGL開発に関する情報が充実してきている
Google App Engine上のWordPressでAmazonJSを利用する
プラカラーストック:模型塗料を管理できるスマホアプリ
為替レートの読み方 2WAYプライス表示
Open3D:3Dデータ処理ライブラリ
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
ZBrushでアヴァン・ガメラを作ってみる パーツ分割
Deep Fluids:流体シミュレーションをディープラーニングで近似する
windowsのエクスプローラでRAW画像のサムネイルを表示するソフト『FastPictureVie...
OANDAのfxTrade API
Raspberry Piでセンサーの常時稼働を検討する
Google App Engineのデプロイ失敗
3D映画のポストプロダクション 2D-3D変換
プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
TeleSculptor:空撮動画からPhotogrammetryするツール
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整
OpenCV 3.1のsfmモジュールのビルド再び
天体写真の3D動画
Mayaのレンダリング アトリビュート
続・ディープラーニングの資料
Mayaのプラグイン開発
MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト
FCN (Fully Convolutional Network):ディープラーニングによるSema...

コメント