OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

複数枚の2D画像から、カメラの3D姿勢情報と被写体の疎(sparse)な3D点群を推定するのがStructure from Motionという手法。そこで求めたカメラの姿勢、点群の情報を使ってさらに密(dense)な点群を求めるのがMulti-View Stereoという手法。
Structure from Motionのライブラリは結構色々あるみたいなんだけど、そこから密な点群を求めるMulti-View Stereoのライブラリはあんまり見かけないんだよね。(PMVSというツールは有名ですが)

このOpenMVS(Multi-View Stereo)は、名前の通り、密な点群を復元するMulti-View Stereoのアルゴリズムを実装したライブラリ。OpemMVS自体はAGPLライセンスだけど、依存しているサードパーティのライブラリが細々と沢山あり、それぞれのライセンスに従うのでこちらを参照。

OpenMVS

OpenMVS(Multi-View Stereo)は、コンピュータビジョン科学者、特にMulti-View Stereo reconstructionの分野を対象としたライブラリです。
Structure-from-Motionのパイプラインを実装した(OpenMVGなどの)オープンソースプロジェクトを使えば、入力画像セットからカメラの姿勢や疎な3次元点群を復元できますが、それだけではphotogrammetry chain-flowの最後のプロセスが欠けています。OpenMVSは、この最後のプロセス、再構築するシーンの完全なサーフェイスを復元するためのアルゴリズムを提供します。
OpenMVSへの入力はカメラの姿勢セットと疎な点群、OpenMVSからの出力はテクスチャ付きのMeshになります。
このプロジェクトの主な特長は以下の通りです。

  • 密な点群の復元:可能な限り完全・正確な点群を得るための復元
  • Meshの再構築:入力点群から高品質なMesh表面を推定するためのMesh再構築
  • Meshの分割:全てのディティールを復元するためのMesh分割
  • Meshのテクスチャリング:Meshを着色するためのシャープで正確なテクスチャ計算

詳細なドキュメントはWikiをご覧ください。

このライブラリ、OpenMVGのドキュメントで紹介されていたのだ。



OpenMVGのドキュメントによると、OpenMVGとOpenMVSの連携は比較的簡単にできるみたい。
ソースコードはGitHubにある↓
https://github.com/cdcseacave/openMVS

ドキュメントはGitHub上のWikiに↓
https://github.com/cdcseacave/openMVS/wiki

OpenMVGの出力結果をOpenMVSの入力に使う例も載ってる↓

使い方

secene dense

追記:ドキュメントに従ってサンプルを動かしてみた↓


関連資料

Multi-View Stereoについては、毎度おなじみコンピュータビジョン最先端ガイド5と、コンピュータビジョン勉強会@関東の第28回の資料が参考になる。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)




関連記事

Leap MotionでMaya上のオブジェクトを操作できるプラグイン

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

書籍『イラストで学ぶ ディープラーニング』

プログラミングスキルとは何か?

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法

WebGL開発に関する情報が充実してきている

OANDAのfxTrade API

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

OpenGVの用語

WordPressプラグインの作り方

NeRF (Neural Radiance Fields):深層学習による新規視点合成

OpenGVのライブラリ構成

手を動かしながら学ぶデータマイニング

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

オープンソースのプリント基板設計ツール『KiCad』

OpenSfM:PythonのStructure from Motionライブラリ

SONY製のニューラルネットワークライブラリ『NNabla』

BGSLibrary:OpenCVベースの背景差分ライブラリ

3分の動画でプログラミングを学習できるサイト『ドットインストール』

OpenCV バージョン4がリリースされた!

PGGAN:段階的に解像度を上げて学習を進めるGAN

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

Raspberry Pi

チャットツール用bot開発フレームワーク『Hubot』

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

Mitsuba 2:オープンソースの物理ベースレンダラ

ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...

Google XML Sitemap Generatorプラグインを3.4.1へダウングレード

OpenCV3.3.0でsfmモジュールのビルドに成功!

3Dモデルを立体視で確認できるVRアプリを作っている

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』

機械学習について最近知った情報

iPhone・iPod touchで動作する知育ロボット『ROMO』

AfterEffectsプラグイン開発

Point Cloud Utils:Pythonで3D点群・Meshを扱うライブラリ

iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』

このブログのデザインに飽きてきた

COLMAP:オープンソースのSfM・MVSツール

Python.NET:Pythonと.NETを連携させるパッケージ

Unity ARKitプラグインサンプルのドキュメントを読む

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

Geogram:C++の3D幾何アルゴリズムライブラリ

コメント

  1. […] がとうございます。 NegativeMindさんありがとうございます。 NegativeMindException | Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』 NegativeMindException | 複数視点画像から3次元形状を復元するラ […]