Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』

複数枚の2D画像から、カメラの3D姿勢情報と被写体の疎(sparse)な3D点群を推定するのがStructure from Motionという手法。そこで求めたカメラの姿勢、点群の情報を使ってさらに密(dense)な点群を求めるのがMulti-View Stereoという手法。
Structure from Motionのライブラリは結構色々あるみたいなんだけど、そこから密な点群を求めるMulti-View Stereoのライブラリはあんまり見かけないんだよね。(PMVSというツールは有名ですが)

このOpenMVS(Multi-View Stereo)は、名前の通り、密な点群を復元するMulti-View Stereoのアルゴリズムを実装したライブラリ。OpemMVS自体はAGPLライセンスだけど、依存しているサードパーティのライブラリが細々と沢山あり、それぞれのライセンスに従うのでこちらを参照。

OpenMVS

OpenMVS(Multi-View Stereo)は、コンピュータビジョン科学者、特にMulti-View Stereo reconstructionの分野を対象としたライブラリです。
Structure-from-Motionのパイプラインを実装した(OpenMVGなどの)オープンソースプロジェクトを使えば、入力画像セットからカメラの姿勢や疎な3次元点群を復元できますが、それだけではphotogrammetry chain-flowの最後のプロセスが欠けています。OpenMVSは、この最後のプロセス、再構築するシーンの完全なサーフェイスを復元するためのアルゴリズムを提供します。
OpenMVSへの入力はカメラの姿勢セットと疎な点群、OpenMVSからの出力はテクスチャ付きのMeshになります。
このプロジェクトの主な特長は以下の通りです。

  • 密な点群の復元:可能な限り完全・正確な点群を得るための復元
  • Meshの再構築:入力点群から高品質なMesh表面を推定するためのMesh再構築
  • Meshの分割:全てのディティールを復元するためのMesh分割
  • Meshのテクスチャリング:Meshを着色するためのシャープで正確なテクスチャ計算

詳細なドキュメントはWikiをご覧ください。


スポンサーリンク

このライブラリ、OpenMVGのドキュメントで紹介されていたのだ。


スポンサーリンク


OpenMVGのドキュメントによると、OpenMVGとOpenMVSの連携は比較的簡単にできるみたい。
ソースコードはGitHubにある。↓
https://github.com/cdcseacave/openMVS

ドキュメントはGitHub上のWikiに。↓
https://github.com/cdcseacave/openMVS/wiki

OpenMVGの出力結果をOpenMVSの入力に使う例も載ってる。↓

使い方

secene dense

追記:ドキュメントに従ってサンプルを動かしてみた↓


関連資料

Multi-View Stereoについては、毎度おなじみコンピュータビジョン最先端ガイド5と、コンピュータビジョン勉強会@関東の第28回の資料が参考になる。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)





スポンサーリンク

関連記事

Web経由でRaspberry PiのGPIOを操作したい
ベイズ推定とグラフィカルモデル
WebGL開発に関する情報が充実してきている
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
Mitsuba 2:オープンソースの物理ベースレンダラ
複数視点画像から3次元形状を復元するライブラリ『openMVG』
PCA (主成分分析)
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
Deep Learningとその他の機械学習手法の性能比較
JavaScriptとかWebGLとかCanvasとか
機械学習について理解するための可視化ツール『MLDemos』
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
Active Appearance Models(AAM)
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
オープンソースのプリント基板設計ツール『KiCad』
Managing Software Requirements: A Unified Approach
Kaolin:3Dディープラーニング用のPyTorchライブラリ
立体視を試してみた
オープンソースのSLAMライブラリ『Cartographer』
SDカードサイズのコンピューター『Intel Edison』
軽量なジオメトリ処理ライブラリ『libigl』
株式会社ヘキサドライブの研究室ページ
PythonのHTML・XMLパーサー『BeautifulSoup』
WordPress on Windows Azure
UnityでPoint Cloudを表示する方法
Unityの各コンポーネント間でのやり取り
OpenGVの用語
3Dボリュームデータ処理ライブラリ『OpenVDB』
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
Python for Unity:UnityEditorでPythonを使えるパッケージ
TensorFlowでCGを微分できる『TensorFlow Graphics』
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
オーバーロードとオーバーライド
U-Net:ディープラーニングによるSemantic Segmentation手法
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
フィーリングに基づくタマムシの質感表現
OpenCV 3.3.0-RCでsfmモジュールをビルド
OpenCVの超解像(SuperResolution)モジュールを試す
プログラムによる景観の自動生成
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』

コメント

  1. […] がとうございます。 NegativeMindさんありがとうございます。 NegativeMindException | Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』 NegativeMindException | 複数視点画像から3次元形状を復元するラ […]