複数視点画像から3次元形状を復元するライブラリ『openMVG』

最近、この手の2D→3D復元系のライブラリを色々と調べている。何となく、自分で3D復元ツールを作ってみたくてね。

この間のOpenGVは複数画像からカメラ(視点)の3次元位置・姿勢を推定するライブラリだった。↓



こっちのopenMVG(Multiple View Geometry)は、名前の通り、複数視点から3次元形状を復元するためのオープンソースのライブラリ。(中身の処理はあんまり違いが無い気もする)
ライセンスはMPL(Mozilla Public License)2.0なので、商用利用も可能。

openMVG: “open Multiple View Geometry”

openMVG

“open Multiple View Geometry”は、コンピュータビジョン研究者、特にMultiple View Geometryのコミュニティを対象としたライブラリです。このライブラリは、多視点幾何における古典的な手法を簡単に扱うことができ、多視点幾何の問題を正確に解けるように設計されています。
openMVGのポリシーは「シンプルに保つ、メンテナンス性を保つ」です。OpenMVGは、コミュニティでの変更が行いやすいように、コードの可読性を重視しています。機能とモジュールは全てユニットテスト済みです。このテスト駆動開発によって、コードの動作と再現性を保証します。また、この構造はユーザーが特定の機能を学び、理解する助けとなるでしょう。
より詳しく知りたい場合は、openMVG GitHubのリポジトリをご覧ください。


スポンサーリンク

と、公式ページに書いてあるので、アルゴリズムのお勉強にも有用なのではないでしょうか。公式ドキュメントはこちら


スポンサーリンク


以前Structure from Motionを調べた時にチラホラとopenMVGという名前は聞いてたんだけど、その頃はコンピュータビジョンについて知らなさ過ぎてスルーしちゃってた。
Structure from Motion (多視点画像からの3次元形状復元)
3DCGをガッツリ学んでたもんで、「2次元の画像処理よりも3次元のCGの方が抽象度が高くて美しい」という感覚があって、コンピュータビジョンに対して「お前らとは次元が違うんだよ」とか思ってたんだけど、最近のコンピュータビジョンは結構3次元なの...


Youtubeを見ると、openMVGとPMVS(Patch-based Multi-view Stereo Software)というツールと併用して3次元復元した動画がいくつかアップされている。

OpenMVG+PMVS dense cloud reconstruction

OpenMVG 3D reconstruction sparse vs dense

公式ページに

openMVG provides complete Structure from Motion implementations:
a sequential pipeline
a global pipeline

って書いてあるけど、”complete Structire from Motion implementations”ってのはカメラ姿勢と疎な点群の復元までですかね。

追記:openMVGにGUIを付けたツールを見つけた↓



スポンサーリンク

関連記事

3Dグラフィックスの入門書
ブログをGoogle App EngineからAmazon EC2へ移行
OpenCVで平均顔を作るチュートリアル
機械学習手法『SVM(Support Vector Machine)』
pythonの機械学習ライブラリ『scikit-learn』
PCA (主成分分析)
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
1枚の画像からマテリアルを作成できる無料ツール『Materialize』
人間の顔をそっくりそのままCGで復元する『Digital Emily Project』
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
Google Chromecast
Python for Unity:UnityEditorでPythonを使えるパッケージ
クリエイターのための機械学習ツール『Runway ML』
WinSCP
Fast R-CNN:ディープラーニングによる一般物体検出手法
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
Raspberry Pi 2のGPIOピン配置
サンプルコードにも間違いはある?
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
オープンソースの汎用レンダラ『Mitsuba 2』
Raspberry Pi
Mean Stack開発の最初の一歩
UnityでLight Shaftを表現する
ニューラルネットワークの構造を可視化するフレームワーク『TensorSpace.js』
Windows10でPyTorchをインストールしてVSCodeで使う
Unity ARKitプラグインサンプルのドキュメントを読む
3D復元技術の情報リンク集
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
OpenMVSのサンプルを動かしてみる
画像処理を基礎から学べるキーエンスのサイト『画像道場』
プログラムによる景観の自動生成
OpenCVでiPhone6sのカメラをキャリブレーションする
ベイズ推定とグラフィカルモデル
Pythonのソースコードに特化した検索エンジン『Nullege』
2D→3D復元技術で使われる用語まとめ
仮想関数
openMVGをWindows10 Visual Studio 2015環境でビルドする
Active Appearance Models(AAM)
Blenderの人体モデリングアドオン『MB-Lab』
クラスの基本
第1回 3D勉強会@関東『SLAMチュートリアル大会』

コメント

  1. 千里 より:

    面白いブログ、ありがとうございます。
    OpenMVGについての質問ですが、複数のカメラ画面から室内の立体空間を再現する上、特定の場所にものが置いているかを判別することが可能ですか?もし、可能なら、その場合、カメラの台数や、撮影角度について、要求がありますか?

    • NegativeMind より:

      こんにちは。

      openMVGは画像から3次元形状を復元するためのライブラリですので、「特定の場所に物が置いてあるかを判別する」という目的での使用には適していません。
      要件を聞く限り、単純に2次元の背景差分で対処できる気がします。

      カメラを固定しておけば、「物が無い状態」と「物がある状態」で撮影画像の特定の領域の画素だけが変化しますので、その変化を検出すれば目的を果たせるのでは?

      OpenCVの背景差分機能や、BGSLibraryという背景差分用のライブラリを試してみてはいかがでしょうか?

      • 千里 より:

        早速のご返事、大変ありがとうございます。
        今回対象となっているのは、以下のような駐輪場です。
        http://www.sagamiharashi-machimidori.or.jp/img/uploads/3/20071023093446_1.jpg
        比較的に少ないカメラによって、各場所に自転車が止まっているかを判別したいです。

        自転車が重なっているため、背景差分だけでは、判別しにくいかと考えております。
        撮影場所によりますが、各場所を区切って空間情報を抽出して、その空間にものがあるかを判別できるなら、比較的に判別しやすいかもしれません。
        素人の考えですみませんが、色々と教えて頂ければ、幸いです。

        • NegativeMind より:

          なるほど、自転車の有無を検出したいのですか。確かに背景差分は難しそうですね。
          この場合、画像認識で対処するより、安価な物理的なスイッチ、あるいは距離センサーを各スペースに設置した方が確実な気はします。(お金かかりますね…)

          リンクの画像を見てふと思ったのですが、駐輪場に止まるのが自転車限定であれば、車輪(楕円形状)を検出するのもアリかもしれません。
          利用者がルール通りに駐輪してくれると仮定すると、撮影画像上での車輪(楕円形状)の位置はおおよそ予想がつきますから、その位置にならぶ楕円の数を数えるとか。
          遮蔽の関係で上手く検出できるか保証できませんが、カメラの配置を工夫して自転車の後輪が必ず撮影できるように設置してみれば実験ぐらいはできるかも。

          すみません、ちょっとお役に立ててないかも・・・

          ちなみに、openMVGを使って3次元復元する場合でも、各自転車が重なって写ったままの画像からは正しく形状復元できません。