最近、この手の2D→3D復元系のライブラリを色々と調べている。何となく、自分で3D復元ツールを作ってみたくてね。
この間のOpenGVは複数画像からカメラ(視点)の3次元位置・姿勢を推定するライブラリだった↓
こっちのopenMVG(Multiple View Geometry)は、名前の通り、複数視点から3次元形状を復元するためのオープンソースのライブラリ。(中身の処理はあんまり違いが無い気もする)
ライセンスはMPL(Mozilla Public License)2.0なので、商用利用も可能。
openMVG: “open Multiple View Geometry”
“open Multiple View Geometry”は、コンピュータビジョン研究者、特にMultiple View Geometryのコミュニティを対象としたライブラリです。このライブラリは、多視点幾何における古典的な手法を簡単に扱うことができ、多視点幾何の問題を正確に解けるように設計されています。
openMVGのポリシーは「シンプルに保つ、メンテナンス性を保つ」です。OpenMVGは、コミュニティでの変更が行いやすいように、コードの可読性を重視しています。機能とモジュールは全てユニットテスト済みです。このテスト駆動開発によって、コードの動作と再現性を保証します。また、この構造はユーザーが特定の機能を学び、理解する助けとなるでしょう。
より詳しく知りたい場合は、openMVG GitHubのリポジトリをご覧ください。
と、公式ページに書いてあるので、アルゴリズムのお勉強にも有用なのではないでしょうか。公式ドキュメントはこちら。
以前Structure from Motionを調べた時にチラホラとopenMVGという名前は聞いてたんだけど、その頃はコンピュータビジョンについて知らなさ過ぎてスルーしちゃってた。
Youtubeを見ると、openMVGとPMVS(Patch-based Multi-view Stereo Software)というツールと併用して3次元復元した動画がいくつかアップされている。
公式ページに
openMVG provides complete Structure from Motion implementations:
a sequential pipeline
a global pipeline
って書いてあるけど、”complete Structire from Motion implementations”ってのはカメラ姿勢と疎な点群の復元までですかね。
追記：openMVGにGUIを付けたツールを見つけた↓
関連記事
Raspberry PiでIoTごっこ
オープンソースのロボットアプリケーションフレームワーク『RO...
Mitsuba 3：オープンソースの研究向けレンダラ
Unity ARKitプラグインサンプルのチュートリアルを読...
Paul Debevec
Google App Engine上のWordPressでF...
UnrealCV：コンピュータビジョン研究のためのUnrea...
フィーリングに基づくタマムシの質感表現
DUSt3R：3Dコンピュータービジョンの基盤モデル
iOSデバイスのためのフィジカル・コンピューティングツールキ...
網元AMIで作ったWordpressサイトのインスタンスをt...
WebGL開発に関する情報が充実してきている
Digital Emily Project：人間の顔をそっく...
UnityプロジェクトをGitHubで管理する
Windows10でPyTorchをインストールしてVSCo...
Google App Engine上のWordPressでA...
OpenVDB：3Dボリュームデータ処理ライブラリ
Regard3D：オープンソースのStructure fro...
Human Generator：Blenderの人体生成アド...
Multi-View Environment：複数画像から3...
Raspberry Pi 2のGPIOピン配置
DensePose：画像中の人物表面のUV座標を推定する
Point Cloud Libraryに動画フォーマットが追...
TeleSculptor：空撮動画からPhotogramme...
スクレイピング
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
Managing Software Requirements...
Raspberry Pi 2を買いました
Mitsuba 2：オープンソースの物理ベースレンダラ
C++の抽象クラス
ZScript
CNN Explainer：畳み込みニューラルネットワーク可...
OpenCVで顔のランドマークを検出する『Facemark ...
OpenCVで平均顔を作るチュートリアル
Caffe：読みやすくて高速なディープラーニングのフレームワ...
OpenCV 3.1のsfmモジュールのビルド再び
Netron：機械学習モデルを可視化するツール
Model View Controller
自前のShaderがおかしい件
OpenCVでiPhone6sのカメラをキャリブレーションす...
チャットツール用bot開発フレームワーク『Hubot』
OpenCV 3.3.0-RCでsfmモジュールをビルド
コメント
面白いブログ、ありがとうございます。
OpenMVGについての質問ですが、複数のカメラ画面から室内の立体空間を再現する上、特定の場所にものが置いているかを判別することが可能ですか？もし、可能なら、その場合、カメラの台数や、撮影角度について、要求がありますか？
こんにちは。
openMVGは画像から3次元形状を復元するためのライブラリですので、「特定の場所に物が置いてあるかを判別する」という目的での使用には適していません。
要件を聞く限り、単純に2次元の背景差分で対処できる気がします。
カメラを固定しておけば、「物が無い状態」と「物がある状態」で撮影画像の特定の領域の画素だけが変化しますので、その変化を検出すれば目的を果たせるのでは？
OpenCVの背景差分機能や、BGSLibraryという背景差分用のライブラリを試してみてはいかがでしょうか？
早速のご返事、大変ありがとうございます。
今回対象となっているのは、以下のような駐輪場です。
http://www.sagamiharashi-machimidori.or.jp/img/uploads/3/20071023093446_1.jpg
比較的に少ないカメラによって、各場所に自転車が止まっているかを判別したいです。
自転車が重なっているため、背景差分だけでは、判別しにくいかと考えております。
撮影場所によりますが、各場所を区切って空間情報を抽出して、その空間にものがあるかを判別できるなら、比較的に判別しやすいかもしれません。
素人の考えですみませんが、色々と教えて頂ければ、幸いです。
なるほど、自転車の有無を検出したいのですか。確かに背景差分は難しそうですね。
この場合、画像認識で対処するより、安価な物理的なスイッチ、あるいは距離センサーを各スペースに設置した方が確実な気はします。(お金かかりますね…)
リンクの画像を見てふと思ったのですが、駐輪場に止まるのが自転車限定であれば、車輪(楕円形状)を検出するのもアリかもしれません。
利用者がルール通りに駐輪してくれると仮定すると、撮影画像上での車輪(楕円形状)の位置はおおよそ予想がつきますから、その位置にならぶ楕円の数を数えるとか。
遮蔽の関係で上手く検出できるか保証できませんが、カメラの配置を工夫して自転車の後輪が必ず撮影できるように設置してみれば実験ぐらいはできるかも。
すみません、ちょっとお役に立ててないかも・・・
ちなみに、openMVGを使って3次元復元する場合でも、各自転車が重なって写ったままの画像からは正しく形状復元できません。