PythonのStructure from Motionライブラリ『OpenSfM』

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。

Ever since we started the OpenSfM project, we have been exploring the potentials of the 3D reconstructions built using photos contributed by Mapillary users.


スポンサーリンク


このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
その場所に行かなくてもどんな建物があるのか確認できるストリートビューは非常に便利ですが、ストリートビューカーが通れない道など公開されていない場所は多いものです。世界中のあらゆる場所をストリートビュー化する壮大なプロジェクトが「Mapillary」で、専用アプリを使ってスマートフォンで簡単に好きな場所をストリートビュー化...
スウェーデンのスタートアップMapillaryは、クラウドソーシングによるストリート映像を使うことで、Googleやその他の企業たちに世界の地図化で対抗することを狙う企業だ。そのMapillaryがこのたび、そのプラットホームの開発の中で興味深い一歩を踏み出した。同社は現在、Amazonと協力し、特にそのRekog..

このライブラリを使うには以下の依存ライブラリも必要となります。


スポンサーリンク

依存ライブラリ

OpenCVだけでなくOpenGVも使っているんですね。

2D画像からの3D情報復元について調べていたらこんなオープンソースライブラリを見つけた。↓ The OpenGV library OpenGVライブラリは、キャリブレーション済みカメラの姿勢計算に必要となる幾何学アルゴリズムを効率的...

QiitaではDocker上で動かす方法を書いている人がいる。
#はじめに  mapillary社が公開している、複数の静止画から3D点群を作成するOpenSfMについて紹介します。( "mapillary/O...

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。



むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)


スポンサーリンク

関連記事


Also published on Medium.