PythonのStructure from Motionライブラリ『OpenSfM』

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html


スポンサーリンク


このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/

このライブラリを使うには以下の依存ライブラリも必要となります。


スポンサーリンク

依存ライブラリ

OpenCVだけでなくOpenGVも使っているんですね。



QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。

https://www.youtube.com/watch?v=7YHvFVwUwcw

むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)


スポンサーリンク

関連記事

サンプルコードにも間違いはある?
2D→3D復元技術で使われる用語まとめ
MeshroomでPhotogrammetry
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
ベイズ推定とグラフィカルモデル
SONYの自律型エンタテインメントロボット『aibo』
ディープラーニング
フォトンの放射から格納までを可視化した動画
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
法線マップを用意してCanvas上でShadingするサンプル
3分の動画でプログラミングを学習できるサイト『ドットインストール』
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
OpenCVの顔検出過程を可視化した動画
ブラウザ操作自動化ツール『Selenium』を試す
Raspberry Piでセンサーの常時稼働を検討する
SONY製のニューラルネットワークライブラリ『NNabla』
Raspberry PiのGPIOを操作するPythonライブラリ『RPi.GPIO』の使い方
Unityで学ぶC#
iPhoneアプリ開発 Xcode 5のお作法
3Dグラフィックスの入門書
UnityのAR FoundationでARKit 3
python-twitterで自分のお気に入りを取得する
ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...
機械学習に役立つPythonライブラリ一覧
FacebookがDeep learningツールの一部をオープンソース化
バージョン管理の履歴を可視化するツール『Gource』
OpenCVで顔のモーフィングを実装する
OpenCVで動画の手振れ補正
Google Chromecast
ブログをGoogle App EngineからAmazon EC2へ移行
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
Unityからkonashiをコントロールする
OpenCVで顔のランドマークを検出する『Facemark API』
SSD (Single Shot Multibox Detector):ディープラーニングによる一般...
C#で使える機械学習ライブラリ『Accord.NET Framework』
OpenCVの超解像(SuperResolution)モジュールを試す
IronPythonを使ってUnity上でPythonのコードを実行する
画像認識による位置情報取得 - Semi-Direct Monocular Visual Odome...
Model View Controller
C#で使える可読性重視のディープラーニングライブラリ『KelpNet』

コメント