PythonのStructure from Motionライブラリ『OpenSfM』

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html


スポンサーリンク


このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/

このライブラリを使うには以下の依存ライブラリも必要となります。


スポンサーリンク

依存ライブラリ

OpenCVだけでなくOpenGVも使っているんですね。



QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。

https://www.youtube.com/watch?v=7YHvFVwUwcw

むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)


スポンサーリンク

関連記事

OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
JavaScriptとかWebGLとかCanvasとか
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
Googleが画像解析旅行ガイドアプリのJetpac社を買収
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
スクレイピング
チャットツール用bot開発フレームワーク『Hubot』
Autodesk Mementoでゴジラを3次元復元する
タマムシっぽい質感
PyDataTokyo主催のDeep Learning勉強会
3D復元技術の情報リンク集
Deep Learningとその他の機械学習手法の性能比較
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』
Verilog HDL
コンピュータビジョンの技術マップ
Mayaのプラグイン開発
AfterEffectsプラグイン開発
機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...
プログラミングスキルとは何か?
オープンソースのStructure from Motionライブラリ『Theia』
UnityでTweenアニメーションを実装できる3種類の無料Asset
マルコフ連鎖モンテカルロ法
Kinect for Windows v2の日本価格決定
Webスクレイピングの勉強会に行ってきた
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
WinSCP
1枚の画像からマテリアルを作成できる無料ツール『Materialize』
ポイントクラウドコンソーシアム
UnityのAR FoundationでARKit 3
WordPressの表示を高速化する
iPhone・iPod touchで動作する知育ロボット『ROMO』
SDカードサイズのコンピューター『Intel Edison』
Leap MotionでMaya上のオブジェクトを操作できるプラグイン
ニューラルネットワークで画像分類
OpenCVで動画の手ぶれ補正
Active Appearance Models(AAM)
OpenCVで顔のモーフィングを実装する
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
RSSフィードを読込んで表示するWordpressプラグイン『RSSImport』
OANDAのfxTrade API
iOSで使えるJetpac社の物体認識SDK『DeepBelief』

コメント