OpenSfM:PythonのStructure from Motionライブラリ

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html


スポンサーリンク


このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/

このライブラリを使うには以下の依存ライブラリも必要となります。


スポンサーリンク

依存ライブラリ

ソースコードはGitHubにある↓
https://github.com/mapillary/OpenSfM

OpenCVだけでなくOpenGVも使っているんですね。



QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。



むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)


スポンサーリンク

関連記事

Google製オープンソース機械学習ライブラリ『TensorFlow』のWindows版が公開された
フォトンの放射から格納までを可視化した動画
Pythonのソースコードに特化した検索エンジン『Nullege』
WordPressの表示を高速化する
手を動かしながら学ぶデータマイニング
Unreal Engineの薄い本
OpenCV 3.1から追加されたSfMモジュール
UnityのGameObjectの向きをScriptで制御する
3Dモデルを立体視で確認できるVRアプリを作っている
OpenCV
Super Resolution:OpenCVの超解像処理モジュール
OpenMVS:Multi-View Stereoによる3次元復元ライブラリ
AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する
機械学習に役立つPythonライブラリ一覧
まだ続くブログの不調
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
チャットツール用bot開発フレームワーク『Hubot』
Unityで強化学習できる『Unity ML-Agents』
CGのためのディープラーニング
Netron:機械学習モデルを可視化するツール
SSD (Single Shot Multibox Detector):ディープラーニングによる一般...
Webスクレイピングの勉強会に行ってきた
OpenCVの三角測量関数『cv::triangulatepoints』
Python拡張モジュールのWindows用インストーラー配布サイト
Point Cloud Utils:Pythonで3D点群・メッシュを扱うライブラリ
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』
CNN Explainer:畳み込みニューラルネットワーク可視化ツール
HD画質の無駄遣い
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
顔画像処理技術の過去の研究
Mechanizeで要認証Webサイトをスクレイピング
CycleGAN:ドメイン関係を学習した画像変換
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
Kubric:機械学習用アノテーション付き動画生成パイプライン
MeshroomでPhotogrammetry
Mayaのプラグイン開発
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
MLDemos:機械学習について理解するための可視化ツール
PyDataTokyo主催のDeep Learning勉強会
為替レートの読み方 2WAYプライス表示
Kinect for Windows V2のプレオーダー開始
UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

コメント