PythonのStructure from Motionライブラリ『OpenSfM』

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html


スポンサーリンク


このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/

このライブラリを使うには以下の依存ライブラリも必要となります。


スポンサーリンク

依存ライブラリ

OpenCVだけでなくOpenGVも使っているんですね。



QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。

https://www.youtube.com/watch?v=7YHvFVwUwcw

むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)


スポンサーリンク

関連記事

まだ続くブログの不調
fSpy:1枚の写真からカメラパラメーターを割り出すツール
Kaolin:3Dディープラーニング用のPyTorchライブラリ
PGGAN:段階的に解像度を上げて学習を進めるGAN
Kinect for Windows v2の日本価格決定
オープンソースの3Dメッシュデータライブラリ『OpenMesh』
openMVGをWindows10 Visual Studio 2015環境でビルドする
iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』
Google App EngineでWordPress
網元AMIで作ったWordpressサイトのインスタンスをt1microからt2microへ移行した
pythonの機械学習ライブラリ『scikit-learn』
Photogrammetry (写真測量法)
Blender 2.8がついに正式リリース!
顔画像処理技術の過去の研究
SDカードサイズのコンピューター『Intel Edison』
Raspberry Piでセンサーの常時稼働を検討する
Iterator
タマムシっぽい質感
CGのためのディープラーニング
機械学習手法『Random Forest』
Adobe MAX 2015
『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた
C++始めようと思うんだ
adskShaderSDK
機械学習について理解するための可視化ツール『MLDemos』
Unity ARKitプラグインサンプルのドキュメントを読む
Fast R-CNN:ディープラーニングによる一般物体検出手法
科学技術計算向けスクリプト言語『Julia』
UnityでShaderの入力パラメータとして行列を渡す
書籍『ROSプログラミング』
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』
Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法
Unityの各コンポーネント間でのやり取り
OpenCV 3.3.0-RCでsfmモジュールをビルド
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
Web経由でRaspberry PiのGPIOを操作したい
第25回コンピュータビジョン勉強会@関東に行って来た
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
OpenCV 3.1のsfmモジュールのビルド再び
OpenCVの超解像(SuperResolution)モジュールを試す
PythonのHTML・XMLパーサー『BeautifulSoup』
WebGL開発に関する情報が充実してきている

コメント