OpenSfM:PythonのStructure from Motionライブラリ

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html


スポンサーリンク


このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/

このライブラリを使うには以下の依存ライブラリも必要となります。


スポンサーリンク

依存ライブラリ

ソースコードはGitHubにある↓
https://github.com/mapillary/OpenSfM

OpenCVだけでなくOpenGVも使っているんですね。



QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。



むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)


スポンサーリンク

関連記事

Pythonの自然言語処理ライブラリ『NLTK(Natural Language Toolkit)』
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』
cvui:OpenCVのための軽量GUIライブラリ
Dlib:C++の機械学習ライブラリ
頭蓋骨からの顔復元と進化過程の可視化
KelpNet:C#で使える可読性重視のディープラーニングライブラリ
1枚の画像からマテリアルを作成できる無料ツール『Materialize』
GoogleのDeep Learning論文
Facebookの顔認証技術『DeepFace』
Multi-View Environment:複数画像から3次元形状を再構築するライブラリ
RefineNet (Multi-Path Refinement Network):ディープラーニン...
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...
Accord.NET Framework:C#で使える機械学習ライブラリ
Managing Software Requirements: A Unified Approach
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
iPhoneで3D写真が撮れるアプリ『seene』
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
Raspberry Pi
GoB:ZBrushとBlenderを連携させるアドオン
OpenAR:OpenCVベースのマーカーARライブラリ
続・ディープラーニングの資料
書籍『OpenCV 3 プログラミングブック』を購入
OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ
iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~
Raspberry Pi 2を買いました
AmazonEC2のインスタンスをt1.microからt2.microへ移行する
UnityでARKit2.0
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
オープンソースの取引プラットフォーム
TeleSculptor:空撮動画からPhotogrammetryするツール
Raspberry PiでIoTごっこ
Paul Debevec
オープンソースのIT資産・ライセンス管理システム『Snipe-IT』
Structure from Motion (多視点画像からの3次元形状復元)
HD画質の無駄遣い
WordPressプラグインの作り方
3D復元技術の情報リンク集
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
WordPress on Google App Engineを1週間運用してみて
OpenCVでPhotoshopのプラグイン開発
FacebookがDeep learningツールの一部をオープンソース化

コメント