OpenSfM:PythonのStructure from Motionライブラリ

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。

OpenSfM

OpenSfM

OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。

要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html



このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/

このライブラリを使うには以下の依存ライブラリも必要となります。

依存ライブラリ

ソースコードはGitHubにある↓
https://github.com/mapillary/OpenSfM

OpenCVだけでなくOpenGVも使っているんですね。



QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606

名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。

このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。

https://www.youtube.com/watch?v=7YHvFVwUwcw

むちゃくちゃ巨大なライブラリというわけでもなさそうだな。

コンピュータビジョン最先端ガイド5 (CVIMチュートリアルシリーズ)

関連記事

OpenCV 3.1のsfmモジュールのビルド再び

OpenGVの用語

Qlone:スマホのカメラで3Dスキャンできるアプリ

プログラミングスキルとは何か?

Point Cloud Libraryに動画フォーマットが追加されるらしい

trimesh:PythonでポリゴンMeshを扱うライブラリ

OpenCV3.3.0でsfmモジュールのビルドに成功!

TeleSculptor:空撮動画からPhotogrammetryするツール

OpenAR:OpenCVベースのマーカーARライブラリ

KelpNet:C#で使える可読性重視のディープラーニングライブラリ

Caffe:読みやすくて高速なディープラーニングのフレームワーク

PeopleSansPeople:機械学習用の人物データをUnityで生成する

MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト

WordPressのサーバ引っ越し方法を考える

Autodesk Mementoでゴジラを3次元復元する

クラスの基本

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

Windows10でPyTorchをインストールしてVSCodeで使う

FCN (Fully Convolutional Network):ディープラーニングによるSema...

「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか

GeoGebra:無料で使える数学アプリ

Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ

WebGL開発に関する情報が充実してきている

BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール

iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~

SSD (Single Shot Multibox Detector):ディープラーニングによる一般...

Web経由でRaspberry PiのGPIOを操作したい

PythonでBlenderのAdd-on開発

ManimML:機械学習の概念を視覚的に説明するためのライブラリ

AmazonEC2のインスタンスをt1.microからt2.microへ移行する

Fast R-CNN:ディープラーニングによる一般物体検出手法

UnityでShaderの入力パラメータとして行列を渡す

GoB:ZBrushとBlenderを連携させるアドオン

C++始めようと思うんだ

組み込み向けのWindows OS 『Windows Embedded』

機械学習手法『Random Forest』

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』

オープンソースの顔の動作解析ツールキット『OpenFace』

PyDataTokyo主催のDeep Learning勉強会

Pythonのソースコードに特化した検索エンジン『Nullege』

TorchStudio:PyTorchのための統合開発環境とエコシステム

コメント