スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。
OpenSfM
OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。
要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html
このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/
このライブラリを使うには以下の依存ライブラリも必要となります。
依存ライブラリ
- OpenCV
- OpenGV
- Ceres Solver
- Boost Python
- NumPy, SciPy, Networkx, PyYAML, exifread
ソースコードはGitHubにある↓
https://github.com/mapillary/OpenSfM
OpenCVだけでなくOpenGVも使っているんですね。
QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606
名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。
このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。
https://www.youtube.com/watch?v=7YHvFVwUwcw
むちゃくちゃ巨大なライブラリというわけでもなさそうだな。
関連記事
Kaolin：3Dディープラーニング用のPyTorchライブ...
AR (Augmented Reality)とDR (Dim...
OpenCV 3.1とopencv_contribモジュール...
Unity ARKitプラグインサンプルのドキュメントを読む
OpenMesh：オープンソースの３Dメッシュデータライブラ...
MeshLab：3Dオブジェクトの確認・変換に便利なフリーウ...
Manim：Pythonで使える数学アニメーションライブラリ
UnityのAR FoundationでARKit 3
BlenderでPhotogrammetryできるアドオン
U-Net：ディープラーニングによるSemantic Seg...
UnityでPoint Cloudを表示する方法
Raspberry Piでセンサーの常時稼働を検討する
WordPressの表示を高速化する
UnityのGameObjectの向きをScriptで制御す...
GeoGebra：無料で使える数学アプリ
Math Inspector：科学計算向けビジュアルプログラ...
AfterEffectsプラグイン開発
WordPressのサーバ引っ越し方法を考える
Web経由でRaspberry PiのGPIOを操作したい
Amazon Web ServicesでWordPress
Leap MotionでMaya上のオブジェクトを操作できる...
組み込み向けのWindows OS 『Windows Emb...
IronPythonを使ってUnity上でPythonのコー...
Blendify：コンピュータービジョン向けBlenderラ...
仮想関数
オープンソースの顔の動作解析ツールキット『OpenFace』
ROMOハッカソンに行ってきた
WinSCP
機械学習について最近知った情報
Google製オープンソース機械学習ライブラリ『Tensor...
OpenCVで動画の手ぶれ補正
書籍『OpenCV 3 プログラミングブック』を購入
Netron：機械学習モデルを可視化するツール
Live CV：インタラクティブにComputer Visi...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
geometry3Sharp：Unity C#で使えるポリゴ...
SDカードサイズのコンピューター『Intel Edison』
Mayaのプラグイン開発
MVStudio：オープンソースのPhotogrammetr...
OpenGVの用語
Structure from Motion (多視点画像から...
HD画質の無駄遣い
コメント