スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。
OpenSfM
OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。
要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html
このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/
このライブラリを使うには以下の依存ライブラリも必要となります。
依存ライブラリ
- OpenCV
- OpenGV
- Ceres Solver
- Boost Python
- NumPy, SciPy, Networkx, PyYAML, exifread
ソースコードはGitHubにある↓
https://github.com/mapillary/OpenSfM
OpenCVだけでなくOpenGVも使っているんですね。
QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606
名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。
このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。
https://www.youtube.com/watch?v=7YHvFVwUwcw
むちゃくちゃ巨大なライブラリというわけでもなさそうだな。
関連記事
Konashiを買った
SegNet：ディープラーニングによるSemantic Se...
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
Point Cloud Utils：Pythonで3D点群・...
ブログのデザイン変えました
ブラウザ操作自動化ツール『Selenium』を試す
NeRF (Neural Radiance Fields)：...
BGSLibrary：OpenCVベースの背景差分ライブラリ
Faster R-CNN：ディープラーニングによる一般物体検...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
ドットインストールのWordPress入門レッスン
C++ 標準テンプレートライブラリ (STL)
adskShaderSDK
NumSharp：C#で使えるNumPyライクな数値計算ライ...
Swark：コードからアーキテクチャ図を作成できるVSCod...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
Raspberry Pi
WebGL開発に関する情報が充実してきている
Model View Controller
Leap MotionでMaya上のオブジェクトを操作できる...
PeopleSansPeople：機械学習用の人物データをU...
iPhoneアプリ開発 Xcode 5のお作法
Google XML Sitemap Generatorプラ...
オープンソースのプリント基板設計ツール『KiCad』
OpenCVで平均顔を作るチュートリアル
Pylearn2：ディープラーニングに対応したPythonの...
オープンソースのIT資産・ライセンス管理システム『Snipe...
SONYの自律型エンタテインメントロボット『aibo』
OpenCVのバージョン3が正式リリースされたぞ
Python2とPython3
書籍『OpenCV 3 プログラミングブック』を購入
手を動かしながら学ぶデータマイニング
動的なメモリの扱い
U-Net：ディープラーニングによるSemantic Seg...
PythonのHTML・XMLパーサー『BeautifulS...
libigl：軽量なジオメトリ処理ライブラリ
DensePose：画像中の人物表面のUV座標を推定する
3分の動画でプログラミングを学習できるサイト『ドットインスト...
Point Cloud Consortiumのセミナー「3D...
MPFB2：Blenderの人体モデリングアドオン
コメント