スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条項BSDライセンス(BSD 2-Clause license)とも呼ばれるやつで、著作権を表示すれば商用利用、修正、配布、サブライセンスOKだ。
OpenSfM
OpenSfMは、OpenCVを用いてPythonで書かれたStructure from Motionライブラリです。このライブラリは、複数枚の画像からカメラの姿勢と3Dシーンを再構成するための処理パイプラインとして機能します。ロバストでスケーラブルな復元パイプラインの構築を重視したStructure from Motionの基本モジュール(特徴検出/マッチング、minimal solvers)で構成されています。
また、外部センサー(例えば、GPS、加速度センサー)の値を統合し、地理的な位置合わせや、よりロバストな結果を得ることができます。JavaScriptのビューアを設けており、モデルのプレビューや、パイプラインのデバッグに利用できます。
要はスマートフォンなどで撮影した複数枚の画像からGoogleストリートビューのようなものを作成するためのライブラリということのようです。画像だけでなくGPSや加速度センサーの情報も利用するあたり、とてもストリートビュー的な規模を意識している感じ。専用の撮影車両に依存しない、スマホユーザー達による民主的なストリートビュー作成ツールと言ったところ。
https://blog.mapillary.com/update/2014/12/15/sfm-preview.html
このライブラリは、クラウドソーシングでストリート映像を作成するプロジェクトのためのものですかね。↓
http://gigazine.net/news/20140903-mapillary/
https://jp.techcrunch.com/2018/09/15/2018-09-13-mapillary-rekognition-amazon/
このライブラリを使うには以下の依存ライブラリも必要となります。
依存ライブラリ
- OpenCV
- OpenGV
- Ceres Solver
- Boost Python
- NumPy, SciPy, Networkx, PyYAML, exifread
ソースコードはGitHubにある↓
https://github.com/mapillary/OpenSfM
OpenCVだけでなくOpenGVも使っているんですね。
QiitaではDocker上で動かす方法を書いている人がいる。
http://qiita.com/takahi/items/c0b21714a62935f67606
名称の”SfM”は”Structure from Motion”の略だと思うけど、カメラ位置の推定と撮影画像の補間までもStructure from Motionと呼ぶんですかね。てっきり3次元形状復元までの処理も含めてStructure from Motionだと思っていた。
このライブラリのリポジトリをGourceで可視化した動画を見つけた。2013年から始まってるのね。
むちゃくちゃ巨大なライブラリというわけでもなさそうだな。
関連記事
OpenCVで動画の手ぶれ補正
Google App EngineでWordPress
WordPressプラグインによるサイトマップの自動生成
仮想関数
ブログのデザイン変えました
PythonでBlenderのAdd-on開発
タマムシっぽい質感
CycleGAN：ドメイン関係を学習した画像変換
PeopleSansPeople：機械学習用の人物データをU...
ディープラーニング
海外ドラマのChromaKey
Blendify：コンピュータービジョン向けBlenderラ...
Raspberry PiのGPIOを操作するPythonライ...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
Mitsuba 3：オープンソースの研究向けレンダラ
Open Shading Language (OSL)
BGSLibrary：OpenCVベースの背景差分ライブラリ
Human Generator：Blenderの人体生成アド...
3D Gaussian Splatting：リアルタイム描画...
SDカードサイズのコンピューター『Intel Edison』
まだ続くブログの不調
為替レートの読み方 2WAYプライス表示
UnityでTweenアニメーションを実装できる3種類の無料...
GAN (Generative Adversarial Ne...
Unity ARKitプラグインサンプルのチュートリアルを読...
Unityからkonashiをコントロールする
ManuelBastioniLAB：人体モデリングできるBl...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
RSSフィードを読込んで表示するWordpressプラグイン...
Managing Software Requirements...
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
機械学習について最近知った情報
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
WordPress on Windows Azure
Facebookの顔認証技術『DeepFace』
Unreal Engineの薄い本
Model View Controller
OpenCVでiPhone6sのカメラをキャリブレーションす...
Polyscope：3Dデータ操作用GUIライブラリ
PGGAN：段階的に解像度を上げて学習を進めるGAN
ニューラルネットワークで画像分類
Paul Debevec
コメント