度々似たような話題ですが(笑)
また別のオープンソースStructure from Motionライブラリを見つけた↓
Theia
TheiaはChris Sweeneyが開発したコンピュータービジョンライブラリで、効率的で信頼性の高いStructure from Motion(SfM)アルゴリズムを提供するために作られました。このライブラリは、研究者達へmulti-view reconstructionのための簡単に拡張可能なbox-toolの提供を目指しています。
姿勢推定、特徴検出と特長記述、マッチング、再構築のための多くの共通アルゴリズムが実装されています。シンプルなインターフェイス、少ない依存関係、そして豊富なドキュメントが用意されています。
- 開発には最新のリリースをダウンロードするか、リポジトリをクローンして下さい。
- Theiaの詳細についてはAPIリファレンスやアプリケーションをお読みください。
- ご質問はTheiaのメーリングリストへお願いします。
ライセンスは修正BSDライセンス(New BSD License)なので商用利用も可能。
ソースコードはこちら↓
https://github.com/sweeneychris/TheiaSfM
このライブラリは、ACMが主催するOpen Source Software Competition 2015でファイナリストにまで残ったライブラリだそうです。
(それがどれほどすごいことなのかはよくわかりません。。。)
もともとはカリフォルニア大学サンタバーバラ校のFour Eyes Labで開発されていたものがベースで、後にオープンソース化されたものだそうだ。
現在の開発の中心となっているChris Sweeney氏のページはこちら↓
http://cs.ucsb.edu/~cmsweeney/
Theiaライブラリのビルド方法を見てみたら、以下のライブラリに依存しているらしい。
この手のライブラリではお馴染みのCeres Solverが入っている。ここの解説にもある通り、Ceres Solverは「非線形問題」を解くためのライブラリ。Structure from Motionでは、推定した変換行列の再投影誤差が最小となるパラメータを求めるBundle Adjustment処理で使われている。(最近やっと理解)
ちょっとライブラリの構成を眺めてみた。OpenMVGのサンプルでも感じたけど、Structure from Motionのライブラリって、画像のExifデータを利用する仕様が割と当たり前なのね。大抵、ライブラリにカメラの機種ごとのプロファイルデータベースもセットになっている。
関連記事
Blendify：コンピュータービジョン向けBlenderラ...
AmazonEC2のインスタンスをt1.microからt2....
立体視を試してみた
WordPress on Windows Azure
OpenCV 3.1から追加されたSfMモジュール
Polyscope：3Dデータ操作用GUIライブラリ
Webサイトのワイヤーフレームが作成できるオンラインツール
Unity ARKitプラグインサンプルのチュートリアルを読...
iPhone・iPod touchで動作する知育ロボット『R...
ベイズ推定とグラフィカルモデル
BlenderのPython環境にPyTorchをインストー...
OpenCVでiPhone6sのカメラをキャリブレーションす...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
Google App Engine上のWordPressでA...
HerokuでMEAN stack
顔追跡による擬似3D表示『Dynamic Perspecti...
Netron：機械学習モデルを可視化するツール
Iridescence：プロトタイピング向け軽量3D可視化ラ...
オープンソースのプリント基板設計ツール『KiCad』
CycleGAN：ドメイン関係を学習した画像変換
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
Seleniumを使ったFXや株の自動取引
UnityプロジェクトをGitHubで管理する
MFnDataとMFnAttribute
MPFB2：Blenderの人体モデリングアドオン
オープンソースの顔認識フレームワーク『OpenBR』
Kubric：機械学習用アノテーション付き動画生成パイプライ...
iPhone x ロボットハッカソン～RomoのiPhone...
SONYの自律型エンタテインメントロボット『aibo』
Swark：コードからアーキテクチャ図を作成できるVSCod...
ブログの復旧が難航してた話
Open Shading Language (OSL)
Multi-View Environment：複数画像から3...
オープンソースの取引プラットフォーム
OpenCVでPhotoshopのプラグイン開発
UnityのAR FoundationでARKit 3
HD画質の無駄遣い その２
Unityの各コンポーネント間でのやり取り
組み込み向けのWindows OS 『Windows Emb...
SSII2014 チュートリアル講演会の資料
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
コメント
いつもCV関係の紹介記事、参考にさせていただいてます。
このTheia、作者がWindows向けに作っていないため、何回かCMakeで挑戦してみましたがceres等他の必要なライブラリ部分で詰まり中断していました。
Visual Studio 2015(Update 3)/2017限定になりますが、C++のオープンソフトウェアパッケージ管理のvcpkgにTheiaが登録されたため、(vcpkgを導入すれば)コマンドライン1行たたくだけで使えるようになっています。vcpkg自体もGitHubからpullしてbatファイルを叩くだけなので簡単でした。
exeもありますが、APIを利用できる感じになっているので、SfM部分を勉強したりトレンド(CVPR2017のHybridSfMも最近実装されました)をおいかけたりするには良さそうです。
情報ありがとうございます。
恥ずかしながら、vcpkgの存在を初めて知りました。便利そうですね。
私もWindows環境でのCeres Solverインストールにはかなり苦戦してました。。。
HybridSfMについてもちょっと調べてみます。