OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ

2D画像からの3D情報復元について調べていたらこんなオープンソースライブラリを見つけた↓

The OpenGV library

OpenGVライブラリは、キャリブレーション済みカメラの姿勢計算に必要となる幾何学アルゴリズムを効率的に行うために設計された単一のC++のライブラリです。OpenGVは”Open Geometric Vision”の略です。
このライブラリには、絶対・相対的カメラ姿勢計算アルゴリズムの主要な古典手法や、近年の手法が含まれており、三角測量や点群による位置合わせ機能などのように、全て非線形最適化やRANSACによって拡張されています。
このライブラリは、MatLab portのように柔軟なC++インターフェイスを備えており、異なる幾何学的ビジョンアルゴリズムの比較が容易です。

このライブラリについては、以下の文献でも解説されています(検索してみてください):

  • L. Kneip, P. Furgale, “OpenGV: A unified and generalized approach to real-time calibrated geometric vision”, Proc. of The IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, China. May 2014.

このライブラリは、以下の研究論文に基づいて開発されています。

特定の問題でOpenGVを使用する際は、上記論文ならびにOpenGVの文献を引用してください。

ソースコードはGitHubにある。→laurentkneip/opengv
同梱のtestプログラムがそのまま使い方のサンプルとして利用できる。

こちらのブログ記事でOpenGVの存在を知った↓
http://moitkfm.blogspot.fi/2014/08/opengv.html

OpenCVでもARのようなやり方でカメラの2次元画像から3次元位置・姿勢を求めることはできるんだけど、このOpenGVのアドバンテージは、複数のカメラ間の位置関係を容易に扱えるようにできている点。



この方のブログは、サンプルコードを載せているのでとても勉強になる。
以下はOpenCVを使った3次元復元系のサンプルが載っている記事↓
http://moitkfm.blogspot.jp/2014/06/2.html
http://moitkfm.blogspot.fi/2014/06/2d-3d.html
http://moitkfm.blogspot.fi/2014/06/5.html

追記:
Facebookで開発しているVR酔い軽減のためのブレ補正技術には、OpenGVに実装されているNisterの5点アルゴリズムをRANSACで解くモジュールが使われているらしい↓
https://code.facebook.com/posts/697469023742261/360-video-stabilization-a-new-algorithm-for-smoother-360-video-viewing/

触発されて公式ドキュメントを訳し始めた↓


OpenGVのライブラリ構成
引き続きOpenGV公式ドキュメントのHow to useを読んでいる。前回は用語の解説まで読んだので、次はOrganization of the library(ライブラリの構成)とInterface(インターフェイス)の項目を訳してみる...


以前購入した「コンピュータビジョン最先端ガイド5」は、3次元復元の全体像を理解するには最適な粒度の情報が載っているんだけど、それだけで実装に落とし込めるほどオイラは知識が無かったので非常にありがたい。
こちらの本では第2章が丸々複数画像からの三次元復元の解説になっている↓



追記:
OpenCVでARアプリを実装するなら、こちらの書籍の第6章のサンプルが参考になる(というかそのまんま)

OpenCV 3 プログラミングブック

本書で使われているソースコードはこちらから。chapter6のプロジェクトをビルドすれば試せます。

過去記事


写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
Autodeskから無料の3D復元・編集ツールが出てた。まだベータ版らしい。複数枚写真からの3Dメッシュ生成だけじゃなく、3Dスキャナーで撮った点群の編集もできるみたい。追記:ベータ版だったAutodesk Mementoから名称が変わり、...

Autodesk Mementoでゴジラを3次元復元する
この前、Autodesk Mementoで複数枚の写真から3D復元を試してみたけど、あんまり上手くいかなかった。追記:ベータ版だったAutodesk Mementoから現在は名称が変わり、Autodesk Remakeになりました。機能限定...

関連記事

Rerun:マルチモーダルデータの可視化アプリとSDK

clearcoat Shader

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

組み込み向けのWindows OS 『Windows Embedded』

Open3D:3Dデータ処理ライブラリ

ブログをGoogle App EngineからAmazon EC2へ移行

HerokuでMEAN stack

SONYの自律型エンタテインメントロボット『aibo』

PythonのHTML・XMLパーサー『BeautifulSoup』

機械学習で遊ぶ

OANDAのfxTrade API

Mayaのシェーディングノードの区分

GeoGebra:無料で使える数学アプリ

Dlib:C++の機械学習ライブラリ

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方法

Mitsuba 3:オープンソースの研究向けレンダラ

書籍『ゼロから作るDeep Learning』で自分なりに学ぶ

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...

AfterEffectsプラグイン開発

ArUco:OpenCVベースのコンパクトなARライブラリ

iOSデバイスと接続して連携するガジェットの開発方法

1枚の画像からマテリアルを作成できる無料ツール『Materialize』

法線マップを用意してCanvas上でShadingするサンプル

SONY製のニューラルネットワークライブラリ『NNabla』

手を動かしながら学ぶデータマイニング

OpenMVSのサンプルを動かしてみる

Pythonのソースコードに特化した検索エンジン『Nullege』

iPhone・iPod touchで動作する知育ロボット『ROMO』

PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...

UnityからROSを利用できる『ROS#』

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...

OpenCV3.3.0でsfmモジュールのビルドに成功!

Unity ARKitプラグインサンプルのドキュメントを読む

Blendify:コンピュータービジョン向けBlenderラッパー

OpenCV 3.1から追加されたSfMモジュール

株式会社ヘキサドライブの研究室ページ

Math Inspector:科学計算向けビジュアルプログラミングツール

3Dグラフィックスの入門書

機械学習に役立つPythonライブラリ一覧

機械学習について最近知った情報

コメント