OpenCVの三角測量関数『cv::triangulatepoints』

だいぶ時間が空きましたが、引き続きOpenCVの3次元復元系の関数を見ていく。



今回はcalib3dモジュールにあるtriangulatePoints関数。つまり三角測量を行う関数ですね。

void cv::triangulatePoints(InputArray   projMatr1,
                        InputArray  projMatr2,
                        InputArray  projPoints1,
                        InputArray  projPoints2,
                        OutputArray     points4D 
                        )

三角測量で点を再構築します。

パラメータ

  • projMatr1 1つ目のカメラの射影行列(3×4)
  • projMatr2 2つ目のカメラの射影行列(3×4)
  • projPoints1 1枚目の画像中の特徴点の配列(2xN)
  • projPoints2 2枚目の画像中の1枚目に対応する特徴点の配列(2xN)
  • points4D 同次座標における再構成後の点の配列(4×N)

この関数は、ステレオカメラによる観測によって(同次座標での)3次元点を再構築します。投影行列はstereoRectify関数で得ることができます。

注意
この関数を使うには、すべての入力データがfloat型である必要があります。

http://docs.opencv.org/3.2.0/d9/d0c/group__calib3d.html#gad3fc9a0c82b08df034234979960b778c



具体的な使い方を見て行こう。こちらのブログ記事に載っているコードを参考に書いてみた↓
http://moitkfm.blogspot.jp/2014/06/2.html

使う2枚の画像は、以前撮影したスターデストロイヤーのターンテーブル動画から1フレーム目と50フレーム目を抜粋して使用する。



撮影に使ったiPhone6sのカメラキャリブレーションデータもあるし。
OpenCVでiPhone6sのカメラをキャリブレーションする
世間ではiPhone7が発売されていますが、オイラは引き続きiPhone6sを使います(笑)1年前にiPhone6Sへ機種変更してからiPhone6sのカメラで結構たくさん写真や動画を撮ったので、画像・動画がだいぶ溜まった。それらの画像・動...


以下がソースコード。AKAZE特徴で2枚の画像の対応点を求めることにした。
結果の可視化にvizモジュールを使っているので、vizも含めてビルド済みのOpenCV3.3.0-rcを使用。



AKAZE特徴のマッチング結果はこちら↓



で、三角測量の結果をvizモジュールで可視化したものがこちら↓



側面は何となくそれっぽいぞ。と思って上から見てみたら、なんだか湾曲している。。。



レンズっぽい球面な歪み方だな。
あ、以前作った連番はすでにレンズの歪み補正を終えているから、補正処理は必要無いのか。

追記:よくよく考えたら、関数の出力は同次座標だからそのまま3次元ベクトルに代入して表示しちゃダメだな。

関連記事

cvui:OpenCVのための軽量GUIライブラリ

OpenCVの超解像(SuperResolution)モジュールを試す

GoogleのDeep Learning論文

3D復元技術の情報リンク集

konashiのサンプルコードを動かしてみた

OpenCVでiPhone6sのカメラをキャリブレーションする

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

PGGAN:段階的に解像度を上げて学習を進めるGAN

タマムシっぽい質感

OpenCV 3.1から追加されたSfMモジュール

ブラウザ操作自動化ツール『Selenium』を試す

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『TouchScript』

SSII 2014 デモンストレーションセッションのダイジェスト動画

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

Qlone:スマホのカメラで3Dスキャンできるアプリ

動的なメモリの扱い

オーバーロードとオーバーライド

UnityでTweenアニメーションを実装できる3種類の無料Asset

参考書

NeRF (Neural Radiance Fields):深層学習による新規視点合成

ZScript

書籍『ROSプログラミング』

Konashiを買った

書籍『3次元コンピュータビジョン計算ハンドブック』を購入

iOSデバイスのためのフィジカル・コンピューティングツールキット『konashi(こなし)』

OpenCVの顔検出過程を可視化した動画

Deep Learningとその他の機械学習手法の性能比較

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...

Leap MotionでMaya上のオブジェクトを操作できるプラグイン

ArUco:OpenCVベースのコンパクトなARライブラリ

顔追跡による擬似3D表示『Dynamic Perspective』

Raspberry Piでセンサーの常時稼働を検討する

ブログをGoogle App EngineからAmazon EC2へ移行

SONY製のニューラルネットワークライブラリ『NNabla』

UnityでOpenCVを使うには?

立体視を試してみた

iOSデバイスと接続して連携するガジェットの開発方法

Rerun:マルチモーダルデータの可視化アプリとSDK

AfterEffectsプラグイン開発

CycleGAN:ドメイン関係を学習した画像変換

ROMOハッカソンに行ってきた

コメント