hloc:SuperGlueで精度を向上させたSfM実装

SfM(Structure from Motion)の話題。

機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓

hloc – the hierarchical localization toolbox

hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。

hlocを使えば、以下のことが可能です:

  • CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現
  • 独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ
  • 独自のデータをvisual localizationするために局所特徴量や画像検索について評価
  • 新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥



Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。

Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。




スポンサーリンク


つまりどういうプロセスで動くのか、General pipelineを読んでみる↓

General pipeline

hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います:


スポンサーリンク
  1. データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する
  2. リファレンス用の3D SfMモデルを構築する
    1. 検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける
    2. SuperGlueでデータベースのペアをマッチングさせる
    3. COLMAPを使用して新しいSfMモデルを三角測量する
  3. 検索によって、各クエリに関連するデータベース画像を見つける
  4. SuperGlueでクエリ画像をマッチングさせる
  5. ローカリゼーションを実行する
  6. 可視化とデバッグ

ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。

hlocのアーキテクチャ:

  • hloc/*.py:最上位階層(top-level)のscript
  • hloc/extractors/:特徴抽出のインターフェイス
  • hloc/matchers/:特徴マッチングのインターフェイス

SuperGlue第三回 全日本コンピュータビジョン勉強会(前編)@yu4uこと内田祐介さんが発表してたやつだ。

SuperGlue

JapanCV(7/4)

CVPR 2020網羅的サーベイのSuperGlueのページ↓
http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/338

まだGNN(Graph Neural Network)について知識不足…


スポンサーリンク

関連記事

Pix2Pix:CGANによる画像変換
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
Google XML Sitemap Generatorプラグインを3.4.1へダウングレード
Webサイトのワイヤーフレームが作成できるオンラインツール
機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...
ポイントクラウドコンソーシアム
DCGAN (Deep Convolutional GAN):畳み込みニューラルネットワークによる敵...
軽量なジオメトリ処理ライブラリ『libigl』
OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...
UnityでPoint Cloudを表示する方法
AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
ブログをGoogle App EngineからAmazon EC2へ移行
読みやすくて高速なディープラーニングのフレームワーク『Caffe』
顔追跡による擬似3D表示『Dynamic Perspective』
Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』
Raspberry Pi
Open3D:3Dデータ処理ライブラリ
C#で使える機械学習ライブラリ『Accord.NET Framework』
PyDataTokyo主催のDeep Learning勉強会
takminさんが機械学習・画像認識の便利ツールを公開しています
OpenCVベースのマーカーARライブラリ『OpenAR』
AndroidもopenGLも初心者さ (でもJavaは知ってるよ)
Unity Scriptコーディング→Unreal Engine Scriptコーディング
画像からカメラの3次元位置・姿勢を推定するライブラリ『OpenGV』
OpenCVでPhotoshopのプラグイン開発
YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法
このブログのデザインに飽きてきた
オープンソースのロボットアプリケーションフレームワーク『ROS (Robot Operating S...
プログラミングスキルとは何か?
UnityのMonoBehaviourクラスをシングルトン化する
SONYの自律型エンタテインメントロボット『aibo』
OpenGVの用語
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
pythonの機械学習ライブラリ『scikit-learn』
UnityのGameObjectの向きをScriptで制御する
2D→3D復元技術で使われる用語まとめ
Unreal Engineの薄い本
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
Deep Fluids:流体シミュレーションをディープラーニングで近似する
OpenCVのバージョン3が正式リリースされたぞ

コメント