hloc:SuperGlueで精度を向上させたSfM・Visual Localization

SfM(Structure from Motion)系の話題。

機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓

hloc – the hierarchical localization toolbox

hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。

hlocを使えば、以下のことが可能です:

  • CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現
  • 独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ
  • 独自のデータをvisual localizationするために局所特徴量や画像検索について評価
  • 新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥



Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。

Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。





つまりどういうプロセスで動くのか、General pipelineを読んでみる↓

General pipeline

hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います:

  1. データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する
  2. リファレンス用の3D SfMモデルを構築する
    1. 検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける
    2. SuperGlueでデータベースのペアをマッチングさせる
    3. COLMAPを使用して新しいSfMモデルを三角測量する
  3. 検索によって、各クエリに関連するデータベース画像を見つける
  4. SuperGlueでクエリ画像をマッチングさせる
  5. ローカリゼーションを実行する
  6. 可視化とデバッグ

ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。

hlocのアーキテクチャ:

  • hloc/*.py:最上位階層(top-level)のscript
  • hloc/extractors/:特徴抽出のインターフェイス
  • hloc/matchers/:特徴マッチングのインターフェイス

SuperGlue第三回 全日本コンピュータビジョン勉強会(前編)@yu4uこと内田祐介さんが発表してたやつだ。

SuperGlue



CVPR 2020網羅的サーベイのSuperGlueのページ↓
http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/338

まだGNN(Graph Neural Network)について知識不足…

関連記事

PythonでMayaのShapeノードプラグインを作る

映画『アバター:ウェイ・オブ・ウォーター』を観た

Twitter APIのPythonラッパー『python-...

Geogram:C++の3D幾何アルゴリズムライブラリ

CycleGAN:ドメイン関係を学習した画像変換

TensorSpace.js:ニューラルネットワークの構造を...

Unity Scriptコーディング→Unreal Engi...

ROSでガンダムを動かす

顔追跡による擬似3D表示『Dynamic Perspecti...

Open3D:3Dデータ処理ライブラリ

Point Cloud Libraryに動画フォーマットが追...

ドットインストールのWordPress入門レッスン

Mayaのプラグイン開発

ブログが1日ダウンしてました

PSPNet (Pyramid Scene Parsing ...

Javaで作られたオープンソースの3DCGレンダラ『Sunf...

Digital Emily Project:人間の顔をそっく...

Pylearn2:ディープラーニングに対応したPythonの...

OpenCV 3.1から追加されたSfMモジュール

ブラウザ操作自動化ツール『Selenium』を試す

GoogleのDeep Learning論文

JavaScriptとかWebGLとかCanvasとか

3D復元技術の情報リンク集

TorchStudio:PyTorchのための統合開発環境と...

Regard3D:オープンソースのStructure fro...

TeleSculptor:空撮動画からPhotogramme...

OpenGVのライブラリ構成

まだ続くブログの不調

Google Colaboratoryで遊ぶ準備

cvui:OpenCVのための軽量GUIライブラリ

ZBrushのZScript入門

TensorFlowでCGを微分できる『TensorFlow...

書籍『ROSプログラミング』

書籍『仕事ではじめる機械学習』を読みました

OpenSfM:PythonのStructure from ...

iPhone・iPod touchで動作する知育ロボット『R...

Windows10でPyTorchをインストールしてVSCo...

書籍『ゼロから作るDeep Learning』で自分なりに学...

Amazon EC2ログイン用の秘密鍵を無くした場合の対処方...

Blender 2.8がついに正式リリース!

Python拡張モジュールのWindows用インストーラー配...

Deep Fluids:流体シミュレーションをディープラーニ...

コメント