hloc：SuperGlueで精度を向上させたSfM実装

SfM(Structure from Motion)の話題。

機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓

hloc – the hierarchical localization toolbox

hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。

hlocを使えば、以下のことが可能です:

CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現

独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ

独自のデータをvisual localizationするために局所特徴量や画像検索について評価

新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥

Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。

Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。

COLMAP：オープンソースのSfM・MVSツール

Structure from MotionからMulti-View StereoまでできるCOLMAPというツールを見つけた。そこからさらにSurface ReconstructionまでやらないとPhotogrammetryとは言わないの...

つまりどういうプロセスで動くのか、General pipelineを読んでみる↓

General pipeline

hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います：

データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する

リファレンス用の3D SfMモデルを構築する

検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける

SuperGlueでデータベースのペアをマッチングさせる

COLMAPを使用して新しいSfMモデルを三角測量する

検索によって、各クエリに関連するデータベース画像を見つける

SuperGlueでクエリ画像をマッチングさせる

ローカリゼーションを実行する

可視化とデバッグ

ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。

hlocのアーキテクチャ：

hloc/*.py：最上位階層(top-level)のscript

hloc/extractors/：特徴抽出のインターフェイス

hloc/matchers/：特徴マッチングのインターフェイス