hloc:SuperGlueで精度を向上させたSfM・Visual Localization

SfM(Structure from Motion)系の話題。

機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓

hloc – the hierarchical localization toolbox

hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。

hlocを使えば、以下のことが可能です:

  • CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現
  • 独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ
  • 独自のデータをvisual localizationするために局所特徴量や画像検索について評価
  • 新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥



Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。

Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。





つまりどういうプロセスで動くのか、General pipelineを読んでみる↓

General pipeline

hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います:

  1. データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する
  2. リファレンス用の3D SfMモデルを構築する
    1. 検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける
    2. SuperGlueでデータベースのペアをマッチングさせる
    3. COLMAPを使用して新しいSfMモデルを三角測量する
  3. 検索によって、各クエリに関連するデータベース画像を見つける
  4. SuperGlueでクエリ画像をマッチングさせる
  5. ローカリゼーションを実行する
  6. 可視化とデバッグ

ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。

hlocのアーキテクチャ:

  • hloc/*.py:最上位階層(top-level)のscript
  • hloc/extractors/:特徴抽出のインターフェイス
  • hloc/matchers/:特徴マッチングのインターフェイス

SuperGlue第三回 全日本コンピュータビジョン勉強会(前編)@yu4uこと内田祐介さんが発表してたやつだ。

SuperGlue



CVPR 2020網羅的サーベイのSuperGlueのページ↓
http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/338

まだGNN(Graph Neural Network)について知識不足…

関連記事

WordPressの表示を高速化する

Human Generator:Blenderの人体生成アドオン

為替レートの読み方 2WAYプライス表示

Alice Vision:オープンソースのPhotogrammetryフレームワーク

UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン

頭蓋骨からの顔復元と進化過程の可視化

ROSの薄い本

統計的な顔モデル

GoB:ZBrushとBlenderを連携させるアドオン

Blender 2.8がついに正式リリース!

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

機械学習手法『Random Forest』

3分の動画でプログラミングを学習できるサイト『ドットインストール』

python-twitterで自分のお気に入りを取得する

OpenCVの超解像(SuperResolution)モジュールを試す

TeleSculptor:空撮動画からPhotogrammetryするツール

LLM Visualization:大規模言語モデルの可視化

Web経由でRaspberry PiのGPIOを操作したい

Gource:バージョン管理の履歴を可視化するツール

AMIMOTO(PVM版)で作成したインスタンスをAMIMOTO (HVM版)へ移行する

Unity Scriptコーディング→Unreal Engine Scriptコーディング

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

Kubric:機械学習用アノテーション付き動画生成パイプライン

html5のcanvasの可能性

ベイズ推定とグラフィカルモデル

CNN Explainer:畳み込みニューラルネットワーク可視化ツール

SONY製のニューラルネットワークライブラリ『NNabla』

Cartographer:オープンソースのSLAMライブラリ

ポイントクラウドコンソーシアム

Point Cloud Libraryに動画フォーマットが追加されるらしい

Iterator

Super Resolution:OpenCVの超解像処理モジュール

コンピュータビジョンの技術マップ

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

OpenCVの顔検出過程を可視化した動画

PythonでBlenderのAdd-on開発

海外ドラマのChromaKey

YOLO (You Only Look Once):ディープラーニングによる一般物体検出手法

Boost オープンソースライブラリ

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

3Dモデルを立体視で確認できるVRアプリを作っている

コメント