SfM(Structure from Motion)系の話題。
機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓
hloc – the hierarchical localization toolbox
hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。
hlocを使えば、以下のことが可能です:
- CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現
- 独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ
- 独自のデータをvisual localizationするために局所特徴量や画像検索について評価
- 新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥
Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。
Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。
つまりどういうプロセスで動くのか、General pipelineを読んでみる↓
General pipeline
hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います：
- データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する
- リファレンス用の3D SfMモデルを構築する
- 検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける
- SuperGlueでデータベースのペアをマッチングさせる
- COLMAPを使用して新しいSfMモデルを三角測量する
- 検索によって、各クエリに関連するデータベース画像を見つける
- SuperGlueでクエリ画像をマッチングさせる
- ローカリゼーションを実行する
- 可視化とデバッグ
ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。
hlocのアーキテクチャ：
hloc/*.py：最上位階層(top-level)のscripthloc/extractors/：特徴抽出のインターフェイスhloc/matchers/：特徴マッチングのインターフェイス
SuperGlueは第三回 全日本コンピュータビジョン勉強会(前編)で@yu4uこと内田祐介さんが発表してたやつだ。
SuperGlue
CVPR 2020網羅的サーベイのSuperGlueのページ↓
http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/338
まだGNN(Graph Neural Network)について知識不足…
関連記事
映画『アバター：ウェイ・オブ・ウォーター』を観た
Unityで画面タッチ・ジェスチャ入力を扱う無料Asset『...
GoogleのDeep Learning論文
Cartographer：オープンソースのSLAMライブラリ
viser：Pythonで使える3D可視化ライブラリ
Kinect for Windows V2のプレオーダー開始
Verilog HDL
ブログのデザイン変えました
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
今年もSSII
OpenCV 3.3.0 contribのsfmモジュールの...
VCG Library：C++のポリゴン操作ライブラリ
OpenMesh：オープンソースの３Dメッシュデータライブラ...
写真から3Dメッシュの生成・編集ができる無料ツール『Auto...
Googleが画像解析旅行ガイドアプリのJetpac社を買収
全脳アーキテクチャ勉強会
Russian3DScannerのトポロジー転送ツール『Wr...
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
海外ドラマのChromaKey
Math.NET Numerics：Unityで使える数値計...
Physics Forests：機械学習で流体シミュレーショ...
OpenCVで動画の手ぶれ補正
Geogram：C++の3D幾何アルゴリズムライブラリ
機械学習手法『Random Forest』
Digital Emily Project：人間の顔をそっく...
openMVG：複数視点画像から3次元形状を復元するライブラ...
uvでWindows11のPython環境を管理する
OpenGVのライブラリ構成
pythonもかじってみようかと
iPhone・iPod touchで動作する知育ロボット『R...
Quartus II
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
AndroidもopenGLも初心者さ (でもJavaは知っ...
PyDataTokyo主催のDeep Learning勉強会
TeleSculptor：空撮動画からPhotogramme...
3分の動画でプログラミングを学習できるサイト『ドットインスト...
Manim：Pythonで使える数学アニメーションライブラリ
Human Generator：Blenderの人体生成アド...
OpenCVでカメラ画像から自己位置認識 (Visual O...
WebGL開発に関する情報が充実してきている
Mitsuba 3：オープンソースの研究向けレンダラ
コメント