SfM(Structure from Motion)系の話題。
機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓
hloc – the hierarchical localization toolbox
hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。
hlocを使えば、以下のことが可能です:
- CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現
- 独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ
- 独自のデータをvisual localizationするために局所特徴量や画像検索について評価
- 新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥
Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。
Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。
つまりどういうプロセスで動くのか、General pipelineを読んでみる↓
General pipeline
hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います：
- データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する
- リファレンス用の3D SfMモデルを構築する
- 検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける
- SuperGlueでデータベースのペアをマッチングさせる
- COLMAPを使用して新しいSfMモデルを三角測量する
- 検索によって、各クエリに関連するデータベース画像を見つける
- SuperGlueでクエリ画像をマッチングさせる
- ローカリゼーションを実行する
- 可視化とデバッグ
ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。
hlocのアーキテクチャ：
hloc/*.py：最上位階層(top-level)のscripthloc/extractors/：特徴抽出のインターフェイスhloc/matchers/：特徴マッチングのインターフェイス
SuperGlueは第三回 全日本コンピュータビジョン勉強会(前編)で@yu4uこと内田祐介さんが発表してたやつだ。
SuperGlue
CVPR 2020網羅的サーベイのSuperGlueのページ↓
http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/338
まだGNN(Graph Neural Network)について知識不足…
関連記事
OpenAR：OpenCVベースのマーカーARライブラリ
IronPythonを使ってUnity上でPythonのコー...
AmazonEC2のインスタンスをt1.microからt2....
NumSharp：C#で使えるNumPyライクな数値計算ライ...
NeuralNetwork.NET：.NETで使えるTens...
PGGAN：段階的に解像度を上げて学習を進めるGAN
iPhoneで3D写真が撮れるアプリ『seene』
OpenGVのライブラリ構成
オープンソースの顔の動作解析ツールキット『OpenFace』
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
SSD (Single Shot Multibox Dete...
Deep Learningとその他の機械学習手法の性能比較
Unity ARKitプラグインサンプルのチュートリアルを読...
ブログをGoogle App EngineからAmazon ...
OpenCV 3.1から追加されたSfMモジュール
ディープラーニング
Regard3D：オープンソースのStructure fro...
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
html5のcanvasの可能性
Fast R-CNN：ディープラーニングによる一般物体検出手...
機械学習について最近知った情報
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
Raspberry Pi 2を買いました
頭蓋骨からの顔復元と進化過程の可視化
Kubric：機械学習用アノテーション付き動画生成パイプライ...
動的なメモリの扱い
Unity ARKitプラグインサンプルのドキュメントを読む
オープンソースの物理ベースGIレンダラ『appleseed』
adskShaderSDK
BlenderでPhotogrammetryできるアドオン
cvui：OpenCVのための軽量GUIライブラリ
クラスの基本
TorchStudio：PyTorchのための統合開発環境と...
OpenCV 3.3.0 contribのsfmモジュールの...
Qlone：スマホのカメラで3Dスキャンできるアプリ
konashiのサンプルコードを動かしてみた
OpenFace：Deep Neural Networkによ...
SSII2014 チュートリアル講演会の資料
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
ArUco：OpenCVベースのコンパクトなARライブラリ
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
SONY製のニューラルネットワークライブラリ『NNabla』
コメント