SfM(Structure from Motion)系の話題。
機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓
hloc – the hierarchical localization toolbox
hlocは、state-of-the-artな6-DoF visual localization用モジュラーツールボックスです。
hlocはHierarchical Localizationや画像の検索の活用、特徴マッチングを実装しており、高速・正確でスケーラブルです。
このコードベースは、CVPR 2020の屋内/屋外のlocalization challengeで優勝しました。SuperGlueとは特徴マッチングのためのグラフニューラルネットワークです。
hlocを使えば、以下のことが可能です:
- CVPR 2020の優勝結果を屋外(Aachen)、屋内(InLoc)データセットで再現
- 独自のデータセットでSuperPoint + SuperGlueのStructure-from-Motionを実行してローカライズ
- 独自のデータをvisual localizationするために局所特徴量や画像検索について評価
- 新しいローカリゼーションのパイプラインを実装し、手軽にデバッグする 🔥
Hierachical Localizationには、画像検索と特徴マッチングの両方を使用します。
Installationを見ると、PyTorchとCOLMAPのPythonバインディングpycolmapを使うらしい。
つまりどういうプロセスで動くのか、General pipelineを読んでみる↓
General pipeline
hlocは複数のscriptで構成されており、大まかに以下のステップの処理を行います：
- データセット、クエリ画像全てのSuperPoint局所特徴量を抽出する
- リファレンス用の3D SfMモデルを構築する
- 検索または以前のSfMモデルを使用し、データベース画像の対応関係を見つける
- SuperGlueでデータベースのペアをマッチングさせる
- COLMAPを使用して新しいSfMモデルを三角測量する
- 検索によって、各クエリに関連するデータベース画像を見つける
- SuperGlueでクエリ画像をマッチングさせる
- ローカリゼーションを実行する
- 可視化とデバッグ
ローカリゼーション処理については、visuallocalization.netのデータセットで評価できます。屋内データセットInLocなどの3D Lidarスキャンが利用可能な場合、手順2.はスキップできます。
hlocのアーキテクチャ：
hloc/*.py：最上位階層(top-level)のscripthloc/extractors/：特徴抽出のインターフェイスhloc/matchers/：特徴マッチングのインターフェイス
SuperGlueは第三回 全日本コンピュータビジョン勉強会(前編)で@yu4uこと内田祐介さんが発表してたやつだ。
SuperGlue
CVPR 2020網羅的サーベイのSuperGlueのページ↓
http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/338
まだGNN(Graph Neural Network)について知識不足…
関連記事
Faceshiftで表情をキャプチャしてBlender上でM...
マルコフ連鎖モンテカルロ法
スクラッチで既存のキャラクターを立体化したい
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
OpenCVで平均顔を作るチュートリアル
ManuelBastioniLAB：人体モデリングできるBl...
fSpy：1枚の写真からカメラパラメーターを割り出すツール
YOLO (You Only Look Once)：ディープ...
ManimML：機械学習の概念を視覚的に説明するためのライブ...
2D→3D復元技術で使われる用語まとめ
書籍『イラストで学ぶ ディープラーニング』
OpenCV3.3.0でsfmモジュールのビルドに成功！
Paul Debevec
Python for Unity：UnityEditorでP...
Manim：Pythonで使える数学アニメーションライブラリ
Structure from Motion (多視点画像から...
Open3D：3Dデータ処理ライブラリ
チャットツール用bot開発フレームワーク『Hubot』
TensorSpace.js：ニューラルネットワークの構造を...
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップ...
WordPressのテーマを自作する
OpenCVの超解像(SuperResolution)モジュ...
libigl：軽量なジオメトリ処理ライブラリ
Zibra Liquids：Unity向け流体シミュレーショ...
GAN (Generative Adversarial Ne...
Kubric：機械学習用アノテーション付き動画生成パイプライ...
Google App Engine上のWordPressでF...
AMIMOTO（PVM版）で作成したインスタンスをAMIMO...
Autodesk Mementoでゴジラを3次元復元する
OpenCV 3.3.0-RCでsfmモジュールをビルド
ROMOハッカソンに行ってきた
UnityでTweenアニメーションを実装できる3種類の無料...
組み込み向けのWindows OS 『Windows Emb...
SONYの自律型エンタテインメントロボット『aibo』
MVStudio：オープンソースのPhotogrammetr...
OpenCV 3.3.0 contribのsfmモジュールの...
Live CV：インタラクティブにComputer Visi...
UnityのMonoBehaviourクラスをシングルトン化...
JavaScriptとかWebGLとかCanvasとか
機械学習手法『Random Forest』
RSSフィードを読込んで表示するWordpressプラグイン...
ベイズ推定とグラフィカルモデル
コメント