3次元復元に関する情報まとめ

Computer Vision

2020.07.272025.07.07

今まで調べたり勉強した3次元復元系の情報をまとめておく。

2D→3D復元技術で使われる用語まとめ

2次元の画像から3次元の情報を復元するプログラムを本格的に実装してみようと思って、まずはOpenGVから触り始めたんだけど、オイラの基礎知識が乏し過ぎて苦戦中。まだOpenGVに同梱されているtestコードをいじってみている段階。オイラはこ...

3D復元技術の情報リンク集

Visual Odometry, Visual SLAM, Structure from Motion, Multi-View Stereoなど、複数の2D画像から3Dの情報を復元する技術の良いリンクまとめページを見つけた。Awesome ...

Structure from Motion

Structure from Motion (多視点画像からの3次元形状復元)

3DCGをガッツリ学んでたもんで、「2次元の画像処理よりも3次元のCGの方が抽象度が高くて美しい」という感覚があって、コンピュータビジョンに対して「お前らとは次元が違うんだよ」とか思ってたんだけど、最近のコンピュータビジョンは結構3次元なの...

3D Geometric Foundation Model

DUSt3R：3Dコンピュータービジョンの基盤モデル

機械学習分野では、世間的にも話題のLLM(Large Language Model)をはじめ、多様な大量のデータでニューラルネットワークを事前学習(Pre-training)した基盤モデル(Foundation Model)が様々な下流タス...

Photogrammetry

Photogrammetry (写真測量法)

最近何かと話題のPhotogrammetry(フォトグラメトリー)。Photogrammetryを日本語に訳すと写真測量法となるらしいんだけど、今はそのままフォトグラメトリーで通じちゃいますね。測量という意味を超えて「複数枚の2D画像から被...

NeRF: Neural Radiance Fields

NeRF (Neural Radiance Fields)：深層学習による新規視点合成

今や機械学習と言えばほぼディープラーニング、つまり多層のニューラルネットワークを指すようになった。ニューラルネットワークによる識別手法や生成手法で溢れる昨今だが、それらとは別の用途にニューラルネットワークを活用する例も増えてきている。NeR...

3D Gaussian Splatting

3D Gaussian Splatting：リアルタイム描画できるRadiance Fields

2020年にNeRF (Neural Radiance Fields)が登場して以降、多数視点画像からRadiance Fieldsを復元して自由視点映像を作成するNovel View Synthesisタスクの研究が盛ん。NeRFの欠点N...

ライブラリ

OpenGV

OpenGV：画像からカメラの3次元位置・姿勢を推定するライブラリ

2D画像からの3D情報復元について調べていたらこんなオープンソースライブラリを見つけた↓The OpenGV libraryOpenGVライブラリは、キャリブレーション済みカメラの姿勢計算に必要となる幾何学アルゴリズムを効率的に行うために設...

OpenGVの用語

OpenGV公式ドキュメントのHow to useを読んでるんだけど、出てくる用語が独特なのと、図はあるけど、抽象的過ぎてとても分かりづらいので苦戦している。もう思いっきりこの記事に触発されたよね。

OpenGVのライブラリ構成

引き続きOpenGV公式ドキュメントのHow to useを読んでいる。前回は用語の解説まで読んだので、次はOrganization of the library(ライブラリの構成)とInterface(インターフェイス)の項目を訳してみる...

openMVG

openMVG：複数視点画像から3次元形状を復元するライブラリ

最近、この手の2D→3D復元系のライブラリを色々と調べている。何となく、自分で3D復元ツールを作ってみたくてね。この間のOpenGVは複数画像からカメラ(視点)の3次元位置・姿勢を推定するライブラリだった↓こっちのopenMVG(Multi...

openMVGをWindows10 Visual Studio 2015環境でビルドする

Windows環境でOpenCVのsfmモジュールをビルドするのはえらい面倒だったので、変にOpenCVにこだわるのはやめようと思う。以前見つけたopenMVGをビルドしてみる。openMVGの公式ドキュメントによると、openMVGは他の...

OpenSfM

OpenSfM：PythonのStructure from Motionライブラリ

スウェーデンのスタートアップMapillary社が公開しているOpenSfMというStructure from Motion用のライブラリがあるそうです。ライセンスは簡易BSDライセンス(Simplified BSD License)。2条...

hloc

hloc：SuperGlueで精度を向上させたSfM・Visual Localization

SfM(Structure from Motion)系の話題。機械学習で特徴点マッチングの精度を向上させたSuperGlueをSfMに利用した実装が公開されている↓hloc - the hierarchical localization t...

OpenMVS

OpenMVS：Multi-View Stereoによる3次元復元ライブラリ

複数枚の2D画像から、カメラの3D姿勢情報と被写体の疎(sparse)な3D点群を推定するのがStructure from Motionという手法。そこで求めたカメラの姿勢、点群の情報を使ってさらに密(dense)な点群を求めるのがMult...

OpenMVSのサンプルを動かしてみる

この前見つけたOpenMVSをビルドしてみようと思ってドキュメント見たら、すでにサンプルをWindows用にビルドしたバイナリが配布されているではないか！公式ドキュメントのUsageページの内容も、配布されているopenMVS_sample...

OpenCV

OpenCV 3.1から追加されたSfMモジュール

またSfM(Structure from Motion)ネタ。OpenCVのバージョン3.1からSfMのモジュールが追加されている。Google Summer Of Code 2015の成果らしいです。これをさっそくUbuntuで試した方が...

OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015でビルドする

PCを新調してできることが増えたので色々遊び始める。さっそくOpenCV 3.1をopencv_contribのモジュールも含めてビルドしてみようと思う。目当ては特にSfMモジュール。Windows環境でx64ビルドするための手順をメモして...

OpenCV 3.1のsfmモジュールを試す

以前Visual Studio2015環境でビルドに挑戦して、サンプルコードを試す前に力尽きてしまったのだけど。。。QiitaのOpenCV Advent Calendar 2016で良記事がアップされたので再び真似してやってみる。@Cha...

OpenCV 3.1のsfmモジュールのビルド再び

性懲りもなくまだやってます。(作業メモ的な記事なので読みづらいです)前回、sfmモジュールのビルドでgflagsのリンクが上手くいかったので、その対処を考える。前回はglogをビルドする時にgflagsが有効になっていなかった。glog同梱...

OpenCV 3.3.0-RCでsfmモジュールをビルド

OpenCVのsfmモジュールのビルドが諦められずにまた挑戦したメモです(笑)もう4度目ですね。(そして1年以上も…)OpenCV3.1の頃からWindows環境でsfmモジュールを有効にするには一工夫必要なのが分かっていたけど、その後のバ...

OpenCV3.3.0でsfmモジュールのビルドに成功！

OpenCVバージョン3.3.0がついに正式リリースされましたね。OpenCV 3.3.0OpenCV 3.3 has been released with greatly improved Deep Learning module and...

OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる

数度のトライを経て、OpenCVのバージョン3.3.0でやっとsfmモジュールのビルドが通ったわけです。ようやくサンプルを試す段階に来た。参考にしてるQiita記事の後編へやっと進める。↓記事によると、サンプルを動かすためにまたいくつか手を...

OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる

本来なら例の書籍を読み進めて少しずつ理解していくつもりだったけど、しんどい。。。書籍はなかなか読み進められなかったので、飛ばし読みしてプログラムを動かしながら徐々にディティールを理解していく方針へ切り替えた(笑)何度か格闘するも上手くいかな...

OpenCVの三角測量関数『cv::triangulatepoints』

だいぶ時間が空きましたが、引き続きOpenCVの3次元復元系の関数を見ていく。今回はcalib3dモジュールにあるtriangulatePoints関数。つまり三角測量を行う関数ですね。void cv::triangulatePoints(...

ツール

Regard3D：オープンソースのStructure from Motionツール

ライブラリではなく、ちゃんとGUIを備えたオープンソースのStructure from Motionのアプリケーションを見つけた。このRegard3DのソースコードはMIT licenseだそうだ。Regard3DRegard3Dは、無料で...

Multi-View Environment：複数画像から3次元形状を再構築するライブラリ

ここのところ、やたらと2D→3D関連のライブラリやツールについて調べています。このMVE(Multi-View Environment)というライブラリは、Structure-from-Motion、Multi-View Stereo、Su...

Qlone：スマホのカメラで3Dスキャンできるアプリ

iPhoneやiPadのカメラを使って3Dスキャンできる「Qlone」っていう無料アプリが登場した。技術ジャンルとしてはPhotogrammetryというやつ。Qlone主な特長スキャンは超高速、iOS上でリアルタイムに済み、待ち時間無し...

COLMAP：オープンソースのSfM・MVSツール

Structure from MotionからMulti-View StereoまでできるCOLMAPというツールを見つけた。そこからさらにSurface ReconstructionまでやらないとPhotogrammetryとは言わないの...

Alice Vision：オープンソースのPhotogrammetryフレームワーク

3D人-3dnchu-さんでオープンソースのPhotogrammetryアプリケーション「meshroom」とその基盤となっているフレームワーク「Alice Vision」が紹介されていたのでちょっと調べてみた。AliceVision - ...

MeshroomでPhotogrammetry

Photogrammetryのツールで遊ぶのはだいぶ久しぶりですが、オープンソースのPhotogrammetryフレームワーク AliceVisionを使って作られたツールのMeshroomをいじってみる。Meshroomオープンソースなの...

BlenderでPhotogrammetryできるアドオン

最近、Blenderのアドオンを色々と調べてる。blender-photogrammetryBlender 2.79と2.80用のphotogrammetryアドオンです。複数のphotogrammetryフォーマット間の変換処理に加え、B...

TeleSculptor：空撮動画からPhotogrammetryするツール

久しぶりにPhotogrammetry系の話題。このTeleSculptorは、KitwareによるKWIVER (Kitware Image and Video Exploitation and Retrieval)の1つで、空撮動画から...

MVStudio：オープンソースのPhotogrammetryツール

これまでもPhotogrammetry系のオープンソースツールがいくつかあったけど、MVStudioMVStudioは軽量で簡単に使えるSfM(Structure from Motion)とMVS(Multi-View Stereo)の統合...

関連記事

ディープラーニングによるSemantic Segmentat...

GAN (Generative Adversarial Ne...

ディープラーニングによる一般物体検出アルゴリズムまとめ

コメント