複数枚の2D画像から、カメラの3D姿勢情報と被写体の疎(sparse)な3D点群を推定するのがStructure from Motionという手法。そこで求めたカメラの姿勢、点群の情報を使ってさらに密(dense)な点群を求めるのがMulti-View Stereoという手法。
Structure from Motionのライブラリは結構色々あるみたいなんだけど、そこから密な点群を求めるMulti-View Stereoのライブラリはあんまり見かけないんだよね。(PMVSというツールは有名ですが)
このOpenMVS(Multi-View Stereo)は、名前の通り、密な点群を復元するMulti-View Stereoのアルゴリズムを実装したライブラリ。OpemMVS自体はAGPLライセンスだけど、依存しているサードパーティのライブラリが細々と沢山あり、それぞれのライセンスに従うのでこちらを参照。
OpenMVS
OpenMVS(Multi-View Stereo)は、コンピュータビジョン科学者、特にMulti-View Stereo reconstructionの分野を対象としたライブラリです。
Structure-from-Motionのパイプラインを実装した(OpenMVGなどの)オープンソースプロジェクトを使えば、入力画像セットからカメラの姿勢や疎な3次元点群を復元できますが、それだけではphotogrammetry chain-flowの最後のプロセスが欠けています。OpenMVSは、この最後のプロセス、再構築するシーンの完全なサーフェイスを復元するためのアルゴリズムを提供します。
OpenMVSへの入力はカメラの姿勢セットと疎な点群、OpenMVSからの出力はテクスチャ付きのMeshになります。
このプロジェクトの主な特長は以下の通りです。
- 密な点群の復元:可能な限り完全・正確な点群を得るための復元
- Meshの再構築:入力点群から高品質なMesh表面を推定するためのMesh再構築
- Meshの分割:全てのディティールを復元するためのMesh分割
- Meshのテクスチャリング:Meshを着色するためのシャープで正確なテクスチャ計算
詳細なドキュメントはWikiをご覧ください。
このライブラリ、OpenMVGのドキュメントで紹介されていたのだ。
OpenMVGのドキュメントによると、OpenMVGとOpenMVSの連携は比較的簡単にできるみたい。
ソースコードはGitHubにある↓
https://github.com/cdcseacave/openMVS
ドキュメントはGitHub上のWikiに↓
https://github.com/cdcseacave/openMVS/wiki
OpenMVGの出力結果をOpenMVSの入力に使う例も載ってる↓
使い方

追記:ドキュメントに従ってサンプルを動かしてみた↓

関連資料
Multi-View Stereoについては、毎度おなじみコンピュータビジョン最先端ガイド5と、コンピュータビジョン勉強会@関東の第28回の資料が参考になる。

関連記事
科学技術計算向けスクリプト言語『Julia』
Unity ARKitプラグインサンプルのチュートリアルを読...
スクラッチで既存のキャラクターを立体化したい
WordPressのサーバ引っ越し方法を考える
Google App Engineのデプロイ失敗
Unityの各コンポーネント間でのやり取り
Web経由でRaspberry PiのGPIOを操作したい
Model View Controller
オープンソースの取引プラットフォーム
iPhone・iPod touchで動作する知育ロボット『R...
OpenVDB:3Dボリュームデータ処理ライブラリ
fSpy:1枚の写真からカメラパラメーターを割り出すツール
3Dスキャンしたテクスチャから照明を除去するUnityツール...
OpenGV:画像からカメラの3次元位置・姿勢を推定するライ...
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
Twitter APIのPythonラッパー『python-...
オーバーロードとオーバーライド
Mayaのシェーディングノードの区分
OpenAR:OpenCVベースのマーカーARライブラリ
BlenderのPython環境にPyTorchをインストー...
iOSデバイスのためのフィジカル・コンピューティングツールキ...
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
画像生成AI Stable Diffusionで遊ぶ
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
タマムシっぽい質感
Kinect for Windows V2のプレオーダー開始
Multi-View Environment:複数画像から3...
OpenCV 3.3.0-RCでsfmモジュールをビルド
3Dモデルを立体視で確認できるVRアプリを作っている
MVStudio:オープンソースのPhotogrammetr...
adskShaderSDK
PythonでMayaのShapeノードプラグインを作る
Point Cloud Libraryに動画フォーマットが追...
CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...
Regard3D:オープンソースのStructure fro...
Active Appearance Models(AAM)
手を動かしながら学ぶデータマイニング
自前のShaderがおかしい件
機械学習について最近知った情報
参考書
Unityで学ぶC#
OpenCV 3.1のsfmモジュールを試す


コメント
[…] がとうございます。 NegativeMindさんありがとうございます。 NegativeMindException | Multi-View Stereoによる3次元復元ライブラリ『OpenMVS』 NegativeMindException | 複数視点画像から3次元形状を復元するラ […]