UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

日本でMakersは普及するだろうか?

ZBrushでUndo Historyを動画に書き出す

映画『シン・仮面ライダー』 メイキング情報まとめ

Unityをレンダラとして活用する

昔Mayaでモデリングしたモデルをリファインしてみようか

OpenCVで平均顔を作るチュートリアル

Iridescence:プロトタイピング向け軽量3D可視化ライブラリ

geometry3Sharp:Unity C#で使えるポリゴン操作ライブラリ

Faster R-CNN:ディープラーニングによる一般物体検出手法

FacebookがDeep learningツールの一部をオープンソース化

ZBrushで手首のモデリングをリファイン

OpenCVの顔検出過程を可視化した動画

ZBrushでアヴァン・ガメラを作ってみる パーツ分割

COLMAP:オープンソースのSfM・MVSツール

OpenSfM:PythonのStructure from Motionライブラリ

Zibra Liquids:Unity向け流体シミュレーションプラグイン

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

Adobe MAX 2015

機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

白組による『シン・ゴジラ』CGメイキング映像が公開された!

3D Gaussian Splatting:リアルタイム描画できるRadiance Fields

TensorSpace.js:ニューラルネットワークの構造を可視化するフレームワーク

CGのためのディープラーニング

OpenGVの用語

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト

Unityで強化学習できる『Unity ML-Agents』

pythonの機械学習ライブラリ『scikit-learn』

色んな三面図があるサイト

オープンソースの人体モデリングツール『MakeHuman』のAPI開発プロジェクトがスタート

ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救出

トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ

マイケル・ベイの動画の感覚

Point Cloud Libraryに動画フォーマットが追加されるらしい

UnityでShaderの入力パラメータとして行列を渡す

ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割

Russian3DScannerのトポロジー転送ツール『WrapX』

DensePose:画像中の人物表面のUV座標を推定する

PyTorch3D:3Dコンピュータービジョンライブラリ

Google Colaboratoryで遊ぶ準備

画像生成AI Stable Diffusionで遊ぶ

コメント