UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV



データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓


関連記事

PGGAN:段階的に解像度を上げて学習を進めるGAN

Open3D:3Dデータ処理ライブラリ

ラクガキの立体化 目標設定

ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始める

色んな三面図があるサイト

MVStudio:オープンソースのPhotogrammetryツール

ラクガキの立体化 3Dプリント注文

ZBrushでゴジラ2001を作ってみる 姿勢の変更

ZBrush キャラクター&クリーチャー

OpenCVのバージョン3が正式リリースされたぞ

ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整 その2

Kubric:機械学習用アノテーション付き動画生成パイプライン

日本でMakersは普及するだろうか?

UnityのTransformクラスについて調べてみた

ゴジラ三昧

HD画質の無駄遣い

ZBrush 2018へのアップグレード

ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher

Transformers ”Reference & Bulid” Siggraph 2007

ZBrushでアヴァン・ガメラを作ってみる 頭頂部の作り込み・舌の追加

フリーのUV展開ツール Roadkill UV Tool

ZBrush 2018での作業環境を整える

Adobe Photoshop CS5の新機能

この本読むよ

Unityで360度ステレオVR動画を作る

プログラムによる景観の自動生成

Mayaでリアルな布の質感を作るチュートリアル

BlenderでPhotogrammetryできるアドオン

OpenCVで平均顔を作るチュートリアル

ラクガキの立体化 背中の作り込み・手首の移植

MeshLab:3Dオブジェクトの確認・変換に便利なフリーウェア

DensePose:画像中の人物表面のUV座標を推定する

SIGGRAPH ASIAのマスコット

プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)

機械学習に役立つPythonライブラリ一覧

ZBrushのキャンバスにリファレンス画像を配置する

アニゴジ関連情報

TVML (TV program Making language)

Facebookの顔認証技術『DeepFace』

Blendify:コンピュータービジョン向けBlenderラッパー

ヘッドマウントディスプレイとビジュアリゼーションの未来

PSPNet (Pyramid Scene Parsing Network):ディープラーニングによ...

コメント