コンピュータビジョン研究のためのUnreal Engineプラグイン『UnrealCV』

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン。

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。


スポンサーリンク
UnrealCv——Applications

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim

AirSim Demo

AirSim Car Demo

https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

色んな三面図があるサイト
3Dコンピュータービジョンライブラリ『PyTorch3D』
インタラクティブにComputer Visionコーディングができるツール『Live CV』
写真に3Dオブジェクトを違和感無く合成する『3DPhotoMagic』
ZBrushの作業環境を見直す
Unityをレンダラとして活用する
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
オープンソースの物理ベースレンダラ『Mitsuba』をMayaで使う
書籍『仕事ではじめる機械学習』を読みました
Adobe Photoshop CS5の新機能
Mayaのポリゴン分割ツールの進化
単純に遊びに行くのはだめなのか?
UnityからROSを利用できる『ROS#』
ファンの力
AfterEffectsプラグイン開発
Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧
ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve
Unite 2014の動画
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ
ZBrushのキャンバスにリファレンス画像を配置する
OpenCVの三角測量関数『cv::triangulatepoints』
Javaで作られたオープンソースの3DCGレンダラ『Sunflow』
機械学習について理解するための可視化ツール『MLDemos』
Pix2Pix:CGANによる画像変換
白組による『シン・ゴジラ』CGメイキング映像が公開された!
プロシージャル手法に特化した本が出てるみたい(まだ買わないけど)
PyDataTokyo主催のDeep Learning勉強会
ZBrushのTranspose Masterでポーズを付ける
GoogleのDeep Learning論文
Autodesk Mementoでゴジラを3次元復元する
FacebookがDeep learningツールの一部をオープンソース化
SSII 2014 デモンストレーションセッションのダイジェスト動画
FCN (Fully Convolutional Network):ディープラーニングによるSema...
オープンソースのテクスチャマッピングシステム『Ptex』
ZBrushのお勉強
ZBrushCore
UnityのGlobal Illumination
3D復元技術の情報リンク集
Subsurface scatteringの動画
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ
リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』

コメント