UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

ZBrushのお勉強
ポリ男をリファイン
デザインのリファイン再び
ゴジラの造形
Mitsuba 3:オープンソースの研究向けレンダラ
Unityの薄い本
SculptrisとBlenderで作ったGodzilla 2014 (Fan Made)
MeshroomでPhotogrammetry
トランスフォーマー :リベンジのメイキング (デジタルドメイン)
映画『ジュラシック・ワールド』のVFXメイキング
OpenCV
CEDEC 3日目
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ分割
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
PGGAN:段階的に解像度を上げて学習を進めるGAN
Zibra Liquids:Unity向け流体シミュレーションプラグイン
ZScript
Point Cloud Utils:Pythonで3D点群・Meshを扱うライブラリ
AR (Augmented Reality)とDR (Diminished Reality)
UnityユーザーがUnreal Engineの使い方を学ぶには?
OpenAR:OpenCVベースのマーカーARライブラリ
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ
3DCG Meetup #4に行ってきた
3D映画のポストプロダクション 2D-3D変換
OpenGV:画像からカメラの3次元位置・姿勢を推定するライブラリ
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
ZBrushでアヴァン・ガメラを作ってみる 脚のトゲの作り直し
SSD (Single Shot Multibox Detector):ディープラーニングによる一般...
UnityでOpenCVを使うには?
ZBrushで仮面ライダー3号を造る 仮面編 Dam Standardブラシでディティールを彫る
Kaolin:3Dディープラーニング用のPyTorchライブラリ
ArUco:OpenCVベースのコンパクトなARライブラリ
UnityでPoint Cloudを表示する方法
CGAN (Conditional GAN):条件付き敵対的生成ネットワーク
ZBrushでアヴァン・ガメラを作ってみる 壊れたデータの救出
書籍『開田裕治 怪獣イラストテクニック』
MLDemos:機械学習について理解するための可視化ツール
ZBrushでゴジラ2001を作ってみる 姿勢の変更
MPC社によるゴジラ(2014)のVFXブレイクダウン
Active Appearance Models(AAM)
リメイク版ロボコップスーツのメイキング
日立のフルパララックス立体ディスプレイ

コメント