UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。


スポンサーリンク
UnrealCv——Applications

https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim

AirSim Demo

AirSim Car Demo

https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

Zbrushでメカ物を作るチュートリアル動画
fSpy:1枚の写真からカメラパラメーターを割り出すツール
Point Cloud Libraryに動画フォーマットが追加されるらしい
ZBrushCoreのTransposeとGizmo 3D
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
HD画質の無駄遣い
ZBrushのハードサーフェイス用ブラシ
Googleが画像解析旅行ガイドアプリのJetpac社を買収
Python for Unity:UnityEditorでPythonを使えるパッケージ
複数画像から3次元形状を再構築するライブラリ『Multi-View Environment』
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
UnityからROSを利用できる『ROS#』
グローバルイルミネーションに手を出す前に、やり残したことがあるんじゃない?
海外ドラマのChromaKey
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作ったのか
pythonの機械学習ライブラリ『scikit-learn』
リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』
ニューラルネットワークと深層学習
Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧
ディープラーニングに対応したPythonの機械学習ライブラリ『Pylearn2』
この連休でZBrushの スキルアップを…
Houdiniのライセンスの種類
CGのためのディープラーニング
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整
ZScript
ZBrushでアヴァンガメラを作ってみる
2012のメイキングまとめ(途中)
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる
今年もSSII
SSII2014 チュートリアル講演会の資料
HTML5・WebGLベースのグラフィックスエンジン『Goo Engine』
映画『ミュータント・タートルズ』を観てきた
機械学習のオープンソースソフトウェアフォーラム『mloss(machine learning ope...
書籍『イラストで学ぶ ディープラーニング』
株式会社ヘキサドライブの研究室ページ
mentalrayのSubsurface Scattering Shader『misss_fast_...
iPhoneで3D写真が撮れるアプリ『seene』
3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』
OpenCVで顔のモーフィングを実装する
映画『ジュラシック・ワールド/炎の王国』のVFXブレイクダウン まとめ
ジュラシック・パークの続編『ジュラシック・ワールド』
ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始める

コメント