コンピュータビジョン研究のためのUnreal Engineプラグイン『UnrealCV』

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン。

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。


スポンサーリンク
UnrealCv——Applications

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim

AirSim Demo

AirSim Car Demo

https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

OpenCVの超解像(SuperResolution)モジュールを試す
3D復元技術の情報リンク集
実写と実写の合成時の色の馴染ませテクニック
SIGGRAPH ASIA 2009で学生ボランティア募集してるみたい
Unity ARKitプラグインサンプルのチュートリアルを読む
ニューラルネットワークと深層学習
UnityでLight Shaftを表現する
Unite 2014の動画
ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
フォトンの放射から格納までを可視化した動画
UnityでOpenCVを使うには?
OpenCV 3.3.0-RCでsfmモジュールをビルド
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ
MFnMeshクラスのsplit関数
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる
参考書
オープンソースの取引プラットフォーム
書籍『開田裕治 怪獣イラストテクニック』
TensorFlowでCGを微分できる『TensorFlow Graphics』
ZBrush 2018へのアップグレード
UnityでARKit2.0
Mayaでリアルな布の質感を作るチュートリアル
ZBrushトレーニング
オープンソースのプリント基板設計ツール『KiCad』
Unreal Engine Tokyo MeetUp!へ行ってきた
SIGGRAPH論文へのリンクサイト
Paul Debevec
OpenCV 3.1から追加されたSfMモジュール
フィーリングに基づくタマムシの質感表現
コンピュータビジョンの技術マップ
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
C++の機械学習ライブラリ『Dlib』
Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧
OpenCV 3.3.0 contribのsfmモジュールのサンプルを動かしてみる
映画『ブレードランナー 2049』のVFX
参考になりそうなサイト
3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』
Raytracing Wiki
Point Cloud Libraryに動画フォーマットが追加されるらしい
『PIXARのひみつ展』に行ってきた
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー

コメント