UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

Mayaのポリゴン分割ツールの進化
.NETで使えるTensorFlowライクなニューラルネットワークライブラリ『NeuralNetwo...
日立のフルパララックス立体ディスプレイ
AR (Augmented Reality)とDR (Diminished Reality)
『ピクサー展』へ行ってきた
hloc:SuperGlueで精度を向上させたSfM実装
第1回 3D勉強会@関東『SLAMチュートリアル大会』
BSDF: (Bidirectional scattering distribution funct...
ZBrushでアヴァン・ガメラを作ってみる 脚のポーズ調整
Dlib:C++の機械学習ライブラリ
ニンテンドー3DSのGPU PICA200
openMVG:複数視点画像から3次元形状を復元するライブラリ
オープンソースのStructure from Motionライブラリ『Theia』
CGレンダラ研究開発のためのフレームワーク『Lightmetrica (ライトメトリカ)』
Windows10でPyTorchをインストールしてVSCodeで使う
スターウォーズ エピソードVIIの予告編
ラクガキの立体化 3Dプリント注文
フリーのUV展開ツール Roadkill UV Tool
イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメイキング
ZBrushでアヴァン・ガメラを作ってみる
3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』
iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』
顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト
UnityでOpenCVを使うには?
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる
OpenCVで顔のランドマークを検出する『Facemark API』
Fast R-CNN:ディープラーニングによる一般物体検出手法
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...
ZBrushの練習 手のモデリング
ZBrushでUndo Historyを動画に書き出す
ZBrushで手首のモデリングをリファイン
GAN (Generative Adversarial Networks):敵対的生成ネットワーク
ZBrushのキャンバスにリファレンス画像を配置する
トランスフォーマー/ロストエイジのメイキング
ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の作り込み
Kinect for Windows v2の日本価格決定
書籍『イラストで学ぶ ディープラーニング』
OpenCVベースのマーカーARライブラリ『OpenAR』
生物の骨格
素敵なパーティクル
スクラッチで既存のキャラクターを立体化したい
3DCG Meetup #4に行ってきた

コメント