コンピュータビジョン研究のためのUnreal Engineプラグイン『UnrealCV』

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン。

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。


スポンサーリンク
UnrealCv——Applications

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim

AirSim Demo

AirSim Car Demo

https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

2D→3D復元技術で使われる用語まとめ
Kinect for Windows V2のプレオーダー開始
Siggraph Asia 2009 カンファレンスの詳細
機械学習について最近知った情報
Deep Learningとその他の機械学習手法の性能比較
Boost オープンソースライブラリ
NICOGRAPHって有名?
ラクガキの立体化 1年半ぶりの続き
Blender 2.81でIntel Open Image Denoiseを使う
3Dボリュームデータ処理ライブラリ『OpenVDB』
OpenGVの用語
HD画質の無駄遣い
OpenCVで顔のモーフィングを実装する
Blenderの人体モデリングアドオン『MB-Lab』
takminさんが機械学習・画像認識の便利ツールを公開しています
UnityでLight Shaftを表現する
Active Appearance Models(AAM)
Unityで強化学習できる『Unity ML-Agents』
機械学習で流体シミュレーションを近似する『Physics Forests』
ZBrush 4R8 リリース!
ZBrush キャラクター&クリーチャー
Vancouver Film Schoolのデモリール
オープンソースのIT資産・ライセンス管理システム『Snipe-IT』
実写と実写の合成時の色の馴染ませテクニック
Subsurface scatteringの動画
ゴジラの造形
Ambient Occlusionを解析的に求める
OpenCVの三角測量関数『cv::triangulatepoints』
書籍『The Art of Mystical Beasts』を購入
なんかすごいサイト
Unite 2014の動画
OpenCVの顔検出過程を可視化した動画
SIGGRAPH ASIA 2009で学生ボランティア募集してるみたい
畳み込みニューラルネットワーク (CNN:Convolutional Neural Network)
映画から想像するVR・AR時代のGUIデザイン
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
Adobe Photoshop CS4 Extendedの3Dモデル編集機能
『ピクサー展』へ行ってきた
ラクガキの立体化 胴体の追加
UnityでShaderの入力パラメータとして行列を渡す
『ローグ・ワン/スター・ウォーズ・ストーリー』"あのキャラクター"のメイキング
ラクガキの立体化 モールドの追加

コメント