ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
ニューラルネットワークで画像分類
『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン
Human Generator：Blenderの人体生成アド...
ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の...
デスクトップPCを新調した！
OpenCV バージョン4がリリースされた！
MetaHumanの頭部をBlenderで編集できるアドオン
OpenCVの顔検出過程を可視化した動画
ZBrushの作業環境を見直す
Blender 4.2以降のWindowsPortable版...
TVML (TV program Making langua...
ZBrushでメカ物を作るチュートリアル動画
trimesh：PythonでポリゴンMeshを扱うライブラ...
Unity MonoBehaviourクラスのオーバーライド...
第25回コンピュータビジョン勉強会＠関東に行って来た
ZBrushでアヴァン・ガメラを作ってみる 頭頂部の作り込み...
Netron：機械学習モデルを可視化するツール
映画『シン・ウルトラマン』 メイキング記事まとめ
GoogleのDeep Learning論文
ZBrushでゴジラ2001を作ってみる 身体のSubToo...
Open3D：3Dデータ処理ライブラリ
ZBrushのキャンバスにリファレンス画像を配置する
ZBrushCoreのTransposeとGizmo 3D
Stanford Bunny
Pylearn2：ディープラーニングに対応したPythonの...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
OpenMayaRender
Facebookの顔認証技術『DeepFace』
ニューラルネットワークと深層学習
SIGGRAPH 2020はオンライン開催
ベイズ推定とグラフィカルモデル
ZBrushで仮面ライダー3号を造る 仮面編
白組による『シン・ゴジラ』CGメイキング映像が公開された！
天体写真の3D動画
ZBrushでアヴァン・ガメラを作ってみる 脚のトゲの作り直...
CGAN (Conditional GAN)：条件付き敵対的...
MFnDataとMFnAttribute
『パシフィック・リム: アップライジング』のVFXブレイクダ...
スクラッチで既存のキャラクターを立体化したい
イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメ...
ZBrushで仮面ライダー3号を造る ベース編
UnityのTransformクラスについて調べてみた
コメント