ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
第25回コンピュータビジョン勉強会＠関東に行って来た
DensePose：画像中の人物表面のUV座標を推定する
ZBrushでアヴァン・ガメラを作ってみる
ZScript
Maya API Reference
NeRF (Neural Radiance Fields)：...
MythTV：Linuxでテレビの視聴・録画ができるオープン...
布のモデリング
CEDEC 3日目
SIGGRAPH ASIA 2009で学生ボランティア募集し...
ゴジラ(2014)のディティール制作の舞台裏
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン ...
Alice Vision：オープンソースのPhotogram...
3D復元技術の情報リンク集
Blendify：コンピュータービジョン向けBlenderラ...
ベイズ推定とグラフィカルモデル
PSPNet (Pyramid Scene Parsing ...
Netron：機械学習モデルを可視化するツール
Open3D：3Dデータ処理ライブラリ
映画『ジュラシック・ワールド／炎の王国』のVFXブレイクダウ...
画像生成AI Stable Diffusionで遊ぶ
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエッ...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Kinect for Windows V2のプレオーダー開始
SONY製のニューラルネットワークライブラリ『NNabla』
Unity ARKitプラグインサンプルのチュートリアルを読...
Dlib：C++の機械学習ライブラリ
Google Colaboratoryで遊ぶ準備
データサイエンティストって何だ？
BSDF： (Bidirectional scatterin...
ZBrushでアマビエを作る その2
ZBrushでアヴァン・ガメラを作ってみる 下アゴの付け根を...
MPC社によるゴジラ(2014)のVFXブレイクダウン
Facebookの顔認証技術『DeepFace』
ZBrushのお勉強
CGAN (Conditional GAN)：条件付き敵対的...
OpenCVで動画の手ぶれ補正
機械学習手法『Random Forest』
リアルタイム レイトレーシングAPI『DirectX Ray...
CycleGAN：ドメイン関係を学習した画像変換
OpenCV 3.1から追加されたSfMモジュール
コメント