ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
この連休でZBrushの スキルアップを…
ニンテンドー3DSのGPU PICA200
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調...
トランスフォーマーロストエイジのメイキング
ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加
スター・ウォーズのスピンオフ『マンダロリアン』の舞台裏
Maya には3 種類のシェーダSDKがある？
PyDataTokyo主催のDeep Learning勉強会
ニューラルネットワークと深層学習
海外ドラマのChromaKey
UnityからROSを利用できる『ROS#』
OpenCV 3.1のsfmモジュールのビルド再び
UnityでPoint Cloudを表示する方法
CreativeCOW.net
ManimML：機械学習の概念を視覚的に説明するためのライブ...
ZBrushのZmodelerとDynamic Subdiv...
OpenMVS：Multi-View Stereoによる3次...
Structure from Motion (多視点画像から...
Blender 2.8がついに正式リリース！
SSD (Single Shot Multibox Dete...
UnityでLight Shaftを表現する
写真に3Dオブジェクトを違和感無く合成する『3DPhotoM...
『パシフィック・リム: アップライジング』のVFXブレイクダ...
GoogleのDeep Learning論文
顔モデリングのチュートリアル
ZBrush 2021.6のMesh from Mask機能...
OpenCV 3.1のsfmモジュールを試す
UnityでOpenCVを使うには？
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイク...
Adobe Photoshop CS4 Extendedの3...
ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
ZBrushでアヴァン・ガメラを作ってみる 歯を配置
ZBrushでアヴァン・ガメラを作ってみる 頭頂部の作り込み...
ZBrush 2018へのアップグレード
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
ラクガキの立体化 分割ラインの変更・バランス調整
BGSLibrary：OpenCVベースの背景差分ライブラリ
ジュラシック・パークの続編『ジュラシック・ワールド』
Active Appearance Models（AAM）
ポイントクラウドコンソーシアム
ZBrushのZScript入門
コメント