ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Rerun：マルチモーダルデータの可視化アプリとSDK
OpenCVでカメラ画像から自己位置認識 (Visual O...
オープンソースのテクスチャマッピングシステム『Ptex』
Fast R-CNN：ディープラーニングによる一般物体検出手...
顔追跡による擬似3D表示『Dynamic Perspecti...
BlenderのGeometry Nodeで遊ぶ
プロシージャル手法に特化した本が出てるみたい(まだ買わないけ...
ZBrushでアヴァン・ガメラを作ってみる 甲羅のバランス調...
ラクガキの立体化 分割ラインの変更・バランス調整
立体視を試してみた
ZBrushでアヴァン・ガメラを作ってみる 歯を配置
Python for Unity：UnityEditorでP...
1枚の画像からマテリアルを作成できる無料ツール『Materi...
Unreal Engineの機能を学ぶ優先順位を考える
タマムシっぽい質感
オープンソースの物理ベースレンダラ『Mitsuba』をMay...
オープンソースの取引プラットフォーム
ZBrushでアヴァン・ガメラを作ってみる おでこ(？)のバ...
3DCG Meetup #4に行ってきた
ZBrushのハードサーフェイス用ブラシ
ZBrushで仮面ライダー3号を造る 仮面編
Mayaのシェーディングノードの区分
ラクガキの立体化 モールドの追加
OpenCVで動画の手ぶれ補正
ゴジラ(2014)のディティール制作の舞台裏
SSD (Single Shot Multibox Dete...
ニューラルネットワークで画像分類
参考書
UnityでARKit2.0
ZBrushトレーニング
ZBrush 2018へのアップグレード
Vancouver Film Schoolのデモリール
ベイズ推定とグラフィカルモデル
Windows Server 2008にAutodesk M...
オープンソースの人体モデリングツール『MakeHuman』の...
PS4用ソフト『Marvel's Spider-Man』
物理ベースレンダリングのためのマテリアル設定チートシート
Accord.NET Framework：C#で使える機械学...
ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始...
PyDataTokyo主催のDeep Learning勉強会
Kinect for Windows V2のプレオーダー開始
オープンソースのIT資産・ライセンス管理システム『Snipe...
コメント