ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Accord.NET Framework：C#で使える機械学...
オープンソースの顔認識フレームワーク『OpenBR』
Adobe Photoshop CS4 Extendedの3...
ZBrushでアヴァン・ガメラを作ってみる
機械学習手法『Random Forest』
アニゴジ関連情報
ポリゴン用各種イテレータと関数セット
Unityをレンダラとして活用する
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
Windows Server 2008にAutodesk M...
MFnMeshクラスのsplit関数
Adobe MAX 2015
Facebookの顔認証技術『DeepFace』
なんかすごいサイト
SSD (Single Shot Multibox Dete...
clearcoat Shader
Windows10でPyTorchをインストールしてVSCo...
トランスフォーマー/ロストエイジのメイキング
UnityでShaderの入力パラメータとして行列を渡す
ZBrushでアヴァン・ガメラを作ってみる 下アゴの付け根を...
Active Appearance Models（AAM）
ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始...
顔モデリングのチュートリアル
『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が...
UnityでARKit2.0
BlenderのRigifyでリギング
第25回コンピュータビジョン勉強会＠関東に行って来た
この本読むよ
トランスフォーマー ：リベンジのメイキング (デジタルドメイ...
OpenMayaのPhongShaderクラス
フィーリングに基づくタマムシの質感表現
Dlib：C++の機械学習ライブラリ
ポリ男をリファイン
OpenAR：OpenCVベースのマーカーARライブラリ
映画『ミュータント・タートルズ』を観てきた
SIGGRAPH Asia
ManimML：機械学習の概念を視覚的に説明するためのライブ...
3D Gaussian Splatting：リアルタイム描画...
GoogleのDeep Learning論文
ニンテンドー3DSのGPU PICA200
Stanford Bunny
Russian3DScannerのトポロジー転送ツール『Wr...
コメント