ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Multi-View Environment：複数画像から3...
Manim：Pythonで使える数学アニメーションライブラリ
ドラマ『ファーストクラス』のモーショングラフィックス
フォトンの放射から格納までを可視化した動画
MFnMeshクラスのsplit関数
法線マップを用意してCanvas上でShadingするサンプ...
LLM Visualization：大規模言語モデルの可視化
画像認識による位置情報取得 - Semi-Direct Mo...
Accord.NET Framework：C#で使える機械学...
ZBrushでゴジラ2001を作ってみる 身体のアタリを作る
映画『ミュータント・タートルズ』を観てきた
Adobe Photoshop CS5の新機能
Caffe：読みやすくて高速なディープラーニングのフレームワ...
BlenderのPython環境にPyTorchをインストー...
MB-Lab：Blenderの人体モデリングアドオン
書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読...
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ...
KelpNet：C#で使える可読性重視のディープラーニングラ...
SIGGRAPH Asia
オープンソースの顔認識フレームワーク『OpenBR』
PSPNet (Pyramid Scene Parsing ...
Open3D：3Dデータ処理ライブラリ
Autodesk Mementoでゴジラを3次元復元する
データサイエンティストって何だ？
3D復元技術の情報リンク集
映画『シン・仮面ライダー』 メイキング情報まとめ
CGALDotNet：計算幾何学ライブラリ CGALのC#ラ...
OpenCV 3.1のsfmモジュールを試す
Mayaのポリゴン分割ツールの進化
映画から想像するVR・AR時代のGUIデザイン
bpy-renderer：レンダリング用Pythonパッケー...
OpenCVの三角測量関数『cv::triangulatep...
OpenCVのfindEssentialMat関数を使ったサ...
トランスフォーマー ：リベンジのメイキング (デジタルドメイ...
Unityで強化学習できる『Unity ML-Agents』
ZBrush 4R8 リリース！
LuxCoreRender：オープンソースの物理ベースレンダ...
2D→3D復元技術で使われる用語まとめ
DCGAN (Deep Convolutional GAN)...
オープンソースのIT資産・ライセンス管理システム『Snipe...
libigl：軽量なジオメトリ処理ライブラリ
UnityでTweenアニメーションを実装できる3種類の無料...
コメント