ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Math Inspector：科学計算向けビジュアルプログラ...
ゴジラ三昧
Gource：バージョン管理の履歴を可視化するツール
機械学習のオープンソースソフトウェアフォーラム『mloss(...
Unity ARKitプラグインサンプルのドキュメントを読む
Kinect for Windows V2のプレオーダー開始
Subsurface scatteringの動画
フリーで使えるスカルプト系モデリングツール『Sculptri...
ニンテンドー3DSのGPU PICA200
CGのためのディープラーニング
cvui：OpenCVのための軽量GUIライブラリ
ZBrushのTranspose Masterでポーズを付け...
FCN (Fully Convolutional Netwo...
OpenCV 3.1から追加されたSfMモジュール
Windows Server 2008にAutodesk M...
『スター・ウォーズ/スカイウォーカーの夜明け』のVFXブレイ...
オープンソースのネットワーク可視化ソフトウェアプラットフォー...
R-CNN (Regions with CNN featur...
Raytracing Wiki
書籍『仕事ではじめる機械学習』を読みました
マジョーラ
Boost オープンソースライブラリ
clearcoat Shader
Iridescence：プロトタイピング向け軽量3D可視化ラ...
Swark：コードからアーキテクチャ図を作成できるVSCod...
GeoGebra：無料で使える数学アプリ
GoB：ZBrushとBlenderを連携させるアドオン
書籍『OpenCV 3 プログラミングブック』を購入
ZBrushでアヴァン・ガメラを作ってみる 爪とトゲを追加
1枚の画像からマテリアルを作成できる無料ツール『Materi...
Regard3D：オープンソースのStructure fro...
映画『シン・ウルトラマン』 メイキング記事まとめ
ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...
ZBrushからBlenderへモデルをインポート
Adobeの手振れ補正機能『ワープスタビライザー』の秘密
ZBrushでゴジラ2001を作ってみる 身体のアタリを作る
Mayaでリアルな布の質感を作るチュートリアル
ラクガキの立体化
TVML (TV program Making langua...
ZBrushのZScript入門
Mayaのプラグイン開発
オープンソースのロボットアプリケーションフレームワーク『RO...
コメント