ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Zibra Liquids：Unity向け流体シミュレーショ...
ZBrushでゴジラ2001を作ってみる 姿勢の変更
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
RefineNet (Multi-Path Refineme...
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調...
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesh...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
HD画質の無駄遣い その２
ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...
AfterEffectsプラグイン開発
Geogram：C++の3D幾何アルゴリズムライブラリ
ジュラシック・パークのメイキング
BlenderでPhotogrammetryできるアドオン
ZBrushと液晶ペンタブレットでドラゴンをモデリングするチ...
Math Inspector：科学計算向けビジュアルプログラ...
タマムシっぽい質感
書籍『仕事ではじめる機械学習』を読みました
Unite 2014の動画
映画から想像するVR・AR時代のGUIデザイン
ZBrushで仮面ライダー3号を造る 仮面編 ClipCur...
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
Regard3D：オープンソースのStructure fro...
Stanford Bunny
コンピュータビジョンの技術マップ
CGレンダラ研究開発のためのフレームワーク『Lightmet...
『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン
ZBrush 4R8 リリース！
Unreal Engine 5の情報が公開された！
OpenCVのバージョン3が正式リリースされたぞ
OpenFace：Deep Neural Networkによ...
DensePose：画像中の人物表面のUV座標を推定する
OpenCV 3.3.0 contribのsfmモジュールの...
物理ベースレンダリングのためのマテリアル設定チートシート
KelpNet：C#で使える可読性重視のディープラーニングラ...
MVStudio：オープンソースのPhotogrammetr...
ポリ男をリファイン
3D映画のポストプロダクション 2D-3D変換
Deep Fluids：流体シミュレーションをディープラーニ...
MeshroomでPhotogrammetry
ZBrushでアヴァン・ガメラを作ってみる 下アゴと頭部を作...
Mayaのポリゴン分割ツールの進化
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
コメント