ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の...
Siggraph Asia 2009 カンファレンスの詳細
Math Inspector：科学計算向けビジュアルプログラ...
NVIDIA GeForce RTX 3080を購入
Photogrammetry (写真測量法)
Blender 2.81でIntel Open Image ...
Blender 4.2以降のWindowsPortable版...
ZBrushのキャンバスにリファレンス画像を配置する
Adobe Photoshop CS4 Extendedの3...
ポリゴンジオメトリ処理ライブラリ『pmp-library (...
映画『ミュータント・タートルズ』を観てきた
ニンテンドー3DSのGPU PICA200
無料で使える人体3DCG作成ツール
SculptrisとBlenderで作ったGodzilla ...
ZScript
OpenGVのライブラリ構成
株式会社ヘキサドライブの研究室ページ
Ambient Occlusionを解析的に求める
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイク...
PolyPaint
ZBrushで仮面ライダー3号を造る 仮面編 ClipCur...
Iridescence：プロトタイピング向け軽量3D可視化ラ...
iPhone欲しいなぁ
Raytracing Wiki
フリーで使えるスカルプト系モデリングツール『Sculptri...
ラクガキの立体化
HD画質の無駄遣い その２
イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメ...
Shader.jp：リアルタイム3DCG技術をあつかうサイト
MFnMeshクラスのsplit関数
Qlone：スマホのカメラで3Dスキャンできるアプリ
PSPNet (Pyramid Scene Parsing ...
書籍『仕事ではじめる機械学習』を読みました
参考になりそうなサイト
Faceshiftで表情をキャプチャしてBlender上でM...
MPFB2：Blenderの人体モデリングアドオン
オープンソースの人体モデリングツール『MakeHuman』の...
Unreal Engine Tokyo MeetUp!へ行っ...
ZBrushの練習 手のモデリング
ZBrushでゴジラ2001を作ってみる 側頭部のボリューム...
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ
SegNet：ディープラーニングによるSemantic Se...
コメント