ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
ポリ男からMetaHumanを作る
OpenAR：OpenCVベースのマーカーARライブラリ
UnityでLight Shaftを表現する
Maya LTのQuick Rigを試す
mentalrayのSubsurface Scatterin...
世界一下品なクマと世界一紳士なクマ
OpenGV：画像からカメラの3次元位置・姿勢を推定するライ...
ZBrushで仮面ライダー3号を造る 仮面編 DynaMes...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
fSpy：1枚の写真からカメラパラメーターを割り出すツール
GoogleのDeep Learning論文
ZBrushトレーニング
ラクガキの立体化 反省
Unreal Engine 5の情報が公開された！
Theia：オープンソースのStructure from M...
ZBrushのキャンバスにリファレンス画像を配置する
WebGL開発に関する情報が充実してきている
ポリ男をリファイン
ラクガキの立体化
Human Generator：Blenderの人体生成アド...
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
ZBrushCore
Math Inspector：科学計算向けビジュアルプログラ...
UnityユーザーがUnreal Engineの使い方を学ぶ...
マジョーラ
ゴジラ三昧
adskShaderSDK
オープンソースのIT資産・ライセンス管理システム『Snipe...
Math.NET Numerics：Unityで使える数値計...
ZBrushでゴジラ2001を作ってみる 身体のSubToo...
トランスフォーマーの変形パターンを覚えるのは楽しいと思うんだ
トランスフォーマーロストエイジのメイキング
NVIDIA Quadro OpenGL DriverのDe...
Autodesk Mementoでゴジラを3次元復元する
clearcoat Shader
TeleSculptor：空撮動画からPhotogramme...
ZBrushでゴジラ2001を作ってみる 頭の概形作り
ZBrushでアヴァン・ガメラを作ってみる
ZBrushでアヴァン・ガメラを作ってみる おでこ(？)のバ...
OpenFace：Deep Neural Networkによ...
iPhone 3GSがますます欲しくなる動画
白組による『シン・ゴジラ』CGメイキング映像が公開された！
コメント