ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Composition Rendering：Blenderに...
3Dスキャンに基づくプロシージャルフェイシャルアニメーション
Transformer Explainer：テキスト生成モデ...
ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調...
Blender 2.8がついに正式リリース！
Mayaのポリゴン分割ツールの進化
ZBrushでUndo Historyを動画に書き出す
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
ZBrushでアヴァン・ガメラを作ってみる パーツ分割
ラクガキの立体化
Cartographer：オープンソースのSLAMライブラリ
GoB：ZBrushとBlenderを連携させるアドオン
ZBrushのキャンバスにリファレンス画像を配置する
Point Cloud Utils：Pythonで3D点群・...
ZBrushでアヴァン・ガメラを作ってみる 頭頂部の作り込み...
第1回 3D勉強会＠関東『SLAMチュートリアル大会』
この連休でZBrushの スキルアップを…
ZBrushで人型クリーチャー
GoogleのDeep Learning論文
GAN (Generative Adversarial Ne...
Qlone：スマホのカメラで3Dスキャンできるアプリ
Windows10でPyTorchをインストールしてVSCo...
ZBrushからBlenderへモデルをインポート
UnityからROSを利用できる『ROS#』
テスト
Maya API Reference
映画から想像するVR・AR時代のGUIデザイン
シン・ゴジラのファンアート
ゴジラ三昧
TensorFlowでCGを微分できる『TensorFlow...
フリーで使えるスカルプト系モデリングツール『Sculptri...
Zibra Liquids：Unity向け流体シミュレーショ...
LuxCoreRender：オープンソースの物理ベースレンダ...
書籍『The Art of Mystical Beasts』...
ZBrushで手首のモデリングをリファイン
Kinect for Windows V2のプレオーダー開始
OpenCV バージョン4がリリースされた！
ZBrushでカスタムUIを設定する
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
ZBrushのZmodelerとDynamic Subdiv...
1枚の画像からマテリアルを作成できる無料ツール『Materi...
Raytracing Wiki
コメント