ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
ラクガキの立体化
オープンソースの取引プラットフォーム
自前Shaderの件 解決しました
なんかすごいサイト
GoB：ZBrushとBlenderを連携させるアドオン
3D Gaussian Splatting：リアルタイム描画...
ZBrushで作った3Dモデルを立体視で確認できるVRアプリ...
ゴジラ三昧
Stanford Bunny
Blender 2.8がついに正式リリース！
ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の...
Blenderでよく使うaddon
iPhone欲しいなぁ
ガメラ生誕50周年
Cartographer：オープンソースのSLAMライブラリ
単純に遊びに行くのはだめなのか？
ZBrush 2018へのアップグレード
OpenCVのfindEssentialMat関数を使ったサ...
Raytracing Wiki
顔画像処理技術の過去の研究
顔のモデリング
ニューラルネットワークと深層学習
2D→3D復元技術で使われる用語まとめ
GeForce RTX 30シリーズ発表
Maya LTでFBIK(Full Body IK)
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
hloc：SuperGlueで精度を向上させたSfM・Vis...
DensePose：画像中の人物表面のUV座標を推定する
Unityで360度ステレオVR動画を作る
ZBrushでゴジラ2001を作ってみる 身体のシルエット出...
OpenMVSのサンプルを動かしてみる
ZBrushでゴジラ2001を作ってみる 身体のSubToo...
OpenCV 3.1のsfmモジュールを試す
UnityのGameObjectの向きをScriptで制御す...
OpenFace：Deep Neural Networkによ...
ラクガキの立体化 モールドの追加
ZBrush 4R7
ZBrushのTranspose Masterでポーズを付け...
Python for Unity：UnityEditorでP...
ZBrushのUV MasterでUV展開
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
コメント