ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
OpenMVS：Multi-View Stereoによる3次...
Autodesk CompositeとAutodesk Ma...
TeleSculptor：空撮動画からPhotogramme...
ゴジラ三昧
フリーで使えるスカルプト系モデリングツール『Sculptri...
NVIDIA GeForce RTX 3080を購入
ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...
OpenCV 3.1とopencv_contribモジュール...
MVStudio：オープンソースのPhotogrammetr...
畳み込みニューラルネットワーク (CNN: Convolut...
Runway ML：クリエイターのための機械学習ツール
Russian3DScannerのトポロジー転送ツール『Wr...
ZBrushでゴジラ2001を作ってみる 姿勢の変更
頭蓋骨からの顔復元と進化過程の可視化
タマムシっぽい質感
ZBrushで仮面ライダー3号を造る 仮面編 Dam Sta...
SegNet：ディープラーニングによるSemantic Se...
ZBrushで仮面ライダーBLACK SUNを作る 頭部～バ...
libigl：軽量なジオメトリ処理ライブラリ
PureRef：リファレンス画像専用ビューア
Unreal Engineの機能を学ぶ優先順位を考える
iPhone 3GSがますます欲しくなる動画
布地のシワの法則性
2012のメイキングまとめ(途中)
この連休でZBrushの スキルアップを…
Unityで強化学習できる『Unity ML-Agents』
JavaによるCGプログラミング入門サイト (日本語)
ZBrushでアヴァン・ガメラを作ってみる 下半身のバランス...
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
Live CV：インタラクティブにComputer Visi...
ニューラルネットワークと深層学習
Mayaのポリゴン分割ツールの進化
Point Cloud Consortiumのセミナー「3D...
ZBrushでカスタムUIを設定する
『シン・ゴジラ』のコンセプトアニメーションのメイキング動画が...
OpenMVSのサンプルを動かしてみる
hloc：SuperGlueで精度を向上させたSfM・Vis...
スクラッチで既存のキャラクターを立体化したい
iPhoneで3D写真が撮れるアプリ『seene』
スターウォーズ エピソードVIIの予告編
Maya 2015から標準搭載されたMILA
自前Shaderの件 解決しました
コメント