ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
PythonでBlenderのAdd-on開発
UnityでShaderの入力パラメータとして行列を渡す
ポリ男からMetaHumanを作る
画像認識による位置情報取得 - Semi-Direct Mo...
ZBrushでアヴァン・ガメラを作ってみる 歯茎を別パーツへ...
Photogrammetry (写真測量法)
オープンソースのネットワーク可視化ソフトウェアプラットフォー...
Netron：機械学習モデルを可視化するツール
iOSで使えるJetpac社の物体認識SDK『DeepBel...
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...
MFnMeshクラスのsplit関数
Cartographer：オープンソースのSLAMライブラリ
書籍『3次元コンピュータビジョン計算ハンドブック』を購入
書籍『仕事ではじめる機械学習』を読みました
BlenderでPhotogrammetryできるアドオン
Texturing & Modeling A Pro...
ファンの力
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesh...
MetaHumanの頭部をBlenderで編集できるアドオン
中学3年生が制作した短編映像作品『2045』
ZBrushでゴジラ2001を作ってみる 身体のシルエット出...
NVIDIA Quadro OpenGL DriverのDe...
オープンソースの物理ベースGIレンダラ『appleseed』
ZBrush 4R7
3D復元技術の情報リンク集
統計的な顔モデル
Kinect for Windows v2の日本価格決定
日本でMakersは普及するだろうか？
無料で使える人体3DCG作成ツール
OpenFace：Deep Neural Networkによ...
マジョーラ
uGUI：Unityの新しいGUI作成システム
CGのためのディープラーニング
FreeMoCap Project：オープンソースのマーカー...
Unityの薄い本
続・ディープラーニングの資料
テスト
PeopleSansPeople：機械学習用の人物データをU...
SIGGRAPH Asia
機械学習について最近知った情報
COLMAP：オープンソースのSfM・MVSツール
Blenderでよく使うaddon
コメント