UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV



データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓


関連記事

Adobe MAX 2015

OpenCV 3.3.0-RCでsfmモジュールをビルド

Deep Learningとその他の機械学習手法の性能比較

ZBrushで仮面ライダーBLACK SUNを作る 頭部~バストの概形

ZBrushでゴジラ2001を作ってみる 身体のアタリを作る

OpenFace:Deep Neural Networkによる顔の個人識別フレームワーク

OpenCV 3.1とopencv_contribモジュールをVisual Studio 2015で...

ZBrushのZScript入門

グローバルイルミネーションに手を出す前に、やり残したことがあるんじゃない?

adskShaderSDK

オープンソースのIT資産・ライセンス管理システム『Snipe-IT』

コンピュータビジョンの技術マップ

ZBrushでアヴァン・ガメラを作ってみる

Manim:Pythonで使える数学アニメーションライブラリ

Stanford Bunny

TorchStudio:PyTorchのための統合開発環境とエコシステム

『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン まとめ

ManuelBastioniLAB:人体モデリングできるBlenderアドオン

『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ

Deep Fluids:流体シミュレーションをディープラーニングで近似する

ゴジラの造形

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

書籍『仕事ではじめる機械学習』を読みました

デスクトップPCを新調した!

布地のシワの法則性

Google Earth用の建物を簡単に作れるツール Google Building Maker 公...

MLDemos:機械学習について理解するための可視化ツール

機械学習での「回帰」とは?

ZBrushでアヴァン・ガメラを作ってみる 全体のバランス調整

第1回 3D勉強会@関東『SLAMチュートリアル大会』

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

海外ドラマのChromaKey

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network...

ZBrushのTranspose Masterでポーズを付ける

全脳アーキテクチャ勉強会

MB-Lab:Blenderの人体モデリングアドオン

MPFB2:Blenderの人体モデリングアドオン

Mixamo:人型3Dキャラクターアニメーション制作サービス

Blender 2.8がついに正式リリース!

機械学習手法『Random Forest』

ZBrush4新機能ハイライト 3DCG CAMP 2010

コメント