コンピュータビジョン研究のためのUnreal Engineプラグイン『UnrealCV』

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン。

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。


スポンサーリンク
UnrealCv——Applications

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim

AirSim Demo

AirSim Car Demo

https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

ZBrushCore
ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』
ディープラーニング
ZBrushで仮面ライダー3号を造る 仮面編
オープンソースの物理ベースGIレンダラ『appleseed』
MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト
布のモデリング
ポイントクラウドコンソーシアム
Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧
人体モデリングできるBlenderアドオン『ManuelBastioniLAB』
CGWORLD CHANNEL 第21回ニコ生配信は『シン・ゴジラ』メイキングスペシャル!
オープンソースの顔の動作解析ツールキット『OpenFace』
Point Cloud Libraryに動画フォーマットが追加されるらしい
『ローグ・ワン/スター・ウォーズ・ストーリー』"あのキャラクター"のメイキング
ドラマ『ファーストクラス』のモーショングラフィックス
法線マップを用意してCanvas上でShadingするサンプル
OpenCVでカメラ画像から自己位置認識 (Visual Odometry)
『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン まとめ
ヒーローに変身なりきりアーケードゲーム『ナレルンダー』
HTML5・WebGLベースのグラフィックスエンジン『Goo Engine』
オープンソースのPhotogrammetryフレームワーク『Alice Vision』
海外ドラマのChromaKey
After Effects全エフェクトの解説(6.5)
NVIDIA Quadro OpenGL DriverのDeep Color不具合の対処方法
ZBrushのUV MasterでUV展開
3Dディープラーニング用のPyTorchライブラリ『Kaolin』
複数視点画像から3次元形状を復元するライブラリ『openMVG』
書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読んだ
ZBrushのZmodelerとDynamic Subdivisionを学ぶ
adskShaderSDK
ラクガキの立体化 背中の作り込み・手首の移植
画像認識による位置情報取得 - Semi-Direct Monocular Visual Odome...
Deep Neural Networkによる顔の個人識別フレームワーク『OpenFace』
3DCGのモデルを立体化するサービス
SDカードサイズのコンピューター『Intel Edison』
Unreal Engine Tokyo MeetUp!へ行ってきた
iOSで使えるJetpac社の物体認識SDK『DeepBelief』
Leap MotionでMaya上のオブジェクトを操作できるプラグイン
BSDF: (Bidirectional scattering distribution funct...
Subsurface scatteringの動画
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
立体視を試してみた

コメント