UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。


スポンサーリンク
UnrealCv——Applications

https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim

AirSim Demo

AirSim Car Demo

https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

Facebookの顔認証技術『DeepFace』
書籍『ゼロから作るDeep Learning』で自分なりに学ぶ
Math Inspector:科学計算向けビジュアルプログラミングツール
ZBrushトレーニング
ZBrush 2018へのアップグレード
顔のモデリング
ZBrushで仮面ライダー3号を造る 仮面編 ZRemesher
ZBrushでアヴァン・ガメラを作ってみる 口のバランス調整
オープンソースのSLAMライブラリ『Cartographer』
オープンソースのプリント基板設計ツール『KiCad』
オープンソースの顔の動作解析ツールキット『OpenFace』
イタリアの自動車ブランドFiatとゴジラがコラボしたCMのメイキング
SculptrisとBlenderで作ったGodzilla 2014 (Fan Made)
フリーのUV展開ツール Roadkill UV Tool
第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ
ラクガキの立体化
OpenCV 3.1のsfmモジュールのビルド再び
Unity MonoBehaviourクラスのオーバーライド関数が呼び出される順番
OpenCVベースの背景差分ライブラリ『BGSLibrary』
レンダラ制作はOpenGL とか DirectX を使わなくてもできるんだぜ
Paul Debevec
ZBrushのハードサーフェイス用ブラシ
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整
OpenCVで顔のモーフィングを実装する
ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込み・身体の形出し
参考書
RefineNet (Multi-Path Refinement Network):ディープラーニン...
Raytracing Wiki
OpenCVの三角測量関数『cv::triangulatepoints』
ZBrush 2018での作業環境を整える
ゴジラ(2014)のメイキング
ZBrushCore
Point Cloud Consortiumのセミナー「3D点群の未来」に行ってきたよ
OpenCV 3.3.0-RCでsfmモジュールをビルド
ZBrush4新機能ハイライト 3DCG CAMP 2010
参考になりそうなサイト
Autodesk CompositeとAutodesk MatchMoverが無料
オープンソースのStructure from Motionライブラリ『Theia』
Google Earth用の建物を簡単に作れるツール Google Building Maker 公...
Mayaのレンダリング アトリビュート
ZBrushのUV MasterでUV展開

コメント