UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。

architecture of UnrealCV


スポンサーリンク


スポンサーリンク


データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

顔追跡による擬似3D表示『Dynamic Perspective』
GoogleのDeep Learning論文
Raytracing Wiki
Boost オープンソースライブラリ
映画から想像するVR・AR時代のGUIデザイン
手を動かしながら学ぶデータマイニング
Deep Learningとその他の機械学習手法の性能比較
Mixamo:人型3Dキャラクターアニメーション制作サービス
SIGGRAPH Asia
PureRef:リファレンス画像専用ビューア
NVIDIA Quadro OpenGL DriverのDeep Color不具合の対処方法
OpenCVで平均顔を作るチュートリアル
Physically Based Rendering
世界一下品なクマと世界一紳士なクマ
MB-Lab:Blenderの人体モデリングアドオン
ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む
Active Appearance Models(AAM)
Paul Debevec
TeleSculptor:空撮動画からPhotogrammetryするツール
C#で使える遺伝的アルゴリズムライブラリ『GeneticSharp』
ZBrushで仮面ライダー3号を造る 仮面編 リファレンス画像の表示
ちょっと凝り過ぎなWebキャンペーン:全日本バーベイタム選手権 (MITSUBISHI KAGAKU...
CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー
SSD (Single Shot Multibox Detector):ディープラーニングによる一般...
OpenCV3.3.0でsfmモジュールのビルドに成功!
Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧
TorchStudio:PyTorchのための統合開発環境とエコシステム
OpenSfM:PythonのStructure from Motionライブラリ
『ピクサー展』へ行ってきた
OpenMayaのPhongShaderクラス
布地のシワの法則性
疑似3D写真が撮れるiPhoneアプリ『Seene』がアップデートでついにフル3Dモデルが撮影できる...
生物の骨格
ZBrushのZmodelerとDynamic Subdivisionを学ぶ
Faster R-CNN:ディープラーニングによる一般物体検出手法
ZBrushで仮面ライダー3号を造る 仮面編 PolyGroup作成に再挑戦
マイケル・ベイの動画の感覚
ラクガキの立体化 胴体の追加
ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る
HD画質の無駄遣い
ManuelBastioniLAB:人体モデリングできるBlenderアドオン
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

コメント