.wp-block-jetpack-rating-star span.screen-reader-text { border: 0; clip: rect(1px, 1px, 1px, 1px); clip-path: inset(50%); height: 1px; margin: -1px; overflow: hidden; padding: 0; position: absolute; width: 1px; word-wrap: normal; }

サイトアイコン NegativeMindException

UnrealCV:コンピュータビジョン研究のためのUnreal Engineプラグイン

ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。



このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓

UnrealCV

UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します:

  1. バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
  2. Caffeなどの外部プログラムとUE4間の通信

UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。

UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。

arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326

アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。


スポンサーリンク



データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。



https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/

Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim





https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/

UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/

追記:NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓



スポンサーリンク

関連記事

ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー

uGUI:Unityの新しいGUI作成システム

SONY製のニューラルネットワークライブラリ『NNabla』

画像生成AI Stable Diffusionで遊ぶ

ZBrushでゴジラ2001を作ってみる 姿勢の変更

ZScript

タダでRenderManを体験する方法

書籍『イラストで学ぶ ディープラーニング』

ZBrushでアヴァン・ガメラを作ってみる 頬の突起を作り始める

Rerun:マルチモーダルデータの可視化アプリとSDK

AR (Augmented Reality)とDR (Diminished Reality)

UnityでTweenアニメーションを実装できる3種類の無料Asset

ZBrushのZScript入門

MythTV:Linuxでテレビの視聴・録画ができるオープンソースプロジェクト

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

Google Earth用の建物を簡単に作れるツール Google Building Maker 公...

ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

WebGL開発に関する情報が充実してきている

adskShaderSDK

Autodesk CompositeとAutodesk MatchMoverが無料

UnityユーザーがUnreal Engineの使い方を学ぶには?

OpenGVのライブラリ構成

SegNet:ディープラーニングによるSemantic Segmentation手法

UnityのGameObjectの向きをScriptで制御する

TeleSculptor:空撮動画からPhotogrammetryするツール

Active Appearance Models(AAM)

日本でMakersは普及するだろうか?

NeRF (Neural Radiance Fields):深層学習による新規視点合成

ポリ男をリファイン

ZBrushでアヴァン・ガメラを作ってみる 脚のポーズ調整

2D→3D復元技術で使われる用語まとめ

Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ

ラクガキの立体化 モールドの追加

ZBrush4新機能ハイライト 3DCG CAMP 2010

『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ

Ambient Occlusionを解析的に求める

Python.NET:Pythonと.NETを連携させるパッケージ

ZBrushでアヴァン・ガメラを作ってみる 腕の作り込み

Unreal Engine 5の情報が公開された!

Unityで360度ステレオVR動画を作る

OpenCVで顔のランドマークを検出する『Facemark API』

iOSで使えるJetpac社の物体認識SDK『DeepBelief』

モバイルバージョンを終了