ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
Faceshiftで表情をキャプチャしてBlender上でM...
布地のシワの法則性
法線マップを用意してCanvas上でShadingするサンプ...
OpenCVの三角測量関数『cv::triangulatep...
UnityでOpenCVを使うには？
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエッ...
書籍『ゼロから作るDeep Learning』で自分なりに学...
C#で使える遺伝的アルゴリズムライブラリ『GeneticSh...
Googleが画像解析旅行ガイドアプリのJetpac社を買収
続・ディープラーニングの資料
『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイ...
フリーで使えるスカルプト系モデリングツール『Sculptri...
映画から想像するVR・AR時代のGUIデザイン
TensorFlowでCGを微分できる『TensorFlow...
マイケル・ベイの動画の感覚
OpenGVのライブラリ構成
Faster R-CNN：ディープラーニングによる一般物体検...
PeopleSansPeople：機械学習用の人物データをU...
ZBrushで仮面ライダー3号を造る 仮面編 DynaMes...
ZBrushで仮面ライダー3号を造る 仮面編 Dam Sta...
Gource：バージョン管理の履歴を可視化するツール
Photogrammetry (写真測量法)
ZBrush 2021.6のMesh from Mask機能...
日立のフルパララックス立体ディスプレイ
オープンソースの人体モデリングツール『MakeHuman』の...
3DCGのモデルを立体化するサービス
ニンテンドー3DSのGPU PICA200
CGレンダラ研究開発のためのフレームワーク『Lightmet...
TeleSculptor：空撮動画からPhotogramme...
リメイク版ロボコップスーツのメイキング
Photoshopで作る怪獣特撮チュートリアル
シン・ゴジラのファンアート
iPhoneで3D写真が撮れるアプリ『seene』
Javaで作られたオープンソースの3DCGレンダラ『Sunf...
UnityでARKit2.0
書籍『開田裕治 怪獣イラストテクニック』
ラクガキの立体化 モールドの追加
cvui：OpenCVのための軽量GUIライブラリ
物理ベースレンダリングのためのマテリアル設定チートシート
Pix2Pix：CGANによる画像変換
スター・ウォーズのスピンオフ『マンダロリアン』の舞台裏
オープンソースのテクスチャマッピングシステム『Ptex』
コメント