ROS#もそうですが、ロボット制御ソフトウェアの開発、特にコンピュータビジョン関係は学習やテスト用の画像収集がボトルネックで、最近は学習や動作のシミュレーション環境にCGを活用する例が増えている。
このUnrealCVはUnrealEngineをコンピュータビジョンの研究で使うためのUnrealEngine用プラグイン↓
UnrealCV
UnrealCVは、コンピュータビジョンの研究者がUnreal Engine 4(UE4)でバーチャルワールドを構築するのに役立つオープンソースプロジェクトです。UE4のプラグインとして以下の機能を提供します：
- バーチャルワールドを対話的に操作するためのUnrealCVコマンドセット
- Caffeなどの外部プログラムとUE4間の通信
UnrealCVは2つの方法で使用できます。
1つ目は、UnrealCVを組み込んだコンパイル済みゲームバイナリを使用することです。これはただゲームを実行するのと同じくらい簡単で、Unreal Engineに関する知識は必要ありません。
2つ目は、UnrealCVプラグインをUnreal Engine 4(UE4)にインストールし、UE4のエディタを新しいバーチャルワールドを構築するために使用することです。
UnrealCVの使用方法については、Tutorial: Getting Startedをお読みください。
arXivで2016年に公開されたドキュメントがある。
https://arxiv.org/abs/1609.01326
アーキテクチャを見ると、ゲームエンジンとコンピュータービジョンアルゴリズム間はTCP通信なのね。
データ収集の問題だけでなく、自動運転のための学習や動作テストとかは大事故にもつながりかねないので、ゲームエンジンでシミュレーションするのは自然な流れかも。
CG空間なら同じシチュエーションを正確に繰り返せるのもメリットですね。
https://dev.classmethod.jp/articles/unrealcv-unreal-engine-for-computer-vision-project/
Microsoftが開発した自動運転シミュレーターAirSimも最初はUnrealEngine製だった。(今はUnity版もある)
https://github.com/Microsoft/AirSim
https://blogs.unity3d.com/jp/2018/11/08/jump-start-your-autonomous-simulation-development-with-unitys-simviz-solution-template/
https://blogs.unity3d.com/jp/2018/11/14/airsim-on-unity-experiment-with-autonomous-vehicle-simulation/
UnrealROXというシミュレーターもあるらしい↓
https://sim2realai.github.io/UnrealROX/
追記：NVIDIAからディープラーニング学習用のデータを合成するUE4プラグインNVIDIA Deep learning Dataset Synthesizer (NDDS)が配布されている↓
関連記事
OpenCV3.3.0でsfmモジュールのビルドに成功！
ZBrushのお勉強
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身...
『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン ...
CreativeCOW.net
Unityをレンダラとして活用する
ZBrushでアヴァン・ガメラを作ってみる 脚のトゲの作り直...
2012 昨日のクローズアップ現代を見た
Mayaのプラグイン開発
DCGAN (Deep Convolutional GAN)...
Open Shading Language (OSL)
UnityでShaderの入力パラメータとして行列を渡す
iPhoneで3D写真が撮れるアプリ『seene』
ZBrushでUndo Historyを動画に書き出す
統計的な顔モデル
YOLO (You Only Look Once)：ディープ...
ZBrushでアヴァン・ガメラを作ってみる 腕の作り込み
書籍『開田裕治 怪獣イラストテクニック』
BGSLibrary：OpenCVベースの背景差分ライブラリ
NumSharp：C#で使えるNumPyライクな数値計算ライ...
リメイク版ロボコップスーツのメイキング
スクラッチで既存のキャラクターを立体化したい
ドラマ『ファーストクラス』のモーショングラフィックス
Composition Rendering：Blenderに...
PythonでMayaのShapeノードプラグインを作る
Houdiniのライセンスの種類
MVStudio：オープンソースのPhotogrammetr...
Unityの薄い本
AnacondaとTensorFlowをインストールしてVi...
SONY製のニューラルネットワークライブラリ『NNabla』
COLMAP：オープンソースのSfM・MVSツール
FreeMoCap Project：オープンソースのマーカー...
Maya LTでFBIK(Full Body IK)
テスト
VCG Library：C++のポリゴン操作ライブラリ
OpenCVでiPhone6sのカメラをキャリブレーションす...
Oculus Goを購入！
SculptrisとBlenderで作ったGodzilla ...
機械学習手法『Random Forest』
ZBrushでゴジラ2001を作ってみる 頭の概形作り
映画から想像するVR・AR時代のGUIデザイン
Mitsuba 3：オープンソースの研究向けレンダラ
コメント