Rerun:マルチモーダルデータの可視化アプリとSDK

ここ最近、SNS上で3Dコンピュータービジョン系の可視化にRerunが使われているのをよく見かけるので気になっていた。

Rerun



マルチモーダルデータを時系列で可視化
Rerunは、SDK、時系列データベース、時間的マルチモーダルデータの可視化機能で構成されています。Rerunは、ロボット工学、空間コンピューティング、2D/3D シミュレーション、金融などの分野の検証・デバッグ・説明に使用できます。

Rerun SDK(C++, Python, Rustに対応)を使用すれば、画像、テンソル、点群、テキストなどのデータをログに記録できます。このログは、Rerun Viewerにストリーミングしてリアルタイムに可視化したり、ファイルに保存して後から使用することもできます。

Rerunのコア部分は無料でオープンソースです。

公式サイトのPricingによると有償の商用版はまだ開発中とのことで、2024年7月現在公開されているのは無料で使えるオープンソース版だけ。
オープンソース版はGitHubで公開されておりMITとApache 2のデュアルライセンス。Rerun自体はRustで書かれているようだ。

この手の可視化ツールとしては珍しくRerunには「タイムライン」という概念があり、3D空間でグリグリ視点を動かせるだけでなく、時間方向もビューアから操作して時系列変化を視覚的に確認できる。

公式に可視化のサンプルが沢山公開されている。



全体像としては、Rerun Viewerはユーザーコードとは独立したアプリケーションとして動作し、ユーザーがRerun SDKを介してRerun Viewerへデータ(ログ)を送信すると、Rerun Viewerがそれを受信して可視化してくれるようだ。
このデータ(ログ)の送信は要するにTCP通信らしく、ローカルだろうとネットワーク越しだろうとユーザーコードの開発言語に依存せずRerun Viewerへ送れる。通信のポート番号は任意に設定可能。

使い方


  1. ユーザーコードのマルチモーダルデータをRerun SDKでログ化してストリーミングする
  2. テンソル、点群、テキストなどのログデータからストリームを作成します。複数のソースからの入力、中間状態、出力を簡単に関連付けることができます。

  3. ローカル/リモートを問わず、ライブまたは録画のストリームを可視化して操作する
  4. ライブ/録画のストリームからインタラクティブな可視化を実現します。タイムラインを動的に調整し、データの時間軸を操作できます。

  5. UIやSDKからレイアウトをインタラクティブに構築して可視化をカスタマイズ
  6. Rerunの構成可能データモデルを使用して、データのセマンティクスを表現できます。コードを介して直接、またはUI上でインタラクティブにレイアウトを構築して可視化をカスタマイズできます。

  7. 必要に応じてRerunを拡張する
  8. Rerunの動的スキーマを使用すれば独自形式のデータを記録できます。カスタムビューの使用、または独自のアプリに埋め込むことでRerun Viewerを拡張できます。

OverviewにRerun Viewerの各GUIの説明があるね↓



Top bar & Menu
Top barにはシステムのコントロールと一般的な情報が表示されます。Menuにはアプリケーション全体のオプションとアクションがあります。ビューアの一部を表示/非表示する際は右上隅のボタンを使用します。

Blueprint
Blueprintビューでビューア全体のBlueprint(ビューアに表示される内容・表示方法)を編集できます。

Viewport
Viewportに可視化内容が表示されます。Viewportは自由に配置できる1つ以上のSpace Viewで構成されます。

Selection
Selectionビューでは現在の選択項目の詳細が表示され、その構成を編集できます。

Timeline
Timelineパネルでは、タイムライン上のどの時点を表示するかを制御できます。さらに、指定されたタイムライン上の全てのイベントの概要も表示されます。

https://zenn.dev/higumachan/articles/52b0080ed72a8d

関連記事

ZBrushでアマビエを作る その2

3Dグラフィックスの入門書

MetaHumanの頭部をBlenderで編集できるアドオン

AndroidもopenGLも初心者さ (でもJavaは知ってるよ)

Live CV:インタラクティブにComputer Visionコーディングができるツール

ラクガキの立体化 胴体の追加

PythonのHTML・XMLパーサー『BeautifulSoup』

Raspberry Piでセンサーの常時稼働を検討する

顔検出・認識のAPI・ライブラリ・ソフトウェアのリスト

UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン

池袋パルコで3Dのバーチャルフィッティング『ウェアラブル クロージング バイ アーバンリサーチ』

SONY製のニューラルネットワークライブラリ『NNabla』

ZBrushトレーニング

頭蓋骨からの顔復元と進化過程の可視化

MVStudio:オープンソースのPhotogrammetryツール

iPadをハンディ3Dスキャナにするガジェット『iSense 3D Scanner』

CycleGAN:ドメイン関係を学習した画像変換

Geogram:C++の3D幾何アルゴリズムライブラリ

機械学習で遊ぶ

Google App Engine上のWordPressでFlickrの画像を貼る

科学技術計算向けスクリプト言語『Julia』

ZBrushでアヴァン・ガメラを作ってみる 甲羅のバランス調整

OpenMVS:Multi-View Stereoによる3次元復元ライブラリ

写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』

単純に遊びに行くのはだめなのか?

OpenCV 3.1のsfmモジュールのビルド再び

Mitsuba 2:オープンソースの物理ベースレンダラ

ZBrushでゴジラ2001を作ってみる 頭の概形作り

ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の作り込み

ブラウザ操作自動化ツール『Selenium』を試す

SIGGRAPH論文へのリンクサイト

為替レートの読み方 2WAYプライス表示

iPhone x ロボットハッカソン~RomoのiPhone用SDKで目覚ましアプリを作る~

Fast R-CNN:ディープラーニングによる一般物体検出手法

無料で使える人体3DCG作成ツール

SVM (Support Vector Machine)

ZBrushでアヴァン・ガメラを作ってみる モールドの彫り込み・身体の形出し

ZBrushでリメッシュとディティールの転送

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

『スター・ウォーズ 最後のジェダイ』のVFXブレイクダウン まとめ

ZBrushで仮面ライダー3号を造る 仮面編 PolyGroupを分割する

Amazon Web ServicesでWordPress

コメント