UnityでPoint Cloudを表示する方法

3次元点群を3Dビューアでグリグリとただ表示するだけならPoint Cloud Libraryを使ってすぐにできるんだけど、インタラクティブなコンテンツとして点群を利用したい場合にはPoint Cloud Libraryだけだとちょっと味気ない。Point Cloud Libraryだと視点を動かす時は点群の更新が止まっちゃうし。

何でUnityで点群を扱いたいかというと、お察しの通り、Kinectで取得した点群をカッコよく表示したいのです。Kinect V2になってからMicrosoftが公式にUnityプラグインを配布し始めたし、せっかくだから自前でOpenCVとかPoint Cloud Libraryでゴリゴリ頑張るよりも、Unityで他のAssetと組み合わせてサクッとリッチなコンテンツに仕上げたいのだ。

Microsoft公式のKinect v2 for Unityプラグインには、サンプルとしてKinectのColorとDepthをMesh化して表示するScriptコードが付属しているんだけど、無理やりMesh化して表示してるからちょっと汚らしい。
Microsoft公式のUnityプラグインおよびサンプルプロジェクトは以下のページの”Unity Pro packages“のリンクから。↓
https://www.microsoft.com/en-us/download/details.aspx?id=44561

こちらの公式サンプルでは、Kinect V2から取得した点群を4分の1の量にダウンサンプリングしてから、それらを頂点としたポリゴンメッシュ化してリアルタイム表示している。
Kinect V2で取得可能な点群(つまりDepth画像の解像度)は
512 × 424 = 217,088
だけど、Unityには「1つのMeshオブジェクトが持つ三角形の数は最大65,535まで」という制限があるため、ダウンサンプリングで頂点の数を減らしてMesh化してるんだと思う。
このサンプルでは解像度をダウンサンプリングする代わりに、Depth値を近傍ピクセルの平均から求めたりもしてるんだけど、結果として表示されるMeshがあんまりきれいじゃない。

2017年12月 追記:Meshオブジェクトのポリゴン数制限はUnity 2017.3から解消されたようです。

ということで、Unityで「面」ではなく「点」の描画を実現する方法を調べてみた。


スポンサーリンク


ちょっと調べてみると、どうやら点群ファイルを表示するための有料のAssetでPoint Cloud Viewer and Toolsというものがすでにあるようだ。以下サポートページに詳細が載っている。↓


スポンサーリンク

Point Cloud Viewer & Tools for Unity

Point Cloud Viewer and Tools

このツールはファイル読み込み用なので、どうやら動的にKinectの情報を表示はできなさそう。読み込みをサポートしているフォーマットはXYZ, XYZRGB, CGO, ASC, CATIA ASC, PLY (ASC)。読み込んだファイルを自動でUnityのポリゴン制限数で分割して表示と、バイナリデータへの保存ができるようだ。

Kinectの点群をリアルタイムで表示するにはやっぱり自分でScriptを書くしかなさそうなので点の描画方法を調べてみたら、ドンピシャなブログ記事を見つけた。↓

Rendering a Point Cloud inside Unity

Here is a short example of how to render a point cloud using MeshRenderer inside Unity, have in mind that you have a limit of 65k points per mesh, so if you want to render more points, you need to split them.

ソースコードも全部載せてくれている。OpenGLのAPIコマンドを有効にしてPoint SizeとSmooth PointをEnableにして、Shader側で受け取ってやるってことね。

上記の記事だけだとShaderへのパラメータ渡しの記述が欠けてるけど、以下のフォーラムの記事に全部載っている。↓

How do I use PSIZE in a Unity 4.5.4 shader?

このフォーラム記事では、DirectX環境ではPoint Sizeの指定が描画に反映されないことについて話題になっている。要するに、残念ながらOpenGL環境でしか動かない仕様っぽい。


こちらが描画用のPoint Cloudをランダムに生成するC# Scriptのサンプルコード。↓


点を受け取って描画するShaderのコード。↓


そしてUnityでOpenGLのPoint Sizeコマンドを有効にするC# Scriptコード。(これはMain Cameraとかにアタッチする)↓

初めて知ったけど、UnityのMeshってMeshTopologyを指定すれば三角形じゃなくてもいけるのね。

リアルタイムで動く点群をグリグリできると、スターウォーズに出てくる立体映像みたいでカッコイイね。


スポンサーリンク

関連記事

C#で使える機械学習ライブラリ『Accord.NET Framework』
C++の抽象クラス
WordPressのテーマを自作する
OpenMayaのPhongShaderクラス
UnityのTransformクラスについて調べてみた
3D映画のポストプロダクション 2D-3D変換
Maya API Reference
ZBrush 2018での作業環境を整える
WordPressの表示を高速化する
OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる
PyDataTokyo主催のDeep Learning勉強会
UnityでOpenCVを使うには?
3DCGのモデルを立体化するサービス
3D復元技術の情報リンク集
ラクガキの立体化 胴体の追加
画像処理を基礎から学べるキーエンスのサイト『画像道場』
OpenCVベースのコンパクトなARライブラリ『ArUco』
Seleniumを使ったFXや株の自動取引
HD画質の無駄遣い
Mayaでリアルな布の質感を作るチュートリアル
AnacondaとTensorFlowをインストールしてVisual Studio 2015で使う
Autodesk Mementoでゴジラを3次元復元する
Konashiを買った
顔のモデリング
NICOGRAPHって有名?
ブログの復旧が難航してた話
法線マップを用意してCanvas上でShadingするサンプル
ポリゴン用各種イテレータと関数セット
スクラッチで既存のキャラクターを立体化したい
定数
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
MPC社によるゴジラ(2014)のVFXブレイクダウン
CGのためのディープラーニング
頭蓋骨からの顔復元と進化過程の可視化
なんかすごいサイト
『スター・ウォーズ フォースの覚醒』のVFXブレイクダウン まとめ
ゴジラ(2014)のメイキング
SSII2014 チュートリアル講演会の資料
PCA (主成分分析)
ZBrushで仮面ライダー3号を造る 仮面編 ClipCurve
WordPressのサーバ引っ越し方法を考える
OpenCV

コメント

  1. kusano より:

    参考にさせていただきました。ありがとうございます。
    そのままでは動かなかったのですが、
    struct VertexOutput {
    float4 pos : SV_POSITION;
    float4 col : COLOR;
    float4 size : PSIZE;
    };

    struct VertexOutput {
    float4 pos : SV_POSITION;
    float4 col : COLOR;
    float size : PSIZE;
    };
    に書き換えたところ動きました。

    • NegativeMind より:

      すみません、書き間違えてました。
      確かに、sizeはベクトルじゃなくてスカラー値ですよね。本文のコードも修正しました。