ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

先日、Oculus改めMeta Quest Proが発表された。



今回はさすがに価格が高過ぎて手が出せない。Oculus Meta Quest 2を購入してからもう2年経つ。
Oculus Quest 2を購入!
Oculus Quest 2を購入した。Oculus Quest 2ここ最近はデスクトップPCを新調したり新しいグラフィックスボードも購入しているので、だいぶお金を使い過ぎていますね。Oculus Goを買ったのはもう2年前か。もう販売終了...


併せて購入したEliteストラップは早々に割れてしまった。

今はZBrushで作り途中の3DモデルをQuest 2に持って行って立体視で確認する使い方をしている。
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正
1月から仕事が始まって、連続した作業時間は確保しづらくなった。歯と歯茎に手こずってなかなか全体の調整が進まない。。。資料を眺めていて、そもそも特撮のDNAで展示されていたレプリカヘッドと劇中のスーツでは歯の並び方や下アゴのバランスが結構違う...




3Dモデルの確認に使用しているのはQuest 2で動くGravity Sketchというアプリ。
ZBrushからDecimation Masterでポリゴン数を削減(デシメーション率は5%に設定)した3DモデルをOBJファイルにエクスポートして、OBJファイルをLanding Pad経由でQuest 2のGravity Sketchに持って行って立体視で3D形状を確認している。



しかし、この確認方法に少し不満も感じ始めている。
Gravity Sketchは基本的にモデリングツールなので、コントローラーで3D空間にポリゴンMeshを追加していく操作が軽快に処理できるよう、レンダリング品質はかなり低くめになっている。このレンダリング品質は形状確認用途にはちょっと物足りない。形状を確認できるほど陰影や影がキチンと描画されないのだ。

ZBrushで作ったハイポリのモデルをGravity Sketchで表示中に操作をミスってポリゴンMeshを追加してしまうと、アプリの動画が急に重くなって何もできなくなってしまう。その度にアプリを再起動してやり直している。変な話だが、Gravity Sketchのモデリング機能が邪魔だ。

ということで、ZBrushで制作中のモデルをHMDで確認する用途だけに特化したVRアプリを自分で作りたくなってきた。(GoやQuest 2を持っていながら自前のVRアプリを作っていなかったのも不思議な気はする)

UnityでQuest 2向けアプリを作る

盛り込みたい機能やアプリの方針を整理してみた↓

目標設定

モデリング等の余計な機能は入れず、3Dモデルの形状確認に特化する

この目標をもう少し具体的に分解してみると…

  • サーフェイサーを吹いて軽く墨入れしたような見た目で3Dモデルを表示する
  • 3Dモデルを自由な方向から観察できる
  • 背景は簡素(上下が分かる程度)

といったところか。VRアプリ開発経験が乏しいのであんまり厳密にならず作りながら方針を修正していくことになると思う。

開発環境

Unity 2021.3.11f1を使ってアプリを作っていく。よく分からないのでとりあえずVRテンプレートを使ってプロジェクトを作成↓



こちらこちらを参考にすると、Quest 2アプリを開発する場合はOculus Integrationというアセットを利用すれば良いらしい↓



Oculus Integrationに入っているOVRPlayerControllerというprefabをsceneに配置すれば立体視の設定は完了。



URPにして、sceneにとりあえずアヴァン・ガメラのモデルを配置。背景のSkyBoxにはHorizontal Skybox Shaderを使用して、グラデーションで何となく上下の方向が分かる感じにしておく↓



Quest 2向けにビルドしてQuest 2実機で動作確認することもできるけど、PCとQuest Linkで接続していればUnityのPlayボタンを押すだけでQuest 2で確認できる。PC VRでの動作になっちゃうのでQuest 2のスペックでのパフォーマンスは確認できないけど、パフォーマンスチューニングはまだだいぶ先の話だ。



iOS向けのビルドの手間に比べればQuest 2(Android)向けのビルドもそんなに手間と感じないけど。

ここまで、結局Metaの公式ドキュメントはあまり参考になってないな(笑)
https://developer.oculus.com/documentation/unity/unity-tutorial/?locale=ja_JP
https://developer.oculus.com/documentation/unity/ts-odh/?locale=ja_JP

Oculus Developer Hubってのはつまり何なんでしょう?

トラブルシューティング

Playしたら視点が落下し続けてしまう現象に遭遇。
OVRPlayerControllerにアタッチされているOVRPlayerController.csのGravitiy Modifierというパラメータを0にしておかないと、重力の影響で落下してしまうらしい。今回は床のオブジェクトとColliderを用意していないので無限に落ち続けていたようだ。



Skyboxが右目だけ描画されない現象に遭遇。立体視用にShaderを修正する必要があるらしい。
https://redhologerbera.hatenablog.com/entry/2022/01/31/212231

元のShaderをフォークして修正した↓
https://github.com/NegativeMind/UnitySkyboxShaders

現状

現状をOculusMirror Compositor Mirrorで録画してみた↓



まだ3DモデルがY軸回転するだけの状態です。

これからやりたいこと

  • OBJファイルをランタイム中にロードする→Runtime OBJ Importerが使えそう
  • 3Dモデルの初期配置・スケールを自動調整して、必ず目の前に30cm程度のサイズで表示する
  • 3Dモデルをコントローラーで移動・回転・スケールできるようにする→コントローラーを表示する
  • ライトの方向もコントローラーで操作できるようにする?

Quest 2単体で動作するアプリだとしたら、どうやってOBJファイルを持って行くか悩みどころ。PC VR前提であればPC側でOBJファイルをアプリにドラッグアンドドロップするとかかな? クラウドストレージが利用できるとスマートだけど、どうやって実装したらいいのか分からない。

パフォーマンスチューニング

動作を少しでも軽くしたいので、3DモデルのSubMeshを全て結合してtransformを減らす
https://ekulabo.com/unity-combine-meshes
https://docs.unity3d.com/ScriptReference/Mesh.CombineMeshes.html

このVRアプリの開発記事まとめページ↓


関連記事

OpenCVのバージョン3が正式リリースされたぞ

Phongの表現力パネェ 材質別のPhong Shader用パラメータ一覧

Pylearn2:ディープラーニングに対応したPythonの機械学習ライブラリ

実写と実写の合成時の色の馴染ませテクニック

PS4用ソフト『Marvel's Spider-Man』

ZBrushで仮面ライダー3号を造る 仮面編 DynaMesh

Unityの薄い本

CGのためのディープラーニング

Maya API Reference

OpenCVのfindEssentialMat関数を使ったサンプルを読んでみる

ガメラ生誕50周年

画像生成AI Stable Diffusionで遊ぶ

ZBrushで仮面ライダー3号を造る ベース編

SIGGRAPH Asia

組み込み向けのWindows OS 『Windows Embedded』

ZBrushでアヴァン・ガメラを作ってみる 甲羅の修正・脚の作り込み

TVML (TV program Making language)

ZBrushでゴジラ2001を作ってみる 側頭部のボリュームを探る

CLO:服飾デザインツール

Raspberry Pi 2のGPIOピン配置

OpenMVSのサンプルを動かしてみる

Meta Quest 3を購入!

Raytracing Wiki

日本でMakersは普及するだろうか?

ラクガキの立体化 3Dプリント注文

ZBrushでアヴァン・ガメラを作ってみる 下半身のバランス調整

3D復元技術の情報リンク集

ZBrush用トポロジー転送プラグイン『ZWrap Plugin for ZBrush』

ジュラシック・パークの続編『ジュラシック・ワールド』

『手を動かしながら学ぶエンジニアのためのデータサイエンス』ハンズオンセミナーに行ってきた

Transformers ”Reference & Bulid” Siggraph 2007

OpenCVでカメラ画像から自己位置認識 (Visual Odometry)

PyTorch3D:3Dコンピュータービジョンライブラリ

ポリゴンジオメトリ処理ライブラリ『pmp-library (Polygon Mesh Process...

PythonでMayaのShapeノードプラグインを作る

C++ 標準テンプレートライブラリ (STL)

Manim:Pythonで使える数学アニメーションライブラリ

Kubric:機械学習用アノテーション付き動画生成パイプライン

COLMAP:オープンソースのSfM・MVSツール

pythonの機械学習ライブラリ『scikit-learn』

Unityの各コンポーネント間でのやり取り

色んな三面図があるサイト

コメント