ZBrushで作った3Dモデルを立体視で確認できるVRアプリを作る

先日、Oculus改めMeta Quest Proが発表された。



今回はさすがに価格が高過ぎて手が出せない。Oculus Meta Quest 2を購入してからもう2年経つ。
Oculus Quest 2を購入!
Oculus Quest 2を購入した。 Oculus Quest 2 ここ最近はデスクトップPCを新調したり新しいグラフィックスボードも購入しているので、だいぶお金を使い過ぎていますね。 Oculus Goを買ったのはもう2年前か。もう販...


併せて購入したEliteストラップは早々に割れてしまった。

今はZBrushで作り途中の3DモデルをQuest 2に持って行って立体視で確認する使い方をしている。
ZBrushでアヴァン・ガメラを作ってみる 口内の微調整・身体のライン修正
1月から仕事が始まって、連続した作業時間は確保しづらくなった。 歯と歯茎に手こずってなかなか全体の調整が進まない。。。 資料を眺めていて、そもそも特撮のDNAで展示されていたレプリカヘッドと劇中のスーツでは歯の並び方や下アゴのバランスが結構...



スポンサーリンク


3Dモデルの確認に使用しているのはQuest 2で動くGravity Sketchというアプリ。
ZBrushからDecimation Masterでポリゴン数を削減(デシメーション率は5%に設定)した3DモデルをOBJファイルにエクスポートして、OBJファイルをLanding Pad経由でQuest 2のGravity Sketchに持って行って立体視で3D形状を確認している。



しかし、この確認方法に少し不満も感じ始めている。
Gravity Sketchは基本的にモデリングツールなので、コントローラーで3D空間にポリゴンMeshを追加していく操作が軽快に処理できるよう、レンダリング品質はかなり低くめになっている。このレンダリング品質は形状確認用途にはちょっと物足りない。形状を確認できるほど陰影や影がキチンと描画されないのだ。
ZBrushで作ったハイポリのモデルを表示中に操作をミスってポリゴンMeshを追加してしまうと、アプリの動画が急に重くなって何もできなくなってしまう。その度にアプリを再起動してやり直している。変な話だが、モデリング機能が邪魔だ。

ということで、ZBrushで制作中のモデルをHMDで確認する用途だけに特化したVRアプリを自分で作りたくなってきた。(GoやQuest 2を持っていながら自前のVRアプリを作っていなかったのも不思議な気はする)

UnityでQuest 2向けアプリを作る

盛り込みたい機能やアプリの方針を整理してみた↓

目標設定

モデリング等の余計な機能は入れず、3Dモデルの形状確認に特化する

この目標をもう少し具体的に分解してみると…

  • サーフェイサーを吹いて軽く墨入れしたような見た目で3Dモデルを表示する
  • 3Dモデルを自由な方向から観察できる
  • 背景は簡素(上下が分かる程度)

といったところか。VRアプリ開発経験が乏しいのであんまり厳密にならず作りながら方針を修正していくことになると思う。


スポンサーリンク

開発環境

Unity 2021.3.11f1を使ってアプリを作っていく。よく分からないのでとりあえずVRテンプレートを使ってプロジェクトを作成↓



こちらこちらを参考にすると、Quest 2アプリを開発する場合はOculus Integrationというアセットを利用すれば良いらしい↓



Oculus Integrationに入っているOVRPlayerControllerというprefabをsceneに配置すれば立体視の設定は完了。



URPにして、sceneにとりあえずアヴァン・ガメラのモデルを配置。背景のSkyBoxにはHorizontal Skybox Shaderを使用して、グラデーションで何となく上下の方向が分かる感じにしておく↓



Quest 2向けにビルドしてQuest 2実機で動作確認することもできるけど、PCとQuest Linkで接続していればUnityのPlayボタンを押すだけでQuest 2で確認できる。PC VRでの動作になっちゃうのでQuest 2のスペックでのパフォーマンスは確認できないけど、パフォーマンスチューニングはまだだいぶ先の話だ。



iOS向けのビルドの手間に比べればQuest 2(Android)向けのビルドもそんなに手間と感じないけど。

ここまで、結局Metaの公式ドキュメントはあまり参考になってないな(笑)
https://developer.oculus.com/documentation/unity/unity-tutorial/?locale=ja_JP
https://developer.oculus.com/documentation/unity/ts-odh/?locale=ja_JP

Oculus Developer Hubってのはつまり何なんでしょう?

トラブルシューティング

Playしたら視点が落下し続けてしまう現象に遭遇。
OVRPlayerControllerにアタッチされているOVRPlayerController.csのGravitiy Modifierというパラメータを0にしておかないと、重力の影響で落下してしまうらしい。今回は床のオブジェクトとColliderを用意していないので無限に落ち続けていたようだ。



Skyboxが右目だけ描画されない現象に遭遇。立体視用にShaderを修正する必要があるらしい。
https://redhologerbera.hatenablog.com/entry/2022/01/31/212231

元のShaderをフォークして修正した↓
https://github.com/NegativeMind/UnitySkyboxShaders

現状

現状をOculusMirror Compositor Mirrorで録画してみた↓



まだ3DモデルがY軸回転するだけの状態です。

これからやりたいこと

  • OBJファイルをランタイム中にロードする→Runtime OBJ Importerが使えそう
  • 3Dモデルの初期配置・スケールを自動調整して、必ず目の前に30cm程度のサイズで表示する
  • 3Dモデルをコントローラーで移動・回転・スケールできるようにする→コントローラーを表示する
  • ライトの方向もコントローラーで操作できるようにする?

Quest 2単体で動作するアプリだとしたら、どうやってOBJファイルを持って行くか悩みどころ。PC VR前提であればPC側でOBJファイルをアプリにドラッグアンドドロップするとかかな? クラウドストレージが利用できるとスマートだけど、どうやって実装したらいいのか分からない。

パフォーマンスチューニング

動作を少しでも軽くしたいので、3DモデルのSubMeshを全て結合してtransformを減らす
https://ekulabo.com/unity-combine-meshes
https://docs.unity3d.com/ScriptReference/Mesh.CombineMeshes.html

このVRアプリの開発記事まとめページ↓



スポンサーリンク

関連記事

ZBrushでアヴァン・ガメラを作ってみる 頭頂部と首周りを作り込む
ZBrushのZmodelerとDynamic Subdivisionを学ぶ
定数
第20回 文化庁メディア芸術祭『3DCG表現と特撮の時代』
MeshLab:3Dオブジェクトの確認・変換に便利なフリーウェア
R-CNN (Regions with CNN features):ディープラーニングによる一般物体...
Unity ARKitプラグインサンプルのチュートリアルを読む
OpenCV 3.1のsfmモジュールを試す
2012のメイキングまとめ(途中)
書籍『ROSプログラミング』
マイケル・ベイの動画の感覚
SIGGRAPH ASIAのマスコット
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
ZBrushで仮面ライダー3号を造る 仮面編 横顔のシルエットをリファレンスに合わせる
ラクガキの立体化 分割ラインの変更・バランス調整
フィーリングに基づくタマムシの質感表現
OpenCV 3.3.0-RCでsfmモジュールをビルド
ラクガキの立体化 進捗
自前Shaderの件 解決しました
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整
物理ベースレンダリングのためのマテリアル設定チートシート
写真から3Dメッシュの生成・編集ができる無料ツール『Autodesk Memento』
GAN (Generative Adversarial Networks):敵対的生成ネットワーク
ZBrush4新機能ハイライト 3DCG CAMP 2010
オープンソースの物理ベースGIレンダラ『appleseed』
ジュラシック・パークの続編『ジュラシック・ワールド』
NeRF (Neural Radiance Fields):機械学習による3D自由視点映像
リアルタイム レイトレーシングAPI『DirectX Raytracing (DXR)』
書籍『メイキング・オブ・ピクサー 創造力をつくった人々』を読んだ
python-twitterで自分のお気に入りを取得する
ガメラ生誕50周年
Vancouver Film Schoolのデモリール
ZBrushで仮面ライダー3号を造る ベース編
ラクガキの立体化 反省
3D復元技術の情報リンク集
Shader.jp:リアルタイム3DCG技術をあつかうサイト
『ローグ・ワン/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
PeopleSansPeople:機械学習用の人物データをUnityで生成する
Faster R-CNN:ディープラーニングによる一般物体検出手法
オープンソースのネットワーク可視化ソフトウェアプラットフォーム『Cytoscape』
Math.NET Numerics:Unityで使える数値計算ライブラリ
Manim:Pythonで使える数学アニメーションライブラリ

コメント