ポリ男からMetaHumanを作る

ポリ男をリファインしたので



ポリ男のMeshからこのチュートリアル動画に従ってMetaHumanを作成してみよう↓



作業に入る前に、作業の全体像と各工程で使うツールの関係を整理して把握しておこう。
チュートリアル動画によると、

  1. 自作の顔Meshを対応付けてMetaHuman Creatorへアップロード
  2. Web上のMetaHuman Creatorで編集
  3. 完成したMetaHumanアセットをUnreal Engineにダウンロード

という流れらしい。



WebツールであるMetaHuman CreatorとUnreal Engine 5をつなぐのがMetaHumanプラグインとQuixel Bridgeプラグイン。

概念を理解しやすいように「アップロード」という言葉を使ったけど、厳密には自作Meshそのものをアップロードするわけではなく、自作Meshの形状に合わせてMetaHumanのベースMeshを変形させる情報がMetaHuman Creatorへ送られるんだと思う。

余談ですが、Unreal Engineで何かする時は全体像を概念図にまとめないと理解しづらいですね。





リファインしたポリ男のMeshは、一応Maya上でスケールなどを調整してキレイなFBXファイルにしておく。


MetaHumanの作成

Mesh to MetaHuman

Unreal Engine 5で空のシーンを作成し、MetaHumanプラグインとQuixel Bridgeプラグインを有効にする。
自作した顔Mesh ポリ男をUnreal Engineのシーンにインポート。



テクスチャもマテリアルも用意していないのでこのまま。

MetaHuman Identityアセットを作成し、ポリ男のMeshとMetaHumanのベースMeshを対応づける。(MetaHuman Identityの解決)
画像認識で言うところの顔器官検出(face alignment)みたいな処理で自動的に対応づけられるけど、ちょっと気に入らなかったので手で少し修正した。おそらくこの処理はテクスチャありの方が精度が上がるだろう。



体格なども設定してMetaHuman Identityアセットを保存。



MetaHuman Creatorへアップロード(MeshをMetaHumanに変換)

MetaHumanの編集

Web上のMetaHuman Creatorで形状の微調整や各種テクスチャを設定していく。



最終的にこんな感じになった↓




MetaHumanアセットのダウンロード

完成したMetaHumanアセットをQuixel Bridgeプラグインを使ってUnreal Engineにダウンロード、シーンにインポートする。



アップロードに使ったシーンとは別のシーンにももちろんインポートできる。

Live Link Faceで顔を動かす

せっかくなので、作成したMetaHumanを動かしてみよう。Unreal Engineが配布しているiPhoneアプリLive Link Faceを使ってみる。
Live Link Faceを使えば、iPhoneのカメラで撮影した自分の顔の表情を認識してUnreal Engine上のキャラクターの顔に反映できる。
https://www.unrealengine.com/ja/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine
https://docs.unrealengine.com/5.0/ja/recording-face-animation-on-ios-device-in-unreal-engine/

MetaHumanとの連携方法はこちらの記事を参考にした↓
https://zenn.dev/iwaken71/articles/metahumans-livelink

Unreal Engineを起動しているPCとiPhoneを同一ネットワークに接続し、Live Link FaceアプリからUnreal Engineを起動しているPCのIPアドレスを指定するだけで動かせる。

で、Unreal Engineのシーン上で動かしてみたのがこちら↓



表情を反映する影響度が何故か左右で違い、表情が歪んでしまう。。。

現時点ではまだ自作Meshから作ったMetaHumanでは顔のリグに不具合があるらしい。
対処方法もあるにはあるようだ↓
https://mohumohu-tech.com/2022/07/14/metahuman%e3%81%ae%e3%83%95%e3%82%a7%e3%82%a4%e3%82%b7%e3%83%a3%e3%83%ab%e3%81%8c%e3%81%aa%e3%82%93%e3%81%8b%e5%a4%89%e3%81%ab%e3%81%aa%e3%81%a3%e3%81%a6%e3%81%84%e3%82%8b/

追記:↑この記事で配布してくれているファイルを利用して対処してみた↓



制作記事まとめページ↓
ポリ男
大学生の頃にMayaで制作した人間の顔。ティーンネイジャーぐらいの少年を目指してモデリングした。ポリゴンでできた男の顔なので同級生達に「ポリ男」と名付けられた。もともとは選択授業の課題として選んだモチーフだったが、課題提出の締め切りに間に合...


人間のCGを作るツールはどんどん進化しますね。
MB-Lab:Blenderの人体モデリングアドオン
MakeHumanの流れをくむ(というか開発者の1人であるManuel Bastioni氏による)Blender用の人体モデリングアドオン「ManuelBastioniLAB」は、資金調達の問題で2018年11月に終了してしまった。現在は「...

http://www.makehumancommunity.org/

関連記事

ZBrushでゴジラ2001を作ってみる 身体のSubToolを分割

3Dスキャンしたテクスチャから照明を除去するUnityツール『De Lighting tool』

Unreal Engineの機能を学ぶ優先順位を考える

Maya 2015から標準搭載されたMILA

UnityでTweenアニメーションを実装できる3種類の無料Asset

DensePose:画像中の人物表面のUV座標を推定する

Polyscope:3Dデータ操作用GUIライブラリ

Photoshopで作る怪獣特撮チュートリアル

Rerun:マルチモーダルデータの可視化アプリとSDK

MB-Lab:Blenderの人体モデリングアドオン

マジョーラ

SIGGRAPH ASIA 2009で学生ボランティア募集してるみたい

Mayaのプラグイン開発

色んな三面図があるサイト

MFnMeshクラスのsplit関数

ZBrushで人型クリーチャー

Maya API Reference

Russian3DScannerのトポロジー転送ツール『WrapX』

レンダラ制作はOpenGL とか DirectX を使わなくてもできるんだぜ

マイケル・ベイの動画の感覚

リメイク版ロボコップスーツのメイキング

Leap MotionでMaya上のオブジェクトを操作できるプラグイン

映画『シン・ウルトラマン』 メイキング記事まとめ

ラクガキの立体化 分割ラインの変更・バランス調整

ZBrushのTranspose Masterでポーズを付ける

WebGL開発に関する情報が充実してきている

CGのためのディープラーニング

『PIXARのひみつ展』に行ってきた

UnityのGlobal Illumination

映画から想像するVR・AR時代のGUIデザイン

CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー

粘土をこねるようなスカルプトモデリング

Maya には3 種類のシェーダSDKがある?

フォトンの放射から格納までを可視化した動画

Unity ARKitプラグインサンプルのドキュメントを読む

トランスフォーマー :リベンジのメイキング (デジタルドメイン)

ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー

Digital Emily Project:人間の顔をそっくりそのままCGで復元する

映画『ジュラシック・ワールド』のVFXメイキング

OpenMesh:オープンソースの3Dメッシュデータライブラリ

JavaによるCGプログラミング入門サイト (日本語)

ZBrushでUndo Historyを動画に書き出す

コメント