ポリ男からMetaHumanを作る

ポリ男をリファインしたので



ポリ男のMeshからこのチュートリアル動画に従ってMetaHumanを作成してみよう↓



作業に入る前に、作業の全体像と各工程で使うツールの関係を整理して把握しておこう。
チュートリアル動画によると、

  1. 自作の顔Meshを対応付けてMetaHuman Creatorへアップロード
  2. Web上のMetaHuman Creatorで編集
  3. 完成したMetaHumanアセットをUnreal Engineにダウンロード

という流れらしい。



WebツールであるMetaHuman CreatorとUnreal Engine 5をつなぐのがMetaHumanプラグインとQuixel Bridgeプラグイン。

概念を理解しやすいように「アップロード」という言葉を使ったけど、厳密には自作Meshをアップロードするわけではなく、自作Meshの形状に合わせてMetaHumanのベースMeshを変形させる情報がMetaHuman Creatorhへ送られるんだと思う。

余談ですが、Unreal Engineで何かする時は全体像を概念図にまとめないと理解しづらいですね。




スポンサーリンク


リファインしたポリ男のMeshは、一応Maya上でスケールなどを調整してキレイなFBXファイルにしておく。


MetaHumanの作成

Mesh to MetaHuman

Unreal Engine 5で空のシーンを作成し、MetaHumanプラグインとQuixel Bridgeプラグインを有効にする。
自作した顔Mesh ポリ男をUnreal Engineのシーンにインポート。



テクスチャもマテリアルも用意していないのでこのまま。

MetaHuman Identityアセットを作成し、ポリ男のMeshとMetaHumanのベースMeshを対応づける。(MetaHuman Identityの解決)
画像認識で言うところの顔器官検出(face alignment)みたいな処理で自動的に対応づけられるけど、ちょっと気に入らなかったので手で少し修正した。おそらくこの処理はテクスチャありの方が精度が上がるだろう。



体格なども設定してMetaHuman Identityアセットを保存。



MetaHuman Creatorへアップロード(MeshをMetaHumanに変換)


スポンサーリンク

MetaHumanの編集

Web上のMetaHuman Creatorで形状の微調整や各種テクスチャを設定していく。



最終的にこんな感じになった↓




MetaHumanアセットのダウンロード

完成したMetaHumanアセットをQuixel Bridgeプラグインを使ってUnreal Engineにダウンロード、シーンにインポートする。



アップロードに使ったシーンとは別のシーンにももちろんインポートできる。

Live Link Faceで顔を動かす

せっかくなので、作成したMetaHumanを動かしてみよう。
Unreal Engineが配布しているiPhoneアプリLive Link Faceを使ってみる。Live Link Faceを使えば、iPhoneのカメラで撮影した自分の顔の表情を認識してUnreal Engine上のキャラクターの顔に反映できる。
https://www.unrealengine.com/ja/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine
https://docs.unrealengine.com/5.0/ja/recording-face-animation-on-ios-device-in-unreal-engine/

MetaHumanとの連携方法はこちらの記事を参考にした↓
https://zenn.dev/iwaken71/articles/metahumans-livelink

Unreal Engineを起動しているPCとiPhoneを同一ネットワークに接続し、Live Link FaceアプリからUnreal Engineを起動しているPCのIPアドレスを指定するだけで動かせる。

で、Unreal Engineのシーン上で動かしてみたのがこちら↓



表情を反映する影響度が何故か左右で違い、表情が歪んでしまう。。。

現時点ではまだ自作Meshから作ったMetaHumanでは顔のリグに不具合があるらしい。
対処方法もあるにはあるようだ↓
https://mohumohu-tech.com/2022/07/14/metahuman%e3%81%ae%e3%83%95%e3%82%a7%e3%82%a4%e3%82%b7%e3%83%a3%e3%83%ab%e3%81%8c%e3%81%aa%e3%82%93%e3%81%8b%e5%a4%89%e3%81%ab%e3%81%aa%e3%81%a3%e3%81%a6%e3%81%84%e3%82%8b/

追記:この記事で配布してくれているファイルを利用して対処してみた↓



制作記事まとめページ↓
ポリ男
大学生の頃にMayaで制作した人間の顔。ティーンネイジャーぐらいの少年を目指してモデリングした。ポリゴンでできた男の顔なので同級生達に「ポリ男」と名付けられた。もともとは選択授業の課題として選んだモチーフだったが、課題提出の締め切...


人間のCGを作るツールはどんどん進化しますね。
MB-Lab:Blenderの人体モデリングアドオン
MakeHumanの流れをくむ(というか開発者の1人であるManuel Bastioni氏による)Blender用の人体モデリングアドオン「ManuelBastioniLAB」は、資金調達の問題で2018年11月に終了してしまった。現...

http://www.makehumancommunity.org/


スポンサーリンク

関連記事

Houdiniのライセンスの種類
DensePose:画像中の人物表面のUV座標を推定する
MFnDataとMFnAttribute
ZBrushで仮面ライダー3号を造る 仮面編 Dam Standardブラシでディティールを彫る
OpenMayaRender
NICOGRAPHって有名?
UnityのTransformクラスについて調べてみた
フォトンの放射から格納までを可視化した動画
ZBrushでゴジラ2001を作ってみる 側頭部のボリュームを探る
CGALDotNet:計算幾何学ライブラリ CGALのC#ラッパー
iPhone 3GSがますます欲しくなる動画
Unityをレンダラとして活用する
ZBrushでリメッシュとディティールの転送
ジュラシック・パークの続編『ジュラシック・ワールド』
Faceshiftで表情をキャプチャしてBlender上でMakeHumanのメッシュを動かすデモ
Python for Unity:UnityEditorでPythonを使えるパッケージ
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバランス調整
ゴジラ(2014)のメイキング
Mayaのプラグイン開発
機械学習で流体シミュレーションを近似する『Physics Forests』
『ハン・ソロ/スター・ウォーズ・ストーリー』のVFXブレイクダウン まとめ
この本読むよ
PureRef:リファレンス画像専用ビューア
マイケル・ベイの動画の感覚
シン・ゴジラのファンアート
mentalrayのSubsurface Scattering Shader『misss_fast_...
uGUI:Unityの新しいGUI作成システム
サンプルコードにも間違いはある?
iPhone欲しいなぁ
UnrealCLR:Unreal Engineで.NET Coreを利用できるプラグイン
立体視を試してみた
MB-Lab:Blenderの人体モデリングアドオン
BlenderProc:Blenderで機械学習用の画像データを生成するPythonツール
OpenCLに対応したオープンソースの物理ベースレンダラ『LuxRender(ルクスレンダー)』
SIGGRAPH論文へのリンクサイト
この連休でZBrushの スキルアップを…
TensorFlowでCGを微分できる『TensorFlow Graphics』
PolyPaint
ゴジラ三昧
ZBrush4新機能ハイライト 3DCG CAMP 2010
TVML (TV program Making language)
SIGGRAPH 2020はオンライン開催

コメント