ポリ男をリファインしたので
ポリ男のMeshからこのチュートリアル動画に従ってMetaHumanを作成してみよう↓
作業に入る前に、作業の全体像と各工程で使うツールの関係を整理して把握しておこう。
チュートリアル動画によると、
- 自作の顔Meshを対応付けてMetaHuman Creatorへアップロード
- Web上のMetaHuman Creatorで編集
- 完成したMetaHumanアセットをUnreal Engineにダウンロード
という流れらしい。
WebツールであるMetaHuman CreatorとUnreal Engine 5をつなぐのがMetaHumanプラグインとQuixel Bridgeプラグイン。
概念を理解しやすいように「アップロード」という言葉を使ったけど、厳密には自作Meshそのものをアップロードするわけではなく、自作Meshの形状に合わせてMetaHumanのベースMeshを変形させる情報がMetaHuman Creatorへ送られるんだと思う。
余談ですが、Unreal Engineで何かする時は全体像を概念図にまとめないと理解しづらいですね。
リファインしたポリ男のMeshは、一応Maya上でスケールなどを調整してキレイなFBXファイルにしておく。
MetaHumanの作成
Mesh to MetaHuman
Unreal Engine 5で空のシーンを作成し、MetaHumanプラグインとQuixel Bridgeプラグインを有効にする。
自作した顔Mesh ポリ男をUnreal Engineのシーンにインポート。
テクスチャもマテリアルも用意していないのでこのまま。
MetaHuman Identityアセットを作成し、ポリ男のMeshとMetaHumanのベースMeshを対応づける。(MetaHuman Identityの解決)
画像認識で言うところの顔器官検出(face alignment)みたいな処理で自動的に対応づけられるけど、ちょっと気に入らなかったので手で少し修正した。おそらくこの処理はテクスチャありの方が精度が上がるだろう。
体格なども設定してMetaHuman Identityアセットを保存。
MetaHuman Creatorへアップロード(MeshをMetaHumanに変換)
MetaHumanの編集
Web上のMetaHuman Creatorで形状の微調整や各種テクスチャを設定していく。
最終的にこんな感じになった↓

MetaHumanアセットのダウンロード
完成したMetaHumanアセットをQuixel Bridgeプラグインを使ってUnreal Engineにダウンロード、シーンにインポートする。
アップロードに使ったシーンとは別のシーンにももちろんインポートできる。
Live Link Faceで顔を動かす
せっかくなので、作成したMetaHumanを動かしてみよう。Unreal Engineが配布しているiPhoneアプリLive Link Faceを使ってみる。
Live Link Faceを使えば、iPhoneのカメラで撮影した自分の顔の表情を認識してUnreal Engine上のキャラクターの顔に反映できる。
https://www.unrealengine.com/ja/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine
https://docs.unrealengine.com/5.0/ja/recording-face-animation-on-ios-device-in-unreal-engine/
MetaHumanとの連携方法はこちらの記事を参考にした↓
https://zenn.dev/iwaken71/articles/metahumans-livelink
Unreal Engineを起動しているPCとiPhoneを同一ネットワークに接続し、Live Link FaceアプリからUnreal Engineを起動しているPCのIPアドレスを指定するだけで動かせる。
で、Unreal Engineのシーン上で動かしてみたのがこちら↓
表情を反映する影響度が何故か左右で違い、表情が歪んでしまう。。。
現時点ではまだ自作Meshから作ったMetaHumanでは顔のリグに不具合があるらしい。
対処方法もあるにはあるようだ↓
https://mohumohu-tech.com/2022/07/14/metahuman%e3%81%ae%e3%83%95%e3%82%a7%e3%82%a4%e3%82%b7%e3%83%a3%e3%83%ab%e3%81%8c%e3%81%aa%e3%82%93%e3%81%8b%e5%a4%89%e3%81%ab%e3%81%aa%e3%81%a3%e3%81%a6%e3%81%84%e3%82%8b/
追記:↑この記事で配布してくれているファイルを利用して対処してみた↓
制作記事まとめページ↓

人間のCGを作るツールはどんどん進化しますね。

http://www.makehumancommunity.org/
関連記事
Windows Server 2008にAutodesk M...
ManuelBastioniLAB:人体モデリングできるBl...
Vancouver Film Schoolのデモリール
Blender 2.8がついに正式リリース!
映画『シン・ウルトラマン』 メイキング記事まとめ
Mayaのレンダリング アトリビュート
『ゴジラ キング・オブ・モンスターズ』のVFXブレイクダウン
PS4用ソフト『Marvel's Spider-Man』
顔画像処理技術の過去の研究
ZBrushでアヴァン・ガメラを作ってみる 甲羅のバランス調...
GoB:ZBrushとBlenderを連携させるアドオン
ゴジラ(2014)のディティール制作の舞台裏
「ベンジャミン·バトン数奇な人生」でどうやってCGの顔を作っ...
デザインのリファイン再び
Maya 2015から標準搭載されたMILA
3Dモデルを立体視で確認できるVRアプリを作っている
HD画質の無駄遣い
SIGGRAPH ASIAのマスコット
Mitsuba 2:オープンソースの物理ベースレンダラ
ZBrushでアヴァン・ガメラを作ってみる おでこ(?)のバ...
布のモデリング
Runway ML:クリエイターのための機械学習ツール
Kubric:機械学習用アノテーション付き動画生成パイプライ...
ZBrushで人型クリーチャー
MeshroomでPhotogrammetry
ZBrushでゴジラ2001を作ってみる 側頭部のボリューム...
Adobe Photoshop CS4 Extendedの3...
CycleGAN:ドメイン関係を学習した画像変換
BlenderのGeometry Nodeで遊ぶ
Blenderでよく使うaddon
PyTorch3D:3Dコンピュータービジョンライブラリ
池袋パルコで3Dのバーチャルフィッティング『ウェアラブル ク...
テスト
ZBrushで仮面ライダー3号を造る 仮面編 PolyGro...
ZBrushで仮面ライダー3号を造る 仮面編 失敗のリカバー
After Effects全エフェクトの解説(6.5)
物理ベースレンダリングのためのマテリアル設定チートシート
無料で使える人体3DCG作成ツール
CGALDotNet:計算幾何学ライブラリ CGALのC#ラ...
Unityをレンダラとして活用する
アニゴジ関連情報
ZBrush 2018へのアップグレード
コメント