ダイキンCG Channel ウェビナー「フェイシャル:息づくキャラクターへ」のために用意したチャプター2のプロローグ部分の動画 。順次チャプター3のプロローグ部分、作例 Live Link Face ARKit、作例 MetaHuman Animator をアップしていく予定ですが、チュートリアル本編のアップの予定はしていません。
チュートリアル本編も含めた全編はダイキンCG Channel ウェビナーでご覧ください。
■ダイキン CG Channel ホームページ
一般公開期間:2024年2月28日(水)11:00~3月5日(火)23:00【無料:申し込み制】
(申込受付終了:3月5日(火)22:00)
https://www.comtec.daikin.co.jp/DC/cgchannel/video/240215_facial-character_sem/
ウェビナーではタイトルにもあるように、iPhone の Live Link Face による ARKit と MetaHuman Animator によるフェイシャルキャプチャーを題材としている。 制作にはUnrealEngine 5.32 と MetaHuman を使用した。
DCCツールとしてはZBrushとMaya、Photoshopをメインとしつつも様々なアプリを使用している。
また、こちら動画は全てフルパフォーマンスキャプチャー体制でモーションキャプチャーをおこなった。
モーキャプにはRokokoのキャプチャースーツとグローブに加え、iPhoneに対応したヘッドリグも使用している。
キャラクター音声は自声 + Roland VT-4 に加え、ナレーションには AI音声合成による入力文字読み上げアプリを使用。入力文字読み上げは発声がおかしくなることが多いため、可能な限りチューニングし仕上げる努力をおこなった。
曲関係は入院中 ( 救急搬送による2回の入院で計14日間 ) の暇な時間を利用して suno ai を使用し、作詞した歌詞にアレンジを定義した上で曲のスタイルチョイスし曲の前半部を190パターンほど生成。そして生成した曲の中より使えそうな6曲を選出し、それらに56パターンの追加生成をおこない Full曲として仕上げたものを使用している。「ARKitについて」の BGM では 1990 年代の J-POP を強く意識し作成をしてみた。
また、調べ物やアイディア出しの相談役としてChatGPTをアシスタントとして起用。イメージのアイディア出しには Stable Diffusion も入院中は重宝した。
最後に
残念なのはろくに作り込めなかった上に、ウェビナーの開始が2週間延期になってしまったこと。原因は、ほとんどの作業が既に昨年末に終えていたのに、昨年末の年越し入院に加え、2月初旬の2か月連続入院・・・その影響で編集や調整がろくにできなかった。
「悔しいね」
■機材環境
iPhone 14 Pro Max ( APP “Live Link Face” )
・ボイスチューニング
Roland VT-4
-
■アプリケーション
- ・3DCGアプリ
- ZBrush ( ZWrap Plugin )
- Maya 2023
- Adobe Substance Painter
- UnrealEngin 5.32
- ・画像(テクスチャーも含む) / 映像
- Adobe Photoshop ( テクスチャとAI生成による背景画像生成 )
-
Adobe After Effects
Adobe Media Encoder
・サウンド
ナレーション
VoicePeak ( AI音声合成入力文字読み上げアプリ )
音声調整
Adobe Audition
音楽制作
SUNO ( suno AI )