画像から3DキャラをAIで作る｜Hunyuan3D-2.1でVRChatアバターに挑戦した失敗と対策
キャラクターデザインからモデリング、骨入れ、VRChat 用の設定まで、自分のPCのAIでどこまで任せられるかに挑戦しています。結論から言うと、今のところうまくいっていません。この記事では、やったこと・失敗したこと・次の作戦を正直にまとめ、詳しい方の意見を募集します。
- 1枚の絵から3Dキャラを作る手順と所要時間
- 3D化AIが起こした「AIあるある」の失敗
- 次の作り直しの候補と意見募集
画像→3DのAIでVRChatアバターを作りたい
目標は「VRChat に上げて、鏡の前で見ても違和感がない1体」を、なるべくAIに作らせることです。本来は専門の方が何日もかける工程（キャラクターデザイン→モデリング→色付け→骨入れ→VRChat 用の設定）を、自分のPC（RTX 4080、VRAM 16GB）で動くAIと自動化でつなげています。
使っているのは、設定画を描く画像生成AI（Forge）、画像から立体を作る Hunyuan3D-2.1、色付けと確認用の Blender です。Hunyuan3D-2.1 の色付け機能は VRAM が足りないため、形だけをAIに作らせ、色は自前で絵を貼り付けています。
- 設定画：1枚 約7秒
- 画像→3D（形）：約67秒、VRAM 最大7.6GB
- 色付け＋回転動画まで：最初の版で1体 約3分
Hunyuan3D-2.1で3D化した結果：横顔が弱い
最初の1体は、襟・ネクタイ・社員証・スカートのスリットまで形になり、正面から見るとかなりそれらしく見えました。ところが、斜めや横から見ると顔が崩れます。横顔は、元の絵とは別人のようになりました。
原因の1つは解像度です。3D化AIは入力の絵を約518ピクセルに縮めて読むため、全身の絵だと顔は30〜40ピクセルしかありません。そこで頭だけを切り出して拡大し、別に3D化して体に付け替える方法も試しました。横顔に鼻やあごが出るようにはなりましたが、今度はまつ毛まで立体になってしまいました。
3D化AIのあるある失敗6つ
直そうとして試した方法の多くは失敗しました。ただ、失敗のおかげでAIの癖がよく分かりました。主なものを挙げます。
- まつ毛の線が、顔から生える薄い板（ひれ）として彫られた
- 目を塗りつぶした絵を渡しても、AIが自分で目とまつ毛を彫ってきた
- 背中に社員証が描かれた（原因はこちらの指示文だった）
- AIが描いた横向きの絵は顔の位置がずれ、髪に目が写り込んだ
- 背景を消すAIが、白いシャツと銀髪を背景と判断して消した
- 自動で網目を作り直すと、鼻や目のふちがカクカクになった
線と影は色にしない：直すほど崩れた反省
途中で、イラストの線画と影を「色」としてそのまま焼き付けていたことに気づきました。VRChat でよく使われるアニメ調の表示（トゥーン表示）では、テクスチャは素の色にして、線と影は表示のときに付けるのが普通です。そこで作り方を変え、服の境目はくっきりしました。
一方で、気になる所を1つずつ補正していくうちに、全体はかえって崩れていきました。最初のころの版のほうが良かった、というのが正直な評価です。補正を積み重ねるのではなく、作り方の段階から見直すことにしました。
プロのVRChatアバターと比べて分かったこと
比較のために、自由に改変できる CC0 の素体（lowteq さんの「シャペル」）の中身を調べました。全体で約2.8万三角形、頭は約4,900三角形と軽く、目と口は形で彫らずに絵（テクスチャ）で描かれています。表情はシェイプキー48個、髪には揺らすための骨が50本以上ありました。
3D化AIは顔に細かい凹凸を彫ってしまいますが、上手なアバターは「つるっとした少ない面＋目や口の絵」でできています。今まで苦労した目のくぼみや顔のでこぼこは、そもそも起きない作りでした。
自動リギングは使えそう：次の作戦と意見募集
明るい材料もあります。自動で骨を入れる SkinTokens を試したところ、28秒で VRChat の人型と同じ並びの骨52本（指まで）が入り、腕を動かしても服が破れませんでした。骨入れは解決の見込みがあります。
残る課題は顔と髪です。次は1から作り直す予定で、候補は次の3つです。3DやVRChat に詳しい方、どれが良いか、あるいは別の方法があれば、Threads の返信かお問い合わせフォームで教えてください。
- A：今のやり方（絵→3D化）で粘る
- B：無料の素体（CC0）を土台に、顔の絵や服の色をAIに任せる
- C：素体に、AIで作った髪や服を着せる
- AIで3Dモデルやアバターを作ってみたい人
- VRChat のアバター作りに興味がある人
- 画像生成AIの次の使い道を探している人
- 完成したアバターの作り方の手順を探している人
よくある質問
Q. どんなPCで動かしていますか？
RTX 4080（VRAM 16GB）のPCです。画像→3D化は VRAM を最大7.6GB 使いました。すべて自分のPCの中で動かしています。
Q. 作ったキャラクターは配布しますか？
今のところ予定はありません。うまく作れるようになったら、作り方をこのブログでまとめる予定です。
Q. 意見はどこに送ればいいですか？
Threads の投稿への返信か、このサイトのお問い合わせフォームからお願いします。番号（A〜C）だけでも助かります。
1枚の絵から3Dキャラを作る方法は、正面には強いものの、横顔と顔の細部で崩れます。骨入れには見込みが出てきたので、次は顔と髪の作り方を変えて1から作り直します。進み具合はThreadsとこのブログで報告します。
続きはThreadsで。新しいAIの実測と、仕事で使えた使い方を毎日投稿しています。
@shachiku_tech_lab をフォロー関連記事
AIコーチがリアルタイムで教える！ブラウザで動く「AI麻雀道場」の仕組み
Threadsに投稿された『AI麻雀道場』の紹介内容をもとに、初心者の方にも分かりやすく解説したブログ記事です。ローカルLLMを活用して、自分の打牌に対してAIがリアルタイムに添削してくれる仕組みを詳しく紐解きます。
物語を動かすのは「演出家」の役割。ローカルAIで自然な会話を実現する仕組み
このアカウントの運営者が実際に使用しているツール『ナラテーブル』の裏側にある、AIによる場面進行の仕組みについて詳しく解説します。
【完全ローカル】AIキャラクターたちと物語を紡ぐ「ナラテーブル」を自作してみた
ネット環境に依存せず、自分のPC内で完結する多人数ロールプレイチャットの構築事例を紹介します。
新しいモデルの実測や解説を毎日投稿しています
Threadsでフォロー以上、本日の業務日報でした。