日本語で書くだけで壁紙を生成。ローカルAIで完結する「カベガミ工房」の仕組み
「雨上がりの夜の街」と入力するだけで、自分のPCが壁紙を描き上げてくれる。そんな体験を可能にするツール「カベガミ工房」の仕組みを詳しく解説します。
- 日本語の情景をローカルLLMが解析し、画像生成用のプロンプトに翻訳する。
- 外部APIを使わず、すべて自分のPC内で完結するためプライバシーやコストの面で安心。
- VRAMの制約をクリアするため、文章AIと画像生成AIを入れ替えるメモリ管理を導入。
- 生成した画像にはプロンプトを埋め込み、後から設定を復元できる仕組みを備える。

日本語の情景を「画像への指示」に変換する仕組み
これまで、AIで理想の壁紙を作るためには「プロンプト(AIへの指示文)」を英語で、かつ詳細に考える必要がありました。しかし、日本語で直感的に書いた内容を、そのまま画像生成に繋げるのは簡単ではありません。
そこで導入したのが、ローカルLLM(自分のPC内で動く大規模言語モデル)を活用した翻訳プロセスです。具体的には、gemma4:12b-it-q8_0というモデルを使用しています。このAIが「雨上がりの夜の街」といった日本語の文章を読み取り、画像生成AIが理解しやすい「タグ(キーワードの羅列)」へと翻訳します。
このツールの大きな特徴は、外部のAPI(インターネット経由で他社のAIサーバーを借りる仕組み)を一切使わない点です。すべて自分のPC内のリソースだけで処理を行うため、情報の流出を気にせず、自分の好きな環境で何度でも試行錯誤ができるよう設計されています。
- 文章AI:gemma4:12b-it-q8_0(日本語の情景を解析・翻訳)
- 描画AI:Stable Diffusion WebUI Forge(SDXL系のモデルを使用)
- 自由度:プロンプトだけを先に生成して内容を確認・手直ししてから描画することも可能です。
限られたリソースを最大限に活かすメモリ管理
ローカル環境で高度なAIを動かす際、最大の課題となるのが「VRAM(ビデオメモリ)」の容量です。VRAMは、画像生成AIなどが計算を行うための専用の作業スペースのようなものです。
今回の構成では、gemma4:12b(q8)の動作に約12.8GB、SDXLモデルの高解像度化に約9GBのVRAMを必要とします。これらを同時に動かそうとすると、一般的な16GBのVRAM環境では容量が足りず、エラーになってしまいます。
この問題を解決するために、このツールでは「描画の直前に文章AIをメモリから下ろす」という処理を自動で行うように設計しています。文章AIがプロンプトを書き終えたタイミングで、そのメモリを画像生成AIに譲り渡す仕組みです。このため、生成は常に1枚ずつ順番に行われますが、限られたスペックでも安定して動作させることができます。
- gemma4:12b(q8)の必要量:約12.8GB
- SDXLの高解像度化の必要量:約9GB
- 対策:文章AIをメモリから退避させてから描画を行う(1枚ずつの生成)
このサイトの実測データ
生成後の管理と再利用のしやすさ
せっかく生成したお気に入りの画像も、後から再現できなければもったいないものです。カベガミ工房では、生成した画像はギャラリー機能でまとめて管理できます。お気に入りへの登録、PNG形式での保存、そしてプロンプトの再利用がスムーズに行えるようにしています。
特に便利なのが、保存するPNGファイルの中に「プロンプト(指示文)」を埋め込んでいる点です。これにより、後からその画像の設定をそのまま復元して、別のバリエーションを生成するといったことが簡単にできるようになっています。
- ギャラリー機能:お気に入り登録、PNG保存、プロンプト再利用が可能
- プロンプトの埋め込み:保存した画像から設定を復元できる
- 自分のPCでAIを動かしてみたいけれど、メモリの制約が心配な人
- 英語のプロンプトを考えるのが苦手で、日本語で直感的に指示を出したい人
- 生成した画像を後から管理・再現したい人
- 著作物の無断学習を推奨する使い方
- 他者の画風を模倣する方法を探している人
よくある質問
Q. 16GBのVRAMでも動かせますか?
公式の情報では、gemma4:12b(q8)は約12.8GB、SDXLの高解像度化は約9GBのVRAMを必要とするとされています。そのため、これらを同時に動かすことはできませんが、文章AIを一度メモリから下ろしてから描画を行う仕組みにすることで、16GBの環境でも1枚ずつ生成することが可能です。
「カベガミ工房」は、ローカルAIを賢く使い分けることで、日本語の情景描写から壁紙を生成する体験を実現したツールです。メモリの制約を技術的な工夫(入れ替え処理)で解決しており、自分のPCだけで完結する安心感と、プロンプトを埋め込む管理のしやすさが両立されています。
続きはThreadsで。新しいAIの実測と、仕事で使えた使い方を毎日投稿しています。
@shachiku_tech_lab をフォロー関連記事
【自作AI育成日記 第3回】わずか38日で知識ベースが1万件を突破した過程と仕組み
自分専用のAIを育成する過程で、どのように知識を集め、どのように活用しているのかを詳しく解説します。

AIにメールの下書きを任せる際に「手直し」を減らすための5つのコツ
AIにメールの下書きを依頼する際、やりがちな「丁寧すぎて長すぎる」「意図と違う」といった問題を解決するための具体的な指示の出し方と、運用上の注意点を詳しく解説します。
画像が増えても重くならない!ギャラリー表示を劇的に高速化する最適化の技術
「画像が増えるほど動作が重くなる」という、Web制作やアプリ開発でよくある課題を、実際に「カベガミ工房」の最適化を通じて解決した事例を解説します。ブラウザのメモリ管理やデータ処理の効率化について、初心者の方にも分かりやすく紐解きます。

新しいモデルの実測や解説を毎日投稿しています
Threadsでフォロー以上、今日の実験ログでした。![]()