AIの反応が遅い原因はVRAM不足かも?実測でわかった速度差の正体
AIを自分のPCで動かしているとき、期待していたよりも回答がなかなか出てこないことはありませんか。実は、その原因の多くは「VRAM(ビデオ・ラム)」の容量不足にあるかもしれません。今回は、モデルのデータがどこに読み込まれているかによって、速度がどれほど変わるのかを検証した結果を解説します。
- VRAMにモデルが収まらないと、処理の大部分が低速なCPUに回されるため、極端に速度が低下する。
- 実測では、VRAMに収まった状態とCPUのみの状態では、約9倍以上の速度差が発生した。
- Ollamaなどのツールを使用している場合、特定のコマンドでVRAMへの読み込み状況を確認できる。

VRAMとは?なぜ速度に影響するのか
AIを動かす際、モデルのデータは基本的にGPU(画像処理などを行うパーツ)に搭載されている専用のメモリ「VRAM(ビデオ・ラム)」に読み込まれます。GPUは計算速度が非常に速いため、データがすべてVRAM内に収まっている状態では、AIはスムーズに動作します。
しかし、モデルのサイズがVRAMの容量を超えてしまうと、はみ出したデータはメインメモリ(CPUと共有するメモリ)へと溢れ出します。このとき、処理の多くをCPUが担うことになるため、速度が劇的に低下してしまうのです。
- VRAMに収まっている状態:GPUがフル活用され、高速なレスポンスが得られる。
- VRAMから溢れた状態:CPUとメインメモリを併用するため、処理が滞り、待ち時間が長くなる。
【実測】VRAMの有無による驚きの速度差
このアカウントのPCを使用して、実際にモデルを動かした際の速度を比較しました。検証に使用したのは、gemma4:12b(Q8、使用メモリ14.2GB)というモデルです。
このモデルを、VRAM 16GBを搭載したグラフィックボード「RTX 4080」で動かした際の数値は以下の通りです。
- モデルがVRAMに収まった状態:43.5トークン/秒(一瞬で出てくる感覚)
- CPUのみで動かした状態:4.6トークン/秒(待ち時間が気になる感覚)
このサイトの実測データ
約9倍の差が出る結果から言えること
上の実測結果を見ると、VRAMに収まっているか否かで、なんと約9倍以上の速度差が出ていることがわかります。CPUだけでも動作自体は可能ですが、実用的な快適さを求めるのであれば、モデルのサイズをVRAM容量に収めることが極めて重要です。
自分のPCでAIを動かす際は、以下の3点をチェックリストとして確認することをおすすめします。
- モデルのサイズが、お使いのGPUのVRAM容量を超えていないか
- CPUとメインメモリを併用する設定になっていないか
- 使用しているツールで、VRAMへの読み込み状況を正しく確認できているか
Ollamaでの確認方法
AIを動かすためのツールの一つである「Ollama」を使用している場合、モデルが正しくVRAMに載っているかどうかを確認する手段があります。
公式の情報では、`/api/ps` というエンドポイントを確認することで状況を把握できるとされています。ここで表示される `size_vram` と `size` の数値が一致していれば、モデルの全データがVRAMに載っている証拠です。もしこの数値が一致していなければ、メモリ不足によって速度が落ちている可能性が高いと考えられます。
- 一致している場合:GPUのパワーを最大限活かしている状態
- 一致していない場合:メモリ不足により、低速な処理に切り替わっている可能性あり
- 自分のPCでAIを動かしたいが、なぜか動作が遅いと感じている人
- GPUのスペックとAIモデルの相性を知りたい人
- Ollamaなどでモデルを動かしているが、詳細な挙動を知りたい人
- クラウドサービス(ChatGPTなど)の料金プランについて知りたい人
- AIを使った画像生成の具体的なプロンプトを知りたい人
よくある質問
Q. VRAMが足りない場合、モデルを小さくすれば解決しますか?
はい。モデルのパラメータ数(12bなど)を小さくしたり、量子化(モデルを圧縮する技術)されたものを使用したりすることで、VRAMに収まりやすくなり、速度が向上する可能性があります。
Q. CPUだけでも動かしたほうがいい場面はありますか?
速度は非常に遅くなりますが、VRAMが極端に少ないPCで、どうしても大きなモデルを動かしたい場合には、CPUでの動作は一つの手段となります。ただし、実用的な速度を求めるならVRAMへの収容が推奨されます。
AIをローカル環境で快適に動かすための最大の鍵は、モデルのデータをいかにVRAMに収めるかです。実測では、VRAMの有無で約9倍もの速度差が出ることが確認されました。自分のPCのVRAM容量を確認し、それに見合ったサイズのモデルを選ぶことが、ストレスなくAIを活用するための第一歩となります。
続きはThreadsで。新しいAIの実測と、仕事で使えた使い方を毎日投稿しています。
@shachiku_tech_lab をフォロー関連記事
AIサービスの有料版と無料版、仕事でどう使い分ける?失敗しないための判断基準
AIを仕事に取り入れたいけれど、いきなり有料プランに入るべきか迷っている方へ。無料版でまず「体験」することの重要性と、有料版に移行する際の主なチェックポイントを解説します。
CPUのスレッド数を減らしてもAIの生成速度が変わらない理由について
AIモデルを自分のPCで動かす際、CPUのスレッド数を調整することで速度が変わるのか、実測データをもとに解説します。
ローカルAIのモデル名にある「Q4」「Q8」の意味とは?量子化の仕組みを分かりやすく解説
AIモデルの名称によく見られる「Q4」や「Q8」という表記。これらはAIを軽量化するための「量子化」という技術に関係しています。初心者の方向けに、それぞれの違いや選び方の基準を解説します。
新しいモデルの実測や解説を毎日投稿しています
Threadsでフォロー以上、今日の実験ログでした。![]()