ローカルLLMおすすめランキング｜ロー・ミドル・ハイエンド別に必要GPU・VRAMを比較【2026年8月版】

ローカルLLMを探していると、数Bの小型モデルから数百Bの巨大モデルまで、同じ一覧に並べられていることがあります。しかし、8GBのGPUで動かすモデルと、複数のサーバーGPUを必要とするモデルを一つの順位で比べても、自分のPCに合う候補は分かりません。

そこで本記事では、2026年8月1日時点で入手できる主要なオープンウェイトモデルを、ローエンド・ミドルエンド・ハイエンドという3種類の実行環境に分け、それぞれ1〜5位まで紹介します。

本記事の順位は、異なる開発元のベンチマーク値を単純に横並びにした「絶対性能ランキング」ではありません。同じハードウェア層の中で、対応用途、必要メモリ、公開形式、導入しやすさを含めて選んだ編集部おすすめ順位です。

モデルの仕様は公式モデルカード、重み容量は公式配布ファイルまたはリンクを明記した公開GGUFで確認しています。必要VRAMとメインメモリはメーカー保証値ではなく、後述する統一条件を使った目安です。

先に結論：3段階の違い

本記事のロー・ミドル・ハイは、モデルの賢さや販売価格ではなく、後述する統一条件でGPU内へ全ロードできる最低VRAM帯で分けています。各ランキング表の「推奨GPU」は、KVキャッシュや他アプリの使用分を含めて余裕を持たせた構成であり、所属区分より上の容量になる場合があります。

図の見方：左から順に、軽量モデルを扱う4〜8GB、個人PCの主力になる12〜32GB、複数GPUやサーバーを含む48GB以上です。GPUの世代名だけで決めず、量子化後の重みとKVキャッシュを含めてVRAMへ収まるかを最初に確認します。

CPUだけで起動できるモデルもありますが、CPUオフロードで何とか読み込めることと、GPU内で実用速度を出せることは同じではありません。そのため、CPU実行は別枠として扱い、モデルの所属を下げる理由にはしていません。

手持ちのVRAMから選ぶ早見表

ランキングの前提と選び方

必要メモリを比べる条件

各表の必要環境は、できるだけ条件をそろえるため、次を前提にしています。

• 学習やファインチューニングではなく推論
• 1ユーザー、バッチサイズ1
• 主にテキスト入力
• コンテキスト長8K
• KVキャッシュはF16
• CPUオフロードなし
• GGUFはQ4_K_MやQ4_0など、表に書いた形式を使用
• gpt-ossは公式MXFP4、Mistral Small 4は公式NVFP4を使用

必要GPUメモリは、モデルファイルの容量だけでは決まりません。

必要GPUメモリ ≒ 重み＋KVキャッシュ＋推論ランタイム＋画像用モデル＋安全な空き容量

画像や音声を使うモデルでは、mmprojなどの追加ファイルが必要な場合があります。公式最大コンテキストが128Kや256Kでも、表の最低構成で最大値を快適に使えるという意味ではありません。

順位を決めた基準

順位は次の順番で評価しています。

1. そのハードウェア層へ無理なく載せられるか
2. 会話、推論、コード、RAGなど対応用途が広いか
3. 公式の多言語・日本語対応情報と公開実装を確認できるか
4. 公式または信頼できる量子化配布があり、導入手順を確認できるか
5. コンテキスト長、画像入力、ツール利用などの付加機能
6. ライセンスと公式資料が明確か

全モデルを同じPC・同じプロンプトで実測した順位ではないため、「1位ならすべての用途で最も賢い」とは限りません。

ローエンドおすすめランキング

ローエンドは4〜8GBの専用VRAMを基準にします。Apple Siliconなどの統合メモリは、同じ容量でもOSが使う分、メモリ帯域、対応バックエンドが異なるため、モデルへ実際に割り当てられる容量を確認してください。一般的なPCのメインメモリは専用VRAMと同じではありません。短いチャット、分類、要約、小規模RAGなど、低遅延で常時動かしたい処理に向いています。

1位 Qwen3.5-9B

8GB級で回答品質と機能の広さを重視する場合の第一候補です。公式モデルカードでは、画像入力、262Kのネイティブコンテキスト、多言語、コード、エージェント用途への対応が案内されています。

Qwen公式のGGUFは確認できなかったため、表の約5.6〜5.7GBはUnslothのコミュニティGGUFなどを参考にした値です。変換方法によって容量と品質が変わります。画像入力では約0.92GBのプロジェクターも別に必要になるため、8GB GPUではテキストと短いコンテキストから試してください。

2位 Ministral 3 8B Reasoning

小型でも推論、数学、コードを重視したい人向けです。公式GGUFにはQ4_K_Mが約5.2GBで公開され、画像、ツール利用、256Kコンテキストにも対応します。

Reasoningモデルは、単純な雑談や短い分類でも考え方を長く出しやすい場合があります。低遅延のチャット専用なら、同系列のInstruct版とも比較してください。

3位 Gemma 4 E4B

画像や音声も扱える軽量な常駐モデルを探している人向けです。Googleの公式モデルカードでは、実効4.5B、埋め込みを含む総パラメータ約8B、128Kコンテキストと説明されています。

公式Q4_0 GGUFは約5.15GBです。画像・音声入力には追加ファイルが必要で、モデル本体だけが8GBへ収まっても、長い履歴や他アプリとの同時使用では不足する可能性があります。

4位 Qwen3 8B

日本語チャットと導入実績を重視する人向けです。公式GGUFがあり、Q4_K_Mは約5.03GBです。思考モードと通常の回答を切り替えられ、会話、要約、軽いコード生成に使えます。

ネイティブコンテキストは32Kで、128Kへ拡張する場合はYaRNと対応ランタイムが必要です。画像は扱えません。

5位 Ministral 3 3B Instruct

4〜6GB環境で最初に動かすモデルとして扱いやすい候補です。公式GGUFのQ4_K_Mは約2.15GBで、画像、JSON、関数呼び出し、256Kコンテキストに対応します。

3B級なので、複数資料の比較、難しい推論、大きなコードベースの理解では上位モデルとの差が出ます。分類、定型応答、軽い要約など、役割を絞ると使いやすくなります。

さらに軽さを優先する場合は、Gemma 4 E2Bの公式Q4_0も候補です。重みは約3.35GBで、画像・音声入力には約0.99GBの追加ファイルが必要です。

ミドルエンドおすすめランキング

ミドルエンドは、12〜32GBの単一GPUを中心とする個人PC向けの主力層です。高品質チャット、コード生成、ローカルRAG、画像理解、AIキャラクターなど、品質と速度のバランスを求める用途に向いています。

1位 Qwen3.6-27B

24〜32GB GPUで回答品質を優先する候補です。公式モデルカードでは、画像入力、推論、コード、ツール利用、262Kコンテキストへの対応が案内されています。同世代の35B-A3Bより計算は重い一方、Qwenが公開した複数の評価では上回る項目があります。

Q4_K_Mの約16.8GBはUnslothのGGUF配布例で、Qwen公式GGUFの容量ではありません。24GB GPUでも、画像入力や長い履歴を使う場合は余裕を確認してください。

2位 Qwen3.6-35B-A3B

速度、画像理解、コード、エージェント機能を一つのモデルへまとめたい人向けです。公式モデルカードでは、35B total・3B activeのMoEとされています。

ggml-orgのQ4_K_Mは約20.4GB、LM Studio Community版は約21.2GB、UnslothのUD-Q4_K_Mは約22.1〜22.3GBです。画像用mmprojは約0.90GB、MTPは約1.06GBで、両方を使う場合は合計約1.96GBを追加で見込む必要があります。24GB GPUは短いテキストで試す最低ラインで、32GB以上を推奨します。

3位 Gemma 4 26B-A4B

画像理解とMoEの応答速度を両立したい人向けです。公式モデルカードでは、25.2B total・3.8B active、画像入力、256Kコンテキストへの対応が案内されています。

公式Q4_0 GGUFは約14.4GBです。16GB GPUへ読み込める可能性はありますが、KVキャッシュとランタイムの余裕が小さいため、短いテキスト中心の条件付き構成です。画像や長い履歴では24GBを推奨します。

4位 gpt-oss-20b

ローカルで推論強度の切り替えやツール利用を試したい人向けです。OpenAIの公式モデルカードでは21B total・3.6B active、128Kコンテキスト、公式MXFP4が案内されています。

公式配布の重みは合計約13.8GBで、OpenAIは16GBのメモリを持つ環境で実行可能と説明しています。ただし、これはすべての16GB GPUで最大コンテキストを快適に使えるという保証ではありません。Harmony形式に対応したランタイムが必要で、画像入力には対応しません。

5位 Mistral Small 3.2 24B

画像、会話、関数呼び出しを標準的なDenseモデルで扱いたい人向けです。公式モデルカードでは、24B、画像入力、指示追従と関数呼び出しの改善が案内されています。

LM Studio Community版Q4_K_Mの約14.3GBは、コミュニティGGUFの一例です。16GB GPUでは短いテキストでも余裕が少なく、画像や長めのコンテキストを使うなら24GBを推奨します。

12GB級で扱いやすさを優先する場合は、公式Q4_0が約6.98GBのGemma 4 12Bや、公式Q4_K_Mが約8.24GBのMinistral 3 14B Instructも有力です。

ハイエンドおすすめランキング

ハイエンドは、総VRAM 48GB以上のワークステーションや複数GPUサーバー向けです。同じハイエンドでも、48〜80GBで扱えるモデルと、160〜400GB以上を必要とするモデルでは設備がまったく異なります。

1位 gpt-oss-120b

単体80GB GPUで扱えるハイエンドモデルとして導入条件が明確です。公式モデル情報では117B total・5.1B active、128Kコンテキスト、ツール利用への対応が案内されています。

公式リポジトリのoriginal／MXFP4一式は約65.2GBで、OpenAIはH100 80GBやMI300Xでの単体実行を案内しています。画像入力はなく、Harmony形式に対応したランタイムが必要です。

2位 Qwen3-Coder-Next

ローカルのコーディングエージェントを重視するワークステーション向けです。公式モデルカードでは80B total・3B active、262Kコンテキスト、ツール利用、長期タスクと失敗回復への対応が説明されています。

公式GGUFのQ4_K_Mは約48.4GBです。48GB GPUでは重みだけで容量を使い切るため、KVキャッシュ込みでは総VRAM 64GB以上を推奨します。非思考モード専用で、汎用会話よりコード作業を重視したモデルです。

3位 Mistral Small 4

画像、推論、コード、エージェント機能を統合したサーバー向けモデルです。公式モデルカードでは119B total・6.5B active、256Kコンテキストが案内されています。公式ブログでは活性パラメータを6Bと丸めているため、本記事では約6〜6.5Bと表記します。

公式NVFP4は約70.8GBですが、Mistralが案内する最小構成はHGX H100×4、HGX H200×2またはDGX B200×1です。「70.8GBだから80GB GPU 1枚で快適」とは判断できません。

4位 DeepSeek V4 Flash

非常に長いコンテキストとコード・推論を扱う大規模サーバー向けです。公式モデルカードでは284B total・13B active、1Mコンテキスト、コード、ツール利用が案内されています。

公式チェックポイントは混合FP4/FP8で約160GB、公式参照実装は4-way model parallelです。Previewモデルで、専用エンコーディングや変換作業も必要になるため、一般的なローカルアプリへそのまま読み込むモデルではありません。

5位 Qwen3.5-397B-A17B

大規模な画像・多言語・コード・エージェント処理をオンプレミスで検証する組織向けです。公式モデルカードでは397B total・17B active、画像入力、201言語・方言、262Kネイティブコンテキストが案内されています。

公式FP8チェックポイントは約406GBです。公式の最大コンテキスト実行例は8GPU tensor parallelで、公式Q4は確認できません。「Q4なら約200GB」と公式値のように断定しないよう注意が必要です。

データセンター参考枠：DeepSeek V4 Pro DeepSeek V4 Proは1.6T total・49B active、公式チェックポイント約865GB、8-way model parallelのモデルです。実在する公開モデルですが、通常のワークステーション向けランキングへ混ぜると必要設備を誤解しやすいため、参考枠としました。

MoEモデルの「active」は必要VRAMではない

35B-A3Bは、総パラメータが約35Bで、1トークンの計算に使うパラメータが約3Bという意味です。

• total：保存し、基本的にメモリへ読み込む全体の重み
• active：1トークンを処理するときに選ばれる重み

activeが小さいMoEは計算を軽くしやすい一方、モデル容量まで3B級になるわけではありません。Qwen3.6-35B-A3BのQ4が約20GB以上になるのはこのためです。

VRAM・メインメモリ・ストレージを分けて考える

GPU VRAM

重み、KVキャッシュ、推論処理の作業領域を置きます。生成速度を重視する場合は、できるだけモデル全体をVRAMへ載せます。

メインメモリ

OS、推論ソフト、モデルの読み込み、CPUオフロードに使います。64GB RAMがあれば大きなモデルを読み込める場合がありますが、GPUへ収まらない部分をCPUで処理すると速度は下がります。

ストレージ

表の「重み容量」は、主にモデルファイルそのものです。ダウンロード中の一時ファイル、複数量子化の比較、キャッシュ、画像用プロジェクターを含め、少なくとも重みの1.5〜2倍の空きを用意すると管理しやすくなります。

RTX 5080 16GB＋メモリ64GBの位置付け

現在の検証PCであるRTX 5080 16GB、メインメモリ64GB、Core i7-13700KFは、ミドルエンドの入口から中位に位置します。GPUの演算性能は高い一方、ローカルLLMでは16GBのVRAM容量が先に上限になりやすい構成です。

快適に試しやすい

• Qwen3.5-9B
• Ministral 3 8B／14B
• Gemma 4 E2B／E4B／12B
• Qwen3 8B

条件を調整して試す

• gpt-oss-20b
• Gemma 4 26B-A4B

これらは短いコンテキスト、テキスト中心、他のGPUアプリを止めた状態から確認します。OBS、音声合成、VTube Studioなどと同時に使う場合は、モデル単体テストより余裕が必要です。

GPU内へ全ロードできない

• Qwen3.6-27B Q4_K_M
• Qwen3.6-35B-A3B Q4_K_M
• 70B以上のQ4モデル

CPUオフロードで起動できる場合はありますが、AI VTuberのリアルタイム会話では遅延が大きくなりやすいため、8B〜14B級をGPU内へ収める構成の方が実用的です。

自分のGPUで動くか確認する

判定ツールに収録された一般的なTransformerモデルについては、GPUとコンテキスト長で分かるローカルLLMメモリ判定ツールで目安を確認できます。Qwen3.6、Gemma 4、gpt-oss、Mistral Small 4などは構造や公式量子化が異なり、現在のツールでは判定対象外です。本記事の全モデルを検証済みという意味ではありません。

まとめ

ローカルLLMは、すべてのモデルを一つの性能順位で選ぶより、自分の実行環境に合う層の中から選ぶ方が現実的です。

• 4〜8GB：Qwen3.5-9B、Ministral 3 8B、Gemma 4 E4Bなど
• 12〜32GB：Qwen3.6-27B、Qwen3.6-35B-A3B、Gemma 4 26B-A4B、gpt-oss-20bなど
• 48〜80GB：Qwen3-Coder-Next、gpt-oss-120b
• 160GB以上：DeepSeek V4 Flash、Qwen3.5-397B-A17Bなど

最初から最大モデルをCPUオフロードで動かすより、GPU内へ余裕を持って収まるモデルを選び、実際の用途に近いプロンプトで比較する方が、速度と安定性を両立しやすくなります。

*最終確認：2026年8月1日。モデルの配布形式、量子化、対応ランタイムは更新が速いため、導入前に各モデルの公式ページも確認してください。*

あわせて読みたい

• ローカルLLMとAPIはどちらが安いか？損益分岐点シミュレーター【2026年8月版】
• AI API入門｜主要サービスの選び方と始め方（2026年版）