ローカルLLMの始め方：LM Studio・Ollamaで試す手順と必要な性能

この記事の要点

ローカルLLMは、自分のパソコンや社内のサーバーの中でAIを動かす使い方です。入力した文章が外部のサービスに送られないのが一番の利点です。
始め方は、画面で操作する「LM Studio」か、コマンドで操作する「Ollama」を入れて、モデルをダウンロードするだけです。小さいモデルなら、GPUのメモリ4〜8GB、パソコンのメモリ16GBほどが一般的な目安です。
モデルは開発元の公式など信頼できる配布元から入れ、版ごとにライセンス（利用規約）を確かめます。社内で共有したくなったら、専用のサーバーで動かす段階に進みます。

ローカルLLMでできること・できないこと

ローカルLLMとは、自分の機械の中でAI（大規模言語モデル、LLM）を動かす使い方です。ChatGPT などのクラウドのAIと違い、入力した文章は手元の機械の中だけで処理されます。

できること・向いていること	できないこと・苦手なこと
文章の要約・下書き・言い換え	最新の情報を調べること（モデルだけではインターネットを見に行きません）
社外秘の文章を、外に出さずに扱うこと	幅広い知識や難しい推論（クラウドの大きなAIのほうが上です）
画像の内容の説明（画像を読めるモデルの場合）	細部の正確さの保証（人の確認が欠かせません）
モデルをダウンロードした後、通信なしで使うこと	大勢での同時利用（1台では基本的にその人だけが使えます）

細部の正確さには特に注意が要ります。当社のサーバーで要約を試したときも、元の文の「表計算ソフトに転記している」を「手書きの転記作業」と言い換える誤りが起きました。

必要なパソコンの性能の目安

一番効くのは、GPU（画像や計算を受け持つ部品）に付いているメモリ、いわゆるVRAM（GPUメモリ）の量です。モデルはこのメモリに読み込んで動かすため、収まる大きさのモデルしか快適には動きません。

Google が公開している、Gemma 4 の4ビット版（数値を粗くして軽くした版）のメモリの目安をもとに、用意したいGPUメモリの目安をまとめました。

モデルの例（4ビット版）	読み込みに要るメモリ（Google の目安）	用意したいGPUメモリ（一般的な目安）
Gemma 4 E2B（小さい）	約2.9GB	4〜8GB
Gemma 4 E4B	約4.5GB	8GB
Gemma 4 12B（中くらい）	約6.7GB	12GB 以上
Gemma 4 31B（大きい）	約17.5GB	24GB 以上

Google の目安は、モデル本体を読み込む分だけの数字です。扱う文章が長いほど、メモリはさらに要ります。右の列はその分の余裕を見た目安で、使う道具や設定によって変わります。参考までに、当社は Gemma 4 12B の4ビット版を、扱える文章の長さを約6万5千トークン（トークンはAIが文章を扱う単位）にした状態で動かし、GPUメモリを約9GB使っています。

GPU のほかには、次の点を確かめます。

パソコンのメモリ：LM Studio は16GB以上を勧めています。8GBの Mac でも、小さいモデルと短い文章なら使える場合があるとしています。
Mac の場合：Apple シリコン（M1 以降）の Mac は、GPU専用のメモリではなく、パソコンのメモリ（ユニファイドメモリ）の量で考えます。
GPU が足りない場合：パソコンのメモリとCPUでも動かせますが、回答が遅くなりがちです。
保存場所：モデルは1つで数GB〜数十GBあります。当社も15種類ほど試し、モデルのファイルだけで約280GBになりました。

代表的な道具：LM Studio と Ollama

どちらも手元で使う分には無料で、Mac・Windows・Linux に対応しています。表は2026年9月時点の公式の情報です。

比べる点	LM Studio	Ollama
操作のしかた	画面（アプリ）で操作する	コマンドで操作する（アプリもある）
Mac	Apple シリコン、macOS 14.0 以降（Intel の Mac は非対応）	macOS 14（Sonoma）以降（Intel の Mac は CPU のみで動作）
Windows	x64（AVX2 という機能に対応した CPU）と ARM	Windows 10（22H2）以降
Linux	x64 と ARM64、Ubuntu 20.04 以降	公式のコマンドで入れる
モデルの入手	アプリの中で検索してダウンロード	コマンド1つでダウンロードして起動
会社での利用	2025年7月から、仕事で使うのに別の商用ライセンスが不要	本体はオープンソース（MIT License）
向いている人	まず画面で気軽に試したい人	コマンドや、ほかのアプリとの連携に慣れた人

どちらも、ほかのアプリから呼び出せる窓口（API）を持っています。

試してみる手順

LM Studio の場合

公式サイトのダウンロードページから、使っているOS用のインストーラーを入れます。
Discover タブを開き（Ctrl＋2、Mac は ⌘＋2）、モデルを名前で検索します。例えば「gemma」で探せます。
ダウンロードの選択肢から1つ選びます。Q4_K_M のような表示は、量子化（数値を粗くしてファイルを軽くすること）の種類です。公式の説明では、パソコンの性能が足りるなら4ビット以上を選ぶよう勧めています。
Chat タブでモデルの読み込み画面を開き、ダウンロードしたモデルを選んで読み込みます。読み込みとは、モデルをメモリに載せることです。
入力欄に質問を書いて送ります。

モデルをダウンロードした後は、通信なしでも使えます。公式の説明では、チャットに入力した内容はパソコンの外に出ないとしています。画面の表示は、設定で日本語にも切り替えられます。

Ollama の場合

Mac と Windows は、公式サイトからアプリをダウンロードして入れます。Linux は、公式の手順どおり次のコマンドで入れます。

curl -fsSL https://ollama.com/install.sh | sh

入れた後、ターミナル（コマンドを打ち込む画面）で次のように打つと、モデルのダウンロードとチャットが始まります。終えるときは /bye と打ちます。

ollama run gemma4:e2b

このモデルは、公式の案内ではダウンロードが約7.2GBで、GPUメモリ8GB（Mac はユニファイドメモリ）が勧められています。同じモデルでも、配布元や形式によってファイルの大きさは変わります。また、名前に cloud と付くモデルは Ollama のクラウドで動くため、入力を手元で完結させたいときは選ばないようにします。

最初に試したい指示文の例

小さいモデルは、クラウドの大きなAIほど気を利かせてはくれません。当社が使っている12Bクラスのモデルでも、守ってほしい決まりを箇条書きで具体的に渡すと、品質が大きく上がりました。次の例は、そのまま貼り付けて試せます。

次の文章を、社内向けに3行で要約してください。
・事実だけを書き、推測は書かない
・数字と固有名詞は、元の文のまま使う
・分からないところは「不明」と書く

（ここに文章を貼り付ける）

次のメモから、「日付」「担当」「作業内容」の3列の表を作ってください。
・メモに書かれていないことは書かない
・日付は「10月1日」の形にそろえる

（ここにメモを貼り付ける）

結果は必ず元の文と見比べ、数字や言い回しが変わっていないかを確かめます。

モデルは信頼できる配布元から入れ、ライセンスを確かめる

モデルのファイルは、誰でも公開できます。AIモデルの共有サイト Hugging Face も、形式によってはファイルを読み込むだけで悪意のあるプログラムが動くおそれがあるとして、信頼できる利用者や組織のモデルを使うよう勧めています。

また、道具が無料でも、モデルには別のライセンスがあります。例えば Google の Gemma 4 は Apache License 2.0 で公開されていますが、Gemma 3 など、それより前のモデルには Google 独自の「Gemma 利用規約」が適用されます。同じシリーズでも版によって違うので、入れる版ごとに確かめます。

入れる前のチェックリストです。

確かめること	見るところ
配布元	モデルを作った会社の公式アカウントか、道具の公式の一覧か
ライセンス	会社の仕事に使ってよいか、禁止されている使い方は何か
必要なメモリ	自分のGPUメモリに、余裕を持って収まるか
記録	モデル名・版・入手先・入れた日を書き残したか

社内で共有したくなったら：サーバーで動かす

部署のみんなで使いたくなっても、個人のパソコンで動かしたままでは、電源を切ると誰も使えない、同時に使うと待ちが出る、誰が何を入力したか分からない、といった問題が出ます。

社内で共有するなら、常に動かしておく専用のサーバーを用意し、入口に認証（使える人を限る仕組み）と通信の暗号化をかける形が現実的です。当社では、GPU（NVIDIA GeForce RTX 3090、GPUメモリ24GB）を1枚積んだサーバーで Gemma 4 12B を常時動かしており、回答の速さは1秒に約88トークン（日本語で約150字）でした。構成・速さ・電気代の実測は、ローカルLLMに必要なスペックと速度・電気代を実測で紹介しています。

まとめ

ローカルLLMは、入力した情報を外に出さずにAIを使える方法です。LM Studio か Ollama を入れれば、パソコン1台で試せます。
性能はGPUのメモリで考えます。小さいモデルなら4〜8GB、12Bクラスなら12GB以上が一般的な目安です。
モデルは信頼できる配布元から入れ、版ごとにライセンスを確かめます。社内で共有するなら、サーバーで動かす段階に進みます。

当社では、情報を外に出さないAIの構成づくりや道具選び、今お使いのシステムへのAIの組み込みをお手伝いしています。「まずパソコン1台で試してみたい」という段階から、お気軽にご相談ください。詳しくはAI活用支援のページをご覧ください。