ローカルLLMの作り方!必要なPCと無料の構築手順・注意点を解説

社外に出せない情報をAIで扱いたいものの、クラウドのAIに入力するのは不安だと感じていないでしょうか。ローカルLLMが解決策になると聞いても、作るには専門の技術が必要そうで、手を出せない方も多いはずです。
本記事では、ローカルLLMの作り方の全体像・必要なパソコン・2つの無料ソフトでの構築手順を解説します。社内の文書を読ませる方法・チームで共有する方法・注意点も、各ソフトの公式情報に沿って紹介します。
この記事を読めば、自分のパソコンでローカルLLMを動かし、業務で試すまでの進め方が分かります。
結論として、作り方の基本はソフトを入れてモデルをダウンロードするだけで、プログラムを書く必要はありません。まずは手元のパソコンで小さなモデルを動かしてみましょう。
目次
- ローカルLLMの作り方の全体像
- ローカルLLMに必要なパソコン
- ローカルLLMを作る2つの方法
- ローカルLLMを作る手順
- ローカルLLMを業務で使う方法
- ローカルLLMを作るときの注意点
- ローカルLLMの作り方に関するよくある質問
- まとめ
ローカルLLMの作り方の全体像
ローカルLLMを作るといっても、難しい開発の作業が必要なわけではありません。何を作り、何を用意し、何が利点になるのかを先に押さえておくと、後の手順を迷わずに進められます。
ローカルLLMの作り方の全体像をつかむために押さえたい点は、以下の3つです。
- 公開されているモデルを自分のパソコンで動かす環境を作る
- パソコン・実行するソフト・モデルの3つを用意する
- 入力した内容が外部に送られない点が利点になる
公開されているモデルを自分のパソコンで動かす環境を作る
LLMは大規模言語モデルの略で、ChatGPTなどの生成AIの中心になっている仕組みです。ローカルLLMは、クラウドではなく、自分のパソコンや社内のサーバーの中で動かすLLMを指します。
ローカルLLMを作るといっても、モデルを一から開発するわけではありません。GoogleやOpenAIなどが公開しているモデルをダウンロードし、手元で動かせる環境を整える作業です。
パソコン・実行するソフト・モデルの3つを用意する
ローカルLLMに必要なものは、モデルを動かせる性能のパソコン・モデルを実行するソフト・モデルの3つです。実行するソフトの代表は、LM StudioとOllamaです。
LM StudioとOllamaは、どちらも無料で使い始められます。モデルのダウンロードから実行までを、1つのソフトで行えます。
入力した内容が外部に送られない点が利点になる
ローカルで動かす最大の利点は、入力した内容がパソコンの外に出ないことです。Ollamaの公式ドキュメントのよくある質問は、ローカルで実行する場合、利用者の指示やデータを同社が見ることはないと説明しています。
ローカルLLMは、顧客の情報や未公開の資料など、クラウドのサービスに入力しにくい情報を扱う業務で検討する価値があります。クラウドの生成AIで情報漏洩が起こる原因と防ぐ対策は、別の記事で解説しています。
生成AIの情報漏洩はなぜ起こる?実際の事例と防ぐ対策・入力後の対応を解説
ローカルLLMに必要なパソコン
ローカルLLMが快適に動くかどうかは、パソコンのメモリとGPUの性能で変わります。新しいパソコンを買う前に、公式の動作要件の目安と、小さなモデルから試す進め方を確かめておきましょう。
ローカルLLMに必要なパソコンについて確かめたい点は、以下の3つです。
- メモリは16GB以上が目安になる
- 大きなモデルほど高性能なGPUが必要になる
- モデルは小さいものから試す
メモリは16GB以上が目安になる
LM Studioの公式ドキュメントの動作要件では、WindowsもMacも16GB以上のメモリが推奨されています。Windowsでは、4GB以上の専用のビデオメモリを持つGPUも推奨されています。
Macは、Appleシリコンを搭載した機種が対象で、macOS 14.0以降が必要です。LM Studioは、インテル製のチップを搭載したMacには現在は対応していません。
メモリが8GBのMacでもLM Studioを使える場合がありますが、小さなモデルにとどめるよう案内されています。
大きなモデルほど高性能なGPUが必要になる
モデルは、大きいほど賢くなる代わりに、多くのメモリと計算の力を必要とします。GPUは、AIの計算を速く行うための部品です。
Ollama公式サイトのダウンロードのページも、ローカルでの速度はハードウェアに左右され、強力なGPUのないパソコンでは大きなモデルは遅いと説明しています。OpenAIの発表では、同社が公開しているモデルのgpt-oss-20bは、16GBのメモリが目安とされています。
モデルは小さいものから試す
ローカルLLMを試すために、最初から高価なパソコンを買う必要はありません。手元のパソコンで小さなモデルを動かし、速度と回答の質を確かめてから必要な性能を見積もる順番が安全です。
モデルの名前に付く4bや8bなどの表記は、モデルの大きさを表します。数字が小さいほど、軽く動くモデルです。
ローカルLLMを作る2つの方法
ローカルLLMを作る方法は、モデルを実行するソフトによって変わります。代表的なソフトはLM StudioとOllamaの2つで、操作の仕方と向いている人が違います。
LM StudioとOllamaの操作・料金・向いている人を比べると、以下の表のとおりです。
| 項目 | LM Studio | Ollama |
|---|---|---|
| 操作 | 画面のボタンで操作する | アプリのほか、コマンドでも操作する |
| 料金 | 無料のプランがある | ローカルでの実行は無料 |
| 向いている人 | 初めて試す人・文書を読ませたい人 | ほかのツールとつなげたい人 |
LM StudioとOllamaの2つの方法の特徴は、以下のとおりです。
- LM Studioは画面の操作だけで始められる
- Ollamaはほかのツールとつなげやすい
LM Studioは画面の操作だけで始められる
LM Studioは、アプリの画面からモデルを探してダウンロードし、チャットの画面で会話できるソフトです。LM Studio公式サイトの料金ページによると、無料のプランにローカルのモデルの利用が含まれています。
WordやPDFなどの文書をチャットに添付して、内容について質問する機能もあります。コマンドの入力に慣れていない方は、LM Studioから始めると迷いません。
LM Studioは、公式サイトでは作業を任せられるエージェントの機能を備えたLM Studio Bionicの名前で案内されています。
Ollamaはほかのツールとつなげやすい
Ollamaは、macOS・Windows・Linuxに対応した、モデルを実行するソフトです。プログラムの中身が公開されているオープンソースのソフトで、ローカルでの実行は無料です。
Ollamaには、Claude CodeやCodexなどの開発用のツールと連携する機能があり、社内のほかのシステムから呼び出す使い方にも向いています。OllamaとClaude Codeをつないで使う手順は、別の記事で解説しています。
Claude CodeでローカルLLMを使う方法|Ollama連携の手順と注意点
ローカルLLMを作る手順
ローカルLLMを作る基本は、実行するソフトを入れてモデルをダウンロードすることで、プログラムを書く必要はありません。動いたあとは、速度と回答の質を確かめてから、業務で使う場面を決めます。
ローカルLLMを作る手順は、以下の5つです。
- 実行するソフトをインストールする
- モデルを選んでダウンロードする
- 質問を入力して動作を確かめる
- 速度と回答の質を確かめる
- 業務で使う場面を決める
実行するソフトをインストールする
最初に、LM StudioかOllamaを公式サイトからダウンロードしてインストールします。必ず公式サイトから入手してください。
Ollama公式サイトのダウンロードのページには、macOS・Linux・WindowsのOSごとのインストールの方法が載っています。
モデルを選んでダウンロードする
次に、動かすモデルを選びます。LM Studioは、アプリの中で最新のモデルを検索してダウンロードできる作りです。
Ollama公式サイトのモデルの一覧には、GoogleのGemma・OpenAIのgpt-oss・アリババのQwenなどが載っています。一覧の中でGemma 3は、1つのGPUで動く高性能なモデルと紹介されています。
Ollamaには、クラウドで動くモデルも用意されています。入力を外に出したくない場合は、ローカルで動くモデルを選んでください。
質問を入力して動作を確かめる
モデルのダウンロードが終わったら、チャットの画面で質問を入力します。日本語で質問して、日本語で自然に答えるかを最初に確かめます。
インターネットの接続を切った状態でも答えるかを試すと、パソコンの中だけで動いていることを確認できます。
速度と回答の質を確かめる
実際の業務に近い質問で、答えが出るまでの速さと内容の正確さを確かめます。遅すぎる場合は、より小さなモデルへの変更が有効です。
答えの質が足りない場合は、より大きなモデルを試します。パソコンの性能が足りなければ、パソコンの強化か、クラウドのAIとの使い分けが選択肢です。
業務で使う場面を決める
動作を確かめたら、どの業務で使うかを決めます。社外に出せない文書の要約や、機密を含む文章の下書きなどが、ローカルLLMに向いた使い道です。
最新の情報の調査や高度な分析は、クラウドのAIのほうが得意な場合があります。扱う情報の機密の度合いで使い分けてください。
ローカルLLMを業務で使う方法
ローカルLLMを業務で使うときは、チャットで質問するだけでなく、社内の文書を読ませたり、チームで共有したりする使い方があります。文書の長さやチームでの接続には設定が関わるため、使い始める前に方法を知っておきましょう。
ローカルLLMを業務で使う方法は、以下の3つです。
- 文書を添付して質問する
- 長い文書は扱える量の設定を見直す
- チームで使うときは共有用の画面を用意する
文書を添付して質問する
LM Studioでは、Word・PDF・テキストの文書をチャットに添付できます。添付した文書は、AIが答えるときに追加の情報として使われます。
文書が長い場合は、質問に関係する部分を探し出して使う仕組みが働きます。社内の規程やマニュアルについて質問する使い方に向いた機能です。
長い文書は扱える量の設定を見直す
モデルが一度に扱える文章の量には上限があります。Ollamaの公式ドキュメントのよくある質問によると、初期の設定で扱える量は4,096トークンです。
トークンは、AIが文章を処理するときの単位です。長い文書を扱う場合は、設定で上限を引き上げます。上限を上げると、必要なメモリも増えます。
チームで使うときは共有用の画面を用意する
複数の人で使う場合は、1台のパソコンやサーバーでモデルを動かし、ブラウザから使える共有用の画面を用意する方法があります。Open WebUIは、Ollamaに対応した、自社で運用するAIの画面のソフトです。
Open WebUIの公式ドキュメントは、Open WebUIが完全にオフラインで動かせるよう作られていると説明しています。
Ollamaは、初期の設定では、動かしているパソコンからしか接続できません。社内のほかのパソコンから使うには、接続を受け付ける設定に変える必要があります。
ローカルLLMを作るときの注意点
ローカルLLMは、入力した内容が外に出ない一方で、回答の確認や設定・運用を自社で行う必要があります。始める前に注意点を知っておくと、設定の誤りや、使われないまま古くなる失敗を防げます。
ローカルLLMを作るときの注意点は、以下の4つです。
- 回答の質はクラウドの最新のモデルに及ばない場合がある
- 外部から接続できる設定にするときは対策が必要になる
- モデルごとの利用条件を確かめる
- 運用と更新を担当する人が必要になる
回答の質はクラウドの最新のモデルに及ばない場合がある
手元のパソコンで動かせるモデルは、クラウドで提供される最新の大きなモデルより小さいものです。複雑な推論や長い文章の作成では、回答の質に差が出ることがあります。
ローカルLLMも、事実と異なる内容を答えることがあります。回答を確かめる作業は、クラウドのAIと同じように必要です。事実と異なる回答が出る原因と防ぐ対策は、AIのハルシネーションの記事で解説しています。
AIのハルシネーションとは?原因と対策・防ぐプロンプトを解説
外部から接続できる設定にするときは対策が必要になる
チームで使うために接続を受け付ける設定に変えると、社内のネットワークからモデルを使えるようになります。設定を誤ると、意図しない相手からも接続できる状態になります。
ローカルLLMを動かすパソコンやサーバーは、インターネットから直接つながる場所には置かず、接続できる範囲を社内に限定してください。設定は、ネットワークに詳しい担当者と確かめながら行います。
モデルごとの利用条件を確かめる
公開されているモデルには、モデルごとに利用の条件が定められています。商用で使えるか、使い方に制限があるかは、モデルによって違います。
業務で使う前に、モデルの配布ページに書かれた利用条件を読んでください。
運用と更新を担当する人が必要になる
ローカルLLMは、ソフトとモデルの更新を自社で行います。新しいモデルが出たときの入れ替えや、不具合が起きたときの対応も必要です。
担当する人を決めずに始めると、古い状態のまま使われなくなります。小さく始める場合でも、管理する人を1人決めておきます。
ローカルLLMの作り方に関するよくある質問
ローカルLLMの作り方を調べると、費用やプログラミングの知識、ノートパソコンで動くかなどの疑問が出てきます。作り始める前に知っておきたい疑問に回答します。
ローカルLLMの作り方に関するよくある質問は、以下の5つです。
- ローカルLLMは無料で作れますか?
- ローカルLLMを自作するにはどうすればよいですか?
- ローカルLLMを作るのにプログラミングの知識は必要ですか?
- ローカルLLMはノートパソコンでも動きますか?
- ローカルLLMに自社のデータを学習させることはできますか?
ローカルLLMは無料で作れますか?
作れます。LM StudioとOllamaは無料で使い始められ、公開されているモデルも無料でダウンロードできます。かかる費用は、パソコンの費用と電気代です。
ローカルLLMを自作するにはどうすればよいですか?
LM StudioかOllamaをインストールし、モデルをダウンロードして実行します。モデルを一から開発する必要はありません。
ローカルLLMを作るのにプログラミングの知識は必要ですか?
LM Studioを使う場合は必要ありません。アプリの画面でモデルを選び、チャットの画面で質問するだけで使えます。
チームでの共有や、ほかのシステムとの連携を行う場合は、設定の知識がある人の協力が必要です。
ローカルLLMはノートパソコンでも動きますか?
メモリが16GB以上あるノートパソコンなら、小さなモデルを動かせます。LM StudioをMacで使う場合は、Appleシリコンを搭載した機種が対象です。
大きなモデルを快適に動かすには、高性能なGPUを持つパソコンが必要になります。
ローカルLLMに自社のデータを学習させることはできますか?
モデルに追加で学習させる方法はありますが、専門の知識と計算の設備が必要です。多くの業務では、文書を添付して参照させる方法で足ります。
まずは文書を読ませる使い方を試し、足りない場合に追加の学習を検討する順番が現実的です。
まとめ
ローカルLLMの作り方は、実行するソフトを入れて、公開されているモデルをダウンロードするだけです。入力した内容が外に出ないため、社外に出せない情報を扱う業務で役立ちます。
まずはLM Studioを手元のパソコンに入れ、小さなモデルで社内の文書の要約を試しましょう。速度と回答の質を確かめてから、パソコンの強化やチームでの共有を検討する進め方が、無駄のない始め方です。



