ローカルLLMの作り方！必要なPCと無料の構築手順・注意点を解説

社外に出せない情報をAIで扱いたいものの、クラウドのAIに入力するのは不安だと感じていないでしょうか。ローカルLLMが解決策になると聞いても、作るには専門の技術が必要そうで、手を出せない方も多いはずです。

この記事では、ローカルLLMの作り方の全体像・必要なPC・2つの無料ソフトでの構築手順・社内の文書を読ませる方法・チームで共有する方法・注意点を、各ソフトの公式情報に沿って解説します。

記事を読めば、自分のPCでローカルLLMを動かし、業務で試せる状態です。結論は、作り方の基本はソフトを入れてモデルをダウンロードするだけで、プログラムを書く必要はありません。まずは手元のPCで小さなモデルを動かしてみましょう。

ローカルLLMの作り方の全体像

ローカルLLMの作り方は、以下の3つを押さえると全体が見えます。

• 公開されているモデルを自分のPCで動かす環境を作る
• 必要なものはPC・実行するソフト・モデルの3つ
• 入力した内容が外部に送られない点が利点になる

公開されているモデルを自分のPCで動かす環境を作る

LLMは大規模言語モデルの略で、ChatGPTなどの生成AIの中心になっている仕組みです。ローカルLLMは、クラウドではなく、自分のPCや社内のサーバーの中で動かすLLMを指します。

作るといっても、モデルを一から開発するわけではありません。GoogleやOpenAIなどが公開しているモデルをダウンロードし、手元で動かせる環境を整える作業です。

必要なものはPC・実行するソフト・モデルの3つ

必要なものは、モデルを動かせる性能のPC・モデルを実行するソフト・モデルの3つです。実行するソフトの代表は、LM StudioとOllamaです。

どちらも無料で使い始められ、モデルのダウンロードから実行までを1つのソフトで行えます。

入力した内容が外部に送られない点が利点になる

ローカルで動かす最大の利点は、入力した内容がPCの外に出ないことです。Ollamaの公式のよくある質問は、ローカルで実行する場合、利用者の指示やデータを同社が見ることはないと説明しています。

顧客の情報や未公開の資料など、クラウドのサービスに入力しにくい情報を扱う業務で検討する価値があります。

生成AIの情報漏洩はなぜ起こる？実際の事例と防ぐ対策・入力後の対応を解説

ローカルLLMに必要なPC

ローカルLLMに必要なPCについて、以下の3つを確かめます。

• メモリは16GB以上が目安になる
• 大きなモデルほど高性能なGPUが必要になる
• モデルは小さいものから試す

メモリは16GB以上が目安になる

LM Studioの公式の動作要件では、WindowsもMacも16GB以上のメモリが推奨されています。Windowsでは、4GB以上の専用のビデオメモリを持つGPUも推奨されています。

Macは、Appleシリコンを搭載した機種が対象で、macOS 14.0以降が必要です。インテル製のチップを搭載したMacは、現在は対応していません。

8GBのMacでも使える場合がありますが、小さなモデルにとどめるよう案内されています。

大きなモデルほど高性能なGPUが必要になる

モデルは、大きいほど賢くなる代わりに、多くのメモリと計算の力を必要とします。GPUは、AIの計算を速く行うための部品です。

Ollamaの公式の案内も、ローカルでの速度はハードウェアに左右され、強力なGPUのないPCでは大きなモデルは遅いと説明しています。OpenAIが公開しているモデルのgpt-oss-20bは、16GBのメモリが目安とされています。

モデルは小さいものから試す

最初から高価なPCを買う必要はありません。手元のPCで小さなモデルを動かし、速度と回答の質を確かめてから必要な性能を見積もる順番が安全です。

モデルの名前に付く4bや8bなどの表記は、モデルの大きさを表します。数字が小さいほど、軽く動くモデルです。

ローカルLLMを作る2つの方法

ローカルLLMを作る代表的な2つの方法を比べると、以下の表のとおりです。

2つの方法の特徴は、以下のとおりです。

• LM Studioは画面の操作だけで始められる
• Ollamaはほかのツールとつなげやすい

LM Studioは画面の操作だけで始められる

LM Studioは、アプリの画面からモデルを探してダウンロードし、チャットの画面で会話できるソフトです。公式の料金ページによると、無料のプランにローカルのモデルの利用が含まれています。

WordやPDFなどの文書をチャットに添付して、内容について質問する機能もあります。コマンドの入力に慣れていない方は、LM Studioから始めると迷いません。

公式サイトでは、作業を任せられるエージェントの機能を備えたLM Studio Bionicの名前で案内されています。

Ollamaはほかのツールとつなげやすい

Ollamaは、macOS・Windows・Linuxに対応した、モデルを実行するソフトです。プログラムの中身が公開されているオープンソースのソフトで、ローカルでの実行は無料です。

Claude CodeやCodexなどの開発用のツールと連携する機能があり、社内のほかのシステムから呼び出す使い方にも向いています。

Claude CodeでローカルLLMを使う方法｜Ollama連携の手順と注意点

ローカルLLMを作る手順

ローカルLLMは、以下の5つの手順で作れます。

• 実行するソフトをインストールする
• モデルを選んでダウンロードする
• 質問を入力して動作を確かめる
• 速度と回答の質を確かめる
• 業務で使う場面を決める

実行するソフトをインストールする

最初に、LM StudioかOllamaを公式サイトからダウンロードしてインストールします。必ず公式サイトから入手してください。

Ollamaは、公式サイトのダウンロードのページに、macOS・Linux・WindowsのOSごとのインストールの方法が載っています。

モデルを選んでダウンロードする

次に、動かすモデルを選びます。LM Studioは、アプリの中で最新のモデルを検索してダウンロードできる作りです。

Ollamaのモデルの一覧には、GoogleのGemma・OpenAIのgpt-oss・アリババのQwenなどが載っています。Gemma 3は、1つのGPUで動く高性能なモデルとの紹介です。

Ollamaには、クラウドで動くモデルも用意されています。入力を外に出したくない場合は、ローカルで動くモデルを選んでください。

質問を入力して動作を確かめる

モデルのダウンロードが終わったら、チャットの画面で質問を入力します。日本語で質問して、日本語で自然に答えるかが最初の確認の点です。

インターネットの接続を切った状態でも答えるかを試すと、PCの中だけで動いていることを確認できます。

速度と回答の質を確かめる

実際の業務に近い質問で、答えが出るまでの速さと内容の正確さを確かめます。遅すぎる場合は、より小さなモデルへの変更が有効です。

答えの質が足りない場合は、より大きなモデルを試します。PCの性能が足りなければ、PCの強化か、クラウドのAIとの使い分けが選択肢です。

業務で使う場面を決める

動作を確かめたら、どの業務で使うかを決めます。社外に出せない文書の要約や、機密を含む文章の下書きなどが、ローカルLLMに向いた使い道です。

最新の情報の調査や高度な分析は、クラウドのAIのほうが得意な場合があります。扱う情報の機密の度合いで使い分けてください。

社内の文書を読ませる方法とチームで使う方法

ローカルLLMを業務で使うときは、以下の3つの方法を知っておくと役立ちます。

• 文書を添付して質問する
• 長い文書は扱える量の設定を見直す
• チームで使うときは共有用の画面を用意する

文書を添付して質問する

LM Studioでは、Word・PDF・テキストの文書をチャットに添付できます。添付した文書は、AIが答えるときの追加の情報です。

文書が長い場合は、質問に関係する部分を探し出して使う仕組みが働きます。社内の規程やマニュアルについて質問する使い方に向いた機能です。

長い文書は扱える量の設定を見直す

モデルが一度に扱える文章の量には上限があります。Ollamaの公式のよくある質問によると、初期の設定で扱える量は4,096トークンです。

トークンは、AIが文章を処理するときの単位です。長い文書を扱う場合は、設定で上限を引き上げます。上限を上げると、必要なメモリも増えます。

チームで使うときは共有用の画面を用意する

複数の人で使う場合は、1台のPCやサーバーでモデルを動かし、ブラウザから使える共有用の画面を用意する方法があります。Open WebUIは、Ollamaに対応した、自社で運用するAIの画面のソフトです。

公式ドキュメントは、完全にオフラインで動かせるよう作られていると説明しています。

Ollamaは、初期の設定では、動かしているPCからしか接続できません。社内のほかのPCから使うには、接続を受け付ける設定に変える必要があります。

ローカルLLMを作るときの注意点

ローカルLLMを作るときの注意点は、以下の4つです。

• 回答の質はクラウドの最新のモデルに及ばない場合がある
• 外部から接続できる設定にするときは対策が必要になる
• モデルごとの利用条件を確かめる
• 運用と更新を担当する人が必要になる

回答の質はクラウドの最新のモデルに及ばない場合がある

手元のPCで動かせるモデルは、クラウドで提供される最新の大きなモデルより小さいものです。複雑な推論や長い文章の作成では、回答の質に差が出ることがあります。

ローカルLLMも、事実と異なる内容を答えることがあります。回答を確かめる作業は、クラウドのAIと同じように必要です。

AIのハルシネーションとは？原因と対策・防ぐプロンプトを解説

外部から接続できる設定にするときは対策が必要になる

チームで使うために接続を受け付ける設定に変えると、社内のネットワークからモデルを使えるようになります。設定を誤ると、意図しない相手からも接続できる状態になります。

インターネットから直接つながる場所には置かず、接続できる範囲を社内に限定してください。設定は、ネットワークに詳しい担当者と確かめながら行います。

モデルごとの利用条件を確かめる

公開されているモデルには、モデルごとに利用の条件が定められています。商用で使えるか、使い方に制限があるかは、モデルによって違います。

業務で使う前に、モデルの配布ページに書かれた利用条件を読んでください。

運用と更新を担当する人が必要になる

ローカルLLMは、ソフトとモデルの更新を自社で行います。新しいモデルが出たときの入れ替えや、不具合が起きたときの対応も必要です。

担当する人を決めずに始めると、古い状態のまま使われなくなります。小さく始める場合でも、管理する人を1人決めておきます。

ローカルLLMの作り方のよくある質問

ローカルLLMの作り方についてよく出る疑問は、以下の5つです。

• ローカルLLMは無料で作れますか？
• ローカルLLMを自作するにはどうすればよいですか？
• プログラミングの知識は必要ですか？
• ノートPCでも動きますか？
• 自社のデータを学習させることはできますか？

ローカルLLMは無料で作れますか？

作れます。LM StudioとOllamaは無料で使い始められ、公開されているモデルも無料でダウンロードできます。かかる費用は、PCと電気代です。

ローカルLLMを自作するにはどうすればよいですか？

LM StudioかOllamaをインストールし、モデルをダウンロードして実行します。モデルを一から開発する必要はありません。

プログラミングの知識は必要ですか？

LM Studioを使う場合は必要ありません。アプリの画面でモデルを選び、チャットの画面で質問するだけで使えます。

チームでの共有や、ほかのシステムとの連携を行う場合は、設定の知識がある人の協力が必要です。

ノートPCでも動きますか？

メモリが16GB以上あるノートPCなら、小さなモデルを動かせます。Macは、Appleシリコンを搭載した機種が対象です。

大きなモデルを快適に動かすには、高性能なGPUを持つPCが必要になります。

自社のデータを学習させることはできますか？

モデルに追加で学習させる方法はありますが、専門の知識と計算の設備が必要です。多くの業務では、文書を添付して参照させる方法で足ります。

まずは文書を読ませる使い方を試し、足りない場合に追加の学習を検討する順番が現実的です。

ローカルLLMは手元のPCで小さなモデルから作りましょう

ローカルLLMの作り方は、実行するソフトを入れて、公開されているモデルをダウンロードするだけです。入力した内容が外に出ないため、社外に出せない情報を扱う業務で役立ちます。

まずはLM Studioを手元のPCに入れ、小さなモデルで社内の文書の要約を試しましょう。速度と回答の質を確かめてから、PCの強化やチームでの共有を検討する進め方が、無駄のない始め方です。