AIツール活用

llama.cppの使い方|インストールから日本語の質問まで実画面で解説

中島大介(なかじ)読了時間 約28分
Macでllama.cppを使う方法を解説する記事のアイキャッチ

手元のMacでAIのモデルを動かしたいけれど、使うモデルや起動の条件を自分で決めたいと考える方もいるでしょう。アプリの画面で操作するツールと違い、コマンドで動かすツールは、どこから始めればよいか迷いがちです。

llama.cppは、AIのモデルをパソコンの中で動かすための、無料で使えるオープンソースのソフトです。Macに入れると、ターミナルで質問したり、ブラウザの画面やほかのアプリから使ったりできます。

この記事では、Macへのllama.cppのインストールから、モデルのダウンロード、質問、ローカルAPI、止め方と削除までを実画面で解説します。

この記事を読めば、llama.cppで手元のMacにAIを動かし、使い終わったら元に戻せるようになります。まずは公式のインストールのコマンドを、ターミナルに1行入力するところから始めてください。

目次

llama.cppを使う前に確かめること

llama.cppを入れる前に、Macの条件と使うモデルを確かめます。使う前に確かめることは、以下の3つです。

  1. AppleシリコンのMacかを確かめる
  2. 空き容量を確かめる
  3. 練習で使うモデルを決める

AppleシリコンのMacかを確かめる

この記事のインストールの方法は、M1〜M5のチップを積んだAppleシリコンのMacで使えます。公式のインストールのスクリプトは、Macのチップの名前を調べて、チップに合うllama.cppをダウンロードする作りです。

チップは、ターミナルで確かめます。ターミナルの場所は、Finderの「アプリケーション」の中の「ユーティリティ」フォルダです。ターミナルを開いて、以下の2つのコマンドを1行ずつ入力し、Enterキーを押します。

system_profiler SPHardwareDataType 2>/dev/null | grep -E "Chip|Memory"

df -h ~

以下の画像は、2つのコマンドを入力した画面です。

「Chip」の行がチップの名前「Memory」の行がメモリの量です。「Chip」の行に「Apple M1」〜「Apple M5」と出ていれば、この記事の方法で入れられます。

インストールのスクリプトの中身を見ると、Intelのチップを積んだMacでは、入れられるllama.cppが見つからずに止まる作りです。Intelのチップを積んだMacでは、この記事の方法は使えません。

空き容量を確かめる

「df -h ~」の結果の「Avail」の列が、Macの空き容量です。編集部のMacでは「26Gi」と出ており、約26GBが空いていました。

この記事で使うモデルは、ダウンロードすると約4.8GBでした。モデルの大きさに対して、空き容量に余裕があるかを確かめておきます。

メモリの量と動かせるモデルの大きさの目安は、以下の記事で解説しています。編集部のMacは、メモリが32GBのApple M2 Proです。

ローカルLLMに必要なスペック!メモリとGPUの目安・PCの選び方を解説

練習で使うモデルを決める

llama.cppで使うモデルは、GGUFという形式のファイルです。この記事では、Hugging Faceのggml-orgが公開している「gemma-4-E4B-it-GGUF」を使います。ggml-orgは、llama.cppを開発しているチームの名前です。

質問への答えは、ダウンロードしたモデルを使ってMacの中のllama.cppが作ります。ただし、インストールやモデルのダウンロードのほか、起動のときにモデルの新しい版を確かめるなどでネットにつながる場合があります。

通信をさせたくない場合のために、llama.cppには「--offline」という指定もあります。この記事では、通信を止めた状態での動作は確かめていません。

llama.cppをインストールする手順

llama.cppは、公式のインストールのコマンドを1行入力して入れます。llama.cppをインストールする手順は、以下の3つです。

  1. 公式のインストールのコマンドを実行する
  2. PATHに1行を足す
  3. 新しいウィンドウでllama versionを確かめる

公式のインストールのコマンドを実行する

インストールのコマンドは、llama.cppのGitHubのページの「Quick start」に載っています。以下の画像は、Quick startの部分です。

ターミナルに、以下のコマンドを入力してEnterキーを押します。

curl -LsSf https://llama.app/install.sh | sh

以下の画像は、インストールが終わった画面です。

「Installation completed successfully」は、インストールが終わったという意味です。「Version: b12182」は入った版を「Found: m2」はMacのチップを見つけたことを表します。

llama.cppは、ホームフォルダの「.llama-app」と「.local/bin」の2か所に入ります。どちらも名前が「.」で始まるので、Finderでは隠れて見えません。

インストールの画面の最後には、Macの設定によって以下の3通りの案内のどれかが出ます。

出た案内意味次にすること
Run the following command to start itすぐに使える「新しいウィンドウでllama versionを確かめる」へ進む
Please open a new terminal window or restart your shell新しいウィンドウから使える「新しいウィンドウでllama versionを確かめる」へ進む
To make llama available in future sessionsPATHに1行を足す必要がある次の「PATHに1行を足す」へ進む

編集部のMacでは、3つ目の「To make llama available in future sessions」が出ました。その下の「Then open a new terminal」と「To start it now without modifying your PATH」は、どの場合にも続けて出る案内です。新しいウィンドウで起動する方法と、PATHを変えずにすぐ起動する方法を表しています。

PATHに1行を足す

「To make llama available in future sessions」と出たMacでは、llama.cppの入った「.local/bin」がPATHに入っていません。そのままインストールの直後に「llama version」と入力すると、以下の画像のように「command not found: llama」と出ます。

「command not found」は、コマンドが見つからないという意味です。ターミナルは、PATHという一覧に書かれたフォルダの中からコマンドを探します。

インストールの画面の「To make llama available in future sessions」の下に、PATHに足すためのコマンドが出ています。以下のコマンドを入力してEnterキーを押し、続けて「cat ~/.zprofile」で書き込まれた中身を確かめます。

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.zprofile

cat ~/.zprofile

以下の画像は、2つのコマンドを入力した画面です。

「~/.zprofile」は、ターミナルを開いたときに読み込まれる設定のファイルです。「export PATH="$HOME/.local/bin:$PATH"」の1行が出ていれば、書き込めています。

書き込んだ1行が効くのは、次に開いたウィンドウからです。

新しいウィンドウでllama versionを確かめる

ターミナルのメニューの「シェル」から「新規ウインドウ」を選ぶか、Commandキーを押しながらNキーを押して、新しいウィンドウを開きます。新しいウィンドウに、以下のコマンドを入力してEnterキーを押します。

llama version

以下の画像は、llama versionを入力した画面です。

「build 12182」と出れば、インストールした版が動いています。インストールの画面の「Version: b12182」と、番号が同じかを確かめます。

llama.cppで使うGGUFのモデルをダウンロードする手順

llama.cppで使うモデルは、Hugging Faceというモデルの公開サイトからダウンロードします。モデルをダウンロードする手順は、以下の2つです。

  1. モデルのページで容量と種類を確かめる
  2. llama downloadでダウンロードする

モデルのページで容量と種類を確かめる

ブラウザで、ggml-org/gemma-4-E4B-it-GGUFのページを開きます。以下の画像は、モデルのページです。

右側の「Hardware compatibility」の欄に、ファイルの種類と容量が並んでいます。数字が小さい種類ほど、モデルを小さく縮めたファイルです。3つの種類の違いは、以下の表のとおりです。

種類容量特徴
Q4_0(4-bit)4.59GBいちばん小さい。この記事で使う
Q8_0(8-bit)8.03GBQ4_0より大きく、元のモデルに近い
BF16(16-bit)15.1GB縮めていない元の大きさ

名前の下の「License: apache-2.0」で、モデルの利用条件を確かめられます。利用条件はモデルごとに違うので、仕事で使う前にモデルのページで確かめます。

llama downloadでダウンロードする

ターミナルに、以下のコマンドを入力してEnterキーを押します。最後の「:Q4_0」で、ダウンロードするファイルの種類を指定しています。

llama download -hf ggml-org/gemma-4-E4B-it-GGUF:Q4_0

以下の画像は、ダウンロードの途中の画面です。

2つのファイルがダウンロードされます。「mmproj」で始まるファイルは、画像や音声を読み取るときに使う追加のファイルです。

編集部の回線では、約2分でダウンロードが終わりました。以下の画像は、ダウンロードが終わった画面です。

最後に、ダウンロードしたファイルの場所が出ます。モデルは、ホームフォルダの「.cache/huggingface/hub」の中に保存されます。

画像の黒い部分は、編集部が撮影のために用意した一時的なホームフォルダの場所を隠しました。読者のMacでは、黒い部分に「/Users/ユーザー名」が表示されます。

llama.cppでターミナルから日本語の質問をする手順

モデルのダウンロードが終わったら、ターミナルで質問します。ターミナルで日本語の質問をする手順は、以下の3つです。

  1. llama cliでモデルを読み込む
  2. 日本語で質問して答えを確かめる
  3. /exitで会話を終える

llama cliでモデルを読み込む

ターミナルに、以下のコマンドを入力してEnterキーを押します。

llama cli -hf ggml-org/gemma-4-E4B-it-GGUF:Q4_0

以下の画像は、モデルを読み込んだ画面です。

一番下に「>」が出たら、質問を入力できます。「model」の行は、読み込んだモデルの名前です。

「available commands」に、会話の中で使えるコマンドが並んでいます。よく使うコマンドは、以下の表のとおりです。

コマンド働き
/exit(またはCtrl+C)会話を終える
/regen最後の答えを作り直す
/clear会話の履歴を消す
/read ファイル名テキストファイルを読み込ませる

日本語で質問して答えを確かめる

「>」の後ろに、以下の質問を入力します。

「次の連絡を、取引先に送る丁寧なメールの文面に直してください。5行以内でお願いします。「明日の打ち合わせは14時からに変更です。場所は同じです。」」

以下の画像は、質問を入力した画面です。

質問を入力したら、Enterキーを押します。答えは少しずつ表示されます。

以下の画像は、答えが出終わった画面です。

灰色の文は、モデルが答えを考えている途中の文です。「[End thinking]」の後の白い文が、モデルの答えにあたります。

最後の「Generation: 41.5 t/s」は、答えを作る速さの目安です。1秒に、トークンという文字のまとまりを約41個作ったという意味です。

答えの長さは、質問の文で指定すると読みやすくなります。編集部が「5行以内」を付けずに同じ質問をしたときは、文面の案が2つと説明が出て、画面に収まりませんでした。

/exitで会話を終える

会話を終えるときは「>」の後ろに「/exit」と入力してEnterキーを押します。以下の画像は、/exitを入力した画面です。

「Exiting...」と出て、いつものターミナルの入力の行に戻れば終わりです。次に使うときも、同じ「llama cli」のコマンドを入力します。2回目からは、モデルのダウンロードはされずにすぐ読み込まれました。

llama.cppをブラウザの画面で使う手順

llama.cppには、ブラウザで使う質問の画面も入っています。ブラウザの画面で質問する手順は、以下の3つです。

  1. llama serveでサーバーを起動する
  2. ブラウザでhttp://127.0.0.1:8080を開く
  3. 質問を入力して答えを確かめる

llama serveでサーバーを起動する

ターミナルに、以下のコマンドを入力してEnterキーを押します。

llama serve -hf ggml-org/gemma-4-E4B-it-GGUF:Q4_0 --host 127.0.0.1 --port 8080

コマンドの「--host 127.0.0.1」は、このMacの中からの接続だけを受け付けるという指定です。「--port 8080」で、接続を受け付ける番号(ポート)を決めます。

以下の画像は、サーバーが起動した画面です。

最後の行に「listening on http://127.0.0.1:8080」と出れば、起動しています。画像の黒い部分は、撮影のための一時的なホームフォルダの場所を隠しました。サーバーは、ターミナルのウィンドウを開いている間だけ動きます。次の手順が終わるまで、ウィンドウは閉じないでください。

途中の「W」の行は、注意の表示です。「security: no API key is set」は、パスワードにあたるAPIキーを設定していないという意味です。「--host 127.0.0.1」のままにして、ほかのパソコンからつながらないようにしておきます。

ブラウザでhttp://127.0.0.1:8080を開く

ChromeやSafariなどのブラウザのアドレス欄に「http://127.0.0.1:8080」と入力して開きます。以下の画像は、Chromeで開いた画面です。

入力欄の右下に「ggml-org/gemma-4」と出ていれば、サーバーで読み込んだモデルにつながっています。

質問を入力して答えを確かめる

「Type a message...」の入力欄に、以下の質問を入力します。

「「明日の打ち合わせは14時からに変更です。場所は同じです。」を、社内のチャットに流す短いお知らせに直してください。」

以下の画像は、質問を入力した画面です。

質問を入力したら、Enterキーを押します。

以下の画像は、答えが出た画面です。

ブラウザの画面では、答えの見出しや箇条書きが整えて表示されます。編集部の質問では、お知らせの文面の案が3つ出ました。

llama.cppのローカルAPIの応答を確かめる手順

llama serveで起動したサーバーは、ほかのアプリからの質問も受け付けます。ローカルAPIの応答を確かめる手順は、以下の2つです。

  1. 別のターミナルのウィンドウでcurlを実行する
  2. ほかのパソコンからつながらないようにする

別のターミナルのウィンドウでcurlを実行する

ローカルAPIは、ほかのアプリがllama.cppに質問を送るための窓口です。llama.cppのサーバーは、OpenAIのAPIに合わせた形(OpenAI互換)で質問を受け付けます。公式は完全な互換を約束していませんが、OpenAIのAPIに対応した多くのアプリから使える作りです。

サーバーを動かしたまま、ターミナルのメニューの「シェル」から「新規ウインドウ」を選ぶか、Commandキーを押しながらNキーを押します。新しいウィンドウに、以下のコマンドを入力してEnterキーを押します。

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"「明日の打ち合わせは14時からに変更です。」を英語に訳してください。訳文だけを1行で答えてください。"}]}'

以下の画像は、curlのコマンドを実行した画面です。

返ってきた文字の「"content"」の後ろが、モデルの答えです。編集部の画面では「Tomorrow's meeting is changed to 2 PM.」と返ってきました。「"model"」の後ろには、答えたモデルの名前が出ます。

ほかのパソコンからつながらないようにする

この記事のサーバーは、APIキーを設定していません。「--host」を「127.0.0.1」以外に変えると、同じネットワークのほかのパソコンからも質問を送れるようになります。

社内のネットワークで共有する予定がなければ「--host 127.0.0.1」のまま使います。共有する場合のAPIキーの設定は、llama.cppのサーバーの説明書の「--api-key」で確かめてください。

llama.cppを止める・削除する手順

使い終わったら、サーバーを止め、不要になったモデルとllama.cppを消します。llama.cppを止める・削除する手順は、以下の3つです。

  1. Ctrl+Cでサーバーを止める
  2. ダウンロードしたモデルを消す
  3. llama.cppを消す

Ctrl+Cでサーバーを止める

curlを実行したウィンドウは、閉じてかまいません。サーバーを動かしているウィンドウを選んで、Ctrlキーを押しながらCキーを押します。以下の画像は、サーバーを止めた画面です。

「cleaning up before exit...」と出て、ターミナルの入力の行に戻れば止まっています。サーバーを止めると、ブラウザの画面も使えません。次に使うときは、同じ「llama serve」のコマンドで起動します。

ダウンロードしたモデルを消す

ダウンロードしたモデルの場所と容量は、以下の2つのコマンドで確かめます。

ls ~/.cache/huggingface/hub

du -sh ~/.cache/huggingface/hub/models--ggml-org--gemma-4-E4B-it-GGUF

以下の画像は、2つのコマンドを入力した画面です。

モデルは、モデルごとに「models--」で始まるフォルダに入っています。この記事のモデルは、2つのファイルを合わせて4.8GBでした。画像の黒い部分は、撮影のための一時的なホームフォルダの場所を隠しました。

「.cache/huggingface/hub」のフォルダは、Hugging Faceを使うほかのツールも使う場合があります。フォルダごとではなく、この記事のモデルのフォルダだけを、以下のコマンドで消します。

rm -rf ~/.cache/huggingface/hub/models--ggml-org--gemma-4-E4B-it-GGUF

llama.cppを消す

llama.cppを消すときは、以下の2つのコマンドを入力します。2つのコマンドで、インストールで入った「.local/bin」と「.llama-app」の中のllama.cppが消えます。

rm ~/.local/bin/llama

rm -rf ~/.llama-app

以下の画像は、モデルとllama.cppを消すコマンドを入力した後に、消えたことを確かめた画面です。

「ls」で何も表示されず「llama version」で「command not found: llama」と出れば、消えています。「~/.zprofile」に足したPATHの1行は、残しておいても問題ありません。

llama.cppがうまく動かないときの対処法

編集部が試したときに、実際に出た表示と対処法をまとめます。llama.cppがうまく動かないときの対処法は、以下の3つです。

  1. command not found: llamaと出る
  2. couldn't bind HTTP server socketと出る
  3. 答えが長すぎて読みにくい

command not found: llamaと出る

インストールの直後に「command not found: llama」と出る場合は、PATHに「.local/bin」が入っていません。「PATHに1行を足す」の手順で1行を足し、新しいウィンドウで試します。

1行を足した後も同じ表示が出る場合は、古いウィンドウのまま入力していないかを確かめてください。「~/.zprofile」は、新しく開いたウィンドウでだけ読み込まれます。

couldn't bind HTTP server socketと出る

「llama serve」で起動したときに、以下の画像のように「couldn't bind HTTP server socket」と出て止まる場合があります。

8080番のポートを、ほかのプログラムがすでに使っているという意味です。編集部では、1つ目のサーバーを動かしたまま、別のウィンドウで同じコマンドを実行したときに出ました。

先に動いているサーバーのウィンドウでCtrl+Cを押して止めてから、もう一度起動します。ほかのアプリが8080番を使っている場合は「--port 8081」のように番号を変えて起動し、ブラウザで開くURLの番号も同じに変えます。

答えが長すぎて読みにくい

モデルの答えが長く、ターミナルの画面に収まらない場合は、質問の文に答えの長さを書きます。編集部では「5行以内でお願いします」や「訳文だけを1行で答えてください」と書くと、短い答えが返ってきました。

llama.cppの使い方に関するよくある質問

llama.cppを使い始めると、ほかの入れ方やツールとの違いが気になります。llama.cppの使い方についてよくある質問は、以下の3つです。

  1. Homebrewでも入れられますか?
  2. OllamaやLM Studioとは何が違いますか?
  3. モデルは仕事で使えますか?

Homebrewでも入れられますか?

Homebrewでも「brew install llama.cpp」で入れられます。入れ方の一覧が載っているのは、llama.cppの公式ドキュメント「Install pre-built version of llama.cpp」です。

ただし、Homebrewで入れた版が古いと、この記事のコマンドが使えない場合があります。以下の画像は、編集部のMacに前から入っていたHomebrewの版(b9430)で、llama downloadを実行した画面です。

「unknown command 'download'」は、古い版にdownloadのコマンドがないという意味です。画像の「llama-demo」は、編集部がHomebrewの版を試したときのフォルダの名前です。公式のスクリプトとHomebrewの両方で入れると、どちらのllamaが動くかが分かりにくくなります。入れ方は、どちらか1つにそろえてください。

OllamaやLM Studioとは何が違いますか?

llama.cppは、コマンドの指定で、使うモデルのファイルや起動の条件を細かく決めて動かすツールです。OllamaはコマンドとアプリでモデルのダウンロードやAPIをまとめて扱えるツールで、LM Studioは画面の操作でモデルを探して使えるアプリです。

コマンドに慣れていない場合は、OllamaかLM Studioから始めると操作が少なく済みます。OllamaとLM Studioの使い方は、以下の記事で解説しています。

Ollamaの使い方!インストールから日本語の質問・要約・削除まで画面で解説

LM Studioの使い方をMacの画面で解説!日本語チャットと文書の要約まで

モデルは仕事で使えますか?

モデルを仕事で使えるかは、モデルごとの利用条件で決まります。この記事のモデルのページには「License: apache-2.0」と書かれていました。

モデルを選ぶときは、Hugging Faceのモデルのページで「License」を確かめます。分からない場合は、社内の担当者に確認してから使ってください。

まとめ

llama.cppを使えば、手元のMacでAIのモデルを動かし、ターミナル・ブラウザ・ほかのアプリから質問できます。llama.cppの使い方の要点は、以下の5つです。

  1. 「curl -LsSf https://llama.app/install.sh | sh」で入れて、PATHの1行を足す
  2. 「llama download -hf モデルの名前:種類」でGGUFのモデルをダウンロードする
  3. 「llama cli」でターミナルから質問し「/exit」で終える
  4. 「llama serve」で起動し、ブラウザでhttp://127.0.0.1:8080を開く
  5. 使い終わったらCtrl+Cで止め、モデルとllama.cppはrmで消す

まずはAppleシリコンのMacで、公式のインストールのコマンドを1行入力するところから試してみてください。

参考リンク

この記事の監修者

中島大介(なかじ)

中島大介(なかじ)

株式会社メリル 代表取締役 / 記事監修

株式会社メリル代表取締役。SEO歴20年以上。最新AIやセキュリティについて発信するYouTube「ウェブ職TV」は登録者15万人以上。著書「ChatGPT & Copilotの教科書」は10万部突破!

プロフィールを見る

関連する記事

Cursorのプラグイン「pstack」の使い方を解説する記事のアイキャッチ
AIツール活用

pstackの使い方|Cursor・Claude Codeへの入れ方と頼み方

pstackを使ってみたい方は必見!この記事では、pstackの入れ方と/poteto-modeでの頼み方を解説します。実は、pstackで最初に覚えるコマンドは2つだけです。記事を読めば、AIに確かめさせながら作業を任せられます。

中島大介(なかじ)監修 / Touch AI編集部25 分で読めます
MetaのAIエージェント「Muse」の使い方を解説する記事のアイキャッチ
AIツール活用

Museの使い方|Meta Museの始め方・初期設定・料金を解説

Museを使い始めたい方は必見!この記事では、Meta Museの始め方・初期設定・料金を解説します。実は、Museとのやり取りをAIの学習に使う設定は最初からオンです。記事を読めば、任せる範囲を決めてから使い始められます。

中島大介(なかじ)監修 / Touch AI編集部26 分で読めます
Claude Codeで複数ファイルを一括置換する方法を解説する記事のアイキャッチ
AIツール活用

複数ファイルの文字列を一括置換するには?Claude Codeで残す語を指定

製品名の変更で複数のファイルを直したい方は必見!この記事では、Claude Codeで複数のファイルの文字を一括置換する手順を解説します。実は、残す語を決めてから置き換えられます。記事を読めば、コピーから元に戻す方法も分かります。

中島大介(なかじ)監修 / Touch AI編集部19 分で読めます

次のステップ

最新動向を学びに変える

話題のAIアップデートを、現役講師が背景と実務への影響まで解きほぐします。Touch AI の最新講座で、変化に追いつくための視点を得てください。

受講できる講座を見る