llama.cppの使い方|インストールから日本語の質問まで実画面で解説

手元のMacでAIのモデルを動かしたいけれど、使うモデルや起動の条件を自分で決めたいと考える方もいるでしょう。アプリの画面で操作するツールと違い、コマンドで動かすツールは、どこから始めればよいか迷いがちです。
llama.cppは、AIのモデルをパソコンの中で動かすための、無料で使えるオープンソースのソフトです。Macに入れると、ターミナルで質問したり、ブラウザの画面やほかのアプリから使ったりできます。
この記事では、Macへのllama.cppのインストールから、モデルのダウンロード、質問、ローカルAPI、止め方と削除までを実画面で解説します。
この記事を読めば、llama.cppで手元のMacにAIを動かし、使い終わったら元に戻せるようになります。まずは公式のインストールのコマンドを、ターミナルに1行入力するところから始めてください。
目次
- llama.cppを使う前に確かめること
- llama.cppをインストールする手順
- llama.cppで使うGGUFのモデルをダウンロードする手順
- llama.cppでターミナルから日本語の質問をする手順
- llama.cppをブラウザの画面で使う手順
- llama.cppのローカルAPIの応答を確かめる手順
- llama.cppを止める・削除する手順
- llama.cppがうまく動かないときの対処法
- llama.cppの使い方に関するよくある質問
- まとめ
- 参考リンク
llama.cppを使う前に確かめること
llama.cppを入れる前に、Macの条件と使うモデルを確かめます。使う前に確かめることは、以下の3つです。
- AppleシリコンのMacかを確かめる
- 空き容量を確かめる
- 練習で使うモデルを決める
AppleシリコンのMacかを確かめる
この記事のインストールの方法は、M1〜M5のチップを積んだAppleシリコンのMacで使えます。公式のインストールのスクリプトは、Macのチップの名前を調べて、チップに合うllama.cppをダウンロードする作りです。
チップは、ターミナルで確かめます。ターミナルの場所は、Finderの「アプリケーション」の中の「ユーティリティ」フォルダです。ターミナルを開いて、以下の2つのコマンドを1行ずつ入力し、Enterキーを押します。
system_profiler SPHardwareDataType 2>/dev/null | grep -E "Chip|Memory"
df -h ~
以下の画像は、2つのコマンドを入力した画面です。
「Chip」の行がチップの名前「Memory」の行がメモリの量です。「Chip」の行に「Apple M1」〜「Apple M5」と出ていれば、この記事の方法で入れられます。
インストールのスクリプトの中身を見ると、Intelのチップを積んだMacでは、入れられるllama.cppが見つからずに止まる作りです。Intelのチップを積んだMacでは、この記事の方法は使えません。
空き容量を確かめる
「df -h ~」の結果の「Avail」の列が、Macの空き容量です。編集部のMacでは「26Gi」と出ており、約26GBが空いていました。
この記事で使うモデルは、ダウンロードすると約4.8GBでした。モデルの大きさに対して、空き容量に余裕があるかを確かめておきます。
メモリの量と動かせるモデルの大きさの目安は、以下の記事で解説しています。編集部のMacは、メモリが32GBのApple M2 Proです。
ローカルLLMに必要なスペック!メモリとGPUの目安・PCの選び方を解説
練習で使うモデルを決める
llama.cppで使うモデルは、GGUFという形式のファイルです。この記事では、Hugging Faceのggml-orgが公開している「gemma-4-E4B-it-GGUF」を使います。ggml-orgは、llama.cppを開発しているチームの名前です。
質問への答えは、ダウンロードしたモデルを使ってMacの中のllama.cppが作ります。ただし、インストールやモデルのダウンロードのほか、起動のときにモデルの新しい版を確かめるなどでネットにつながる場合があります。
通信をさせたくない場合のために、llama.cppには「--offline」という指定もあります。この記事では、通信を止めた状態での動作は確かめていません。
llama.cppをインストールする手順
llama.cppは、公式のインストールのコマンドを1行入力して入れます。llama.cppをインストールする手順は、以下の3つです。
- 公式のインストールのコマンドを実行する
- PATHに1行を足す
- 新しいウィンドウでllama versionを確かめる
公式のインストールのコマンドを実行する
インストールのコマンドは、llama.cppのGitHubのページの「Quick start」に載っています。以下の画像は、Quick startの部分です。
ターミナルに、以下のコマンドを入力してEnterキーを押します。
curl -LsSf https://llama.app/install.sh | sh
以下の画像は、インストールが終わった画面です。
「Installation completed successfully」は、インストールが終わったという意味です。「Version: b12182」は入った版を「Found: m2」はMacのチップを見つけたことを表します。
llama.cppは、ホームフォルダの「.llama-app」と「.local/bin」の2か所に入ります。どちらも名前が「.」で始まるので、Finderでは隠れて見えません。
インストールの画面の最後には、Macの設定によって以下の3通りの案内のどれかが出ます。
| 出た案内 | 意味 | 次にすること |
|---|---|---|
| Run the following command to start it | すぐに使える | 「新しいウィンドウでllama versionを確かめる」へ進む |
| Please open a new terminal window or restart your shell | 新しいウィンドウから使える | 「新しいウィンドウでllama versionを確かめる」へ進む |
| To make llama available in future sessions | PATHに1行を足す必要がある | 次の「PATHに1行を足す」へ進む |
編集部のMacでは、3つ目の「To make llama available in future sessions」が出ました。その下の「Then open a new terminal」と「To start it now without modifying your PATH」は、どの場合にも続けて出る案内です。新しいウィンドウで起動する方法と、PATHを変えずにすぐ起動する方法を表しています。
PATHに1行を足す
「To make llama available in future sessions」と出たMacでは、llama.cppの入った「.local/bin」がPATHに入っていません。そのままインストールの直後に「llama version」と入力すると、以下の画像のように「command not found: llama」と出ます。
「command not found」は、コマンドが見つからないという意味です。ターミナルは、PATHという一覧に書かれたフォルダの中からコマンドを探します。
インストールの画面の「To make llama available in future sessions」の下に、PATHに足すためのコマンドが出ています。以下のコマンドを入力してEnterキーを押し、続けて「cat ~/.zprofile」で書き込まれた中身を確かめます。
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.zprofile
cat ~/.zprofile
以下の画像は、2つのコマンドを入力した画面です。
「~/.zprofile」は、ターミナルを開いたときに読み込まれる設定のファイルです。「export PATH="$HOME/.local/bin:$PATH"」の1行が出ていれば、書き込めています。
書き込んだ1行が効くのは、次に開いたウィンドウからです。
新しいウィンドウでllama versionを確かめる
ターミナルのメニューの「シェル」から「新規ウインドウ」を選ぶか、Commandキーを押しながらNキーを押して、新しいウィンドウを開きます。新しいウィンドウに、以下のコマンドを入力してEnterキーを押します。
llama version
以下の画像は、llama versionを入力した画面です。
「build 12182」と出れば、インストールした版が動いています。インストールの画面の「Version: b12182」と、番号が同じかを確かめます。
llama.cppで使うGGUFのモデルをダウンロードする手順
llama.cppで使うモデルは、Hugging Faceというモデルの公開サイトからダウンロードします。モデルをダウンロードする手順は、以下の2つです。
- モデルのページで容量と種類を確かめる
- llama downloadでダウンロードする
モデルのページで容量と種類を確かめる
ブラウザで、ggml-org/gemma-4-E4B-it-GGUFのページを開きます。以下の画像は、モデルのページです。
右側の「Hardware compatibility」の欄に、ファイルの種類と容量が並んでいます。数字が小さい種類ほど、モデルを小さく縮めたファイルです。3つの種類の違いは、以下の表のとおりです。
| 種類 | 容量 | 特徴 |
|---|---|---|
| Q4_0(4-bit) | 4.59GB | いちばん小さい。この記事で使う |
| Q8_0(8-bit) | 8.03GB | Q4_0より大きく、元のモデルに近い |
| BF16(16-bit) | 15.1GB | 縮めていない元の大きさ |
名前の下の「License: apache-2.0」で、モデルの利用条件を確かめられます。利用条件はモデルごとに違うので、仕事で使う前にモデルのページで確かめます。
llama downloadでダウンロードする
ターミナルに、以下のコマンドを入力してEnterキーを押します。最後の「:Q4_0」で、ダウンロードするファイルの種類を指定しています。
llama download -hf ggml-org/gemma-4-E4B-it-GGUF:Q4_0
以下の画像は、ダウンロードの途中の画面です。
2つのファイルがダウンロードされます。「mmproj」で始まるファイルは、画像や音声を読み取るときに使う追加のファイルです。
編集部の回線では、約2分でダウンロードが終わりました。以下の画像は、ダウンロードが終わった画面です。
最後に、ダウンロードしたファイルの場所が出ます。モデルは、ホームフォルダの「.cache/huggingface/hub」の中に保存されます。
画像の黒い部分は、編集部が撮影のために用意した一時的なホームフォルダの場所を隠しました。読者のMacでは、黒い部分に「/Users/ユーザー名」が表示されます。
llama.cppでターミナルから日本語の質問をする手順
モデルのダウンロードが終わったら、ターミナルで質問します。ターミナルで日本語の質問をする手順は、以下の3つです。
- llama cliでモデルを読み込む
- 日本語で質問して答えを確かめる
- /exitで会話を終える
llama cliでモデルを読み込む
ターミナルに、以下のコマンドを入力してEnterキーを押します。
llama cli -hf ggml-org/gemma-4-E4B-it-GGUF:Q4_0
以下の画像は、モデルを読み込んだ画面です。
一番下に「>」が出たら、質問を入力できます。「model」の行は、読み込んだモデルの名前です。
「available commands」に、会話の中で使えるコマンドが並んでいます。よく使うコマンドは、以下の表のとおりです。
| コマンド | 働き |
|---|---|
| /exit(またはCtrl+C) | 会話を終える |
| /regen | 最後の答えを作り直す |
| /clear | 会話の履歴を消す |
| /read ファイル名 | テキストファイルを読み込ませる |
日本語で質問して答えを確かめる
「>」の後ろに、以下の質問を入力します。
「次の連絡を、取引先に送る丁寧なメールの文面に直してください。5行以内でお願いします。「明日の打ち合わせは14時からに変更です。場所は同じです。」」
以下の画像は、質問を入力した画面です。
質問を入力したら、Enterキーを押します。答えは少しずつ表示されます。
以下の画像は、答えが出終わった画面です。
灰色の文は、モデルが答えを考えている途中の文です。「[End thinking]」の後の白い文が、モデルの答えにあたります。
最後の「Generation: 41.5 t/s」は、答えを作る速さの目安です。1秒に、トークンという文字のまとまりを約41個作ったという意味です。
答えの長さは、質問の文で指定すると読みやすくなります。編集部が「5行以内」を付けずに同じ質問をしたときは、文面の案が2つと説明が出て、画面に収まりませんでした。
/exitで会話を終える
会話を終えるときは「>」の後ろに「/exit」と入力してEnterキーを押します。以下の画像は、/exitを入力した画面です。
「Exiting...」と出て、いつものターミナルの入力の行に戻れば終わりです。次に使うときも、同じ「llama cli」のコマンドを入力します。2回目からは、モデルのダウンロードはされずにすぐ読み込まれました。
llama.cppをブラウザの画面で使う手順
llama.cppには、ブラウザで使う質問の画面も入っています。ブラウザの画面で質問する手順は、以下の3つです。
- llama serveでサーバーを起動する
- ブラウザでhttp://127.0.0.1:8080を開く
- 質問を入力して答えを確かめる
llama serveでサーバーを起動する
ターミナルに、以下のコマンドを入力してEnterキーを押します。
llama serve -hf ggml-org/gemma-4-E4B-it-GGUF:Q4_0 --host 127.0.0.1 --port 8080
コマンドの「--host 127.0.0.1」は、このMacの中からの接続だけを受け付けるという指定です。「--port 8080」で、接続を受け付ける番号(ポート)を決めます。
以下の画像は、サーバーが起動した画面です。
最後の行に「listening on http://127.0.0.1:8080」と出れば、起動しています。画像の黒い部分は、撮影のための一時的なホームフォルダの場所を隠しました。サーバーは、ターミナルのウィンドウを開いている間だけ動きます。次の手順が終わるまで、ウィンドウは閉じないでください。
途中の「W」の行は、注意の表示です。「security: no API key is set」は、パスワードにあたるAPIキーを設定していないという意味です。「--host 127.0.0.1」のままにして、ほかのパソコンからつながらないようにしておきます。
ブラウザでhttp://127.0.0.1:8080を開く
ChromeやSafariなどのブラウザのアドレス欄に「http://127.0.0.1:8080」と入力して開きます。以下の画像は、Chromeで開いた画面です。
入力欄の右下に「ggml-org/gemma-4」と出ていれば、サーバーで読み込んだモデルにつながっています。
質問を入力して答えを確かめる
「Type a message...」の入力欄に、以下の質問を入力します。
「「明日の打ち合わせは14時からに変更です。場所は同じです。」を、社内のチャットに流す短いお知らせに直してください。」
以下の画像は、質問を入力した画面です。
質問を入力したら、Enterキーを押します。
以下の画像は、答えが出た画面です。
ブラウザの画面では、答えの見出しや箇条書きが整えて表示されます。編集部の質問では、お知らせの文面の案が3つ出ました。
llama.cppのローカルAPIの応答を確かめる手順
llama serveで起動したサーバーは、ほかのアプリからの質問も受け付けます。ローカルAPIの応答を確かめる手順は、以下の2つです。
- 別のターミナルのウィンドウでcurlを実行する
- ほかのパソコンからつながらないようにする
別のターミナルのウィンドウでcurlを実行する
ローカルAPIは、ほかのアプリがllama.cppに質問を送るための窓口です。llama.cppのサーバーは、OpenAIのAPIに合わせた形(OpenAI互換)で質問を受け付けます。公式は完全な互換を約束していませんが、OpenAIのAPIに対応した多くのアプリから使える作りです。
サーバーを動かしたまま、ターミナルのメニューの「シェル」から「新規ウインドウ」を選ぶか、Commandキーを押しながらNキーを押します。新しいウィンドウに、以下のコマンドを入力してEnterキーを押します。
curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"messages":[{"role":"user","content":"「明日の打ち合わせは14時からに変更です。」を英語に訳してください。訳文だけを1行で答えてください。"}]}'
以下の画像は、curlのコマンドを実行した画面です。
返ってきた文字の「"content"」の後ろが、モデルの答えです。編集部の画面では「Tomorrow's meeting is changed to 2 PM.」と返ってきました。「"model"」の後ろには、答えたモデルの名前が出ます。
ほかのパソコンからつながらないようにする
この記事のサーバーは、APIキーを設定していません。「--host」を「127.0.0.1」以外に変えると、同じネットワークのほかのパソコンからも質問を送れるようになります。
社内のネットワークで共有する予定がなければ「--host 127.0.0.1」のまま使います。共有する場合のAPIキーの設定は、llama.cppのサーバーの説明書の「--api-key」で確かめてください。
llama.cppを止める・削除する手順
使い終わったら、サーバーを止め、不要になったモデルとllama.cppを消します。llama.cppを止める・削除する手順は、以下の3つです。
- Ctrl+Cでサーバーを止める
- ダウンロードしたモデルを消す
- llama.cppを消す
Ctrl+Cでサーバーを止める
curlを実行したウィンドウは、閉じてかまいません。サーバーを動かしているウィンドウを選んで、Ctrlキーを押しながらCキーを押します。以下の画像は、サーバーを止めた画面です。
「cleaning up before exit...」と出て、ターミナルの入力の行に戻れば止まっています。サーバーを止めると、ブラウザの画面も使えません。次に使うときは、同じ「llama serve」のコマンドで起動します。
ダウンロードしたモデルを消す
ダウンロードしたモデルの場所と容量は、以下の2つのコマンドで確かめます。
ls ~/.cache/huggingface/hub
du -sh ~/.cache/huggingface/hub/models--ggml-org--gemma-4-E4B-it-GGUF
以下の画像は、2つのコマンドを入力した画面です。
モデルは、モデルごとに「models--」で始まるフォルダに入っています。この記事のモデルは、2つのファイルを合わせて4.8GBでした。画像の黒い部分は、撮影のための一時的なホームフォルダの場所を隠しました。
「.cache/huggingface/hub」のフォルダは、Hugging Faceを使うほかのツールも使う場合があります。フォルダごとではなく、この記事のモデルのフォルダだけを、以下のコマンドで消します。
rm -rf ~/.cache/huggingface/hub/models--ggml-org--gemma-4-E4B-it-GGUF
llama.cppを消す
llama.cppを消すときは、以下の2つのコマンドを入力します。2つのコマンドで、インストールで入った「.local/bin」と「.llama-app」の中のllama.cppが消えます。
rm ~/.local/bin/llama
rm -rf ~/.llama-app
以下の画像は、モデルとllama.cppを消すコマンドを入力した後に、消えたことを確かめた画面です。
「ls」で何も表示されず「llama version」で「command not found: llama」と出れば、消えています。「~/.zprofile」に足したPATHの1行は、残しておいても問題ありません。
llama.cppがうまく動かないときの対処法
編集部が試したときに、実際に出た表示と対処法をまとめます。llama.cppがうまく動かないときの対処法は、以下の3つです。
- command not found: llamaと出る
- couldn't bind HTTP server socketと出る
- 答えが長すぎて読みにくい
command not found: llamaと出る
インストールの直後に「command not found: llama」と出る場合は、PATHに「.local/bin」が入っていません。「PATHに1行を足す」の手順で1行を足し、新しいウィンドウで試します。
1行を足した後も同じ表示が出る場合は、古いウィンドウのまま入力していないかを確かめてください。「~/.zprofile」は、新しく開いたウィンドウでだけ読み込まれます。
couldn't bind HTTP server socketと出る
「llama serve」で起動したときに、以下の画像のように「couldn't bind HTTP server socket」と出て止まる場合があります。
8080番のポートを、ほかのプログラムがすでに使っているという意味です。編集部では、1つ目のサーバーを動かしたまま、別のウィンドウで同じコマンドを実行したときに出ました。
先に動いているサーバーのウィンドウでCtrl+Cを押して止めてから、もう一度起動します。ほかのアプリが8080番を使っている場合は「--port 8081」のように番号を変えて起動し、ブラウザで開くURLの番号も同じに変えます。
答えが長すぎて読みにくい
モデルの答えが長く、ターミナルの画面に収まらない場合は、質問の文に答えの長さを書きます。編集部では「5行以内でお願いします」や「訳文だけを1行で答えてください」と書くと、短い答えが返ってきました。
llama.cppの使い方に関するよくある質問
llama.cppを使い始めると、ほかの入れ方やツールとの違いが気になります。llama.cppの使い方についてよくある質問は、以下の3つです。
- Homebrewでも入れられますか?
- OllamaやLM Studioとは何が違いますか?
- モデルは仕事で使えますか?
Homebrewでも入れられますか?
Homebrewでも「brew install llama.cpp」で入れられます。入れ方の一覧が載っているのは、llama.cppの公式ドキュメント「Install pre-built version of llama.cpp」です。
ただし、Homebrewで入れた版が古いと、この記事のコマンドが使えない場合があります。以下の画像は、編集部のMacに前から入っていたHomebrewの版(b9430)で、llama downloadを実行した画面です。
「unknown command 'download'」は、古い版にdownloadのコマンドがないという意味です。画像の「llama-demo」は、編集部がHomebrewの版を試したときのフォルダの名前です。公式のスクリプトとHomebrewの両方で入れると、どちらのllamaが動くかが分かりにくくなります。入れ方は、どちらか1つにそろえてください。
OllamaやLM Studioとは何が違いますか?
llama.cppは、コマンドの指定で、使うモデルのファイルや起動の条件を細かく決めて動かすツールです。OllamaはコマンドとアプリでモデルのダウンロードやAPIをまとめて扱えるツールで、LM Studioは画面の操作でモデルを探して使えるアプリです。
コマンドに慣れていない場合は、OllamaかLM Studioから始めると操作が少なく済みます。OllamaとLM Studioの使い方は、以下の記事で解説しています。
Ollamaの使い方!インストールから日本語の質問・要約・削除まで画面で解説
LM Studioの使い方をMacの画面で解説!日本語チャットと文書の要約まで
モデルは仕事で使えますか?
モデルを仕事で使えるかは、モデルごとの利用条件で決まります。この記事のモデルのページには「License: apache-2.0」と書かれていました。
モデルを選ぶときは、Hugging Faceのモデルのページで「License」を確かめます。分からない場合は、社内の担当者に確認してから使ってください。
まとめ
llama.cppを使えば、手元のMacでAIのモデルを動かし、ターミナル・ブラウザ・ほかのアプリから質問できます。llama.cppの使い方の要点は、以下の5つです。
- 「curl -LsSf https://llama.app/install.sh | sh」で入れて、PATHの1行を足す
- 「llama download -hf モデルの名前:種類」でGGUFのモデルをダウンロードする
- 「llama cli」でターミナルから質問し「/exit」で終える
- 「llama serve」で起動し、ブラウザでhttp://127.0.0.1:8080を開く
- 使い終わったらCtrl+Cで止め、モデルとllama.cppはrmで消す
まずはAppleシリコンのMacで、公式のインストールのコマンドを1行入力するところから試してみてください。



