mlx-lmの使い方|ローカルLLMに日本語で質問し、文書を要約・保存する

社内の議事録やメモをAIで要約したくても、クラウドのAIサービスに文書を送ることに会社のルール上ためらう場面は少なくありません。
「mlx-lm」は、AppleシリコンのMacでAIの言語モデル(LLM)を動かすための道具です。Appleの機械学習の仕組み「MLX」を使い、ターミナルのコマンドで文書のファイルを渡して結果をファイルに保存できます。
一方で、モデルの選び方や通信の止め方を知らないまま使うと、思った答えが出なかったり、文書が外に出ないと誤解したりするので注意が必要です。
この記事では、mlx-lmで日本語の質問を送り、議事録を要約してファイルに保存する手順と、モデルの削除までを実画面で解説します。
この記事を読めば、Macの中だけで文書を要約し、結果をファイルで残せるようになります。日本語に強く考える過程を出さないモデルを選び、使い終わったモデルを削除するところまでを1つの流れで覚えることが近道です。
目次
- mlx-lmを使う前にMacの条件とモデルを確かめる
- uv tool installでmlx-lmを入れる手順
- mlx_lm.generateで日本語の質問を1回送る手順
- テキストファイルを渡して要約をファイルに保存する手順
- mlx_lm.chatで続けて会話して終わる手順
- ほかのアプリからmlx-lmを呼び出す手順(応用)
- Hugging Faceのキャッシュを確かめてモデルを削除する手順
- mlx-lmの使い方に関するよくある質問
- まとめ
- 参考リンク
mlx-lmを使う前にMacの条件とモデルを確かめる
mlx-lmは、AppleシリコンのMacで使う道具です。mlx-lmを使う前に確かめたい点は、以下の4つです。
- MacがAppleシリコン(M1以降のチップ)である
- macOSが14以降である
- Python 3.11以降を使える(この記事ではuvという道具が用意する)
- モデルを置くための空き容量がある(この記事のモデルは約2.3GB)
AIのモデルは、初めて使うときにHugging Faceというモデルの公開サイトから自動でダウンロードされます。この記事で使う公開のモデルは、Hugging Faceにログインしなくてもダウンロードできました。ダウンロードしたモデルは、ホームフォルダの中の「.cache/huggingface」に保存されます。
この記事で使うモデルは、Hugging Faceのmlx-community/Qwen3-4B-Instruct-2507-4bitのページで公開されているものです。日本語の質問に日本語で答え、答える前に考える過程を長く書き出さない種類のモデルなので、要約の結果をそのまま保存できます。
画面で操作したい場合はLM Studio、モデルの管理を任せたい場合はOllamaも選べます。
LM Studioの使い方をMacの画面で解説!日本語チャットと文書の要約まで
uv tool installでmlx-lmを入れる手順
mlx-lmは、Pythonで作られた道具です。「uv」を使うと、Pythonの準備も含めて1行で入れられます。uv tool installでmlx-lmを入れる手順は、以下の3つです。
- 作業フォルダを作ってuvがあるかを確かめる
- uv tool install mlx-lmで入れる
- mlx_lm.generate --helpでコマンドが使えるかを確かめる
作業フォルダを作ってuvがあるかを確かめる
Macのターミナルを開きます。ターミナルの場所は、Finderの「アプリケーション」→「ユーティリティ」の中です。
ターミナルに「mkdir -p ~/touchai-demo/mlx-demo」と入力してEnterキーを押します。「cd ~/touchai-demo/mlx-demo」でフォルダに移ったら、最後に「uv --version」と入力してEnterキーを押します。
上の画像のように「uv」と版の数字が表示されれば、uvの準備は完了です。「command not found」と表示された場合は、Homebrewが入ったMacで「brew install uv」と入力してuvを入れてください。
MarkItDownの使い方!PDFやExcelをMarkdownに変換する手順
uv tool install mlx-lmで入れる
ターミナルに「uv tool install mlx-lm --python 3.12」と入力してEnterキーを押します。「--python 3.12」は、mlx-lmを動かすPythonの版を3.12にする指定です。
上の画像の最後の「Installed 18 executables」は、mlx_lm.generateなど18個のコマンドが使えるようになった、という意味です。撮影では、事前の試験で部品をダウンロード済みだったため短い時間で終わりました。初めて入れるときは、部品のダウンロードに時間がかかります。撮影時の版は、mlx-lmが0.32.2、MLXが0.32.4でした。
mlx_lm.generate --helpでコマンドが使えるかを確かめる
ターミナルに「mlx_lm.generate --help | head -8」と入力してEnterキーを押すと、使い方の最初の8行が表示されます。
「command not found: mlx_lm.generate」と表示された場合は、コマンドの置き場所がターミナルに登録されていません。「uv tool update-shell」と入力してEnterキーを押し、ターミナルを開き直してから、もう一度確かめてください。撮影ではmlx-lmを入れ直したため、この画像は後から撮ったものです。
mlx_lm.generateで日本語の質問を1回送る手順
mlx_lm.generateは、質問を1回送って答えを表示するコマンドです。初めて使うモデルは、このときにダウンロードされます。
ターミナルに、下のコマンドを入力してEnterキーを押します。
mlx_lm.generate --model mlx-community/Qwen3-4B-Instruct-2507-4bit --prompt "会議の議事録を短くまとめるコツを、3つの箇条書きで教えてください。" --max-tokens 300
コマンドの3つの指定の意味は、以下のとおりです。
- 「--model」は使うモデル
- 「--prompt」は質問の文
- 「--max-tokens」は答えの長さの上限
上の画像の「Warning: You are sending unauthenticated requests to the HF Hub」は、Hugging Faceにログインせずにダウンロードしているという知らせです。公開のモデルは、ログインしないままダウンロードできます。
ダウンロードが終わると、答えが表示されます。
撮影では、2.24GBのダウンロードが約30秒で終わり、答えが表示されました。答えの下の3行の意味は、以下のとおりです。
| 行 | 意味 | 撮影時の値 |
|---|---|---|
| Prompt | 質問を読む速さ | 34トークン、毎秒80.192トークン |
| Generation | 答えを書く速さ | 108トークン、毎秒67.779トークン |
| Peak memory | 使ったメモリの最大 | 2.471GB |
答えの中のアスタリスク2つの記号は、太字を表す記号がそのまま表示されたものです。
テキストファイルを渡して要約をファイルに保存する手順
mlx-lmの使い道としておすすめなのが、手元のファイルを渡して要約させ、結果をファイルに残す使い方です。テキストファイルを渡して要約をファイルに保存する手順は、以下の3つです。
- 練習用の議事録をmemo.txtに保存する
- 要約の指示と議事録を渡して答えを確かめる
- 答えだけをsummary.txtに保存する
練習用の議事録をmemo.txtに保存する
下の1行のコマンドをコピーしてターミナルに貼り付け、Enterキーを押します。架空の会社の営業部の定例会議の議事録が、memo.txtに保存されます。
printf '%s\n' '営業部 定例会議 議事録(架空の会社の練習用データ)' '日時: 2026年11月5日 10:00〜11:00' '参加: 営業部長、第1課長、第2課長、営業企画の担当者' '' '1. 10月の売上' '・10月の売上は1,240万円で、目標の1,200万円を上回った。' '・新しいお客さまからの注文は18件で、前の月より4件増えた。' '・第2課は、大口のお客さま1社との契約の更新が11月にずれ込んだ。' '' '2. 年末の展示会' '・12月10日の展示会に出す。会場の申し込みは11月14日まで。' '・パンフレットを300部刷る。原稿は営業企画の担当者が11月12日までに作る。' '・試供品は200個用意する。' '' '3. 決まったこと' '・展示会の準備の責任者は第1課長とする。' '・次回の会議は11月19日10:00から。' > memo.txt
「cat memo.txt」と入力してEnterキーを押すと、保存した議事録が表示されます。
要約の指示と議事録を渡して答えを確かめる
ターミナルに、下のコマンドを入力してEnterキーを押します。
mlx_lm.generate --model mlx-community/Qwen3-4B-Instruct-2507-4bit --system-prompt "次の議事録を、決まったことと期限が分かるように3行の箇条書きで要約してください。議事録にないことは書かないでください。" --prompt - --max-tokens 400 < memo.txt
「--system-prompt」は、AIへの指示を書く指定です。「--prompt -」と最後の「< memo.txt」で、memo.txtの中身を質問として渡します。
上の画像の要約を、元の議事録と照らし合わせた結果は、以下のとおりです。
| 要約の内容 | 元の議事録 | 照らし合わせ |
|---|---|---|
| 10月の売上は1,240万円(目標1,200万円を上回り) | 同じ | 合っている |
| 新しいお客さまからの注文は18件(前月より4件増) | 同じ | 合っている |
| 会場の申し込みは11月14日まで、原稿は11月12日まで | 同じ | 合っている |
| 試供品は200個 | 同じ | 合っている |
| 準備の責任者は第1課長、次回は11月19日10:00から | 同じ | 合っている |
| (書かれていない) | パンフレットは300部、第2課の契約の更新は11月にずれ込んだ | 抜けている |
3行に縮めたため、パンフレットの部数などは要約から抜けました。要約を人に渡す前に、抜けて困る項目がないかを元の文書と照らし合わせましょう。
答えだけをsummary.txtに保存する
答えだけをファイルに残すには、さっきのコマンドの最後に「--verbose False」と「> summary.txt」を足します。ターミナルに入力するコマンドの全文は、以下のとおりです。
mlx_lm.generate --model mlx-community/Qwen3-4B-Instruct-2507-4bit --system-prompt "次の議事録を、決まったことと期限が分かるように3行の箇条書きで要約してください。議事録にないことは書かないでください。" --prompt - --max-tokens 400 --verbose False < memo.txt > summary.txt
「--verbose False」は、区切りの線や速さの行を出さずに答えだけを出す指定です。「> summary.txt」で、答えがsummary.txtに保存されます。
Finderでsummary.txtを選んでスペースキーを押すと、クイックルックで中身を確かめられます。
mlx_lm.chatで続けて会話して終わる手順
1回ずつ質問するのではなく、前の答えを踏まえて続けて質問したいときは、mlx_lm.chatを使います。ターミナルに「mlx_lm.chat --model mlx-community/Qwen3-4B-Instruct-2507-4bit」と入力してEnterキーを押します。
上の画像のcommandsの行にある3つのコマンドの意味は、以下のとおりです。
- 「q」は会話を終える
- 「r」は会話をはじめからにする
- 「h」は使い方を出す
「›」の後に「社内研修の案内メールの件名を3つ考えてください。」と入力してEnterキーを押し、答えが出たら「2つ目の件名を使って、本文を3行で書いてください。」と入力しました。
上の画像は、2つの質問と答えを続けて写した1枚です。2つ目の質問の「2つ目の件名」を、前の答えの2つ目の件名と受け取って本文を書いています。本文の「未参加の場合は業務上の影響が生じる可能性があります」のように、頼んでいない内容が入ることもあるので、使う前に読み直してください。
終わるときは「›」の後に「q」と入力してEnterキーを押します。
ほかのアプリからmlx-lmを呼び出す手順(応用)
mlx_lm.serverを使うと、ほかのアプリからmlx-lmに質問を送れるようになります。応用の手順なので、ほかのアプリを使わない場合は飛ばしてかまいません。
ほかのアプリからmlx-lmを呼び出す手順は、以下の3つです。
- mlx_lm.serverを起動する
- 別のタブから質問を送る
- Ctrl+Cでサーバーを止める
mlx_lm.serverを起動する
ターミナルに「mlx_lm.server --model mlx-community/Qwen3-4B-Instruct-2507-4bit --port 8081」と入力してEnterキーを押します。
上の画像の「127.0.0.1 on port 8081」は、自分のMacの中からだけ受け付ける8081番の窓口で待っている、という意味です。
画面の上の方に出る「mlx_lm.server is not recommended for production」は、本番の公開用には向かないという注意で、手元で試すぶんには起動の失敗ではありません。
起動のときの「HTTP Request: GET https://huggingface.co/〜」の行は、モデルが新しくなっていないかをHugging Faceに確かめに行った記録です。何も付けないと8080番を使いますが、撮影したMacでは8080番を別のアプリが使っていたため、番号を変える「--port 8081」を付けました。
別のタブから質問を送る
ターミナルでCommandキーを押しながらTキーを押して、新しいタブを開きます。新しいタブで「cd ~/touchai-demo/mlx-demo」と入力してEnterキーを押し、フォルダに移ります。撮影では、ターミナルの中で別の画面を開いて同じ操作をしたため、新しいタブを開く画面はありません。
質問をまとめたファイルを作ります。下の1行のコマンドをコピーして貼り付け、Enterキーを押します。
printf '%s\n' '{"model": "mlx-community/Qwen3-4B-Instruct-2507-4bit", "messages": [{"role": "user", "content": "経費精算の締め切りを社内に知らせる一文を書いてください。"}], "max_tokens": 200}' > question.json
続けて、下のコマンドを入力してEnterキーを押します。
curl -s http://127.0.0.1:8081/v1/chat/completions -H "Content-Type: application/json" -d @question.json | python3 -m json.tool --no-ensure-ascii
上の画像の「content」の行が、AIの答えです。
最後の「python3 -m json.tool --no-ensure-ascii」は、返ってきた答えを読みやすく並べ、日本語をそのまま表示するための指定です。
python3がないと表示されたときは「|」から後ろを消して送ると、日本語が記号の並びになりますが答えは返ります。撮影では、日付が「〇月〇日」と仮に置かれ、質問にない「本日より」「遅延した場合」のような内容も足されていました。答えはそのまま使わず、日付や中身を確かめてから使いましょう。
Ctrl+Cでサーバーを止める
サーバーを動かしているタブに戻り、Controlキーを押しながらCキーを押します。
止めた後は、ほかのアプリからmlx-lmを呼び出せなくなります。
Hugging Faceのキャッシュを確かめてモデルを削除する手順
使い終わったモデルは、容量を空けるために削除します。Hugging Faceのキャッシュを確かめてモデルを削除する手順は、以下の3つです。
- mlx_lm.manage --scanで保存されているモデルを確かめる
- --patternで名前を絞って削除する
- uv tool uninstallでmlx-lmを消す
mlx_lm.manage --scanで保存されているモデルを確かめる
ターミナルに「mlx_lm.manage --scan」と入力してEnterキーを押します。
撮影したMacには、ほかの作業で入れた文字起こし用のモデル(whisper)も保存されていました。mlx-communityのモデルがまとめて表示されるため、消すモデルを名前で絞ることが大切です。名前を絞らずに消すと、ほかのアプリが使っているモデルまで消えるおそれがあります。
--patternで名前を絞って削除する
ターミナルに「mlx_lm.manage --delete --pattern Qwen3-4B-Instruct-2507」と入力してEnterキーを押します。「--pattern」の後ろに書くのは、消したいモデルの名前の一部です。
上の画像の候補が、消したいモデルだけになっているかを確かめます。
候補が合っていれば「y」と入力してEnterキーを押します。
撮影では、Qwenのモデルだけが消え、whisperの3つのモデルは残りました。
uv tool uninstallでmlx-lmを消す
mlx-lmを使わなくなったら、ターミナルに「uv tool uninstall mlx-lm」と入力してEnterキーを押します。
上の画像の「Uninstalled 18 executables」は、入れた18個のコマンドが消えたことを表します。
mlx-lmの使い方に関するよくある質問
mlx-lmの使い方について、よくある質問と答えをまとめました。
インターネットにつながずに使えますか?
一度ダウンロードしたモデルは「HF_HUB_OFFLINE=1」を付けて動かすと、Hugging Faceに確かめに行かずに使えます。撮影では、2回目以降のmlx_lm.generateでも「Fetching 11 files」の行が出て、Hugging Faceに確かめに行っていました。
HF_HUB_OFFLINE=1 mlx_lm.generate --model mlx-community/Qwen3-4B-Instruct-2507-4bit --prompt "こんにちは。1文で自己紹介してください。" --max-tokens 60
上の画像は、モデルを削除する前に撮影したものです。「Fetching」の行が出ずに答えが表示されました。質問の文がネットに送られないかを確かめたい場合は、社内の情報システムの担当者と一緒に通信を確かめてください。
LM StudioやOllamaとどちらを使えばよいですか?
画面で操作したいならLM Studio、モデルの管理を任せたいならOllamaが向いています。mlx-lmは、ターミナルでファイルを渡して結果をファイルに保存する作業に向いています。
Ollamaの使い方!インストールから日本語の質問・要約・削除まで画面で解説
Qwen3.5など別のモデルも使えますか?
「--model」にHugging Faceのモデルの名前を書けば、ほかのMLX向けのモデルも使えます。編集部の試験では、mlx-community/Qwen3.5-4B-MLX-4bitは答える前に考える過程(Thinking Process)を長く書き出しました。mlx_lm.generateでは「--chat-template-config '{"enable_thinking": false}'」を付けると考える過程が出なくなりましたが、mlx_lm.chatにはこの指定がありません。
mlx-lmは無料で使えますか?
mlx-lmとMLXは、MITライセンスで公開されている無料の道具です。モデルには、それぞれ別のライセンスがあります。この記事のモデルのライセンスは、Hugging Faceのmlx-community/Qwen3-4B-Instruct-2507-4bitのページでapache-2.0と表示されています。会社で使う前に、使うモデルのページでライセンスを確かめてください。
WindowsやIntelのMacでも使えますか?
この記事の手順は、AppleシリコンのMacで確かめたものです。WindowsやIntelのMacでは試していません。
まとめ
mlx-lmを使えば、AppleシリコンのMacの中で、日本語の質問や文書の要約ができます。mlx-lmの使い方の要点は、以下の6つです。
- 「uv tool install mlx-lm --python 3.12」で入れる
- 日本語に強く、考える過程を出さないモデルを「--model」で選ぶ
- 「--system-prompt」で指示を書き「--prompt - < memo.txt」で文書を渡す
- 「--verbose False > summary.txt」で答えだけを保存する
- 続けて話すときはmlx_lm.chat、ほかのアプリからはmlx_lm.serverを使う
- 使い終わったら「mlx_lm.manage --delete --pattern」で名前を絞って削除する
まずは練習用の議事録を保存して、要約をsummary.txtに保存するところまで試してみてください。



