AnythingLLMの使い方|無料で社内資料に質問して出典を確かめる手順

社内の規程やマニュアルをAIに聞きたいけれど、資料を社外のサービスに送るのは避けたいと考える担当者もいるでしょう。AIの答えが本当に資料に書いてあるのかを確かめる方法も気になります。
AnythingLLMは、手持ちの資料をAIに読ませて質問できる、無料のデスクトップアプリです。Macの中で動くOllamaのモデルとつなぐと、資料と質問をMacの中で扱えます。
この記事では、MacへのAnythingLLMのインストールから、資料の登録、質問と出典の確かめ方、資料の差し替え、データの消し方までを実画面で解説します。
この記事を読めば、架空の社内規程を使って、資料に質問する流れをひと通り試せます。まずはOllamaにモデルが入っていることを確かめてから始めてください。
目次
- AnythingLLMで試す前に準備すること
- MacにAnythingLLMをインストールする手順
- AnythingLLMの最初の設定でOllamaと埋め込みのモデルを選ぶ手順
- AnythingLLMのワークスペースを作って2つの資料を登録する手順
- AnythingLLMで資料に質問して出典を確かめる手順
- クエリモードで資料にない質問を確かめる手順
- 資料を新しい版に替えて答えが変わるのを確かめる手順
- AnythingLLMを終了・再開する手順とデータの消し方
- AnythingLLMで答えが見つからないときの対処法
- AnythingLLMの使い方に関するよくある質問
- まとめ
- 参考リンク
AnythingLLMで試す前に準備すること
AnythingLLMを入れる前に、Macの条件と、AIのモデルと、練習用の資料を用意します。準備することは、以下の3つです。
- Macの条件を確かめる
- Ollamaにモデルを入れておく
- 練習用の2つの資料を用意する
Macの条件を確かめる
AnythingLLMの公式ドキュメント「System Requirements」は、メモリ16GB・8コアのCPUを推奨の目安にしています。Mシリーズのチップを積んだMacなら、追加の部品なしでローカルのモデルを動かせるとも書かれています。
編集部は、Apple M2 Pro・メモリ32GBのMac miniで試しました。デスクトップ版のAnythingLLMは、1台のMacで1人が使う形のアプリです。社内の複数の人で共有する仕組みではない点に注意してください。
Ollamaにモデルを入れておく
この記事では、AIのモデルをOllamaで動かします。Ollamaのインストールとモデルのダウンロードは、以下の記事で解説しています。
Ollamaの使い方!インストールから日本語の質問・要約・削除まで画面で解説
編集部のMacには、Ollamaとqwen3.5のモデルが入っていました。Ollamaのアプリが起動していれば、AnythingLLMの設定でOllamaのモデルを選べます。
練習用の2つの資料を用意する
この記事では、架空の会社の2つの規程を資料として使います。まず、ターミナルに以下のコマンドを入力して、ホームフォルダの「touchai-demo」の中に「anythingllm-demo」のフォルダを作ります。
mkdir -p ~/touchai-demo/anythingllm-demo
続けて、作ったフォルダに以下の2つのテキストファイルを置きます。テキストエディットで新しい書類を開き「フォーマット」のメニューの「標準テキストにする」を選んでから、中身を貼り付けます。
保存の画面では、場所に「anythingllm-demo」のフォルダを選び、名前を「在宅勤務のルール.txt」のように付けてください。標準テキストの書類は、名前の最後が「.txt」になります。
1つ目の「在宅勤務のルール.txt」の中身は、以下のとおりです。
サンプル株式会社 在宅勤務のルール(練習用の架空の資料)
1. 在宅勤務は、週に3日まで選べます。前の週の金曜日までに予定を登録します。
2. 始業と終業のときは、チャットで上長に連絡します。
3. 会社のパソコンを、カフェなどの公共の場所で使うことは禁止です。
4. 自宅の通信費の補助として、毎月3,000円を支給します。
5. 在宅勤務の日でも、月に1回の全体会議には出社して参加します。
2つ目の「経費精算のルール.txt」の中身は、以下のとおりです。
サンプル株式会社 経費精算のルール(練習用の架空の資料)
1. 経費の申請は、使った日から30日以内に行います。
2. 5,000円以上の購入は、事前に上長の承認が必要です。
3. 交通費は、最も安い経路の金額で申請します。タクシーは、終電の後と荷物が多いときだけ使えます。
4. 領収書は、写真を撮って申請の画面に添付します。紙の領収書は3か月保管します。
5. 取引先との会食は、1人あたり8,000円までです。超える場合は部長の承認が必要です。
6. 申請の締め日は毎月25日で、翌月10日に給与の口座へ振り込みます。
2つのファイルを保存したら、ターミナルに以下の2つのコマンドを入力して、中身を確かめます。
cd ~/touchai-demo/anythingllm-demo
cat 在宅勤務のルール.txt 経費精算のルール.txt
以下の画像は、2つのコマンドを入力した画面です。
あとで質問するのは、在宅勤務のルールの「通信費の補助」と、経費精算のルールの「締め日」です。2つの資料にまたがる質問で、AnythingLLMが両方の資料を探せるかを確かめます。
MacにAnythingLLMをインストールする手順
AnythingLLMは、公式サイトからダウンロードしたファイルで入れます。MacにAnythingLLMをインストールする手順は、以下の3つです。
- 公式サイトからダウンロードする
- アプリケーションのフォルダに入れる
- AnythingLLMを起動する
公式サイトからダウンロードする
ブラウザで、AnythingLLMのダウンロードのページを開きます。以下の画像は、ダウンロードのページです。
M1などのMシリーズのチップのMacでは「Download for Apple Silicon」を押します。Intelのチップを積んだMacでは「Download for Apple Intel」を押します。編集部がダウンロードしたのは、v1.19.0の約584MBのファイルでした。
アプリケーションのフォルダに入れる
ダウンロードしたファイル(AnythingLLMDesktop-Silicon.dmg)を開くと、以下の画像の画面が出ます。
左の「AnythingLLM.app」のアイコンを、右の「Applications」のフォルダにドラッグして入れます。
AnythingLLMを起動する
アプリケーションのフォルダの「AnythingLLM」を開きます。初めて開くときにインターネットから入れたアプリの確認が出た場合は「開く」を押します。以下の画像は、最初に起動した画面です。
編集部のMacでは、画面が日本語で表示されました。一部の説明は英語のままです。「はじめる」を押して、最初の設定に進みます。
AnythingLLMの最初の設定でOllamaと埋め込みのモデルを選ぶ手順
最初の設定では、質問に答えるモデルと、資料を探すための埋め込みのモデルを選びます。資料を入れる前に設定する手順は、以下の4つです。
- 手動設定からOllamaを選ぶ
- アンケートとデータの扱いを確かめる
- 埋め込みのモデルを多言語のものに変える
- 利用状況の送信を止める
手動設定からOllamaを選ぶ
「はじめる」を押すと、以下の画像のように、AnythingLLMが勧めるモデルが出ます。
勧められたモデルを使うと、AnythingLLMが3.3GBのモデルを別にダウンロードする仕組みです。この記事ではOllamaのモデルを使うので、下の「手動設定」を押します。
以下の画像は、手動設定の画面です。
一覧の上の「Search LLM providers」の欄に「Ollama」と入力し、出てきた「Ollama」を押します。
以下の画像は、Ollamaを選んだ画面です。
「Ollama Model」の欄に、Ollamaに入っているモデルが並びます。編集部は「qwen3.5:latest」を選びました。選んだら、右の「→」を押して次に進みます。
アンケートとデータの扱いを確かめる
次に、以下の画像のアンケートの画面が出ます。
アンケートの項目は、すべて任意です。編集部は何も入力せずに「→」を押しました。次の画面では、データの扱いが表示されます。
以下の画像は、データの扱いの画面です。
画面の3つの項目の意味は、以下の表のとおりです。
| 項目 | 役割 | 画面の説明の意味 |
|---|---|---|
| Ollama | 質問に答えるモデル | モデルと会話はOllamaを動かすMacの中だけにある |
| AnythingLLM Embedder | 資料を探すための埋め込み | 資料の文はこのAnythingLLMの中で埋め込まれる |
| LanceDB | 埋め込んだ資料の保存先 | 資料の文と埋め込みはこのAnythingLLMの中に保存される |
「→」を押すと、以下の画像のホームの画面が開きます。
あいさつの文に出るMacのユーザー名は、画像では黒く塗っています。「マイワークスペース」は、AnythingLLMが最初に作る会話の場所です。
埋め込みのモデルを多言語のものに変える
埋め込みは、資料の文を、似た意味の文を探せる形に変える処理です。AnythingLLMは、質問に近い資料の部分を埋め込みで探してから、モデルに渡します。
左下のスパナのボタンを押して設定を開き「AIプロバイダー」の中の「埋め込みエンジン」を選びます。以下の画像は、最初の状態の埋め込みの設定です。
最初のモデル「all-MiniLM-L6-v2」は「Trained on: English」と出ているとおり英語向けです。AnythingLLMの公式ドキュメント「AnythingLLM Default Embedder」にも、主に英語の文書で学習したモデルと書かれています。
日本語の資料を探すために「Model Preference」を「multilingual-e5-small」に変えます。以下の画像は、multilingual-e5-smallを選んだ画面です。
multilingual-e5-smallは、100以上の言語で学習したモデルです。初めて資料を埋め込むときに、約487MBのモデルがダウンロードされます。
右上の「変更を保存」を押すと、以下の画像の確認が出ます。
確認の画面は、埋め込みのモデルを変えると、ワークスペースに入れた資料が外れるという注意です。資料を入れる前なら外れるものはないので「Confirm」を押します。
利用状況の送信を止める
設定の左の一番下にある「プライバシーとデータ」を開くと、利用状況の送信(匿名テレメトリ)のスイッチがあります。送るのは使い方の統計で、資料や会話の中身は含まれないと、AnythingLLMの公式ドキュメント「Privacy」に書かれています。
送らないようにする場合は「匿名テレメトリが有効」のスイッチを押してオフにしてください。以下の画像は、オフにした画面です。
右下に「Anonymous Telemetry has been disabled.」と出れば、利用状況の送信が止まっています。画像の英語の説明の最後の黒い部分は、開発元の問い合わせ先のメールアドレスを隠しました。設定の画面の左下にある戻る矢印のボタンを押すと、ホームの画面に戻れます。
AnythingLLMのワークスペースを作って2つの資料を登録する手順
資料は、ワークスペースという会話の場所ごとに登録します。ワークスペースを作って資料を登録する手順は、以下の3つです。
- 社内規程のワークスペースを作る
- 2つの資料をアップロードする
- ワークスペースへ移動して埋め込む
社内規程のワークスペースを作る
左上の検索欄の右にある「+」のボタンを押すと、ワークスペースの名前を入力する画面が出ます。以下の画像のように「社内規程」と入力して「Save」を押します。
「Save」を押すと、ワークスペースができる仕組みです。
以下の画像は、ワークスペースができた画面です。
左の一覧に「社内規程」が増えました。社内規程の右の上向きの矢印が資料の登録のボタン、歯車がワークスペースの設定のボタンです。
2つの資料をアップロードする
社内規程の右の上向きの矢印のボタンを押すと、以下の画像の資料の管理の画面が開きます。
左の「クリックしてアップロード、またはドラッグ&ドロップしてください」の枠を押してください。ファイルを選ぶ画面が開くので「anythingllm-demo」のフォルダの2つのファイルを選びます。
以下の画像は、2つのファイルをアップロードした画面です。
左の「マイドキュメント」に入っただけの資料は、まだ質問には使われません。資料の状態は3つあり、違いは以下の表のとおりです。
| 状態 | 画面の場所 | 質問で探されるか |
|---|---|---|
| アップロード済み | 左のマイドキュメント | 探されない |
| ワークスペースに登録済み | 右のワークスペースの一覧 | 探される |
| チャットに添付しただけ | 入力欄の「+」から添付 | その会話だけで使われる |
ワークスペースへ移動して埋め込む
2つのファイルにチェックが付いた状態で「ワークスペースへ移動」を押します。以下の画像は、移動した画面です。
移動しただけの状態では、右の一覧の行が色付きで表示され、右下に「保存して埋め込む」のボタンが出ています。画像の左の黒い部分は、編集部が先に試した会話の一覧を隠しました。
右下の「保存して埋め込む」を押すと、資料の埋め込みが始まります。
以下の画像は、埋め込みが終わった画面です。
埋め込みが終わると、右の一覧の各行の左にチェックの欄、右にピンと戻す矢印のボタンが付き「保存して埋め込む」のボタンが消えます。行の右にボタンが付けば、ワークスペースへの登録は終わりです。
右上の「×」で資料の管理の画面を閉じます。
AnythingLLMで資料に質問して出典を確かめる手順
資料を登録したら、2つの資料にまたがる質問をして、答えの出典を確かめます。資料に質問して出典を確かめる手順は、以下の3つです。
- 2つの資料にまたがる質問をする
- 出典の一覧を開く
- 出典の元の文と答えを見比べる
2つの資料にまたがる質問をする
社内規程のワークスペースを選び「メッセージを送信」の入力欄に以下の質問を入力します。
「在宅勤務の通信費の補助はいくらですか?また、経費の申請の締め日はいつですか?」
以下の画像は、質問を入力した画面です。
Enterキーを押すと、答えが表示されます。
以下の画像は、答えが出た画面です。
答えは「通信費補助は毎月3,000円」「締め日は毎月25日」で、2つの資料のどちらとも合っています。編集部のMacでは、答えが出るまでに10秒ほどかかりました。
出典の一覧を開く
答えの下の「出典」を押すと、以下の画像のように、右に出典の一覧が開きます。
出典の一覧に並ぶのは、答えを作るときに探し出された資料です。2つの資料が並んでいるので、AnythingLLMは両方の資料を使って答えたと分かります。
出典の元の文と答えを見比べる
出典の一覧の「経費精算のルール.txt」を押すと、以下の画像のように、元の文が開きます。
6番目の「申請の締め日は毎月25日で、翌月10日に給与の口座へ振り込みます。」が、答えの締め日の出どころです。AIの答えは、出典の元の文と見比べてから使います。
クエリモードで資料にない質問を確かめる手順
AnythingLLMのワークスペースには、答え方を決めるチャットモードがあります。クエリモードで資料にない質問を確かめる手順は、以下の3つです。
- 今のチャットモードを確かめる
- クエリに変える
- 資料にない質問をする
今のチャットモードを確かめる
社内規程の右の歯車のボタンを押し、上の「チャット設定」を開きます。以下の画像は、チャット設定の画面です。
新しいワークスペースでは「代理人」(英語ではAgent)が選ばれています。3つのチャットモードの違いは、以下の表のとおりです。
| チャットモード | 答え方 |
|---|---|
| 代理人(Agent) | 必要に応じて資料の検索などの道具を使って答える |
| チャット | 資料と、モデルがもともと知っていることを合わせて答える |
| クエリ | 資料から必要な情報が見つかったときだけ答える |
クエリに変える
チャットモードの「クエリ」を押します。以下の画像は、クエリを選んだ画面です。
「クエリモード拒否応答」の欄は、資料から何も見つからなかったときに返す文です。編集部の画面では、押した時点で設定が保存されました。
資料にない質問をする
左の一覧の「New Thread」を押して新しい会話を開き、以下の質問を入力します。
「社員旅行の行き先はどこですか?」
以下の画像は、答えが出た画面です。
答えは「提供された資料(在宅勤務のルール、経費精算のルール)には、社員旅行の行き先に関する記載がありません。」でした。資料にないことを、モデルがもともと知っていることで補わずに答えています。
資料を新しい版に替えて答えが変わるのを確かめる手順
規程が改定されたら、ワークスペースの資料も新しい版に替えます。資料を替えて答えが変わるのを確かめる手順は、以下の3つです。
- 新しい版をアップロードして埋め込む
- 古い版をワークスペースから外す
- 同じ質問をして答えと出典を確かめる
新しい版をアップロードして埋め込む
この記事では、通信費の補助を5,000円に変えた新しい版「在宅勤務のルール_2026年12月版.txt」を作って使います。中身は、以下のとおりです。
サンプル株式会社 在宅勤務のルール(練習用の架空の資料・2026年12月版)
1. 在宅勤務は、週に3日まで選べます。前の週の金曜日までに予定を登録します。
2. 始業と終業のときは、チャットで上長に連絡します。
3. 会社のパソコンを、カフェなどの公共の場所で使うことは禁止です。
4. 自宅の通信費の補助として、毎月5,000円を支給します。
5. 在宅勤務の日でも、月に1回の全体会議には出社して参加します。
社内規程の右の上向きの矢印のボタンから資料の管理の画面を開き、新しい版をアップロードします。以下の画像は、アップロードした画面です。
「ワークスペースへ移動」を押してから「保存して埋め込む」を押します。
以下の画像は、埋め込みが終わった画面です。
古い版をワークスペースから外す
右の一覧には、古い版と新しい版の両方が並んだ状態です。古い版を残したままだと、古い金額が出典に使われるおそれがあります。
古い版の「在宅勤務のルール.txt」の行の右端にある、戻す矢印のボタンを押します。ボタンにマウスを重ねると出る「Remove document from workspace」は、ワークスペースから外すという意味です。
以下の画像は、古い版を外した後の画面です。
右の一覧から「在宅勤務のルール.txt」が消え、左のマイドキュメントに戻りました。外した資料は消えずに残るので、もう一度ワークスペースへ移すこともできます。
画像の新しい版の行に出ている説明は、外した後にマウスが下の行のボタンに重なって出たものです。新しい版は外していません。
同じ質問をして答えと出典を確かめる
左の一覧の「New Thread」を押して、以下の質問を入力します。
「在宅勤務の通信費の補助はいくらですか?」
以下の画像は、答えと出典を開いた画面です。
答えが「毎月5,000円」に変わり、出典も「在宅勤務のルール_2026年12月版.txt」になりました。古い版の「在宅勤務のルール.txt」は、出典の一覧に出ていません。
編集部の環境では、答えが出るまでに約2分かかりました。答えが出るまでの時間は、質問やモデルによって変わります。
AnythingLLMを終了・再開する手順とデータの消し方
AnythingLLMの資料と会話は、Macの中の決まったフォルダに保存されます。終了・再開とデータの消し方の手順は、以下の3つです。
- データの保存先を確かめる
- 終了して開き直す
- アプリとデータを消す
データの保存先を確かめる
右上の版の番号「v1.19.0」を押すと、以下の画像の「About AnythingLLM」の画面が出ます。
「Storage folder」の「Open」を押すと、データの保存先のフォルダがFinderで開きます。保存先は、ホームフォルダの「ライブラリ」の中の「Application Support」にある「anythingllm-desktop」のフォルダです。
保存先の中身は、ターミナルに以下のコマンドを入力して確かめられます。
ls ~/Library/Application\ Support/anythingllm-desktop/storage
以下の画像は、コマンドを入力した画面です。
「lancedb」は埋め込みのデータベース「documents」は読み込んだ資料の中身です。フォルダの説明は、AnythingLLMの公式ドキュメント「General Desktop Information」で確かめられます。
終了して開き直す
AnythingLLMを終えるときは、画面の上のメニューの「AnythingLLM」から終了を選ぶか、Commandキーを押しながらQキーを押します。次に使うときは、アプリケーションのフォルダの「AnythingLLM」を開きます。
以下の画像は、終了してから開き直した画面です。
社内規程のワークスペースと、前に質問した会話が残っています。資料も登録したままなので、続けて質問できます。
アプリとデータを消す
AnythingLLMの公式ドキュメント「Uninstall」は、アプリをゴミ箱に入れたうえで、データのフォルダも消す方法を案内しています。AnythingLLMを終了してから、ターミナルに以下の2つのコマンドを入力します。
mv /Applications/AnythingLLM.app ~/.Trash/
mv ~/Library/Application\ Support/anythingllm-desktop ~/.Trash/
2つのコマンドで、アプリとデータのフォルダがゴミ箱に移ります。続けて、以下の2つのコマンドで、どちらも残っていないかを確かめます。
ls /Applications | grep -i anythingllm
ls ~/Library/Application\ Support | grep -i anythingllm
以下の画像は、4つのコマンドを入力した画面です。
確かめるコマンドで何も表示されなければ、消えています。ゴミ箱を空にするまでは、ゴミ箱から元に戻すことも可能です。Ollamaのモデルは、AnythingLLMを消しても残ります。
AnythingLLMで答えが見つからないときの対処法
編集部が試したときに、実際に起きたことと対処法をまとめます。AnythingLLMで答えが見つからないときの対処法は、以下の2つです。
- 資料にあるのに記載がないと答える
- 埋め込みのモデルを変えたら資料が外れた
資料にあるのに記載がないと答える
編集部は、最初に英語向けの埋め込みのモデル「all-MiniLM-L6-v2」のまま資料を入れて、同じ質問をしました。以下の画像は、答えが出た画面です。
在宅勤務のルールは見つかりましたが、経費精算のルールが見つからず、締め日は「記載されていません」と答えました。埋め込みのモデルが英語向けで、日本語の資料をうまく探せなかったと考えられます。
日本語の資料で答えが見つからない場合は「埋め込みのモデルを多言語のものに変える」の手順で、multilingual-e5-smallに変えてください。編集部では、変えた後に同じ質問をすると、2つの資料の両方が出典に出ました。
埋め込みのモデルを変えたら資料が外れた
資料を入れた後に埋め込みのモデルを変えると「WARNING - This action is irreversible」の確認が出ます。「Confirm」を押すと、すべてのワークスペースから資料が外れます。
アップロードした資料は、左のマイドキュメントに残ったままです。「ワークスペースへ移動して埋め込む」の手順で、資料を選び直して埋め込んでください。
AnythingLLMの使い方に関するよくある質問
AnythingLLMを使い始めると、料金や、ほかのツールとの違いが気になります。AnythingLLMの使い方についてよくある質問は、以下の3つです。
- AnythingLLMは無料で使えますか?
- Windowsでも使えますか?
- LM Studioで資料を添付する方法とは何が違いますか?
AnythingLLMは無料で使えますか?
この記事のデスクトップ版の手順は、料金を払わずに使えました。設定の一覧には「AnythingLLM Pro」という有料のプランの項目もあります。料金とプランの内容は、AnythingLLMの公式サイトで確かめてください。
Windowsでも使えますか?
ダウンロードのページには、Windows版とLinux版もあります。この記事の画面は、すべてMac版です。Windows版の画面や手順は、Mac版と違う場合があります。
LM Studioで資料を添付する方法とは何が違いますか?
LM Studioでは、会話に文書を添付して質問できます。AnythingLLMは、資料をワークスペースに登録しておき、質問のたびに必要な部分を探して使う仕組みです。AnythingLLMでもチャットに資料を添付できますが、添付した資料は添付したスレッドの中だけで使われます。添付と登録の違いは、AnythingLLMの公式ドキュメント「Attaching vs RAG」で確かめられます。
同じ資料に何度も質問する場合や、出典を確かめたい場合に向いているのは、AnythingLLMの登録の方法です。LM Studioで文書を添付する方法は、以下の記事で解説しています。
LM Studioの使い方をMacの画面で解説!日本語チャットと文書の要約まで
まとめ
AnythingLLMを使えば、社内の資料をワークスペースに登録して、Ollamaのモデルで質問し、答えの出典を確かめられます。AnythingLLMの使い方の要点は、以下の5つです。
- 最初の設定の「手動設定」でOllamaを選ぶ
- 資料を入れる前に、埋め込みのモデルをmultilingual-e5-smallに変える
- 資料はワークスペースへ移動して「保存して埋め込む」まで行う
- 答えは「出典」を開いて、元の文と見比べる
- 資料を改定したら、新しい版を入れて古い版をワークスペースから外す
まずは架空の2つの資料で、出典まで確かめる流れを試してみてください。



