画面を操作してモデルをダウンロードし、すぐに会話したいならLM Studioが有力です。他のアプリからローカルAIを呼び出すならOllama、オープンソースのチャットアプリならJan、手元の文書との対話ならGPT4AllやAnythingLLMが候補になります。
ここで扱うのは、文章作成・コードの相談・文書への質問に使う言語モデル向けアプリです。画像生成用のComfyUIとは役割が異なります。回答の質を大きく左右するのは読み込むモデルであり、アプリを変えるだけで小型モデルが高性能なクラウドAIと同じになるわけではありません。
更新日:2026年10月14日
目的に合うローカルAIアプリは?
モデル数の多さより、何をしたいかで選びましょう。5つとも無料でローカル推論を始められますが、PC・電気代・保存容量や任意のクラウドサービスは別です。以下は用途別の比較であり、同条件で測定した速度ランキングではありません。
| アプリ | 向いている用途 | ローカル利用の料金 | 注意点 |
|---|---|---|---|
| LM Studio | 画面操作でモデルを探して会話 | ローカル利用は無料枠あり | MacのCPUとクラウド利用の有無を確認 |
| Ollama | ローカルAPI・他アプリとの連携 | ローカル実行は無料 | 文書管理には別の画面が必要な場合あり |
| Jan | オープンソースのデスクトップチャット | ローカル利用は無料 | 推論エンジンとモデルの対応を確認 |
| GPT4All | 身近な文書フォルダーへの質問 | デスクトップ版は無料 | 新しいモデル形式への対応に注意 |
| AnythingLLM | 文書を整理したワークスペース | デスクトップ版は無料 | 設定項目が多く、Desktopは1人向け |
おすすめアプリ5選と使い始め方
1. LM Studio:画面操作で始めたい人に
モデルの検索・ダウンロード・チャット・ローカルサーバーをまとめて扱えるのがLM Studioの魅力です。llama.cpp経由のGGUFに加え、Apple SiliconではMLXも利用できます。小さめのモデルを複数試し、日本語の文章や要約が自分の用途に合うか確認するのに便利です。文書を添付して質問する使い方もあります。
現在の公式サイトではBionicや任意のクラウド推論も案内されています。ローカルモデルは無料枠で利用できますが、クラウドモデルやWeb検索はオフライン処理ではありません。PCにアプリが入っていることと、すべての処理がPC内で完結することを区別してください。

使い始め方
- 公式サイトからOSに合うインストーラーを入手。MacはApple Silicon対応を確認します。公開されているLM Studioのデスクトップ要件ではIntel Macは対象外です。
- モデル検索で小さな指示対応モデルを選び、メモリに余裕が残る量子化版をダウンロードします。
- チャットに読み込んで短い質問を試します。他のアプリと連携する場合はローカルサーバーを開始し、そのバージョンに表示される接続先を使います。
公式要件はメモリ16GB以上を推奨し、対応MacではmacOS 14以降が必要です。Windows x64ではAVX2も確認してください。これらはアプリ側の目安で、大型モデルが動く保証ではありません。
2. Ollama:複数のアプリでAIを共用したい人に
Ollamaは、文書アプリ・コード支援ツール・自作スクリプトの裏側でモデルを動かす用途に向いています。WindowsとMacではネイティブアプリを導入でき、最初からDockerを用意する必要はありません。デスクトップ画面もあるため、コマンド専用ツールと考える必要もありません。
強みは1つの実行環境を他のアプリから利用しやすいことです。一方、文書ライブラリーなどの機能は接続する側のアプリが担当する場合があります。モデル一覧ではローカルとクラウドを明確に選び分けましょう。ローカル推論にクラウドAPIキーは不要です。

使い始め方
- Ollamaをインストールし、アプリまたは公式ライブラリーからローカルモデルを選びます。容量を見てからダウンロードします。
- 下のコマンドでダウンロード済みモデルを一覧表示し、正確な名前で起動します。MODEL_NAMEは一覧にある名前に置き換えてください。
- 連携アプリには通常http://localhost:11434を設定します。自分のPCだけで使うなら、外部ネットワークへ公開しない設定のままにします。
ollama list
ollama run MODEL_NAME
ollama ps macOS 14以降の対応Intel MacはCPUのみ、Apple SiliconはGPUも利用できます。完全にローカルに限定する場合、公式FAQにあるOLLAMA_NO_CLOUD=1を設定して再起動します。
3. Jan:オープンソースのチャットアプリを選びたい人に
Janは、使い慣れたチャット形式でローカルモデルを管理できるオープンソースアプリです。Hubからモデルを探せて、現在のモデル管理画面にはハードウェアへの適合目安もあります。llama.cppやApple Silicon向けMLXなど、選んだエンジンに対応する形式を使いましょう。
外部のモデル提供サービスを登録する使い方もあります。同じアプリ内で切り替えられるのは便利ですが、モデル名だけでローカル実行かどうかは判断できません。ローカルAPIサーバーの接続先も、古い記事のポート番号ではなく、利用中の設定画面やドキュメントで確認します。

使い始め方
- OSに合うJanを入れ、HubからPCに収まる小型ローカルモデルをダウンロードします。
- 新しいチャットでそのモデルを選び、日本語の短い要約や言い換えを試します。
- APIが必要ならローカルサーバーを設定。オフラインで使う場合は外部プロバイダーやオンラインツールを使わない構成にします。
読み込みに失敗する場合は、量子化版を次々と変更する前にモデルのアーキテクチャと推論エンジンの対応を確認しましょう。
4. GPT4All:手元の文書に質問したい人に
GPT4AllのLocalDocsは、選んだフォルダーを文書コレクションとして検索できるようにする機能です。製品マニュアル、個人メモ、研究資料など、少量の資料から始める用途に向いています。対応モデルをダウンロードし、チャットで必要なコレクションを選んで使います。
文書検索は、モデルに全ページを永続的に学習させることとは異なります。関連する箇所を取り出して回答に使うため、検索漏れや読み取れないスキャンPDFがあると回答も不正確になります。まずは内容を把握しているフォルダーで試してください。

使い始め方
- ModelsからAdd Modelを開いて対応モデルをダウンロードし、Chatsで会話できるか確認します。
- LocalDocsで小さなフォルダーを登録し、索引作成の完了を待ちます。ローカル埋め込みモデルのダウンロードも必要です。
- コレクションを選択して既知の事実を質問し、根拠となる文章を確認します。根拠がない回答を文書の事実として扱わないでください。
GPT4Allという名称は、OpenAIのGPT-4をPC内で動かせるという意味ではありません。また、GGUFという拡張子だけでは、最新モデルを読み込めるとは限りません。
5. AnythingLLM:文書を用途別に整理したい人に
AnythingLLMは、案件資料や学習資料をワークスペース単位で整理し、チャットや文書検索に使うアプリです。Desktop版にはローカルモデルを利用する経路があり、Ollamaなどへの接続もできます。単にチャットを試すよりも、継続して資料を増やしていく人に向いています。
チャットモデルだけでなく、埋め込みモデルと保存先も確認が必要です。チャットはローカルでも埋め込みAPIが外部なら、文書処理全体はローカルではありません。Desktop版は個人利用向けで、複数人の権限管理が必要なら別のサーバー/Docker構成を検討します。

使い始め方
- Desktop版を導入し、チャットと埋め込みの両方でローカルの提供元を選びます。Ollamaを使う場合は先に起動します。
- ワークスペースを作り、読み取り可能な文書を数件追加して索引を作成します。無関係な案件は分けます。
- 出典の文章を示すように質問します。基本の検索が動いてから、必要なエージェント機能だけを追加します。
ワークスペースを分けると検索対象を整理できますが、それだけで複数ユーザー向けの認証・権限管理を備えたことにはなりません。
PC・Macに必要なスペック
以下は控えめな開始目安であり、メーカーの最低要件や速度保証ではありません。モデル本体に加え、処理用メモリとOSの空き容量が必要です。日本語対応モデルでも、サイズや量子化によって長文の扱いや表現力が変わります。
| PCの構成 | 最初に試す目安 |
|---|---|
| メモリ8GB | 1〜3B程度の小型量子化モデルと短い会話から。他のアプリを閉じ、速度や品質の制約を見込みます。 |
| メモリ16GB | 4〜8B程度のQ4モデルを候補にし、実際の必要容量に余裕があるか確認します。 |
| メモリ32GB以上 | 大型モデルや長い文脈を試せますが、個別モデルの使用量を事前に確認します。 |
| VRAMが少ないWindows PC | CPUへの一部オフロードが使えても速度は落ちます。RAMとVRAMは単純に足せません。 |
| Apple Silicon Mac | ユニファイドメモリをOSとGPUで共用します。容量すべてをモデルに割り当てないでください。 |
Q4は重みの精度を下げて容量を節約する方式で、「4GBで動く」という意味ではありません。文脈を長くすると必要メモリも増えます。速度を比べるなら、同じPC・モデル・量子化・入力・文脈長で比較しましょう。
最初のローカルAIを動かす手順
- まずアプリ1つと用途1つを決めます。短文作成や簡単な文書への質問から始めます。
- オンラインのうちにアプリ、実行エンジン、言語モデル、必要な埋め込みモデルをダウンロードします。
- 小型の指示対応モデルと短めの文脈を選び、固有名詞や日付を変えずに文章を言い換えさせます。
- 文書は文字を選択できるファイルで試し、既知の事実と根拠の文章を質問します。日本語PDFでは縦書きや表の読み取りも確認します。
- ネット接続を切り、新しいチャットで同じ作業を試します。オフラインで生成できるかの確認になりますが、完全なセキュリティ監査ではありません。
与えた文章だけを使い、決定事項、明記された期限、未解決の質問を整理してください。各項目に短い根拠の引用を添え、書かれていないことは不明としてください。日付や約束を作らないでください。 オフライン・プライバシー・費用の注意点
ローカル推論には通常、提供元へのトークン単位の料金はかかりません。ただしPC、電気代、保存容量は必要です。今回の5つには無料で始める方法があるため、小型モデルを試すだけなら有料のクラウド契約は不要です。
プライバシーはモデル接続先、埋め込み、Web検索、連携ツール、ログ、同期フォルダーまで含めて確認します。ローカル保存した履歴でも、保存先がクラウド同期対象ならPC外へ転送される可能性があります。
ローカル化してもモデルのライセンスや拒否傾向は変わりません。ロールプレイや成人向け内容への対応は、アプリ名よりモデルと接続サービスによって異なります。商用利用では双方の条件を確認しましょう。
よくあるトラブルと対処法
モデルを読み込めない
形式・アーキテクチャ・実行エンジンの対応を確認し、その後に小型化や文脈の短縮を試します。
回答が遅い
初回の読み込みと生成速度を分けて考え、GPU使用状況・省電力設定・メモリ不足を確認します。Ollamaではollama psが手掛かりになります。
PDFの内容を無視する
索引作成の完了と選択中の資料を確認。スキャンPDFは先にOCRが必要な場合があります。
APIにつながらない
サーバー起動、ポート、モデル名を確認。Docker内のlocalhostはホストPCのlocalhostと同じではありません。
よくある質問
インターネットなしで使えますか?
必要なモデルと実行環境をダウンロードし、ローカル構成にすれば使えます。Web検索やクラウドモデル、外部連携は別です。文書検索用の埋め込みモデルも忘れずに用意します。
NVIDIAのGPUは必須ですか?
必須ではありません。CPUでも小型モデルを動かせます。Apple SiliconやAMD・Intel GPUの対応はアプリとエンジン次第なので、利用するバージョンで確認してください。
Intel Macならどれを選べばよいですか?
LM Studioのデスクトップ要件ではIntel Macは対象外です。OllamaにはmacOS 14以降の対応Intel MacでCPUのみを使う経路が記載されています。OSとインストーラーの対応を先に確認してください。
アプリを変えれば日本語が自然になりますか?
モデルの日本語能力、量子化、指示の書き方が大きく影響します。アプリ側のテンプレートや検索も関係しますが、自分の文章で比較するのが確実です。
画像や動画も生成できますか?
この比較は言語モデル向けです。画像を理解できることと生成できることは別なので、画像生成や動画には対応するComfyUIなどの環境と別途モデルが必要です。
別アプリと連携できますか?
対応APIなら可能です。文書アプリからOllamaを利用するなどの構成があります。ただし接続先、モデル名、API機能の対応を確認してください。
まずは1つのアプリと小さなモデルから
迷ったらLM StudioかJanで小さなモデルを試しましょう。使いたい連携先がOllamaを指定しているならOllamaからで構いません。文書中心ならGPT4All、資料を用途別に整理するならAnythingLLMが候補です。
回答を自分で確認できる小さな作業で、速度・日本語の自然さ・オフライン動作を確かめてから規模を広げると失敗が減ります。ダウンロードするモデル自体を選びたい場合は、下の比較記事も参考になります。
あわせて読みたい: 2026年版 ローカル実行向けオープンソース LLM ベストセレクション:性能、NSFW、ハードウェア比較 · クラウドGPUでAI環境を構築する方法:画像・動画・LLM・酒場とNSFWの制限【2026年】 · SillyTavernの使い方【2026年版】AI酒場の始め方・キャラクターカードと世界書の作り方