想用圖形介面下載模型、直接聊天，LM Studio 是合適起點；要讓其他軟體共用本機模型，可選 Ollama；偏好開源桌面聊天介面，可看 Jan；以文件問答為主，則比較 GPT4All 與 AnythingLLM。
這些工具主要執行語言模型，用於寫作、程式碼解說與文件查詢，並非 ComfyUI 這類圖片生成工作流程的替代品。軟體負責管理與執行模型，回答能力仍取決於模型本身；換介面不會讓小模型突然具備頂級雲端模型的能力。
更新日期：2026 年 10 月 14 日
先依用途選擇本機 AI 軟體
別只看支援多少模型，先想清楚要完成什麼工作。五款都有免費本機執行的途徑，但電腦、電費、儲存空間、選用的雲端服務與模型授權需分開考量。這是用途比較，不是同機實測的速度排行榜。
| 軟體 | 適合用途 | 本機使用費用 | 主要限制 |
|---|---|---|---|
| LM Studio | 用介面搜尋模型、聊天 | 本機使用有免費方案 | 注意 Mac 架構及雲端選項 |
| Ollama | 本機 API 與軟體串接 | 本機執行免費 | 文件管理可能需另外搭配介面 |
| Jan | 開源桌面聊天 | 本機使用免費 | 須確認模型與推論引擎相容性 |
| GPT4All | 個人文件資料夾問答 | 桌面版免費 | 新模型架構不一定能載入 |
| AnythingLLM | 文件工作區與檢索問答 | 桌面版免費 | 設定較多；Desktop 為單人使用 |
5 款推薦工具與上手方法
1. LM Studio：適合第一次使用本機模型
LM Studio 把搜尋、下載、聊天和本機伺服器放在同一套介面中。它透過 llama.cpp 執行 GGUF，也在 Apple Silicon 支援 MLX。你可以先試兩個小模型，比較繁體中文表達和摘要結果，再調整上下文長度，不必先架設另一套後端。也能附加文件來提問。
目前官網同時介紹 Bionic 與選用的雲端推論。本機模型包含在免費方案內，基本離線聊天不必訂閱雲端服務。但若選到雲端模型或啟用連網工具，就不是全部在電腦內處理，不能只因為安裝了桌面 App 就認定資料完全不離機。
如何開始
- 下載符合作業系統的版本。Mac 先確認是否為 Apple Silicon；官方 LM Studio 桌面需求目前排除 Intel Mac。
- 在模型搜尋中選小型指令模型，下載能保留系統記憶體餘裕的量化版本。
- 載入模型，先問短問題。若需串接其他軟體，啟動本機伺服器並複製目前版本顯示的端點。
官方建議 16GB 以上記憶體；支援的 Mac 需 macOS 14 以上，Windows x64 需 AVX2。這些是軟體需求，不代表大型模型一定放得下。
2. Ollama：適合 API 串接與共用模型
Ollama 適合在文件軟體、程式助理和自訂腳本背後提供模型服務。Windows 和 Mac 可安裝原生應用程式，不必從 Docker 開始，而且已有桌面介面，並非只能打指令。
優點是同一個執行環境能服務多個相容工具。代價是完整的文件資料庫或特定工作流程，可能要由前端軟體提供。請明確選擇本機模型；標示為雲端的模型在遠端執行，本機推論則不需要雲端 API 金鑰。
如何開始
- 安裝 Ollama，從應用程式或官方模型庫選擇本機模型，先檢查下載容量。
- 使用下方指令列出下載過的模型，再將 MODEL_NAME 換成清單內的名稱執行；也能查看 CPU／GPU 配置。
- 在串接軟體中設定本機端點，通常是 http://localhost:11434。僅供自己使用時，維持只讓本機存取的設定。
ollama list
ollama run MODEL_NAME
ollama ps官方記載 macOS 14 以上的相容 Intel Mac 可使用 CPU，Apple Silicon 可用 GPU。想限制為純本機模式，可依官方 FAQ 設定 OLLAMA_NO_CLOUD=1 後重新啟動。
3. Jan：適合偏好開源桌面軟體的人
Jan 提供熟悉的聊天介面與本機模型管理，應用程式本身開源。Hub 可搜尋模型，目前的管理介面也提供是否符合硬體的提示。llama.cpp 與 Apple Silicon 的 MLX 路線需搭配各自支援的格式。
Jan 也能接外部模型服務。這種彈性很方便，但模型名稱出現在桌面選單中，不代表一定在電腦上運算。若要啟用本機 API，請以目前設定或官方文件的端點為準，不要直接套用舊教學的連接埠。
如何開始
- 安裝 Jan，從 Hub 下載適合硬體的小型本機模型。
- 開新對話，選擇下載的模型，先測試繁體中文改寫或摘要。
- 需要串接時再設定本機伺服器；離線工作不要啟用外部模型提供者與連網工具。
若模型載入失敗，先確認架構與推論引擎支援，再嘗試其他量化版本。
4. GPT4All：適合簡單的個人文件問答
GPT4All 的 LocalDocs 能把選定資料夾建立成可搜尋的文件集合。使用手冊、筆記、少量研究資料都很適合先試，不必為了個人使用搭建團隊伺服器。下載相容模型後，在對話選擇需要的集合即可提問。
檢索不是把每頁內容永久訓練進模型，而是找出相關段落送進回答上下文。因此索引未完成、搜尋不到內容或掃描 PDF 無法讀取，都可能讓回答失準。先用你熟悉的小資料夾確認效果，比一次丟進大量文件更有效。
如何開始
- 在 Models 的 Add Model 下載相容模型，於 Chats 載入並確認能正常聊天。
- 建立 LocalDocs 集合，加入小型資料夾並等待索引完成；離線使用所需的嵌入模型也要下載。
- 選擇集合，詢問已知答案並核對引用段落。沒有根據的答案不能直接當作文件中的事實。
GPT4All 並不代表能在電腦上執行 OpenAI GPT-4。GGUF 副檔名也不能保證最新架構已獲這個執行環境支援。
5. AnythingLLM：適合依專案整理文件工作區
AnythingLLM 以工作區整理資料，例如專案規格一區、學習筆記一區，再搭配聊天、文件檢索與選用的 Agent 功能。Desktop 版包含本機模型路線，也可連接 Ollama。若資料會持續增加，比單純試用聊天模型更符合這類需求。
請同時確認聊天模型、嵌入提供者與儲存設定。聊天在本機、嵌入卻使用遠端 API，仍不是全本機流程。Desktop 是單人應用程式；多人共享與帳號權限應使用另外的伺服器／Docker 架構。
如何開始
- 安裝 Desktop 版，將聊天與嵌入提供者都設為本機；若搭配 Ollama，先啟動它。
- 建立工作區，加入數份能讀取文字的文件並完成索引。不同專案分開處理。
- 要求回答附上來源段落。確認基本問答正常後，再加入需要的 Agent 工具並檢查權限。
工作區能改善搜尋範圍，但不能當成多人伺服器的身分驗證與權限控制。
電腦需要什麼硬體？
以下是保守的起步建議，不是廠商最低規格或效能保證。模型架構、量化、上下文與可用記憶體都影響能否順利執行，還要留空間給作業系統。
| 電腦配置 | 建議起點 |
|---|---|
| 8GB 記憶體 | 從約 1–3B 小型量化指令模型、短對話開始，關閉其他程式並接受能力限制。 |
| 16GB 記憶體 | 約 4–8B 的 Q4 模型可作起點，仍需核對實際工作記憶體。 |
| 32GB 以上 | 可嘗試較大模型或較長上下文，下載前估算個別模型需求。 |
| Windows 顯示記憶體有限 | 部分卸載至 CPU 可能可行，但速度降低；RAM 與 VRAM 不能直接當作同一塊容量。 |
| Apple Silicon Mac | 統一記憶體由系統與 GPU 共用，不要把全部容量都分給模型。 |
Q4 是降低權重精度以節省容量，不是「只需要 4GB」。上下文越長通常需要更多記憶體。比較速度要固定電腦、模型、量化、提示詞與上下文，不能拿不同機器的數字直接決定買哪款軟體。
第一次執行本機 AI 的步驟
- 先選一個工具和用途，例如改寫短文或解說程式碼，不必一次安裝五款。
- 連網時下載軟體、推論引擎、語言模型和嵌入模型；多份量化檔案可能占用大量 SSD 空間。
- 選小型指令模型與適度的上下文，先要求保留姓名、數字和日期改寫一段文字。
- 文件先用可選取文字的 PDF，詢問已知事實並核對出處。繁中內容也要檢查是否混入簡體與中國大陸用語。
- 中斷網路後開新對話重試，確認能否離線完成。同樣成功不代表完成全面資安稽核。
只根據提供的文字，列出決定事項、明確寫出的截止日期與尚未解決的問題。每項附一段簡短原文作為依據。找不到答案就說明不確定，不要自行加入日期或承諾。離線、隱私與實際成本
本機推論沒有提供者按 token 收費的帳單，但仍有硬體、電費與儲存成本。這五款都有免費的本機起步方式，試小模型不必先訂閱雲端方案。
隱私需連同模型端點、嵌入、Web 搜尋、連接器、紀錄與同步資料夾一起檢查。聊天記錄若放在雲端同步目錄，仍可能離開電腦。
本機執行不會移除模型授權，也不保證模型不拒答。角色扮演、成人內容等行為取決於模型及串接服務，商用前需檢查軟體與模型兩邊的規範。
常見問題與排除方式
模型載入失敗
先核對格式、架構及推論引擎，再試較小量化版本、縮短上下文並釋放記憶體。
回答速度很慢
分開看初次載入與實際生成，檢查 GPU、省電模式及記憶體壓力。Ollama 可用 ollama ps 查看配置。
回答忽略文件
確認索引完成且選對集合或工作區。掃描 PDF 可能需先 OCR，再用已知段落測試。
API 連不上
核對伺服器、連接埠與模型名稱。Docker 容器內的 localhost 與主機不相同，應依客戶端文件設定。
常見問答
能完全不連網嗎？
在下載完所有模型與必要元件、且選擇全本機設定後可以。雲端模型、Web 搜尋與遠端連接器仍需網路；文件檢索也需備妥本機嵌入模型。
一定需要 NVIDIA 顯卡嗎？
不用。CPU 可跑小模型；Apple Silicon、AMD、Intel GPU 支援依軟體與後端不同。先確認實際版本與驅動的相容性。
Intel Mac 適合哪款？
LM Studio 官方桌面需求排除 Intel Mac；Ollama 記載相容 Intel Mac 在 macOS 14 以上可走 CPU 路線。下載大型模型前先確認作業系統與安裝檔。
換軟體會讓繁體中文更好嗎？
主要仍取決於模型的語言能力、量化與提示詞。介面模板和檢索會影響效果，但最好用自己的台灣繁中內容測試。
可以生圖或生成影片嗎？
這份比較以語言模型為主。理解圖片與生成圖片不同；生圖／影片要另用相容的 ComfyUI 等工作流程與對應模型。
可以把模型接到其他軟體嗎？
可以，前提是 API 相容。例如文件介面可接 Ollama。應確認端點、模型名稱與功能，而非以為相容 OpenAI API 就等於所有功能都支援。
從一款軟體、一個小模型開始
初學者可以先試 LM Studio 或 Jan。若目標軟體指定 Ollama，就直接從它開始。小型文件集合可用 GPT4All，持續整理多個專案資料則適合考慮 AnythingLLM。
先確認一個小任務能穩定完成、繁中表達符合需求且離線可用，再增加模型大小與文件數量。若下一步是挑選下載哪個模型，可接著閱讀本機模型比較。
延伸閱讀: 2026 年最佳本地開源 LLM：效能、NSFW 與硬體對比 · 雲端 GPU AI 工作站架設指南：生圖、影片、LLM、酒館與 NSFW 限制（2026） · SillyTavern 入門指南 2026：建立 AI 酒館、角色卡與世界書
