是否曾試圖組裝一件平板包裝家具，但說明書看起來像吸血鬼咬過一樣？這就是 2023 年許多人運行本地 AI 模型時的感受：既誘人又賦能，但又令人困惑，讓你只想去學木工。GPT4All 確實有幫助——友好的安裝程式、像樣的 UI——但它可能不太適合你。也許你想要更簡單的模型管理、更快的 GPU 速度、可共享的 Web UI，或者一種簡單直接的「只需與我的文檔聊天」的方式。
好消息是：GPT4All 的替代方案如雨後春筍般湧現。它們專注於隱私、設備上的速度，以及不將你的數據發送到雲端的溫暖感覺。今天，我將介紹一些頂級選項，解釋它們各自的優勢，並且——這是關鍵——向你展示一個普通人（你！）實際上會在家庭、工作中使用它們，或者當你的 Wi-Fi 暫停一下時使用它們。
在我們開始之前，請注意：軟體發展迅速，功能變化很快，而且你的使用體驗會因你的電腦而異。將其視為旅行指南，而不是《十誡》。如果你正在尋找人們在 2024-2025 年熱議的本地 LLM 工具，簡短的列表包括 Ollama、LM Studio、Text Generation WebUI（又名 oobabooga）、Jan、Llama.cpp、LocalAI 及其朋友們。一些匯總將這些名稱放在首位，作為今年首選的本地 LLM 選擇。
我們到底在優化什麼？
如果你對「本地 LLM」這個詞感到陌生，它只是意味著在你自己的機器上運行 AI 模型——沒有雲端、沒有每月帳單、沒有數據發送到未知的伺服器。你將（目前）犧牲大型雲端模型的原始馬力，但你將獲得隱私、控制權，並且如果你選擇正確的模型大小和硬體，速度會出奇地快。
現在，你如何選擇正確的工具來運行這些模型？讓我們按人格類型進行排序。
- Ollama：只需一行的命令行禮賓
如果你曾經希望有一種可以用一個詞來安裝和切換模型的方法，Ollama 就像訂購披薩一樣：「ollama run llama3」，它會獲取正確的麵團、醬汁和配料。它是一個後台服務，可以處理不斷增長的模型菜單的下載、量化和更新。你可以單獨使用它，透過其本地 API 將其連接到其他應用程式，或將其與 Web UI 配對。它就像本地 LLM 的通用遙控器。
它的優點：
- 模型跳轉：這小時測試 Llama 3，午餐後測試 Mistral 變體。
需要注意的事項：
- 對於較長時間的會話，你仍然需要一個 UI——Open WebUI 或任何與 Ollama API 通訊的 UI。
如果你只是瀏覽：Ollama 是摩擦消除器。較新的指南一直將其列為 2025 年最好的本地 LLM 工具之一。
- LM Studio：最適合人類的「應用程式式」體驗
如果 Ollama 是命令行披薩，那麼 LM Studio 就是你舒適的街區 trattoria。它是一個完整的桌面應用程式，具有可視化模型目錄、一鍵下載、聊天窗口，以及一些方便的上下文長度和系統提示旋鈕。你甚至可以開啟本地伺服器，以便其他應用程式可以連接，這是一種花哨的說法，即「在家中使用 LM Studio 作為你的個人 AI 引擎」。
它的優點：
- 嘗試一個模型並切換到另一個模型，而無需重新學習一個工具。
需要注意的事項：
- 高級用戶可能會覺得它的預設設置不夠用，但如果你深入挖掘，就會發現它的深度。
- 與所有本地工具一樣，效能在很大程度上取決於你的硬體。
匯總通常會將 LM Studio 列為本地運行模型的首選——這是理所當然的：它是新手最容易上手的方式。
- Text Generation WebUI (oobabooga)：瑞士軍刀聊天實驗室
這是修補匠的俱樂部：一個在你瀏覽器中運行的本地 Web 應用程式，充滿了擴展、角色卡、提示範本、微調助手，以及比餐館菜單更多的滑塊。如果你的理想星期五晚上是「比較六個模型和兩個 GPU 上的令牌採樣設置」，那麼這裡就是你的歸宿。
它的優點：
需要注意的事項：
- 能力越大，責任越大。這是一個實驗室，而不是一個水療中心。
- Jan：友好的、捆綁的、無需網路的應用程式
Jan 就像「AI 外帶」包：它捆綁了一個引擎和模型，因此你可以離線運行而無需擺弄。想想：「我只是想要一個私人的聊天助手，而無需學習本地 LLM 的秘密握手。」它的目標是提供一種開箱即用的、以隱私為先、使用者友好的體驗。
它的優點：
需要注意的事項：
- Llama.cpp 及其朋友們：效能管道
許多本地工具的核心是 Llama.cpp——一種高度優化的 C/C++ 實作，使這些模型在 CPU 和消費級 GPU 上都能驚人地良好運行。如果你喜歡低級控制，可以直接使用它，或者讓 Ollama 和 LM Studio 等工具為你處理。如果你夢想著量化格式，歡迎回家。
它的優點：
需要注意的事項：
- LocalAI：即插即用的 API 替換野心
LocalAI 旨在本地模擬流行的 AI API。如果你的應用程式需要 OpenAI 樣式的端點，LocalAI 希望成為你的筆記型電腦或伺服器上的隨插即用替代品。對於開發人員來說，這可能是一種超能力：隱私加上可移植性，而無需重寫一半的程式碼。
它的優點：
- 想要一個本地、私有 API，該 API「就像雲端一樣工作」的開發人員。
需要注意的事項：
- 與面向消費者的應用程式相比，需要更多的設定和維護。
- Open WebUI（及類似應用程式）：引擎的更友善介面
將 Ollama 這樣的後端與 Open WebUI 這樣的前端配對，你就擁有了一個令人愉悅、可共享的聊天介面，具有歷史記錄、檔案上傳和多模型切換功能。這就像給你的本地 AI 一個客廳，而不是讓它坐在車庫裡的牛奶箱上。
它的優點：
需要注意的事項：
你應該選擇哪一個？本地 LLM 的人格測驗
- 「我想快速開始，而且我不介意命令行。」選擇 Ollama。
- 「請給我一個帶有按鈕的漂亮應用程式。」選擇 LM Studio。
- 「我修補，故我在。」選擇 Text Generation WebUI。
- 「我建構應用程式，並且想要一個本地 API。」選擇 LocalAI。
- 「我想要終極控制和速度旋鈕。」直接選擇 Llama.cpp（或建立在其上的工具）。
關於效能和硬體的簡短說明
本地模型在 GPU 上運行最快，但現代 CPU 在較小的、量化的模型上也能表現出色。翻譯：如果你有一台認為踩地雷遊戲很激烈的無風扇筆記型電腦，請勿下載 70B 參數的龐然大物。嘗試 3B–8B 模型進行一般寫作和集思廣益；如果你有中階 GPU，請升級到 13B–14B；只有在你確定需要它時才使用更大的模型——並且你的電費已做好情緒上的準備。
上下文窗口（模型可以「記住」多少文本）比你想像的更重要。如果你正在進行文檔問答，請選擇一個允許你發送更長上下文或使用檢索增強生成 (RAG) 來「先搜尋，然後回答」的模型和工具。現在許多工具都內置了文檔索引，因此你可以放入一個 PDF 並說，「現在告訴我退款政策隱藏在哪一頁上」，而無需像浣熊一樣在垃圾箱中滾動。
隱私呢？
本地 LLM 將你的數據保存在你的設備上，這是使用它們的一半原因。但請記住：外掛程式、擴展和「從互聯網下載此模型」仍然涉及……互聯網。使你的系統保持最新狀態，從受信任的中心下載模型，並像對待敏感檔案一樣對待敏感檔案。本地並不意味著粗心。
如何在不後悔的情況下試駕替代方案
以下是一種低調的方式來嘗試一些：
- 從 LM Studio 開始。它很友好，讓你感受到你的硬體上的模型大小和速度。
- 接下來安裝 Ollama。將其用作後台引擎，並嘗試 Open WebUI 等前端。
- 如果你想更深入，請啟動 Text Generation WebUI 以獲得高級功能和角色扮演預設。
- 如果「離線捆綁」讓你感到高興，請嘗試 Jan，看看它是否可以滿足你的日常任務。
向每個工具詢問以下問題：
- 它是否可以快速載入模型並以足夠快的速度回應以進行聊天？
- 它可以處理你的日常工作嗎：電子郵件、筆記、程式碼片段或文檔問答？
友好的現實檢查：小型模型與大型期望
我們正處於「足夠好本地」的黃金時代。較小的模型比一年前好得多，並且量化技術使你可以在普通電腦上運行它們。但是 7B 模型不太可能像頂級雲端模型那樣編寫完美的法律動議或調試數千行程式碼。如果你撞到天花板，那不是你——那是物理、數學，以及熱力學中對我們皺眉的那條定律。
GPT4All 現在適合在哪裡？
GPT4All 仍然是一個可靠的選擇，尤其是因為其平易近人的應用程式和本地模型目錄。但是，如果你渴望更簡單的引擎管理 (Ollama)、更「原生應用程式」的感覺 (LM Studio)、最大的可調整性 (Text Generation WebUI) 或預先捆綁的離線氛圍 (Jan)，你可能會發現更適合上述替代方案。最近的匯總繼續將 GPT4All 納入其中——只是對於想要最少摩擦的新手來說，並不總是排在最前面。
真實場景：哪種替代方案獲勝？
- 週末作家：你正在起草部落格文章、集思廣益標題，並以更友善的聲音重寫段落。LM Studio 加上 7B–8B 模型會感覺像一個增強型的詞庫，它也理解氛圍。
- 以隱私為重點的顧問：你總結客戶文檔並生成提案，而無需雲端。將 Ollama 與 Open WebUI 和檢索外掛程式配對，以便你可以參考 PDF。你將成為不洩露秘密的捉刀人。
- 家庭實驗室修補匠：你嘗試採樣參數、角色卡和用於創意寫作的利基模型。Text Generation WebUI 是你的遊樂場。
- 開發人員：你想要一個本地 API 來原型化應用程式，而無需燒錄令牌。LocalAI（或 Ollama 的 API）插入，你的程式碼不會知道差異，並且你的筆記型電腦可以扮演數據中心的角色。
- 旅行者：你將在沒有 Wi-Fi 的飛機上，但仍然需要一個寫作夥伴。Jan 是你的隨身助手。
故障排除角：當事情變得暴躁時
- 它很慢：嘗試一個更小、量化更嚴格的模型（例如 Q4_K_M）。減少上下文長度。關閉佔用大量記憶體的應用程式。如果你有獨立 GPU，請確保該工具實際上正在使用它。
- 它很健忘：如果你的 RAM 允許，請增加上下文窗口。或設定 RAG 工作流程，以便模型可以從你的檔案中「查找」事實。
- 它很平淡：使用系統提示和範例。向它展示你喜歡的段落，然後說「像這樣寫，但關於 .
- 更廣泛地了解本地運行模型的最佳工具——LM Studio、Jan、Llamafile、GPT4All、Ollama 和 Llama.cpp。
常見問題
Q1：對於初學者來說，最好的 GPT4All 替代方案是什麼？
從 LM Studio 開始，獲得友好的、應用程式式的體驗，然後添加 Ollama，如果你想要簡單的模型切換和整合。如果你喜歡具有許多功能的 Web UI，Text Generation WebUI 是修補匠的最愛。
Q2：在典型的筆記型電腦上，哪種 GPT4All 替代方案最快？
速度取決於你的硬體和模型大小。Ollama 加上一個量化良好的 7B–8B 模型（或運行相同的 LM Studio）通常感覺很流暢；如果可用，請使用你的 GPU 並保持合理的上下文長度。
Q3：替換 GPT4All 的最簡單離線設定是什麼？
嘗試 Jan 以獲得一體化、離線友好的體驗。如果你想要更多的靈活性而沒有複雜性，LM Studio 是第二選擇。
Q4：GPT4All 替代方案可以處理私人文檔問答嗎？
是的——使用支援檢索增強生成 (RAG) 或長上下文窗口的工具。將 Ollama 或 LM Studio 與 Web UI（如 Open WebUI）和 RAG 外掛程式配對，以安全地查詢你的 PDF。
Q5：我應該使用本地 LLM 還是像 Sider.AI 這樣的瀏覽器助手？
在有意義時同時使用兩者：本地 LLM 用於隱私和離線工作，Sider.AI 用於瀏覽、總結頁面或起草回覆。這是關於為任務選擇正確的工具，而不是選擇單一的獲勝者。 
