有没有试过在没有那个小小的内六角扳手的情况下组装宜家家具？这就是在没有合适的应用程序的情况下运行本地 AI。你有了模型（书架），有了笔记本电脑（客厅），但在工具出现之前，一切都无法组合起来。今天的工具：Ollama vs LM Studio。这是在你的机器上运行大型语言模型的两种流行方式，而无需将你的大脑——或你的数据——发送到云端。哪一个是那个你不会立刻在沙发底下丢失的内六角扳手？
让我们来点实际的。我在一台工作用的笔记本电脑上安装了这两个工具，尝试了常用的提示（总结一篇文章，起草一封电子邮件，“像给一只猫解释量子计算一样解释量子计算”），并用更大的模型和重复的任务对它们进行了压力测试。我还和几个开发者朋友、几位对 AI 感兴趣的作家，以及那个坚持“不相信任何需要登录的东西”的人聊了聊。
请注意：这是一个对比评测，而不是团结友爱大会。我会告诉你每个工具的优点、缺点，以及根据你是喜欢修修补补的人、高级用户，还是仅仅想要没有订阅费的 ChatGPT 体验的人，应该选择哪一个。
为什么本地 AI 正当红（以及你为什么应该关心）
- 隐私：你的数据保留在你的设备上，而不是像数字冰沙一样在服务器群中晃荡。
- 速度：一旦模型加载完毕，响应速度会很快——尤其是对于较小的模型。
- 控制：你可以选择模型（Llama 3、Phi-3、Mistral、Qwen）、量化以及它的运行方式。
- 成本：下载后，推理是免费的——没有像你忘记取消的流媒体服务那样悄悄上涨的每 token 费用。
Ollama vs LM Studio：简短、不啰嗦的总结
- Ollama：极简主义，对开发者友好，原生命令行，非常适合脚本和服务器。可以理解为：“模型的 git”。
- LM Studio：带有友好 UI 的精美桌面应用程序，内置聊天和简易模型浏览器。可以理解为：“本地 LLM 的应用商店”。
如果你想要一个感觉像本地 ChatGPT 的单窗口体验，请选择 LM Studio。如果你想要一个可以通过单个命令插入到其他所有东西的工具——并且你不介意终端，请选择 Ollama。
我是如何测试的（又名：我的笔记本电脑为团队做出了牺牲）
- 硬件：14 英寸笔记本电脑，配备 8 核 CPU、32GB 内存和中档 GPU。我还尝试了一台配备 16GB 内存的较弱机器，以了解在何处出现故障。
- 模型：Llama 3 8B 和 70B（量化），Mistral 7B，Phi-3 Mini 用于效率测试。
- 任务：电子邮件起草、代码注释、文档摘要，以及“帮我分析预算”的角色扮演。我还将模型托管在本地，并将浏览器客户端指向它们。
结果：这两个工具都完成了所有任务。区别在于设置、模型管理以及我在不使用拉丁语咒语的情况下可以控制多少。
设置和首次运行：谁能让你更快地说出“Hello, model”？
- LM Studio：下载，打开，点击“Models”，搜索，下载，点击“Chat”。它是令人愉悦的点击操作。在提交 10GB 的下载之前，你可以看到量化选项和大小。
- Ollama：安装运行时（macOS 上使用 brew，Linux/Windows 上使用脚本）。然后：
ollama run llama3。第一次运行时，它会获取模型并启动一个本地服务器。如果你对终端感到舒适，它会很快。如果不是，那就是“快速学习一个命令”。
获胜者：LM Studio 适合初学者。Ollama 适合任何曾经输入过 npm install 而没有哭泣的人。
模型管理：你不会丢失模型的架子
- LM Studio：有一个模型浏览器，带有预览、大小、量化类型（Q4_K_M、Q5、Q8 等），以及一个清晰的“这可能对你的机器有好处”的氛围。当你的 SSD 开始尖叫时，你可以从 UI 中删除模型。
- Ollama：使用简单的
Modelfile 和命令语法。你可以像 Docker 镜像一样拉取、标记和运行模型。一旦你理解了它，它就很优雅，并且非常适合版本控制。但是没有官方的 GUI，所以你将生活在 CLI 中或将其包装在其他东西中。
获胜者：LM Studio 适合视觉清晰度。Ollama 适合想要与队友分享单行设置的可重复性爱好者。
聊天体验：在本地与机器人交谈
- LM Studio：感觉像一个本地 ChatGPT 克隆，这很好。用于不同对话的多标签页、系统提示、温度滑块、token 限制和停止序列——所有这些都可以在不离开窗口的情况下进行调整。
- Ollama：你可以在终端中聊天（这在一种复古的方式中很迷人）。但真正的魔力在于 Ollama 在 localhost 上启动了一个与 OpenAI 兼容的 API。这意味着任何与 OpenAI 对话的应用程序都可以与你的本地模型对话。你好，生态系统。
获胜者：LM Studio 适合开箱即用的聊天 UX。Ollama 适合插入到其他所有东西。
性能和硬件友好性：你的风扇会参加喷气发动机的试镜吗？
- 较小的模型 (7B–8B)：这两种工具在现代 CPU 上都能很好地处理它们。通过 GPU 加速，它们会飞速运行。
- 较大的模型 (70B)：期望做出妥协——较低的量化、较慢的 token，以及大量的 RAM 或 VRAM 需求。LM Studio 提供了可见的指导；Ollama 使通过标签交换量化变得容易。
- 实用技巧：如果你有 16GB 内存，请从 Q4 或 Q5 量化的 7B 或 8B 模型开始。如果你有 32GB+ 和一个不错的 GPU，请尝试 13B 或 70B 用于某些任务。
获胜者：平局。真正的限制因素是你的硬件和你选择的特定量化，而不是应用程序的标志。
开发者友好性：“我可以编写脚本吗？”这个问题
- Ollama：这是它的主场。
ollama serve 运行一个本地端点。ollama run 在 shell 中流式传输 token。你可以创建一个 Modelfile 来组合模型、添加系统提示或合并 LoRA。它基本上是本地 AI 的管道。
- LM Studio：你也可以托管一个本地服务器并公开一个类似 OpenAI 的端点。但 UI 是明星。脚本编写是可能的，只是不是主要事件。
获胜者：Ollama。你会看到它嵌入到其他工具中，正是因为它轻量级且可编写脚本。
隐私和离线使用：你的数据，你的规则
- LM Studio 使“这里没有云”的承诺在视觉上显而易见，如果你是新手，这会让你放心。
- Ollama 的简单性有助于确保没有不必要的東西在往外发消息（除了模型获取）。
获胜者：平局。两者都是为本地优先构建的。
模型多样性和更新：跟上 LLM 的步伐
- LM Studio：带有流行模型和清晰标签的精选浏览体验。很容易发现新版本。
- Ollama：庞大的社区列表和带有不同量化标签的官方库引用。如果你知道你想要什么，获取它只是一个命令。
获胜者：LM Studio 在可发现性方面略有优势。Ollama 在广度和可分享性方面略有优势。是的，这是一个回避。两者都很强大。
日常工作流程：在新鲜感消失后，哪个会留下？
场景 1：你想要一个本地的写作伙伴，而无需学习一门新语言（这门语言是 Bash）。LM Studio 获胜。打开，选择一个模型，聊天，导出。完成。
场景 2：你想要将一个本地模型集成到代码编辑器、笔记应用程序或自定义脚本中。Ollama 获胜。它的行为类似于基础设施。你的应用程序不会知道你的笔记本电脑和 OpenAI 服务器之间的区别。
场景 3：你在一个团队中工作。LM Studio 非常适合让想要尝试提示的非技术团队成员（设计师、产品人员）入门。Ollama 非常适合将此连接到实际产品中的开发人员。
场景 4：你在旅行。两者都可以在离线状态下运行，但 LM Studio 的界面使你在狭小的飞机餐桌上更容易保持在一个窗口中。如果你正在 SSH 进入你随身携带的便携式设备，因为你是那个人，那么 Ollama 是完美的。
定价情况
- 两者都可以免费使用。你的实际成本是存储和电力——以及可能为你的笔记本电脑提供一个新的风扇。
- 模型是免费的，但你的时间不是。如果你重视“点击即用”，LM Studio 将为你节省时间。如果你重视“脚本和缩放”，Ollama 将为你节省时间。
注意事项（因为肯定会有）
- 很容易认为“更大的模型 = 更聪明”。并非总是如此。在花一下午时间下载一个 70B 的庞然大物之前，尝试几个 7B–13B 模型。
- 高级设置就在那里，但如果你想要像 git 一样的模型版本控制，你会感到受限制。
- 如果你想要一个内置的、精美的聊天体验，你需要一个配套应用程序——或者你将学会热爱你的 shell。
哪个更快？诚实的回答：这取决于
- 量化比徽标选择更重要。对于交互式使用，任何应用程序中的 Q4 7B 模型通常都会胜过 Q8 13B 模型。
- GPU 加速（如果你的设备支持）会产生很大的影响。检查你平台的支持矩阵。
- 上下文窗口大小因模型而异。大型上下文窗口非常适合长文档，但会降低速度。不要将你的整部小说塞进提示中并责怪应用程序。
避免头痛的实用技巧
- 从小处开始：首先尝试 7B 或 8B 模型（Llama 3 8B、Mistral 7B、Phi-3）。然后向上扩展。
- 量化最佳点：Q4_K 适合速度，Q5 适合质量。只有在你拥有资源和耐心的情况下才使用 Q8。
- 系统提示很重要：在这两个应用程序中，编写一个清晰、简洁的系统消息（语气、角色、约束）。这就像给你的模型喝咖啡和一个待办事项清单。
- 保存你的好提示：LM Studio 的标签页有所帮助；对于 Ollama，保留一个提示文件或使用支持历史记录的客户端。
- 本地 API 乐趣：使用 Ollama 或 LM Studio 的服务器模式，将你喜欢的编辑器或笔记应用程序指向（或显示的端口）。砰，你的本地 AI 现在可以在你的实际工作流程中工作。
安全性和合规性：你将与 IT 部门进行的对话
- 本地优先有助于数据驻留，尤其是对于草稿和内部文档。
- 不过，请审核你的模型来源和哈希值。不要下载标记为“totally-not-malware.gguf”的随机权重。
- 对于团队，创建一个模型基线。使用 Ollama，这是一个版本控制中的 Modelfile。使用 LM Studio，标准化模型名称和版本并记录设置。
故障排除：因为有些事情会变得很奇怪
- 模型无法加载？你可能内存/显存不足。降至较小的量化或较小的模型。
- 响应不连贯？检查温度和 top_p 设置。你是否意外地将其设置为“有创意的幼儿”模式？
- 慢如糖浆？关闭其他应用程序，减少上下文窗口，尝试仅使用 CPU 与仅使用 GPU，并确认你正在使用你的硬件喜欢的量化。
- 在大文件上崩溃？对你的输入进行分块或选择具有较大上下文窗口的模型。
竞争对手一览：为什么不选择一个一体化的本地套件？
- 每周都会涌现出其他的本地运行程序和 UI。最大的收获：选择具有活跃社区、定期更新和明确的逃生舱（导出/聊天历史记录、本地 API 或模型可移植性）的东西。Ollama 和 LM Studio 都检查了这些框。
Sider.AI 的定位（以及你可能真的需要它的原因）
值得注意的是：如果你的目标不是修修补补，而是完成工作——研究、摘要、起草、编码帮助——Sider.AI 可以位于你选择的任何东西之上。它可以与本地端点对话，可以在本地和云模型之间切换，并为你提供一个智能、统一的工作区，用于提示、文档和网页。翻译：减少处理应用程序的时间，更多的时间假装猫编写了代码。如果你想要“使用最适合任务的模型”而无需手动连接所有内容，Sider.AI 是一个不错的智能中间层。 Ollama vs LM Studio：按角色的判断
- 新手：选择 LM Studio。它很友好、可视化，而且不可能搞砸得太厉害。你将在几分钟内与 Llama 3 聊天。
- 构建者：选择 Ollama。你想要与 OpenAI 兼容的 API、Modelfile 以及在服务器或 Docker 上的极其简单的部署。
- 忙碌的专业人士：从 LM Studio 开始，专注于写作和研究。如果需要脚本和集成，请在后台添加 Ollama。
- 团队：两者都使用。LM Studio 用于演示和非技术合作者；Ollama 用于开发人员、CI 作业和共享模型基线。
如果你仍然无法决定，这里有一个石蕊测试：你是否对编写一行启动模型并将 token 流式传输到 CLI 的代码感到兴奋？选择 Ollama。你想要一个带有滑块和大聊天按钮的舒适窗口吗？LM Studio。
备忘单：你可以截屏的优缺点
- 简单的 CLI，带有与 OpenAI 兼容的本地 API
面向未来：未来的发展方向
本地模型变得更好、更小、更奇怪（以一种好的方式）。期望更智能的 7B–13B 模型，在许多任务中可以与今天的重量级模型相媲美，以及更好的 GPU/CPU 优化。Ollama 和 LM Studio 之间的赢家？可能就是你，像一个非常负责任的成年人一样，同时运行两者来完成不同的工作，就像拥有两个螺丝刀一样。
总结：我的选择
如果我必须为我的日常笔记本电脑选择一个：LM Studio。UI 让我保持专注，而且摩擦几乎为零。对于任何自动化、协作或实验性的东西：Ollama。它是我可以编写脚本、交付和忘记的骨干，直到它正常工作。
最后的建议：从小处开始，选择适合你硬件的模型，不要通过你的第一个提示来判断这些工具。本地 AI 会奖励修修补补——就像那个宜家书架一样。是的，内六角扳手一直都在你的口袋里。
常见问题解答
Q1：对于初学者来说，LM Studio 比 Ollama 更容易吗？
是的。LM Studio 为你提供了一个简洁的界面、一个模型浏览器和一个大的“聊天”按钮。如果你不喜欢终端，LM Studio 会让本地 AI 感觉像一个熟悉的聊天应用程序。
Q2：Ollama 和 LM Studio 可以在本地运行相同的模型吗？
一般来说，是的——两者都支持流行的 GGUF 模型，如 Llama 3、Mistral 和 Phi-3，具有不同的量化。区别在于你如何下载、管理和运行它们：LM Studio 中使用 GUI，Ollama 中使用 CLI 和 Modelfile。
Q3：哪个更快：Ollama 还是 LM Studio？
速度更多地取决于你的硬件、模型大小和量化，而不是运行程序。具有 Q4 或 Q5 量化的 7B 模型在这两者上都会感觉很流畅；大型 70B 模型在任何地方都会感觉很沉重。
Q4：我可以在我喜欢的应用程序和编辑器中使用本地模型吗？
是的。两者都可以公开一个本地 API 端点，许多工具都将其视为 OpenAI。Ollama 在集成方面尤其受欢迎；LM Studio 也提供服务器模式。
Q5：为什么将 Sider.AI 与 Ollama 或 LM Studio 一起使用？
Sider.AI 可以统一你的工作流程——在本地和云模型之间切换、组织提示，以及在一个地方处理研究和摘要。当你完成修补并想要完成工作时，它就是增值层。 
