Bạn đã bao giờ thử lắp ráp một món đồ nội thất đóng gói phẳng với hướng dẫn trông như thể ma cà rồng đã cắn vào chúng chưa? Đó là cảm giác của rất nhiều người khi chạy một mô hình AI cục bộ vào năm 2023: quyến rũ, trao quyền và đủ gây bối rối để khiến bạn muốn học nghề mộc hơn. GPT4All đã giúp ích—trình cài đặt thân thiện, giao diện người dùng khá—nhưng có lẽ nó không hoàn toàn phù hợp với bạn. Có lẽ bạn muốn quản lý mô hình dễ dàng hơn, hoặc tốc độ GPU, hoặc giao diện người dùng web có thể chia sẻ, hoặc một cách cực kỳ đơn giản để “chỉ cần trò chuyện với tài liệu của tôi, làm ơn”.
Tin vui: một loạt các lựa chọn thay thế GPT4All đã nở rộ. Chúng tập trung vào quyền riêng tư, tốc độ trên thiết bị và cảm giác ấm áp, dễ chịu khi không gửi dữ liệu của bạn lên đám mây. Hôm nay, tôi sẽ giới thiệu các tùy chọn hàng đầu, giải thích điểm mạnh của từng tùy chọn và—điều này rất quan trọng—cho bạn thấy một người bình thường (bạn!) sẽ thực sự sử dụng chúng ở nhà, tại nơi làm việc hoặc khi Wi-Fi của bạn tạm nghỉ để uống cà phê như thế nào.
Lưu ý trước khi chúng ta bắt đầu: phần mềm thay đổi nhanh chóng, các tính năng thay đổi và trải nghiệm của bạn sẽ khác nhau tùy thuộc vào máy tính của bạn. Hãy coi đây là một cuốn cẩm nang du lịch, không phải Mười Điều Răn. Nếu bạn đang tìm kiếm các công cụ LLM cục bộ mà mọi người đang bàn tán xôn xao trong năm 2024–2025, danh sách ngắn bao gồm Ollama, LM Studio, Text Generation WebUI (hay còn gọi là oobabooga), Jan, Llama.cpp, LocalAI và những công cụ tương tự. Một số bản tổng hợp đặt những cái tên này lên hàng đầu như những lựa chọn LLM cục bộ hàng đầu cho năm nay.
Rốt cuộc, chúng ta đang tối ưu hóa cho điều gì?
Nếu “LLM cục bộ” là một cụm từ mới đối với bạn, thì nó chỉ có nghĩa là chạy các mô hình AI trên máy của riêng bạn—không có đám mây, không có hóa đơn hàng tháng, không có dữ liệu nào được gửi đến các máy chủ không xác định. Bạn sẽ đánh đổi một số sức mạnh thô của các mô hình đám mây lớn (hiện tại), nhưng bạn có được quyền riêng tư, quyền kiểm soát và tốc độ đáng ngạc nhiên nếu bạn chọn đúng kích thước mô hình và phần cứng.
Bây giờ, làm thế nào để bạn chọn đúng công cụ để chạy các mô hình đó? Hãy sắp xếp theo loại tính cách.
- Ollama: Người gác cổng dòng lệnh “nó chỉ hoạt động”
Nếu bạn từng ước có một cách bằng một từ để cài đặt và hoán đổi mô hình, thì Ollama giống như đặt pizza: “ollama run llama3” và nó tìm nạp đúng bột, nước sốt và lớp phủ. Đó là một dịch vụ chạy nền xử lý việc tải xuống, lượng tử hóa và cập nhật cho một menu các mô hình đang phát triển. Bạn có thể sử dụng nó một mình, kết nối nó vào các ứng dụng khác thông qua API cục bộ hoặc ghép nối nó với giao diện người dùng web. Nó giống như điều khiển từ xa đa năng cho LLM cục bộ.
Những gì nó tuyệt vời cho:
- Khởi đầu nhanh chóng: Bạn có thể trò chuyện với một mô hình chỉ trong vài phút.
- Chuyển đổi mô hình: Kiểm tra Llama 3 trong giờ này và một biến thể Mistral sau bữa trưa.
- Tích hợp: Rất nhiều công cụ cộng đồng nói ngôn ngữ của Ollama.
Những điều cần chú ý:
- Đó chủ yếu là trải nghiệm CLI. Không đáng sợ, chỉ đơn giản.
- Bạn vẫn sẽ muốn có một giao diện người dùng trên cùng cho các phiên dài hơn—Open WebUI hoặc bất kỳ thứ gì giao tiếp với API Ollama.
Nếu bạn đang đọc lướt: Ollama là công cụ loại bỏ ma sát. Các hướng dẫn mới hơn liên tục xếp hạng nó trong số các công cụ LLM cục bộ tốt nhất cho năm 2025.
- LM Studio: Trải nghiệm “giống ứng dụng” tốt nhất cho con người
Nếu Ollama là pizza theo lệnh, thì LM Studio là quán trattoria ấm cúng trong khu phố của bạn. Đó là một ứng dụng máy tính để bàn đầy đủ với danh mục mô hình trực quan, tải xuống bằng một cú nhấp chuột, cửa sổ trò chuyện và một số nút tiện dụng cho độ dài ngữ cảnh và lời nhắc hệ thống. Bạn thậm chí có thể bật một máy chủ cục bộ để các ứng dụng khác có thể kết nối, đó là một cách lạ mắt để nói “sử dụng LM Studio làm công cụ AI cá nhân của bạn ở nhà”.
Những gì nó tuyệt vời cho:
- Những người thích các nút hơn thiết bị đầu cuối.
- Thử một mô hình và chuyển sang mô hình khác mà không cần học lại một công cụ.
- Kỹ thuật nhanh chóng và quản lý thư viện mô hình.
Những điều cần chú ý:
- Người dùng thành thạo có thể vượt quá các mặc định của nó, nhưng có chiều sâu nếu bạn đào sâu.
- Như với tất cả các công cụ cục bộ, hiệu suất phụ thuộc rất nhiều vào phần cứng của bạn.
Các bản tổng hợp thường xuyên bao gồm LM Studio trong số các lựa chọn hàng đầu để chạy các mô hình cục bộ—và vì lý do chính đáng: đó là điểm khởi đầu dễ tiếp cận nhất cho người mới.
- Text Generation WebUI (oobabooga): Phòng thí nghiệm trò chuyện đa năng của Thụy Sĩ
Đây là câu lạc bộ của những người thích mày mò: một ứng dụng web cục bộ mà bạn chạy trong trình duyệt của mình, đầy ắp các tiện ích mở rộng, thẻ vai trò, mẫu lời nhắc, trình trợ giúp tinh chỉnh và nhiều thanh trượt hơn cả thực đơn của quán ăn. Nếu đêm thứ Sáu lý tưởng của bạn là “so sánh cài đặt lấy mẫu mã thông báo trên sáu mô hình và hai GPU”, thì đây là nơi của bạn.
Những gì nó tuyệt vời cho:
- Tùy chỉnh sâu: phương pháp lấy mẫu, tải LoRA, cài đặt trước.
- Trò chuyện về nhân vật và nhập vai, viết sáng tạo, thử nghiệm.
Những điều cần chú ý:
- Thiết lập có thể phức tạp hơn so với nhóm một cú nhấp chuột.
- Với sức mạnh đi kèm sự phức tạp. Đó là một phòng thí nghiệm, không phải là một spa.
- Jan: Ứng dụng thân thiện, đi kèm, không cần internet
Jan giống như túi “AI mang đi”: nó đi kèm một công cụ và các mô hình để bạn có thể chạy ngoại tuyến mà không cần phải mày mò. Hãy nghĩ: “Tôi chỉ muốn một trợ lý trò chuyện riêng tư mà không cần học bắt tay bí mật của LLM cục bộ.” Nó nhằm mục đích trở thành trải nghiệm thân thiện với người dùng, ưu tiên quyền riêng tư ngay khi mở hộp.
Những gì nó tuyệt vời cho:
- Người dùng ưu tiên ngoại tuyến và khách du lịch.
- Trò chuyện, soạn thảo ghi chú, trợ giúp mã hóa cơ bản mà không cần internet.
Những điều cần chú ý:
- Menu mô hình không rộng như một ngăn xếp DIY.
- Người dùng thành thạo có thể chạm vào giới hạn sớm hơn so với các công cụ khác.
- Llama.cpp và những người bạn: Hệ thống ống nước hiệu suất
Ẩn sâu bên trong nhiều công cụ cục bộ là Llama.cpp—một triển khai C/C++ được tối ưu hóa cao giúp các mô hình này chạy đáng kinh ngạc trên CPU và GPU tiêu dùng. Bạn có thể sử dụng nó trực tiếp nếu bạn thích kiểm soát cấp thấp hoặc chỉ cần để các công cụ như Ollama và LM Studio xử lý nó cho bạn. Nếu bạn mơ về các định dạng lượng tử hóa, chào mừng về nhà.
Những gì nó tuyệt vời cho:
- Hiệu suất bare-metal và kiểm soát chi tiết.
- Chạy trên phần cứng khiêm tốn với lượng tử hóa cẩn thận.
Những điều cần chú ý:
- Lãnh thổ DIY. Hãy chuẩn bị tinh thần đọc và dành thời gian cho thiết bị đầu cuối.
- LocalAI: Tham vọng thay thế API tức thì
LocalAI nhằm mục đích mô phỏng các API AI phổ biến cục bộ. Nếu ứng dụng của bạn mong đợi một điểm cuối kiểu OpenAI, LocalAI muốn trở thành người thay thế tương thích—trên máy tính xách tay hoặc máy chủ của bạn. Đối với các nhà phát triển, đó có thể là một siêu năng lực: quyền riêng tư cộng với tính di động mà không cần viết lại một nửa mã của bạn.
Những gì nó tuyệt vời cho:
- Các nhà phát triển muốn một API cục bộ, riêng tư “chỉ hoạt động như đám mây”.
- Người tự lưu trữ và các nhóm nhỏ.
Những điều cần chú ý:
- Yêu cầu thiết lập và bảo trì nhiều hơn so với các ứng dụng hướng đến người tiêu dùng.
- Open WebUI (và những thứ tương tự): Giao diện thân thiện hơn cho các công cụ của bạn
Ghép nối một back-end như Ollama với một front-end như Open WebUI, và bạn có một giao diện trò chuyện thú vị, có thể chia sẻ với lịch sử, tải lên tệp và chuyển đổi nhiều mô hình. Nó giống như việc cho AI cục bộ của bạn một phòng khách thay vì bắt nó ngồi trên thùng sữa trong nhà để xe.
Những gì nó tuyệt vời cho:
- Các nhóm hoặc hộ gia đình muốn một cuộc trò chuyện sạch sẽ, dựa trên trình duyệt.
- Tập trung nhiều mô hình back-end trong một giao diện.
Những điều cần chú ý:
- Bạn đang quản lý hai lớp—công cụ và giao diện người dùng.
Bạn nên chọn cái nào? Một bài kiểm tra tính cách cho LLM cục bộ
- “Tôi muốn bắt đầu nhanh chóng và tôi không ngại dòng lệnh.” Chọn Ollama.
- “Làm ơn cho tôi một ứng dụng đẹp với các nút.” Chọn LM Studio.
- “Tôi thích mày mò, vì vậy tôi tồn tại.” Chọn Text Generation WebUI.
- “Ngoại tuyến, riêng tư, đi kèm.” Chọn Jan.
- “Tôi xây dựng ứng dụng và muốn một API cục bộ.” Chọn LocalAI.
- “Tôi muốn kiểm soát và điều chỉnh tốc độ tối đa.” Chọn Llama.cpp trực tiếp (hoặc các công cụ được xây dựng trên nó).
Một vài lời nhanh về hiệu suất và phần cứng
Các mô hình cục bộ chạy nhanh nhất trên GPU, nhưng các CPU hiện đại có thể hoạt động đáng ngạc nhiên với các mô hình lượng tử hóa nhỏ hơn. Dịch: đừng tải xuống một con quái vật tham số 70B nếu bạn có một chiếc máy tính xách tay không quạt nghĩ rằng Minesweeper là căng thẳng. Hãy thử các mô hình 3B–8B để viết và động não chung; tăng lên 13B–14B nếu bạn có GPU tầm trung; chỉ tăng lớn hơn nếu bạn biết bạn cần nó—và hóa đơn tiền điện của bạn đã chuẩn bị sẵn sàng về mặt cảm xúc.
Cửa sổ ngữ cảnh (mô hình có thể “ghi nhớ” bao nhiêu văn bản) quan trọng hơn bạn nghĩ. Nếu bạn đang thực hiện Hỏi & Đáp tài liệu, hãy chọn một mô hình và công cụ cho phép bạn gửi ngữ cảnh dài hơn hoặc sử dụng tạo tăng cường truy xuất (RAG) để “tìm kiếm trước, sau đó trả lời”. Nhiều công cụ hiện tích hợp lập chỉ mục tài liệu để bạn có thể thả một tệp PDF và nói, “Bây giờ hãy cho tôi biết chính sách hoàn trả ẩn ở trang nào,” mà không cần cuộn như một con gấu trúc qua thùng rác.
Còn về quyền riêng tư?
LLM cục bộ giữ dữ liệu của bạn trên thiết bị của bạn, đó là một nửa lý do để sử dụng chúng. Nhưng hãy nhớ: plugin, tiện ích mở rộng và “tải xuống mô hình này từ internet” vẫn liên quan đến… internet. Luôn cập nhật hệ thống của bạn, tải xuống các mô hình từ các trung tâm đáng tin cậy và xử lý các tệp nhạy cảm như các tệp nhạy cảm. Cục bộ không có nghĩa là bất cẩn.
Cách lái thử các lựa chọn thay thế mà không phải hối tiếc
Đây là một cách ít kịch tính để thử một vài lựa chọn:
- Bắt đầu với LM Studio. Nó thân thiện và cho bạn cảm nhận về kích thước và tốc độ mô hình trên phần cứng của bạn.
- Cài đặt Ollama tiếp theo. Sử dụng nó làm công cụ chạy nền và thử một front-end như Open WebUI.
- Nếu bạn muốn đi sâu hơn, hãy khởi động Text Generation WebUI cho các tính năng nâng cao và cài đặt trước nhập vai.
- Nếu “gói ngoại tuyến” khiến trái tim bạn hạnh phúc, hãy thử Jan và xem liệu nó có đáp ứng được các tác vụ hàng ngày của bạn không.
Hãy hỏi mỗi công cụ những câu hỏi sau:
- Nó có tải một mô hình nhanh chóng và phản hồi đủ nhanh để trò chuyện không?
- Có dễ dàng chuyển đổi mô hình và giữ lịch sử trò chuyện của bạn không?
- Nó có thể xử lý công việc hàng ngày của bạn không: email, ghi chú, đoạn mã hoặc Hỏi & Đáp tài liệu?
Kiểm tra thực tế thân thiện: các mô hình nhỏ so với kỳ vọng lớn
Chúng ta đang ở thời kỳ hoàng kim của “đủ tốt tại chỗ”. Các mô hình nhỏ hơn tốt hơn nhiều so với một năm trước và các kỹ thuật lượng tử hóa cho phép bạn chạy chúng trên các máy tính thông thường. Nhưng một mô hình 7B không có khả năng viết một bản kiến nghị pháp lý hoàn hảo hoặc gỡ lỗi một cơ sở mã nghìn dòng theo cách mà một mô hình đám mây hàng đầu có thể. Nếu bạn chạm vào trần nhà, đó không phải là bạn—đó là vật lý, toán học và định luật nhiệt động lực học đó đang cau mày với chúng ta.
GPT4All phù hợp ở đâu bây giờ?
GPT4All vẫn là một lựa chọn vững chắc, đặc biệt là đối với ứng dụng dễ tiếp cận và danh mục mô hình cục bộ của nó. Nhưng nếu bạn khao khát quản lý công cụ đơn giản hơn (Ollama), cảm giác “ứng dụng gốc” hơn (LM Studio), khả năng tùy chỉnh tối đa (Text Generation WebUI) hoặc một không khí ngoại tuyến được gói sẵn (Jan), bạn có thể tìm thấy một sự phù hợp tốt hơn với các lựa chọn thay thế trên. Các bản tổng hợp gần đây tiếp tục đưa GPT4All vào hỗn hợp—chỉ không phải lúc nào cũng ở vị trí cao nhất cho những người mới muốn ít ma sát nhất.
Các tình huống thực tế: lựa chọn thay thế nào thắng?
- Nhà văn cuối tuần: Bạn đang soạn thảo các bài đăng trên blog, động não tiêu đề và viết lại các đoạn văn bằng một giọng văn thân thiện hơn. LM Studio cộng với một mô hình 7B–8B sẽ có cảm giác như một cuốn từ điển siêu nạp, đồng thời hiểu được những rung cảm.
- Nhà tư vấn tập trung vào quyền riêng tư: Bạn tóm tắt tài liệu của khách hàng và tạo các đề xuất mà không cần đám mây. Ghép nối Ollama với Open WebUI và một tiện ích bổ sung truy xuất để bạn có thể tham khảo các tệp PDF. Bạn sẽ là người viết thuê không tiết lộ bí mật.
- Người thích mày mò trong phòng thí nghiệm tại nhà: Bạn thử nghiệm các thông số lấy mẫu, thẻ nhân vật và các mô hình thích hợp để viết sáng tạo. Text Generation WebUI là sân chơi của bạn.
- Nhà phát triển: Bạn muốn một API cục bộ để tạo mẫu ứng dụng mà không tốn mã thông báo. LocalAI (hoặc API của Ollama) cắm vào, mã của bạn sẽ không biết sự khác biệt và máy tính xách tay của bạn được hóa trang thành một trung tâm dữ liệu.
- Khách du lịch: Bạn sẽ ở trên máy bay không có Wi-Fi nhưng vẫn cần một người bạn viết. Jan là trợ lý xách tay của bạn.
Góc khắc phục sự cố: khi mọi thứ trở nên khó chịu
- Nó chậm: Hãy thử một mô hình nhỏ hơn, được lượng tử hóa mạnh mẽ hơn (như Q4_K_M). Giảm độ dài ngữ cảnh. Đóng các ứng dụng ngốn bộ nhớ. Nếu bạn có GPU rời, hãy đảm bảo rằng công cụ thực sự đang sử dụng nó.
- Nó hay quên: Tăng cửa sổ ngữ cảnh nếu RAM của bạn cho phép. Hoặc thiết lập quy trình làm việc RAG để mô hình có thể “tra cứu” thông tin từ các tệp của bạn.
- Nó nhạt nhẽo: Sử dụng lời nhắc và ví dụ hệ thống. Cho nó xem một đoạn văn bạn thích và nói “Hãy viết như thế này, nhưng về .
- Một cái nhìn rộng hơn về các công cụ tốt nhất để chạy các mô hình cục bộ—LM Studio, Jan, Llamafile, GPT4All, Ollama và Llama.cpp.
FAQ
Câu hỏi 1:Những lựa chọn thay thế GPT4All tốt nhất cho người mới bắt đầu là gì?
Bắt đầu với LM Studio để có trải nghiệm thân thiện, giống như ứng dụng, sau đó thêm Ollama nếu bạn muốn dễ dàng chuyển đổi và tích hợp mô hình. Nếu bạn thích giao diện người dùng web với nhiều tính năng, Text Generation WebUI là lựa chọn yêu thích của những người thích mày mò.
Câu hỏi 2:Lựa chọn thay thế GPT4All nào nhanh nhất trên một máy tính xách tay thông thường?
Tốc độ phụ thuộc vào phần cứng của bạn và kích thước mô hình. Ollama cộng với một mô hình 7B–8B được lượng tử hóa tốt (hoặc LM Studio chạy tương tự) thường có cảm giác nhanh chóng; sử dụng GPU của bạn nếu có và giữ cho độ dài ngữ cảnh hợp lý.
Câu hỏi 3:Thiết lập ngoại tuyến đơn giản nhất để thay thế GPT4All là gì?
Hãy thử Jan để có trải nghiệm tất cả trong một, thân thiện với ngoại tuyến. Nếu bạn muốn linh hoạt hơn một chút mà không phức tạp, LM Studio là lựa chọn thứ hai gần nhất.
Câu hỏi 4:Các lựa chọn thay thế GPT4All có thể xử lý Hỏi & Đáp tài liệu riêng tư không?
Có—hãy sử dụng một công cụ hỗ trợ tạo tăng cường truy xuất (RAG) hoặc cửa sổ ngữ cảnh dài. Ghép nối Ollama hoặc LM Studio với giao diện người dùng web (như Open WebUI) và một plugin RAG để truy vấn an toàn các tệp PDF của bạn.
Câu hỏi 5:Tôi có nên sử dụng LLM cục bộ hay trợ lý trình duyệt như Sider.AI?
Sử dụng cả hai khi có ý nghĩa: LLM cục bộ để bảo mật và làm việc ngoại tuyến, và Sider.AI khi bạn duyệt web, tóm tắt trang hoặc soạn thảo câu trả lời. Đó là về việc chọn đúng công cụ cho nhiệm vụ, không phải chọn một người chiến thắng duy nhất. 
