Bạn đã bao giờ thử lắp ráp đồ nội thất IKEA mà không có cái khóa lục giác nhỏ xíu chưa? Đó chính là việc chạy AI cục bộ mà không có ứng dụng phù hợp. Bạn có mô hình (cái kệ), máy tính xách tay (phòng khách), nhưng mọi thứ không khớp cho đến khi các công cụ xuất hiện. Các công cụ hôm nay: so với . Hai cách phổ biến để chạy các mô hình ngôn ngữ lớn trên máy của bạn mà không cần gửi bộ não—hoặc dữ liệu của bạn—lên đám mây. Cái nào là khóa lục giác mà bạn sẽ không đánh mất ngay dưới диван?
Hãy đi vào thực tế. Tôi đã cài đặt cả hai trên một máy tính xách tay làm việc, thử các lệnh thông thường (tóm tắt một bài báo, soạn thảo email, "giải thích điện toán lượng tử như tôi là một con mèo"), và kiểm tra căng thẳng chúng với các mô hình lớn hơn và các tác vụ lặp lại. Tôi cũng đã nói chuyện với một vài người bạn là nhà phát triển, một vài nhà văn tò mò về AI và một người luôn khăng khăng rằng họ "không tin bất cứ thứ gì có đăng nhập".
Lưu ý: Đây là so sánh đối đầu, không phải một vòng tròn kumbaya. Tôi sẽ cho bạn biết mỗi bên thắng ở đâu, vấp ngã ở đâu và nên chọn bên nào tùy thuộc vào việc bạn là một người thích mày mò, một người dùng thành thạo hay chỉ là người muốn có cảm giác như mà không cần đăng ký.
Tại sao AI cục bộ lại đang là xu hướng (và tại sao bạn nên quan tâm)
- : Dữ liệu của bạn ở trên thiết bị của bạn, không bị bắn tung tóe trong một trang trại máy chủ như một ly sinh tố kỹ thuật số.
- : Sau khi mô hình được tải, phản hồi có thể nhanh chóng—đặc biệt đối với các mô hình nhỏ hơn.
- : Bạn chọn mô hình (, , , ), lượng tử hóa và cách nó chạy.
- : Sau khi tải xuống, suy luận là miễn phí—không có hóa đơn tính theo token nào lén lút như một dịch vụ phát trực tuyến mà bạn quên hủy.
so với : Tóm tắt ngắn gọn, đi thẳng vào vấn đề
- : Tối giản, thân thiện với nhà phát triển, gốc dòng lệnh, tuyệt vời cho các tập lệnh và máy chủ. Hãy nghĩ: "git cho các mô hình".
- : Ứng dụng máy tính để bàn bóng bẩy với giao diện người dùng thân thiện, trò chuyện tích hợp và trình duyệt mô hình dễ dàng. Hãy nghĩ: "App Store cho LLM cục bộ".
Chọn nếu bạn muốn trải nghiệm một cửa sổ có cảm giác như cục bộ. Chọn nếu bạn muốn một công cụ kết nối với mọi thứ khác bằng một lệnh duy nhất—và bạn không ngại .
Cách tôi đã thử nghiệm (hay còn gọi là: máy tính xách tay của tôi đã hy sinh vì đội)
- : Máy tính xách tay 14 inch với CPU 8 lõi, RAM 32GB và GPU tầm trung. Tôi cũng đã thử một máy gọn nhẹ hơn với RAM 16GB để xem mọi thứ bị hỏng ở đâu.
- : và (lượng tử hóa), , để kiểm tra hiệu quả.
- : Soạn thảo email, chú thích mã, tóm tắt tài liệu và một trò chơi nhập vai "nói chuyện với tôi về ngân sách của tôi". Tôi cũng lưu trữ các mô hình cục bộ và trỏ một máy khách trình duyệt vào chúng.
: Cả hai công cụ đều hoàn thành mọi thứ. Sự khác biệt thể hiện ở thiết lập, quản lý mô hình và mức độ kiểm soát tôi có mà không cần gõ một câu thần chú bằng tiếng Latinh.
Thiết lập và chạy lần đầu: Ai giúp bạn đến với 'Xin chào, mô hình' nhanh hơn?
- : Tải xuống, mở, nhấp vào "Models", tìm kiếm, tải xuống, nhấn "Chat". Thật thú vị khi chỉ và nhấp. Bạn có thể thấy các tùy chọn lượng tử hóa và kích thước trước khi cam kết tải xuống 10GB.
- : Cài đặt thời gian chạy (brew trên macOS, tập lệnh trên Linux/Windows). Sau đó:
ollama run llama3. Lần đầu tiên, nó tìm nạp mô hình và khởi động một máy chủ cục bộ. Nó nhanh chóng nếu bạn thoải mái trong . Nếu không, thì đó là "nhanh chóng học một lệnh".
: cho người mới bắt đầu. cho bất kỳ ai đã từng gõ npm install mà không khóc.
Quản lý mô hình: Cái kệ nơi bạn sẽ không làm mất các mô hình của mình
- : Có một trình duyệt mô hình với các bản xem trước, kích thước, loại lượng tử hóa (, , , v.v.) và một cảm giác rõ ràng "điều này có lẽ tốt cho máy của bạn". Bạn có thể xóa các mô hình khỏi giao diện người dùng khi SSD của bạn bắt đầu la hét.
- : Sử dụng một
Modelfile và cú pháp lệnh đơn giản. Bạn có thể kéo, gắn thẻ và chạy các mô hình như hình ảnh . Nó thanh lịch khi bạn hiểu nó và tuyệt vời cho việc kiểm soát phiên bản. Nhưng không có GUI chính thức, vì vậy bạn sẽ sống trong hoặc bọc nó trong một cái gì đó khác.
: cho sự rõ ràng về mặt hình ảnh. cho những người đam mê khả năng tái tạo muốn chia sẻ thiết lập một dòng với đồng đội.
Trải nghiệm trò chuyện: Nói chuyện với robot, cục bộ
- : Cho cảm giác như một bản sao cục bộ theo một cách tốt. Đa tab cho các cuộc trò chuyện khác nhau, lời nhắc hệ thống, thanh trượt nhiệt độ, giới hạn token và chuỗi dừng—tất cả đều có thể điều chỉnh mà không cần rời khỏi cửa sổ.
- : Bạn có thể trò chuyện trong (điều này quyến rũ theo một cách cổ điển). Nhưng điều kỳ diệu thực sự là khởi động một tương thích với trên localhost. Điều đó có nghĩa là bất kỳ ứng dụng nào nói chuyện với đều có thể nói chuyện với mô hình cục bộ của bạn. Xin chào, hệ sinh thái.
: cho trò chuyện sẵn có. để cắm vào mọi thứ khác.
Hiệu suất và thân thiện với phần cứng: Quạt của bạn có tham gia thử giọng cho động cơ phản lực không?
- : Cả hai công cụ đều xử lý chúng tốt trên hiện đại. Với khả năng tăng tốc , chúng chạy rất nhanh.
- : Dự kiến sẽ có sự thỏa hiệp—lượng tử hóa thấp hơn, token chậm hơn và yêu cầu đáng kể về hoặc . cung cấp hướng dẫn hiển thị; giúp dễ dàng hoán đổi lượng tử hóa thông qua các thẻ.
- : Nếu bạn có 16GB, hãy bắt đầu với các mô hình hoặc trong lượng tử hóa hoặc . Nếu bạn có 32GB+ và khá, hãy thử hoặc cho một số tác vụ nhất định.
: Hòa. Giới hạn thực sự là phần cứng của bạn và lượng tử hóa cụ thể bạn chọn, không phải logo ứng dụng.
Thân thiện với nhà phát triển: Câu hỏi "tôi có thể viết tập lệnh cho việc này không?"
- : Đây là sân nhà của nó.
ollama serve chạy một điểm cuối cục bộ. ollama run truyền trực tuyến các token trong shell. Bạn có thể tạo một Modelfile để soạn các mô hình, thêm lời nhắc hệ thống hoặc hợp nhất . Về cơ bản, nó là hệ thống ống nước cho AI cục bộ.
- : Bạn cũng có thể lưu trữ một máy chủ cục bộ và hiển thị một điểm cuối giống như . Nhưng là ngôi sao. Có thể viết tập lệnh, nhưng không phải là sự kiện chính.
: . Bạn sẽ thấy nó được nhúng vào các công cụ khác chính xác vì nó nhẹ và có thể viết tập lệnh.
Quyền riêng tư và sử dụng ngoại tuyến: Dữ liệu của bạn, quy tắc của bạn
- Cả hai đều chạy cục bộ và có thể hoàn toàn ngoại tuyến sau khi tải xuống mô hình.
- làm cho lời hứa "không có đám mây ở đây" trở nên trực quan rõ ràng, điều này trấn an nếu bạn mới làm quen với điều này.
- Sự đơn giản của giúp đảm bảo không có gì thừa đang gọi về nhà (ngoài việc tìm nạp mô hình).
: Hòa. Cả hai đều được xây dựng cho local-first.
Sự đa dạng và cập nhật của mô hình: Bắt kịp với
- : Trải nghiệm duyệt web được tuyển chọn với các mô hình phổ biến và nhãn rõ ràng. Thật dễ dàng để khám phá các bản phát hành mới.
- : Danh sách cộng đồng lớn và tài liệu tham khảo thư viện chính thức với các thẻ cho các lượng tử hóa khác nhau. Nếu bạn biết mình muốn gì, thì việc tìm nạp nó chỉ là một lệnh.
: Lợi thế nhỏ cho về khả năng khám phá. Lợi thế nhỏ cho về bề rộng và khả năng chia sẻ. Vâng, đó là một sự thoái thác. Cả hai đều mạnh mẽ.
: Bạn muốn một người bạn viết lách tại chỗ mà không cần học một ngôn ngữ mới (ngôn ngữ này là ). thắng. Mở, chọn một mô hình, trò chuyện, xuất. Hoàn thành.
: Bạn muốn tích hợp một mô hình cục bộ vào một trình soạn thảo mã, một ứng dụng ghi chú hoặc một tập lệnh tùy chỉnh. thắng. Nó hoạt động như cơ sở hạ tầng. Các ứng dụng của bạn sẽ không biết sự khác biệt giữa máy tính xách tay của bạn và máy chủ .
: Bạn làm việc trong một nhóm. rất tốt để giới thiệu cho các đồng đội không am hiểu về kỹ thuật (nhà thiết kế, người làm sản phẩm) muốn thử các lời nhắc. rất tốt cho các nhà phát triển sẽ kết nối điều này vào sản phẩm thực tế.
: Bạn đang đi du lịch. Cả hai đều có thể chạy ngoại tuyến, nhưng giao diện của giúp bạn dễ dàng ở trong một cửa sổ trên bàn ăn nhỏ trên máy bay. là hoàn hảo nếu bạn đang vào một hộp di động mà bạn mang theo vì bạn là Người Đó.
Tình hình giá cả
- Cả hai đều miễn phí sử dụng. Chi phí thực tế của bạn là lưu trữ và điện—và có thể là một chiếc quạt mới cho máy tính xách tay của bạn.
- Các mô hình là miễn phí, nhưng thời gian của bạn thì không. Nếu bạn coi trọng "nhấp và đi", sẽ giúp bạn tiết kiệm thời gian. Nếu bạn coi trọng "tập lệnh và mở rộng quy mô", sẽ giúp bạn tiết kiệm thời gian.
Những điều cần lưu ý (vì tất nhiên là có)
- Việc tải xuống lớn có thể làm tắc nghẽn ổ đĩa của bạn. Quản lý các phiên bản một cách có chủ ý.
- Thật dễ dàng để nghĩ rằng "mô hình lớn hơn = thông minh hơn". Không phải lúc nào cũng vậy. Hãy thử một vài mô hình trước khi bạn dành cả buổi chiều để tải xuống một con quái vật .
- Các cài đặt nâng cao có ở đó, nhưng nếu bạn muốn kiểm soát phiên bản của các mô hình giống như , bạn sẽ cảm thấy bị gò bó.
- Người dùng sợ có thể bỏ cuộc ngay ở lệnh đầu tiên.
- Khả năng khám phá yếu hơn nếu không có cửa hàng mô hình.
- Nếu bạn muốn có trải nghiệm trò chuyện tích hợp, bóng bẩy, bạn sẽ cần một ứng dụng đồng hành—hoặc bạn sẽ học cách yêu thích shell của mình.
Cái nào nhanh hơn? Câu trả lời trung thực: nó phụ thuộc
- Lượng tử hóa quan trọng hơn lựa chọn logo. Mô hình trong cả hai ứng dụng thường sẽ đánh bại mô hình để sử dụng tương tác.
- Tăng tốc , nếu được hỗ trợ trên thiết bị của bạn, sẽ tạo ra sự khác biệt lớn. Kiểm tra ma trận hỗ trợ của nền tảng của bạn.
- Kích thước cửa sổ ngữ cảnh khác nhau tùy theo mô hình. Cửa sổ ngữ cảnh lớn rất tốt cho các tài liệu dài nhưng làm chậm mọi thứ. Đừng nhồi nhét toàn bộ cuốn tiểu thuyết của bạn vào lời nhắc và đổ lỗi cho ứng dụng.
Các mẹo thực hành để tránh đau đầu
- Bắt đầu từ nhỏ: Hãy thử mô hình hoặc trước (, , ). Sau đó, tăng lên.
- Các điểm ngọt lượng tử hóa: cho tốc độ, cho chất lượng. chỉ khi bạn có tài nguyên—và sự kiên nhẫn.
- Lời nhắc hệ thống rất quan trọng: Trong cả hai ứng dụng, hãy tạo một thông báo hệ thống rõ ràng, ngắn gọn (giọng điệu, vai trò, ràng buộc). Nó giống như cho mô hình của bạn cà phê và danh sách việc cần làm.
- Lưu các lời nhắc hay của bạn: Các tab của hữu ích; với , hãy giữ một tệp lời nhắc hoặc sử dụng một máy khách hỗ trợ lịch sử.
- Niềm vui cục bộ: Với chế độ máy chủ của hoặc , hãy trỏ trình soạn thảo hoặc ứng dụng ghi chú yêu thích của bạn đến (hoặc cổng được hiển thị). Bùm, cục bộ của bạn giờ hoạt động trong quy trình làm việc thực tế của bạn.
Bảo mật và tuân thủ: Cuộc trò chuyện bạn sẽ có với
- Local-first giúp ích cho việc cư trú dữ liệu, đặc biệt đối với bản nháp và tài liệu nội bộ.
- Tuy nhiên, hãy kiểm tra các nguồn và băm mô hình của bạn. Đừng tải xuống các trọng số ngẫu nhiên có nhãn "chắc-chắn-không-phải-phần-mềm-độc-hại.gguf".
- Đối với các nhóm, hãy tạo một đường cơ sở mô hình. Với , đó là một trong kiểm soát phiên bản. Với , hãy chuẩn hóa tên và phiên bản mô hình và ghi lại các cài đặt.
Khắc phục sự cố: Vì một cái gì đó sẽ trở nên kỳ lạ
- Mô hình không tải được? Bạn có thể hết . Giảm xuống lượng tử hóa nhỏ hơn hoặc mô hình nhỏ hơn.
- Phản hồi không mạch lạc? Kiểm tra cài đặt nhiệt độ và top_p. Bạn có vô tình đặt nó ở chế độ "trẻ mới biết đi sáng tạo" không?
- Chậm như mật đường? Đóng các ứng dụng khác, giảm cửa sổ ngữ cảnh, thử chỉ so với chỉ và xác nhận rằng bạn đang sử dụng lượng tử hóa mà phần cứng của bạn thích.
- Gặp sự cố trên các tệp lớn? Chia nhỏ đầu vào của bạn hoặc chọn một mô hình có cửa sổ ngữ cảnh lớn hơn.
Nhìn thoáng qua đối thủ cạnh tranh: Tại sao không phải là một bộ cục bộ tất cả trong một?
- Có những trình chạy và cục bộ khác xuất hiện hàng tuần. Điểm mấu chốt lớn: hãy chọn thứ gì đó có cộng đồng hoạt động, cập nhật thường xuyên và một lối thoát rõ ràng (lịch sử xuất/trò chuyện, cục bộ hoặc khả năng di chuyển mô hình). Cả và đều đáp ứng các tiêu chí đó.
: Nếu mục tiêu của bạn không phải là mày mò mà là hoàn thành công việc—nghiên cứu, tóm tắt, soạn thảo, trợ giúp mã hóa—Sider.AI có thể nằm trên bất cứ thứ gì bạn chọn. Nó nói chuyện với các điểm cuối cục bộ, có thể chuyển đổi giữa các mô hình cục bộ và đám mây và cung cấp cho bạn một không gian làm việc thống nhất, thông minh cho các lời nhắc, tài liệu và trang web. : Ít thời gian tung hứng các ứng dụng hơn, nhiều thời gian giả vờ con mèo đã gõ mã. Nếu bạn muốn "sử dụng mô hình tốt nhất cho tác vụ" mà không cần nối dây mọi thứ bằng tay, Sider.AI là một lớp giữa não bộ tốt. so với : Các phán quyết theo persona
- : Chọn . Nó thân thiện, trực quan và không thể làm hỏng quá nhiều. Bạn sẽ trò chuyện với trong vài phút.
- : Chọn . Bạn muốn tương thích với , và triển khai đơn giản trên máy chủ hoặc .
- : Bắt đầu với để viết và nghiên cứu tập trung. Thêm ở hậu trường nếu bạn cần các tập lệnh và tích hợp.
- : Sử dụng cả hai. cho bản trình diễn và cộng tác viên không am hiểu về kỹ thuật; cho nhà phát triển, công việc và đường cơ sở mô hình được chia sẻ.
Nếu bạn vẫn không thể quyết định, đây là một bài kiểm tra nhanh: Bạn có hào hứng khi viết một dòng để khởi động một mô hình và truyền trực tuyến các token đến không? Chọn . Bạn có muốn một cửa sổ thoải mái với các thanh trượt và một nút lớn không? .
Tài liệu tham khảo nhanh: Ưu và nhược điểm bạn có thể chụp ảnh màn hình
- tuyệt vời với khám phá mô hình
- Trò chuyện tích hợp với lịch sử và cài đặt
- Xem trước và tải xuống lượng tử hóa dễ dàng
- Tuyệt vời cho người mới bắt đầu và sử dụng hàng ngày không thường xuyên
- Ít có khả năng viết tập lệnh hơn
- Tải xuống lớn và tràn lan lưu trữ
- Kiểm soát phiên bản nâng cao khó khăn hơn
- đơn giản với cục bộ tương thích với
- Tuyệt vời cho việc viết tập lệnh, máy chủ và tích hợp
- cho các thiết lập có thể tái tạo
- Nhẹ và dễ chia sẻ các lệnh
- Không có ứng dụng /trò chuyện chính thức
- Khám phá mô hình mang tính hơn
- Làm người dùng sợ bỏ chạy
Các mô hình cục bộ đang trở nên tốt hơn, nhỏ hơn và kỳ lạ hơn (theo một cách tốt). Dự kiến các mô hình thông minh hơn sẽ cạnh tranh với các đối thủ nặng ký ngày nay cho nhiều tác vụ, cộng với khả năng tối ưu hóa tốt hơn. Người chiến thắng giữa và ? Có lẽ là bạn, chạy cả hai cho các công việc khác nhau như một người trưởng thành rất có trách nhiệm với hai chiếc tuốc nơ vít.
Nếu tôi phải chọn một cái cho máy tính xách tay hàng ngày của mình: . giúp tôi tập trung và ma sát gần bằng không. Đối với bất kỳ thứ gì tự động, hợp tác hoặc thử nghiệm: . Đó là xương sống mà tôi có thể viết tập lệnh, vận chuyển và quên đi cho đến khi nó hoạt động.
Lời khuyên cuối cùng: Bắt đầu từ nhỏ, chọn một mô hình phù hợp với phần cứng của bạn và đừng đánh giá các công cụ này bằng lời nhắc đầu tiên của bạn. cục bộ thưởng cho việc mày mò—giống như kệ sách đó. Và vâng, chìa khóa lục giác đã ở trong túi của bạn все время.
. cung cấp cho bạn một giao diện sạch sẽ, một trình duyệt mô hình và một nút lớn. Nếu bạn không thích thiết bị đầu cuối, sẽ làm cho cục bộ có cảm giác như một ứng dụng trò chuyện quen thuộc.
—cả hai đều hỗ trợ các mô hình phổ biến như , và với các lượng tử hóa khác nhau. Sự khác biệt là cách bạn tải xuống, quản lý và chạy chúng: trong , và trong .
Tốc độ phụ thuộc nhiều hơn vào phần cứng, kích thước mô hình và lượng tử hóa của bạn hơn là trình chạy. Mô hình với lượng tử hóa hoặc sẽ cảm thấy nhanh nhạy trên cả hai; các mô hình lớn sẽ cảm thấy nặng nề ở mọi nơi.
. Cả hai đều có thể hiển thị một điểm cuối cục bộ mà nhiều công cụ coi là . đặc biệt phổ biến cho các tích hợp; cũng cung cấp chế độ máy chủ.
Sider.AI có thể thống nhất quy trình làm việc của bạn—chuyển đổi giữa các mô hình cục bộ và đám mây, sắp xếp các lời nhắc và xử lý nghiên cứu và tóm tắt ở một nơi. Đó là lớp giá trị gia tăng khi bạn hoàn thành việc mày mò và muốn hoàn thành công việc. 
