Bạn đã bao giờ thử lắp ráp một món đồ nội thất IKEA mà không có hình nhân hoạt hình nhỏ bé hướng dẫn chưa? Đó là cảm giác khi bạn tự mình thiết lập các mô hình AI cục bộ. Rất nhiều bộ phận, tên gọi khó hiểu và nỗi sợ hãi dai dẳng rằng bạn đã bỏ lỡ một con ốc vít có nhãn "thời gian chạy LLM". Hãy làm quen với Ollama. Nó giống như một chiếc chìa vặn Allen để chạy các mô hình ngôn ngữ lớn trên máy tính của riêng bạn—nhanh chóng, riêng tư và đáng ngạc nhiên là không hề gây khó chịu.
Trong hướng dẫn này, chúng ta sẽ thực sự sử dụng Ollama. Không chỉ đọc về nó. Chúng ta sẽ tải xuống, chạy một mô hình, tùy chỉnh nó, đưa nó vào các công cụ yêu thích của bạn, khắc phục khoảnh khắc "tại sao quạt của tôi lại kêu to thế?" và có được một thiết lập mà bạn thực sự có thể tin tưởng để làm việc. Vâng, ngay cả khi ngoại tuyến. Vâng, ngay cả trên máy bay. Không, bạn không cần bằng Tiến sĩ hay một trang trại máy chủ.
Đây là cách sử dụng Ollama như một người chuyên nghiệp—mà không làm hỏng máy tính xách tay hoặc thần kinh của bạn.
Ollama là gì (và tại sao bạn nên quan tâm)?
Ollama là một cách đơn giản để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ. Hãy nghĩ đến ChatGPT, nhưng mô hình này nằm trên máy tính của bạn. Các ưu điểm:
- Quyền riêng tư: Dữ liệu của bạn vẫn ở trên máy của bạn. Không có chuyến đi bí ẩn nào lên đám mây.
- Tốc độ: Không phải chờ đợi máy chủ. Đây là thời gian để CPU/GPU của bạn tỏa sáng.
- Kiểm soát: Chọn mô hình, phiên bản, kích thước và hành vi.
Nếu bạn đã từng nghĩ, "Tôi ước gì mình có thể hỏi AI mọi thứ mà không cần gửi ghi chú cá nhân của mình đến Sao Hải Vương", thì đây là dành cho bạn.
Cách Nhanh Nhất để Sử Dụng Ollama
Bạn đến đây để tìm hướng dẫn. Hãy bắt đầu thôi.
Bước 1: Cài đặt Ollama
- macOS: Sử dụng trình cài đặt từ trang web chính thức hoặc
brew install --cask ollama nếu bạn thích cảm giác mạnh mẽ.
- Windows: Lấy trình cài đặt. Đây là một thiết lập bình thường—tiếp theo, tiếp theo, cài đặt.
- Linux: Một dòng lệnh thông qua script chính thức. Hãy thể hiện con người quản trị viên hệ thống bên trong bạn trong 30 giây.
Sau khi cài đặt, Ollama sẽ chạy một dịch vụ cục bộ. Bạn giao tiếp với nó thông qua Terminal, PowerShell hoặc các ứng dụng khác tích hợp với nó.
Bước 2: Tải xuống mô hình đầu tiên của bạn
Trong terminal của bạn:
Lần đầu tiên, Ollama sẽ tải xuống các trọng số của mô hình. Hãy nghĩ về nó như bộ nhớ đệm cho một bộ phim lớn trên Netflix. Sau đó, nó sẽ diễn ra ngay lập tức. Bạn sẽ nhận được một lời nhắc nơi bạn có thể nhập và trò chuyện.
Hãy thử một bài kiểm tra: "Viết một bản tóm tắt 2 câu về mục nhập Wikipedia về chim cánh cụt—không thêm thắt." Nếu nó trả lời bằng một bài TED Talk về chim cánh cụt, bạn biết nó đang hoạt động.
Bước 3: Chuyển đổi mô hình như bạn chuyển đổi danh sách phát
Các mô hình phổ biến bạn có thể thử:
Mỗi mô hình có những điểm mạnh khác nhau. Mistral thì nhanh nhạy. Llama 3.1 thì toàn diện. Phi thì nhẹ và thông minh đến kinh ngạc so với kích thước của nó. Bạn có thể tải xuống các tag cụ thể, ví dụ: llama3:8b-instruct hoặc các biến thể lượng tử hóa nhỏ hơn.
Mẹo chuyên nghiệp: Sử dụng ollama pull <model> để tải xuống trước. Sử dụng ollama list để xem những gì bạn đã có và ollama rm <model> nếu SSD của bạn đang kêu cứu.
Bước 4: Trò chuyện từ terminal như một hacker có kỹ năng xã hội
- Bắt đầu một phiên:
ollama run llama3
- Cung cấp một tin nhắn hệ thống:
ollama run llama3 --system "Bạn là một trợ lý lập trình ngắn gọn."
- Đưa ra một lời nhắc một lần mà không cần vào chế độ trò chuyện:
ollama run llama3 -p "Giải thích Kubernetes như thể tôi mới năm tuổi."
Bạn sẽ bắt đầu nghe như một phù thủy. Một phù thủy lịch sự.
Bước 5: Sử dụng Ollama với các ứng dụng yêu thích của bạn
Đây là lúc cách sử dụng Ollama trở nên thú vị. Ollama nói chuyện bằng HTTP. Điều đó có nghĩa là rất nhiều công cụ có thể giao tiếp với nó.
- Giao diện người dùng web cục bộ: Nhiều giao diện người dùng trò chuyện AI có thể kết nối với điểm cuối Ollama của bạn. Bạn có được một cửa sổ đẹp mắt, các cuộc trò chuyện riêng biệt và lịch sử.
- Trình chỉnh sửa mã: Các tiện ích mở rộng cho VS Code có thể định tuyến các lời nhắc của bạn đến Ollama—giải thích mã nội tuyến, tái cấu trúc và kiểm tra.
- Ứng dụng ghi chú: Một số ứng dụng cho phép bạn kết nối với một mô hình cục bộ để tóm tắt và động não. Hoàn hảo cho các ghi chú cuộc họp thực sự có ích.
Lưu ý: Nếu bạn muốn có một quy trình trò chuyện và nghiên cứu dựa trên trình duyệt siêu sạch, thì Sider.AI có thể kết nối với các mô hình cục bộ và đám mây, sắp xếp các cuộc trò chuyện và giúp bạn kiểm tra các lời nhắc cạnh nhau. Khi tôi phân vân giữa "mô hình A thông minh hơn" và "mô hình B nhanh hơn", nó giúp tôi đánh giá khách quan. Bản Thiết Kế Dành Cho Người Mới Bắt Đầu: Giờ Làm Việc Hiệu Quả Đầu Tiên Của Bạn Với Ollama
Bạn có 60 phút. Hãy biến "hả?" thành "tuyệt vời!"
- Cài đặt Ollama. Nhấp một ngụm cà phê. Xong.
- Tải
llama3:8b-instruct. Đây là một điểm lý tưởng cho chất lượng và tốc độ trên hầu hết các máy tính xách tay.
- Tạo một lời nhắc hệ thống phù hợp với công việc của bạn: "Bạn là trợ lý nghiên cứu của tôi. Luôn cung cấp nguồn và các gạch đầu dòng. Giữ câu trả lời dưới 200 từ trừ khi tôi yêu cầu khác."
- Kiểm tra ba tác vụ bạn thực sự làm:
- Tóm tắt một bài viết được dán vào dưới 250 từ.
- Động não 10 ý tưởng tiêu đề cho bản tin của bạn.
- Biến ghi chú cuộc họp thành các mục hành động với người chịu trách nhiệm và ngày tháng.
- Lưu các lời nhắc bạn thích. Sử dụng lại chúng. Đây là cách bạn chuyển từ chơi với AI sang thực sự sử dụng nó.
Phần thưởng: Nếu bạn viết mã, hãy tải codellama hoặc một mô hình được điều chỉnh cho mã và cung cấp chức năng của bạn cho nó. Yêu cầu kiểm tra, tái cấu trúc hoặc docstring. Bạn sẽ cảm thấy thông minh hơn 30%, đó là giới hạn hợp pháp cho AI cục bộ.
Cách Chọn Mô Hình Phù Hợp (Không Đau Đầu)
Chọn một mô hình giống như chọn một gói phát trực tuyến: bạn hoàn toàn có thể trả quá nhiều tiền cho những thứ bạn không cần.
- Viết và động não:
llama3 hoặc mistral là những lựa chọn tuyệt vời.
- Máy tính xách tay siêu nhẹ: hãy thử
phi3 hoặc các phiên bản lượng tử hóa nhỏ hơn của các mô hình lớn hơn.
- Hỗ trợ viết mã:
codellama, deepseek coder hoặc một biến thể được tối ưu hóa cho mã.
- Đa ngôn ngữ: Các dòng
qwen thực hiện công việc đa ngôn ngữ vững chắc.
- Ngữ cảnh dài hơn: Tìm kiếm các mô hình được gắn nhãn với các cửa sổ ngữ cảnh lớn hơn nếu bạn cung cấp tài liệu lớn.
Nếu quạt của bạn biến thành máy bay trực thăng mỗi khi bạn đưa ra lời nhắc, hãy giảm kích thước mô hình hoặc thử một lượng tử hóa mạnh mẽ hơn.
Bí Quyết: Modelfile và Các Hành Vi Tùy Chỉnh
Đây là nơi Ollama trở nên thú vị một cách đáng ngạc nhiên. Bạn có thể tạo một Modelfile—về cơ bản là một công thức—xác định mô hình của bạn cộng với tính cách và các giá trị mặc định của nó.
Ví dụ về Modelfile (khái niệm):
FROM llama3:8b-instruct
SYSTEM "Bạn là một trợ lý rõ ràng, thân thiện. Sử dụng các gạch đầu dòng và câu ngắn."
PARAMETER temperature 0.5
Lưu nó dưới dạng Modelfile trong một thư mục, sau đó chạy:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
Bây giờ bạn đã có một trợ lý tùy chỉnh mà bạn có thể sử dụng lại ở mọi nơi. Nó giống như việc tạo ra hương vị ChatGPT riêng tư của bạn—vanilla, với một vài shot espresso.
Nói JSON Với Tôi: Sử Dụng API HTTP Của Ollama
Nếu bạn có xu hướng phát triển dù chỉ là một chút, thì API sẽ khiến bạn mỉm cười.
- Điểm cuối: ` cho việc tạo văn bản.
- Gửi một tải trọng JSON với
model, prompt và stream tùy chọn.
- Bạn sẽ nhận được các token trở lại trong một luồng. Nó giống như đọc một cuốn tiểu thuyết trong thời gian thực, từng nhân vật một.
Tại sao nên sử dụng API?
- Tự động hóa các bản tóm tắt bản tin.
- Xây dựng một chatbot trên tài liệu của bạn.
- Tạo các script để viết lại hàng loạt các mô tả sản phẩm. (Chỉ cần đừng làm cho tất cả chúng nghe như một robot đã từng tham gia ứng khẩu một lần.)
Cách Sử Dụng Ollama Với Các Tệp Riêng Của Bạn (RAG Không Gây Bực Tức)
RAG—tạo tăng cường truy xuất—cung cấp các tệp của bạn cho mô hình để nó trả lời bằng các dữ kiện từ những thứ của bạn, không phải bộ nhớ mờ nhạt của nó.
Đường dẫn cơ bản:
- Sử dụng một công cụ nhúng cục bộ để lập chỉ mục tài liệu của bạn.
- Với mỗi câu hỏi, hãy tìm kiếm các khối hàng đầu.
- Gửi văn bản liên quan nhất làm ngữ cảnh trong lời nhắc của bạn đến Ollama.
Hãy nghĩ về nó như một bài kiểm tra mở cho AI. Nó không cần phải "ghi nhớ" sổ tay nhân viên của bạn—nó chỉ cần trích dẫn nó.
Mẹo chuyên nghiệp: Giữ cho các khối của bạn nhỏ (200–600 từ), thêm tiêu đề và bao gồm các liên kết nguồn trong lời nhắc để mô hình học cách trích dẫn.
Điều Chỉnh Hiệu Suất: Làm Cho Ollama Bay (Không Làm Tan Chảy Bàn Của Bạn)
- Lượng tử hóa rất quan trọng: Q4 nhỏ hơn/nhanh hơn, Q8 lớn hơn/thông minh hơn. Bắt đầu nhỏ, di chuyển lên.
- Sử dụng GPU nếu có: Apple Silicon hoạt động rất tốt. Các card NVIDIA mới hơn? Một nụ hôn của đầu bếp.
- Nhiệt độ: Thấp hơn (0,2–0,5) cho các câu trả lời chính xác; cao hơn (0,8+) cho sự hỗn loạn sáng tạo.
- Số lượng token tối đa: Đừng yêu cầu một cuốn tiểu thuyết 3.000 từ trừ khi bạn thực sự cần nó. Máy tính xách tay của bạn muốn được sống.
Nếu phản hồi cảm thấy chậm chạp:
- Hãy thử một mô hình nhỏ hơn.
- Đóng các tab Chrome. Vâng, tất cả 47.
- Tạm thời tắt các ứng dụng đồng bộ hóa nền.
Bảo Mật Và Quyền Riêng Tư: Lý Do Thực Sự Mọi Người Sử Dụng Ollama
Cục bộ có nghĩa là cục bộ. Nhưng đừng cẩu thả.
- Dữ liệu nhạy cảm: Bạn an toàn hơn đám mây, nhưng hãy mã hóa ổ đĩa của bạn và sao lưu an toàn.
- Nguồn mô hình: Tải xuống từ các kho đáng tin cậy. Nếu một mô tả mô hình trông như thể nó được viết bởi một con mèo đi trên bàn phím, thì có lẽ hãy bỏ qua nó.
- Truy cập mạng: Ollama chạy cục bộ; không hiển thị cổng trên các mạng công cộng trừ khi bạn biết mình đang làm gì.
Các Quy Trình Làm Việc Hàng Ngày Mà Bạn Sẽ Thực Sự Sử Dụng
Bởi vì "wow gọn gàng" không giống với "Tôi sử dụng cái này hàng ngày." Đây là cách sử dụng Ollama trong cuộc sống thực:
- Người dọn dẹp cuộc họp: Dán ghi chú, yêu cầu các mục hành động theo người và yêu cầu bản nháp email theo dõi.
- Người bạn nghiên cứu: Dán một bài viết. Yêu cầu một phản biện, 3 nguồn để xác thực các tuyên bố và một bản tóm tắt 60 giây.
- Phi công phụ viết mã: Yêu cầu docstring, kiểm tra hoặc một regex an toàn hơn. Yêu cầu nó giải thích sự thay đổi cho bạn bằng tiếng Anh đơn giản.
- Chạy nước rút viết: Phác thảo trước, sau đó mở rộng, sau đó thắt chặt giọng văn. Giữ một tin nhắn hệ thống xác định giọng nói của bạn.
- Học tập: Dạy tôi SSH như thể bạn là người anh họ lớn tuổi kiên nhẫn của tôi. Sau đó kiểm tra tôi.
Lưu ý: Nếu bạn muốn giữ tất cả những điều này ở một nơi—lịch sử trò chuyện, kiểm tra mô hình song song và tra cứu web nhanh chóng—Sider.AI hoạt động tốt với các mô hình cục bộ và cung cấp cho bạn một buồng lái sạch hơn. Nó giống như trung tâm điều khiển cho các lời nhắc của bạn. Khắc Phục Sự Cố: Khi Ollama Trở Nên Khó Tính
- "Không tìm thấy mô hình." Bạn chưa tải xuống nó.
ollama pull <model>.
- "Hết bộ nhớ." Sử dụng một lượng tử hóa hoặc kích thước mô hình nhỏ hơn.
- "Nó chậm đến mức tôi có thể nghe thấy máy tính xách tay của mình già đi." Giảm số lượng token tối đa, chuyển đổi mô hình hoặc sử dụng tăng tốc GPU.
- "Câu trả lời quá mơ hồ." Giảm nhiệt độ và thêm ví dụ vào lời nhắc của bạn.
- "Nó cứ bỏ qua hướng dẫn của tôi." Đặt các quy tắc trong lời nhắc hệ thống, không chỉ lời nhắc người dùng.
Mẹo chuyên nghiệp: Lưu các lời nhắc hoạt động. Các lời nhắc tốt giống như các công thức pha cà phê ngon. Bạn của tương lai sẽ cảm ơn bạn của quá khứ.
Các Bước Nâng Cao: Đa Mô Hình, Công Cụ Và Tự Động Hóa
- Chuỗi suy nghĩ lite: Yêu cầu nó liệt kê các bước trước khi trả lời. "Đầu tiên phác thảo, sau đó viết từng đoạn một."
- Quy trình làm việc đa mô hình: Động não với một mô hình sáng tạo, xác minh với một mô hình chính xác. Hãy nghĩ đến bộ phim cảnh sát.
- Sử dụng công cụ: Bọc các tìm kiếm trên web, máy tính hoặc thực thi mã xung quanh Ollama thông qua các script. Hãy để mô hình quyết định công cụ nào cần gọi, nhưng hãy xác thực đầu ra.
- Công việc hàng loạt: Đưa một CSV mô tả sản phẩm vào một script gọi API và ghi kết quả trở lại. Uống cà phê, chạy, xong.
Cách Sử Dụng Ollama An Toàn Trong Các Nhóm
Nếu bạn là người phụ trách CNTT không chính thức (xin lỗi), hãy đặt các lan can bảo vệ:
- Tiêu chuẩn hóa một vài mô hình đã được phê duyệt.
- Chia sẻ một Modelfile cho giọng nói và định dạng của nhóm.
- Giữ một thư viện lời nhắc cho các tác vụ lặp lại.
- Ghi nhật ký đầu vào/đầu ra cho các quy trình làm việc nhất định—cục bộ—để bạn có thể xem xét chất lượng mà không cần rình mò mọi người.
Câu Hỏi "Tôi Có Cần Đám Mây Không?"
Đôi khi có. Nếu bạn cần nghiên cứu theo ngữ cảnh khổng lồ, lý luận tiên tiến hoặc phép thuật đa phương thức, một mô hình đám mây vẫn có thể chiến thắng. Động thái kết hợp là thông minh:
- Sử dụng Ollama cục bộ cho bản nháp, tài liệu riêng tư và lặp lại nhanh chóng.
- Sử dụng một mô hình đám mây cho lý luận phức tạp hoặc đầu vào lớn.
- So sánh kết quả trong cùng một giao diện để bạn chọn bằng mắt, không phải cảm xúc.
Đáng chú ý: Sider.AI giúp việc so sánh đó trở nên dễ dàng. Bạn có thể định tuyến cùng một lời nhắc đến Ollama cục bộ và một mô hình đám mây, sau đó chọn phản hồi tốt nhất hoặc hợp nhất chúng. Nó giống như nếm thử hai loại cà phê và nhận ra bạn có thể trộn chúng lại. Kế Hoạch Một Tuần Của Bạn Để Trở Thành Người Thì Thầm Ollama Của Văn Phòng
Ngày 1: Cài đặt, tải llama3, đặt một lời nhắc hệ thống.
Ngày 2: Xây dựng một Modelfile cho giọng điệu của bạn. Thử hai mô hình và lưu ý sự khác biệt.
Ngày 3: Kết nối một công cụ ghi chú hoặc viết mã vào Ollama.
Ngày 4: Tạo một nguyên mẫu RAG nhỏ với một vài PDF.
Ngày 5: Tự động hóa một tác vụ tẻ nhạt với API.
Ngày 6: Chia sẻ một thư viện lời nhắc với nhóm của bạn.
Ngày 7: Xem xét những gì đã hoạt động, cắt tỉa những gì không và đặt giá trị mặc định.
Tại thời điểm đó, bạn sẽ không chỉ biết cách sử dụng Ollama—bạn sẽ sử dụng nó mà không cần suy nghĩ về nó, đó là toàn bộ ý nghĩa của các công cụ mà chúng ta giữ.
Điểm Mấu Chốt
Cách sử dụng Ollama tóm lại là ba điều:
- Giữ cho nó cục bộ và đơn giản để bắt đầu. Tải một mô hình, thực hiện ba tác vụ thực tế.
- Tùy chỉnh hành vi bằng các lời nhắc hệ thống và Modelfile để nó phù hợp với bộ não của bạn, không phải ngược lại.
- Tích hợp nó vào nơi bạn làm việc—trình chỉnh sửa, trình duyệt, ghi chú—để nó không phải là một tab khác mà bạn quên.
Ollama sẽ không làm cho máy tính xách tay của bạn trở nên kỳ diệu. Nó sẽ làm cho nó trở nên của bạn hơn. Và trong một thế giới nơi mọi ứng dụng đều cố gắng đưa dữ liệu của bạn đến máy chủ của người khác, đó là một bản nâng cấp khá mới mẻ.
Bây giờ hãy yêu cầu AI cục bộ của bạn viết một tin nhắn ngoài văn phòng tốt hơn. Và có lẽ để nhắc bạn thực sự nghỉ một ngày.
FAQ
Q1: Cách dễ nhất để bắt đầu với Ollama là gì?
Cài đặt nó, tải một mô hình thân thiện như llama3:8b-instruct và chạy một vài tác vụ thực tế—tóm tắt, phác thảo hoặc bản nháp email. Giữ nhiệt độ thấp để có câu trả lời rõ ràng, có thể dự đoán và lưu bất kỳ lời nhắc nào hoạt động tốt.
Q2: Tôi nên sử dụng mô hình nào trong Ollama để viết và viết mã?
Để viết, hãy bắt đầu với llama3 hoặc mistral để có chất lượng và tốc độ cân bằng. Để viết mã, hãy thử codellama hoặc một mô hình được tối ưu hóa cho mã; giữ nhiệt độ khoảng 0,2–0,4 để giảm ảo giác.
Q3: Tôi có thể sử dụng tài liệu của riêng mình với Ollama (RAG) không?
Có—lập chỉ mục các tệp của bạn bằng một công cụ nhúng, truy xuất các khối hàng đầu trên mỗi truy vấn và bao gồm các khối đó làm ngữ cảnh trong lời nhắc của bạn đến Ollama. Nó giống như chế độ sách mở cho AI của bạn và nó cải thiện đáng kể độ chính xác thực tế.
Q4: Tại sao Ollama chậm trên máy tính xách tay của tôi và làm cách nào để tăng tốc nó?
Sử dụng một mô hình lượng tử hóa nhỏ hơn (ví dụ: Q4), giảm số lượng token tối đa và giảm nhiệt độ nếu cần. Nếu bạn có Apple Silicon hoặc GPU NVIDIA hiện đại, hãy bật tăng tốc phần cứng để có được hiệu suất đáng chú ý.
Q5: Sider.AI phù hợp với quy trình làm việc của Ollama như thế nào?
Sider.AI có thể kết nối với các mô hình Ollama cục bộ và các mô hình đám mây của bạn trong một giao diện, giúp bạn dễ dàng so sánh đầu ra và sắp xếp các cuộc trò chuyện. Nó rất tiện dụng để kiểm tra lời nhắc, giữ cho lịch sử gọn gàng và chọn câu trả lời tốt nhất mà không cần tung hứng năm ứng dụng. 
