Pernahkah anda cuba memasang perabot IKEA tanpa lelaki kartun kecil itu? Itulah yang dirasakan apabila memulakan model AI tempatan. Banyak bahagian, nama yang misteri, dan ketakutan yang berpanjangan bahawa anda terlepas skru berlabel “masa jalan LLM.” Perkenalkan <Ollama>. Ia adalah kunci Allen untuk menjalankan model bahasa yang besar pada mesin anda sendiri—pantas, peribadi dan tidak menyeksakan. Secara mengejutkan.
Dalam panduan ini, kita akan benar-benar menggunakan <Ollama>. Bukan sekadar membaca mengenainya. Kita akan memuat turunnya, menjalankan model, menyesuaikannya, menyalurkannya ke dalam alat kegemaran anda, membetulkan detik “kenapa kipas saya menjerit?”, dan pergi dengan persediaan yang anda boleh percayai untuk melakukan kerja. Ya, walaupun di luar talian. Ya, walaupun di dalam pesawat. Tidak, anda tidak memerlukan Ph.D. atau ladang pelayan.
Inilah cara menggunakan <Ollama> seperti seorang profesional—tanpa merosakkan komputer riba atau kewarasan anda.
Apakah <Ollama> (dan mengapa anda perlu peduli)?
<Ollama> ialah cara yang ringan untuk menjalankan model bahasa yang besar (LLM) secara tempatan. Fikirkan <ChatGPT>, tetapi model itu berada di dalam komputer anda. Faedahnya:
- Privasi: Data anda kekal pada mesin anda. Tiada perjalanan awan yang misteri.
- Kelajuan: Tidak perlu menunggu pelayan. Inilah masanya CPU/GPU anda bersinar.
- Kawalan: Pilih model, versi, saiz dan tingkah laku.
Jika anda pernah terfikir, “Saya harap saya boleh bertanya perkara kepada AI tanpa menghantar nota peribadi saya ke Neptun,” ini adalah untuk anda.
Cara Terpantas untuk Menggunakan <Ollama>
Anda datang untuk cara penggunaan. Mari kita lakukan cara penggunaan.
Langkah 1: Pasang <Ollama>
- macOS: Gunakan pemasang dari laman web rasmi atau
brew install --cask ollama jika anda suka berasa berkuasa.
- Windows: Dapatkan pemasang. Ia adalah persediaan biasa—seterusnya, seterusnya, pasang.
- Linux: Satu baris melalui skrip rasmi. Salurkan pentadbir sistem dalaman anda selama 30 saat.
Setelah dipasang, <Ollama> menjalankan perkhidmatan tempatan. Anda bercakap dengannya melalui Terminal, PowerShell atau aplikasi lain yang berintegrasi dengannya.
Langkah 2: Tarik model pertama anda
Dalam terminal anda:
Kali pertama, <Ollama> memuat turun pemberat model. Fikirkan ia seperti menyimpan filem <Netflix> yang besar dalam cache. Selepas itu, ia serta-merta. Anda akan mendapat gesaan di mana anda boleh menaip dan berbual.
Cuba ujian: “Tulis ringkasan 2 ayat mengenai catatan <Wikipedia> tentang penguin—tiada kandungan remeh.” Jika ia membalas dengan TED Talk penguin, anda tahu ia hidup.
Langkah 3: Tukar model seperti anda menukar senarai main
Model popular yang boleh anda cuba:
Setiap satu mempunyai kekuatan yang berbeza. <Mistral> adalah tangkas. <Llama 3.1> adalah serba boleh. <Phi> adalah ringan dan sangat bijak untuk saiznya. Anda boleh menarik tag tertentu, contohnya, llama3:8b-instruct atau varian kuantisasi yang lebih kecil.
Petua pro: Gunakan ollama pull <model> untuk memuat turun lebih awal. Gunakan ollama list untuk melihat apa yang anda ada dan ollama rm <model> jika SSD anda menangis.
Langkah 4: Berbual dari terminal seperti penggodam dengan kemahiran sosial
- Mulakan sesi:
ollama run llama3
- Berikan mesej sistem:
ollama run llama3 --system "Anda ialah pembantu pengekodan yang ringkas."
- Berikan gesaan sekali sahaja tanpa memasuki mod sembang:
ollama run llama3 -p "Terangkan <Kubernetes> seperti saya berumur lima tahun."
Anda akan mula kedengaran seperti ahli sihir. Ahli sihir yang sopan.
Langkah 5: Gunakan <Ollama> dengan aplikasi kegemaran anda
Di sinilah cara menggunakan <Ollama> menjadi menyeronokkan. <Ollama> bercakap HTTP. Ini bermakna banyak alat boleh bercakap dengannya.
- UI web tempatan: Banyak UI sembang AI boleh menyambung ke titik akhir <Ollama> anda. Anda mendapat tetingkap yang cantik, sembang yang berasingan dan sejarah.
- Editor kod: Sambungan untuk <VS Code> boleh menghalakan gesaan anda ke <Ollama>—penjelasan kod sebaris, refaktor dan ujian.
- Aplikasi pengambilan nota: Sesetengah membolehkan anda menyambung ke model tempatan untuk ringkasan dan sumbang saran. Sesuai untuk nota mesyuarat yang benar-benar pergi ke suatu tempat.
Perhatian: Jika anda mahukan sembang berasaskan penyemak imbas yang sangat bersih dan aliran kerja penyelidikan, perlu diingatkan—Sider.AI boleh menyambung ke model tempatan dan awan, menyusun sembang dan membantu anda menguji gesaan bersebelahan. Apabila saya terbahagi antara “model A lebih bijak” dan “model B lebih pantas,” ia membuatkan saya jujur. Pelan Tindakan Pemula: Jam Produktif Pertama Anda dengan <Ollama>
Anda mempunyai 60 minit. Mari kita tukarkan “hah?” menjadi “ya, betul.”
- Pasang <Ollama>. Hirup kopi. Selesai.
- Tarik
llama3:8b-instruct. Ia adalah titik tumpuan untuk kualiti dan kelajuan pada kebanyakan komputer riba.
- Buat gesaan sistem yang sesuai dengan kerja anda: “Anda ialah pembantu penyelidik saya. Sentiasa berikan sumber dan mata peluru. Kekalkan jawapan di bawah 200 perkataan kecuali saya menyatakan sebaliknya.”
- Uji tiga tugas yang sebenarnya anda lakukan:
- Ringkaskan tampalan artikel di bawah 250 perkataan.
- Sumbangkan 10 idea tajuk untuk surat berita anda.
- Tukarkan nota mesyuarat kepada item tindakan dengan pemilik dan tarikh.
- Simpan gesaan yang anda suka. Gunakan semula. Ini ialah cara anda beralih daripada bermain dengan AI kepada benar-benar menggunakannya.
Bonus: Jika anda menulis kod, tarik codellama atau model yang ditala kod dan suapkan fungsi anda. Minta ujian, refaktor atau docstring. Anda akan berasa 30% lebih bijak, yang merupakan had undang-undang untuk AI tempatan.
Cara Memilih Model yang Betul (Tanpa Sakit Kepala)
Memilih model adalah seperti memilih pelan penstriman: anda pasti boleh membayar lebih untuk barangan yang anda tidak perlukan.
- Penulisan dan sumbang saran:
llama3 atau mistral adalah hebat.
- Komputer riba yang sangat ringan: cuba
phi3 atau versi kuantisasi yang lebih kecil bagi model yang lebih besar.
- Bantuan pengekodan:
codellama, deepseek coder atau varian yang dioptimumkan kod.
- Berbilang bahasa: Keluarga
qwen melakukan kerja berbilang bahasa yang kukuh.
- Konteks yang lebih panjang: Cari model yang dilabelkan dengan tetingkap konteks yang lebih besar jika anda memasukkan dokumen yang besar.
Jika kipas anda bertukar menjadi helikopter setiap kali anda membuat gesaan, turunkan saiz model atau cuba kuantisasi yang lebih agresif.
Sos Rahsia: Fail Model dan Tingkah Laku Tersuai
Di sinilah <Ollama> menjadi sangat menggembirakan. Anda boleh membuat Fail Model—pada dasarnya resipi—yang mentakrifkan model anda serta personaliti dan lalai.
Contoh Fail Model (konseptual):
FROM llama3:8b-instruct
SYSTEM "Anda ialah pembantu yang ringkas dan mesra. Gunakan mata peluru dan ayat pendek."
PARAMETER temperature 0.5
Simpan sebagai Fail Model dalam folder, kemudian jalankan:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
Kini anda mempunyai pembantu tersuai yang boleh anda gunakan semula di mana-mana sahaja. Ia seperti membuat perisa <ChatGPT> peribadi anda sendiri—vanila, dengan espresso.
Bercakap JSON dengan Saya: Menggunakan API HTTP <Ollama>
Jika anda mempunyai kecenderungan pembangun yang ringan sekalipun, API akan membuatkan anda tersenyum.
- Titik akhir: ` untuk penjanaan teks.
- Hantar muatan JSON dengan
model, prompt dan stream pilihan.
- Anda akan mendapat token kembali dalam aliran. Ia terasa seperti membaca novel dalam masa nyata, satu aksara pada satu masa.
Mengapa menggunakan API?
- Automatkan ringkasan surat berita.
- Bina chatbot pada dokumen anda.
- Buat skrip untuk menulis semula deskripsi produk secara pukal. (Cuma jangan buat semuanya kedengaran seperti robot yang pernah melakukan improvisasi.)
Cara Menggunakan <Ollama> dengan Fail Anda Sendiri (RAG tanpa Kemarahan)
RAG—penjanaan diperkukuh pengambilan—memasukkan fail anda ke dalam model supaya ia menjawab dengan fakta daripada barangan anda, bukan ingatannya yang kabur.
Laluan asas:
- Gunakan alat pembenaman tempatan untuk mengindeks dokumen anda.
- Pada setiap soalan, cari cebisan teratas.
- Hantar teks yang paling relevan sebagai konteks dalam gesaan anda kepada <Ollama>.
Fikirkan ia seperti ujian buku terbuka untuk AI. Ia tidak perlu “mengingati” buku panduan pekerja anda—ia hanya perlu memetiknya.
Langkah pro: Pastikan cebisan anda kecil (200–600 patah perkataan), tambahkan tajuk dan sertakan pautan sumber dalam gesaan supaya model belajar memetik.
Penalaan Prestasi: Buat <Ollama> Terbang (Tanpa Mencairkan Meja Anda)
- Kuantisasi penting: Q4 lebih kecil/lebih pantas, Q8 lebih besar/lebih bijak. Mulakan dengan kecil, bergerak ke atas.
- Gunakan GPU jika tersedia: Silikon <Apple> berfungsi dengan baik. Kad NVIDIA yang lebih baharu? Ciuman cef.
- Suhu: Lebih rendah (0.2–0.5) untuk jawapan yang tepat; lebih tinggi (0.8+) untuk huru-hara kreatif.
- Token maksimum: Jangan minta novel 3,000 patah perkataan melainkan anda benar-benar memerlukannya. Komputer riba anda ingin terus hidup.
Jika respons terasa lembap:
- Cuba model yang lebih kecil.
- Tutup tab <Chrome>. Ya, kesemua 47.
- Lumpuhkan apl penyegerakan latar belakang buat sementara waktu.
Keselamatan dan Privasi: Sebab Sebenar Orang Menggunakan <Ollama>
Tempatan bermaksud tempatan. Tetapi jangan jadi cuai.
- Data sensitif: Anda lebih selamat daripada awan, tetapi enkripsi pemacu anda dan buat sandaran dengan selamat.
- Sumber model: Tarik daripada repositori yang dipercayai. Jika deskripsi model kelihatan seperti ditulis oleh kucing yang berjalan di atas papan kekunci, mungkin langkau sahaja.
- Akses rangkaian: <Ollama> berjalan secara tempatan; jangan dedahkan port pada rangkaian awam melainkan anda tahu apa yang anda lakukan.
Aliran Kerja Harian yang Sebenarnya Akan Anda Gunakan
Kerana “wah kemas” tidak sama dengan “Saya menggunakan ini setiap hari.” Inilah cara menggunakan <Ollama> dalam kehidupan sebenar:
- Pembersih mesyuarat: Tampal nota, minta item tindakan mengikut orang dan minta draf e-mel susulan.
- Rakan penyelidik: Tampal artikel. Minta hujah balas, 3 sumber untuk mengesahkan dakwaan dan ringkasan 60 saat.
- Pembantu juruterbang pengekodan: Minta docstring, ujian atau regex yang lebih selamat. Suruh ia menerangkan perubahan itu kembali kepada anda dalam bahasa Inggeris biasa.
- Pecutan penulisan: Gariskan dahulu, kemudian kembangkan, kemudian ketatkan nada. Kekalkan mesej sistem yang mentakrifkan suara anda.
- Pembelajaran: Ajarkan saya SSH seperti anda sepupu saya yang lebih tua dan penyabar. Kemudian uji saya.
Perhatian: Jika anda suka menyimpan semua ini di satu tempat—sejarah sembang, ujian model bersebelahan dan carian web pantas—Sider.AI berfungsi dengan baik dengan model tempatan dan memberikan anda kokpit yang lebih bersih. Ia seperti kawalan misi untuk gesaan anda. Penyelesaian Masalah: Apabila <Ollama> Menjadi Murung
- “Model tidak ditemui.” Anda belum menariknya lagi.
ollama pull <model>.
- “Kehabisan memori.” Gunakan kuantisasi atau saiz model yang lebih kecil.
- “Ia sangat perlahan sehingga saya boleh mendengar komputer riba saya semakin tua.” Kurangkan token maksimum, tukar model atau gunakan pecutan GPU.
- “Jawapan terlalu samar-samar.” Kurangkan suhu dan tambahkan contoh pada gesaan anda.
- “Ia terus mengabaikan arahan saya.” Letakkan peraturan dalam gesaan sistem, bukan hanya gesaan pengguna.
Petua pro: Simpan gesaan yang berkesan. Gesaan yang baik adalah seperti resipi kopi yang baik. Anda pada masa hadapan akan berterima kasih kepada anda pada masa lalu.
Langkah Lanjutan: Berbilang Model, Alat dan Automasi
- Rantaian pemikiran lite: Minta ia menyenaraikan langkah sebelum menjawab. “Gariskan dahulu, kemudian tulis perenggan demi perenggan.”
- Aliran kerja berbilang model: Sumbangkan idea dengan model kreatif, sahkan dengan model yang tepat. Fikirkan filem rakan polis.
- Penggunaan alat: Balut carian web, kalkulator atau pelaksanaan kod di sekeliling <Ollama> melalui skrip. Biarkan model memutuskan alat mana yang hendak dipanggil, tetapi sahkan output.
- Tugas kelompok: Salurkan CSV deskripsi produk ke dalam skrip yang memanggil API dan menulis semula hasil. Kopi, lari, selesai.
Cara Menggunakan <Ollama> dengan Selamat dalam Pasukan
Jika anda orang IT tidak rasmi (maaf), tetapkan rel pengawal:
- Piawaikan pada beberapa model yang diluluskan.
- Kongsi Fail Model untuk suara dan pemformatan pasukan.
- Kekalkan pustaka gesaan untuk tugas berulang.
- Log input/output untuk aliran kerja tertentu—secara tempatan—supaya anda boleh menyemak kualiti tanpa merayap pada orang.
Soalan “Adakah Saya Memerlukan Awan?”
Kadang-kadang ya. Jika anda memerlukan penyelidikan konteks gergasi, penaakulan canggih atau ilmu sihir berbilang modal, model awan mungkin masih menang. Langkah hibrid adalah bijak:
- Gunakan <Ollama> secara tempatan untuk draf, dokumen peribadi dan lelaran pantas.
- Gunakan model awan untuk penaakulan yang kompleks atau input yang besar.
- Bandingkan hasil dalam antara muka yang sama supaya anda memilih dengan mata anda, bukan getaran.
Perlu diingatkan: Sider.AI menjadikan perbandingan itu tidak menyakitkan. Anda boleh menghalakan gesaan yang sama ke <Ollama> tempatan dan model awan, kemudian pilih respons terbaik atau gabungkannya. Ia seperti merasai dua kopi dan menyedari anda boleh mencampurkannya. Pelan Satu Minggu Anda untuk Menjadi Pembisik <Ollama> Pejabat
Hari 1: Pasang, tarik llama3, tetapkan gesaan sistem.
Hari 2: Bina Fail Model untuk nada anda. Cuba dua model dan catatkan perbezaan.
Hari 3: Sambungkan alat pengambilan nota atau pengekodan ke dalam <Ollama>.
Hari 4: Buat prototaip RAG kecil dengan beberapa PDF.
Hari 5: Automatkan satu tugas yang membosankan dengan API.
Hari 6: Kongsi pustaka gesaan dengan pasukan anda.
Hari 7: Semak apa yang berkesan, cantas apa yang tidak berkesan dan tetapkan lalai.
Pada ketika itu, anda bukan sahaja tahu cara menggunakan <Ollama>—anda akan menggunakannya tanpa memikirkannya, yang merupakan keseluruhan tujuan alat yang kita simpan.
Intinya
Cara menggunakan <Ollama> tertumpu kepada tiga perkara:
- Pastikan ia tempatan dan ringkas untuk bermula. Tarik satu model, lakukan tiga tugas sebenar.
- Sesuaikan tingkah laku dengan gesaan sistem dan Fail Model supaya ia sesuai dengan otak anda, bukan sebaliknya.
- Integrasikannya di tempat anda bekerja—editor, penyemak imbas, nota—supaya ia bukan tab lain yang anda lupakan.
<Ollama> tidak akan menjadikan komputer riba anda ajaib. Ia akan menjadikannya lebih milik anda. Dan dalam dunia di mana setiap aplikasi cuba menghantar data anda ke pelayan orang lain, itu adalah peningkatan yang agak menyegarkan.
Sekarang pergi minta AI tempatan anda untuk menulis mesej di luar pejabat yang lebih baik. Dan mungkin untuk mengingatkan anda untuk benar-benar mengambil cuti.
Soalan Lazim
S1:Apakah cara termudah untuk bermula dengan <Ollama>?
Pasang, tarik model mesra seperti llama3:8b-instruct dan jalankan beberapa tugas sebenar—ringkasan, garis besar atau draf e-mel. Kekalkan suhu rendah untuk jawapan yang jelas dan boleh diramal serta simpan sebarang gesaan yang berfungsi dengan baik.
S2:Model manakah yang patut saya gunakan dalam <Ollama> untuk menulis dan mengekod?
Untuk menulis, mulakan dengan llama3 atau mistral untuk kualiti dan kelajuan yang seimbang. Untuk pengekodan, cuba codellama atau model yang dioptimumkan kod; kekalkan suhu sekitar 0.2–0.4 untuk mengurangkan halusinasi.
S3:Bolehkah saya menggunakan dokumen saya sendiri dengan <Ollama> (RAG)?
Ya—indeks fail anda dengan alat pembenaman, dapatkan cebisan teratas pada setiap pertanyaan dan sertakan cebisan tersebut sebagai konteks dalam gesaan anda kepada <Ollama>. Ia seperti mod buku terbuka untuk AI anda dan ia meningkatkan ketepatan faktual secara drastik.
S4:Mengapa <Ollama> perlahan pada komputer riba saya dan bagaimana saya mempercepatkannya?
Gunakan model kuantisasi yang lebih kecil (contohnya, Q4), kurangkan token maksimum dan kurangkan suhu jika perlu. Jika anda mempunyai Silikon <Apple> atau GPU NVIDIA moden, dayakan pecutan perkakasan untuk rangsangan yang ketara.
S5:Bagaimanakah Sider.AI sesuai dengan aliran kerja <Ollama>?
Sider.AI boleh menyambung ke model <Ollama> tempatan dan model awan anda dalam satu antara muka, menjadikannya mudah untuk membandingkan output dan menyusun sembang. Ia berguna untuk menguji gesaan, memastikan sejarah kemas dan memilih jawapan terbaik tanpa menyulap lima aplikasi. 
