Kas oled kunagi proovinud kokku panna IKEA mööblit ilma väikese koomiksikujuta? Umbes selline tunne võib olla kohalike AI mudelite käivitamine. Palju osi, salapärased nimed ja pidev hirm, et sa jätsid vahele kruvi nimega "LLM runtime". Siin tuleb appi Ollama. See on suurte keelemudelite käitamise kuuskantvõti sinu enda masinas – kiire, privaatne ja üllatavalt mitte piinamisvahend.
Selles juhendis me tegelikult kasutame Ollamat. Mitte ainult ei loe sellest. Me laadime selle alla, käivitame mudeli, kohandame seda, suuname selle sinu lemmiktööriistadesse, lahendame "miks mu ventilaator karjub?" hetke ja lahkume seadistusega, mida sa saad tegelikult usaldada tööd tegema. Jah, isegi offline. Jah, isegi lennukis. Ei, sa ei vaja doktorikraadi või serveriparki.
Siin on, kuidas kasutada Ollamat nagu professionaal – ilma oma sülearvutit või mõistust kaotamata.
Mis on Ollama (ja miks peaks see sind huvitama)?
Ollama on lihtne viis suurte keelemudelite (LLM) kohalikuks käitamiseks. Mõtle ChatGPT, aga mudel elab sinu arvutis. Eelised:
- Privaatsus: Sinu andmed jäävad sinu masinasse. Ei mingit salapärast pilvereisi.
- Kiirus: Ei mingit serveri ootamist. On sinu CPU/GPU aeg särada.
- Kontroll: Vali mudel, versioon, suurus ja käitumine.
Kui sa oled kunagi mõelnud: "Ma sooviksin, et saaksin AI-lt asju küsida ilma oma isiklikke märkmeid Neptuunini saatmata," siis see on sinu jaoks.
Kiireim viis Ollama kasutamiseks
Sa tulid siia õpetuse pärast. Teeme selle ära.
Samm 1: Installi Ollama
- macOS: Kasuta installijat ametlikult veebilehelt või
brew install --cask ollama, kui sulle meeldib tunda end võimsana.
- Windows: Haara installija. See on tavaline seadistus – edasi, edasi, installi.
- Linux: Üks rida koodi ametliku skripti kaudu. Rakenda oma sisemist süsteemiadministraatorit 30 sekundiks.
Pärast installimist käitab Ollama kohalikku teenust. Sa suhtled sellega Terminali, PowerShelli või muude rakenduste kaudu, mis sellega integreeruvad.
Samm 2: Tõmba oma esimene mudel
Sinu terminalis:
Esimene kord laadib Ollama alla mudeli kaalud. Mõtle sellele nagu suure Netflixi filmi vahemällu salvestamisele. Pärast seda on see kohene. Sa saad viiba, kuhu saad trükkida ja vestelda.
Proovi testi: "Kirjuta 2-lauseline kokkuvõte Wikipedia sissekandest pingviinide kohta – ilma tühja lobata." Kui see vastab pingviini TED Talkiga, siis sa tead, et see on elus.
Samm 3: Vaheta mudeleid nagu sa vahetad esitusloendeid
Populaarsed mudelid, mida sa saad proovida:
Igal neist on erinevad tugevused. Mistral on nobe. Llama 3.1 on mitmekülgne. Phi on kerge ja oma suuruse kohta šokeerivalt nutikas. Sa saad tõmmata konkreetseid silte, nt llama3:8b-instruct või väiksemaid kvantiseeritud variante.
Pro näpunäide: Kasuta ollama pull <model> eelnevalt allalaadimiseks. Kasuta ollama list, et näha, mis sul on, ja ollama rm <model>, kui su SSD nutab.
Samm 4: Vestle terminalist nagu sotsiaalsete oskustega häkker
- Alusta seanssi:
ollama run llama3
- Anna süsteemisõnum:
ollama run llama3 --system "Sa oled lühike kodeerimisassistent."
- Anna ühekordne viip ilma vestlusrežiimi sisenemata:
ollama run llama3 -p "Selgita Kubernetes't nagu ma oleksin viieaastane."
Sa hakkad kõlama nagu võlur. Viisakas võlur.
Samm 5: Kasuta Ollamat oma lemmikrakendustega
Siin muutub Ollama kasutamine lõbusaks. Ollama räägib HTTP-d. See tähendab, et paljud tööriistad saavad sellega rääkida.
- Kohalikud veebi kasutajaliidesed: Paljud AI vestluse kasutajaliidesed saavad sinu Ollama lõpp-punktiga ühenduse luua. Sa saad kena akna, eraldi vestlused ja ajaloo.
- Koodiredaktorid: VS Code'i laiendused saavad sinu viipad Ollamasse suunata – reas koodi selgitused, refaktorid ja testid.
- Märkmete tegemise rakendused: Mõned lasevad sul ühenduse luua kohaliku mudeliga kokkuvõtete ja ajurünnakute jaoks. Ideaalne koosoleku märkmete jaoks, mis tegelikult kuhugi jõuavad.
Tähelepanu: Kui sa soovid ülimalt puhast, brauseripõhist vestluse ja uurimistöö töövoogu, siis tasub märkida, et Sider.AI saab ühenduse luua kohalike ja pilvemudelitega, korraldada vestlusi ja aidata sul viipasid kõrvuti testida. Kui ma olen kahevahel, et "mudel A on targem" ja "mudel B on kiirem", siis see hoiab mind ausana. Algaja plaan: Sinu esimene produktiivne tund Ollamaga
Sul on 60 minutit. Muudame "mis?" "põrguks jah."
- Installi Ollama. Kohvi lonks. Valmis.
- Tõmba
llama3:8b-instruct. See on hea tasakaal kvaliteedi ja kiiruse vahel enamikus sülearvutites.
- Loo süsteemiviip, mis sobib sinu tööga: "Sa oled minu uurimisassistent. Esita alati allikad ja punktloendid. Hoia vastused alla 200 sõna, kui ma ei ütle teisiti."
- Testi kolme ülesannet, mida sa tegelikult teed:
- Tee artikli kleepimisest alla 250 sõna kokkuvõte.
- Tee ajurünnak 10 pealkirja ideega sinu uudiskirja jaoks.
- Muuda koosoleku märkmed tegevuspunktideks koos omanike ja kuupäevadega.
- Salvesta viipad, mis sulle meeldivad. Kasuta neid uuesti. Nii sa liigud AI-ga mängimisest selle tegelikuks kasutamiseks.
Boonus: Kui sa kirjutad koodi, siis tõmba codellama või koodile häälestatud mudel ja sööda see oma funktsiooniga. Küsi teste, refaktoreid või dokstringe. Sa tunned end 30% targemana, mis on kohaliku AI seaduslik piir.
Kuidas valida õige mudel (ilma peavaluta)
Mudeli valimine on nagu voogesitusplaani valimine: sa võid täiesti üle maksta asjade eest, mida sa ei vaja.
- Kirjutamine ja ajurünnak:
llama3 või mistral on suurepärased.
- Ülimalt kerged sülearvutid: proovi
phi3 või suuremate mudelite väiksemaid kvantiseeritud versioone.
- Kodeerimisabi:
codellama, deepseek coder või koodile optimeeritud variant.
- Mitmekeelne:
qwen perekond teeb korralikku mitmekeelset tööd.
- Pikem kontekst: Otsi mudeleid, mis on märgistatud suuremate kontekstiakendega, kui sa söödad suuri dokumente.
Kui su ventilaator muutub helikopteriks iga kord, kui sa viipad, siis astu mudeli suuruses alla või proovi agressiivsemat kvantimist.
Salajane kaste: Modelfiles ja kohandatud käitumised
Siin muutub Ollama üllatavalt nauditavaks. Sa saad luua Modelfile – põhimõtteliselt retsepti –, mis määratleb sinu mudeli pluss selle isiksuse ja vaikesätted.
Modelfile'i näide (kontseptuaalne):
FROM llama3:8b-instruct
SYSTEM "Sa oled terav, sõbralik assistent. Kasuta punktloendeid ja lühikesi lauseid."
PARAMETER temperature 0.5
Salvesta see kaustas Modelfile nime all, seejärel käivita:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
Nüüd on sul kohandatud assistent, mida sa saad kõikjal uuesti kasutada. See on nagu oma privaatse ChatGPT maitse tegemine – vanill, espresso shotidega.
Räägi mulle JSON-i: Ollama HTTP API kasutamine
Kui sul on isegi kerged arendaja kalduvused, siis API paneb sind muigama.
- Lõpp-punkt: ` teksti genereerimiseks.
- Saada JSON-i koormus koos
model, prompt ja valikulise stream.
- Sa saad tokeneid tagasi voos. See on nagu romaani lugemine reaalajas, üks tegelane korraga.
Miks kasutada API-t?
- Automatiseeri uudiskirjade kokkuvõtted.
- Ehita oma dokumentidele chatbot.
- Loo skripte tootekirjelduste hulgi ümberkirjutamiseks. (Lihtsalt ära pane neid kõiki kõlama nagu robot, kes võttis kord improtunni.)
Kuidas kasutada Ollamat oma failidega (RAG ilma raevuta)
RAG – retrieval-augmented generation – söödab sinu failid mudelile, nii et see vastab faktidega sinu asjadest, mitte oma udusest mälust.
Põhiline tee:
- Kasuta kohalikku manustamistööriista oma dokumentide indekseerimiseks.
- Iga küsimuse korral otsi parimaid tükke.
- Saada kõige asjakohasem tekst kontekstina sinu Ollama viipa.
Mõtle sellele nagu avatud raamatu testimine AI jaoks. See ei pea "mäletama" sinu töötajate käsiraamatut – see peab seda lihtsalt tsiteerima.
Pro liigutus: Hoia oma tükid väiksed (200–600 sõna), lisa pealkirjad ja lisa viipa allika lingid, et mudel õpiks tsiteerima.
Toimivuse häälestamine: Pane Ollama lendama (ilma oma lauda sulatamata)
- Kvantimine on oluline: Q4 on väiksem/kiirem, Q8 on suurem/targem. Alusta väikeselt, liigu üles.
- Kasuta GPU-d, kui see on saadaval: Apple Silicon on suurepärane. Uuemad NVIDIA kaardid? Koka suudlus.
- Temperatuur: Madalam (0,2–0,5) täpsete vastuste jaoks; kõrgem (0,8+) loomingulise kaose jaoks.
- Maksimaalsed tokenid: Ära küsi 3000-sõnalist romaani, kui sa seda tegelikult ei vaja. Sinu sülearvuti sooviks elada.
Kui vastused tunduvad aeglased:
- Proovi väiksemat mudelit.
- Sule Chrome'i vahekaardid. Jah, kõik 47.
- Keela ajutiselt taustal sünkroonimisrakendused.
Turvalisus ja privaatsus: Tõeline põhjus, miks inimesed Ollamat kasutavad
Kohalik tähendab kohalikku. Aga ärgem muutugem lohakaks.
- Tundlikud andmed: Sa oled pilvest turvalisem, aga krüpteeri oma ketas ja tee turvaliselt varukoopia.
- Mudelite allikad: Tõmba usaldusväärsetest repositooriumidest. Kui mudeli kirjeldus näeb välja nagu selle oleks kirjutanud kass, kes kõnnib klaviatuuril, siis jäta see võib-olla vahele.
- Võrgu juurdepääs: Ollama töötab kohapeal; ära ava porti avalikes võrkudes, kui sa ei tea, mida sa teed.
Igapäevased töövoogud, mida sa tegelikult kasutad
Sest "vau, kena" ei ole sama, mis "ma kasutan seda iga päev". Siin on, kuidas kasutada Ollamat päriselus:
- Koosoleku puhastaja: Kleebi märkmed, küsi tegevuspunkte inimese kohta ja küsi järelmeili mustandit.
- Uurimiskaaslane: Kleebi artikkel. Küsi vastuväidet, 3 allikat väidete kinnitamiseks ja 60-sekundilist kokkuvõtet.
- Kodeerimise kaaspiloot: Küsi dokstringe, teste või turvalisemat regulaaravaldist. Pane see muudatus sulle tavalises eesti keeles selgitama.
- Kirjutamise sprint: Tee esmalt ülevaade, seejärel laienda, seejärel pinguta tooni. Hoia süsteemisõnumit, mis määratleb sinu hääle.
- Õppimine: Õpeta mulle SSH-d nagu sa oleksid minu kannatlik vanem nõbu. Seejärel testi mind.
Tähelepanu: Kui sulle meeldib seda kõike ühes kohas hoida – vestluste ajalood, kõrvuti mudelite testid ja kiired veebiotsingud –, siis Sider.AI mängib kohalike mudelitega hästi ja annab sulle puhtama kokpiti. See on nagu missioonikontroll sinu viipade jaoks. Tõrkeotsing: Kui Ollama muutub tujukaks
- "Mudelit ei leitud." Sa ei ole seda veel tõmmanud.
ollama pull <model>.
- "Mälu on otsas." Kasuta väiksemat kvantimist või mudeli suurust.
- "See on nii aeglane, et ma kuulen oma sülearvuti vananemist." Vähenda maksimaalseid tokeneid, vaheta mudeleid või kasuta GPU kiirendust.
- "Vastused on liiga ähmased." Vähenda temperatuuri ja lisa oma viipa näiteid.
- "See ignoreerib pidevalt minu juhiseid." Pane reeglid süsteemi viipa, mitte ainult kasutaja viipa.
Pro näpunäide: Salvesta viipad, mis töötavad. Head viipad on nagu head kohviretseptid. Tulevane sina tänab minevikus sind.
Täiustatud liigutused: Mitme mudeliga, tööriistad ja automatiseerimine
- Chain-of-thought lite: Palu tal enne vastamist loetleda sammud. "Esmalt ülevaade, seejärel kirjuta lõik lõigu haaval."
- Mitme mudeliga töövoog: Tee ajurünnak loomingulise mudeliga, kinnita täpsega. Mõtle buddy cop filmile.
- Tööriista kasutamine: Mässi veebiotsingud, kalkulaatorid või koodi käivitamine skriptide kaudu Ollama ümber. Lase mudelil otsustada, millist tööriista helistada, aga valideeri väljundid.
- Partiitööd: Suuna tootekirjelduste CSV skripti, mis kutsub API-t ja kirjutab tulemused tagasi. Kohv, käivita, valmis.
Kuidas kasutada Ollamat meeskondades turvaliselt
Kui sa oled mitteametlik IT-inimene (vabandust), siis sea piirded:
- Standardiseeri mõned heakskiidetud mudelid.
- Jaga Modelfile'i meeskonna hääle ja vormingu jaoks.
- Hoia korduvate ülesannete jaoks viipa raamatukogu.
- Logi sisend/väljund teatud töövoogude jaoks – kohapeal –, et sa saaksid kvaliteeti üle vaadata ilma inimeste peale hiilimata.
Küsimus "Kas ma vajan pilve?"
Mõnikord jah. Kui sa vajad hiiglasliku kontekstiga uurimistööd, tipptasemel arutluskäiku või mitme modaalsusega võlukunsti, siis võib pilvemudel ikka võita. Hübriidliigutus on tark:
- Kasuta Ollamat kohapeal mustandite, privaatsete dokumentide ja kiire iteratsiooni jaoks.
- Kasuta pilvemudelit keeruka arutluskäigu või suurte sisendite jaoks.
- Võrdle tulemusi samas liideses, nii et sa valid oma silmadega, mitte meeleoludega.
Tasub märkida: Sider.AI muudab selle võrdluse valutuks. Sa saad suunata sama viipa kohalikku Ollamasse ja pilvemudelisse, seejärel valida parima vastuse või need ühendada. See on nagu kahe kohvi degusteerimine ja arusaamine, et sa saad neid segada. Sinu ühenädalane plaan, et saada kontori Ollama sosistajaks
1. päev: Installi, tõmba llama3, sea süsteemiviip.
2. päev: Ehita oma tooni jaoks Modelfile. Proovi kahte mudelit ja pane erinevused kirja.
3. päev: Ühenda märkmete tegemise või kodeerimise tööriist Ollamaga.
4. päev: Loo väike RAG prototüüp mõne PDF-iga.
5. päev: Automatiseeri API-ga üks tüütu ülesanne.
6. päev: Jaga oma meeskonnaga viipa raamatukogu.
7. päev: Vaata üle, mis töötas, püga, mis ei töötanud, ja sea vaikesätted.
Sel hetkel sa mitte ainult ei tea, kuidas Ollamat kasutada – sa kasutad seda mõtlemata sellele, mis ongi kogu mõte tööriistadega, mida me hoiame.
Kokkuvõte
Kuidas kasutada Ollamat, taandub kolmele asjale:
- Hoia alguses kohalik ja lihtne. Tõmba üks mudel, tee kolm reaalset ülesannet.
- Kohanda käitumist süsteemi viipade ja Modelfile'idega, nii et see sobiks sinu ajuga, mitte vastupidi.
- Integreeri see sinna, kus sa töötad – redaktor, brauser, märkmed –, nii et see ei oleks järjekordne vahekaart, mille sa unustad.
Ollama ei muuda su sülearvutit maagiliseks. See muudab selle rohkem sinu omaks. Ja maailmas, kus iga rakendus proovib su andmeid kellegi teise serverisse saata, on see üsna värskendav uuendus.
Nüüd mine küsi oma kohalikult AI-lt parema kontorivälise sõnumi kirjutamist. Ja võib-olla ka sulle meelde tuletada, et sa tegelikult vaba päeva võtaksid.
KKK
K1: Mis on lihtsaim viis Ollamaga alustamiseks?
Installi see, tõmba sõbralik mudel nagu llama3:8b-instruct ja käivita mõned reaalsed ülesanded – kokkuvõtted, ülevaated või meilide mustandid. Hoia temperatuur madalal selgete, ennustatavate vastuste jaoks ja salvesta kõik viipad, mis hästi töötavad.
K2: Millist mudelit peaksin Ollamas kirjutamiseks ja kodeerimiseks kasutama?
Kirjutamiseks alusta llama3 või mistraliga, et saada tasakaalustatud kvaliteet ja kiirus. Kodeerimiseks proovi codellamat või koodile optimeeritud mudelit; hoia temperatuur umbes 0,2–0,4, et oleks vähem hallutsinatsioone.
K3: Kas ma saan Ollamaga kasutada oma dokumente (RAG)?
Jah – indekseeri oma failid manustamistööriistaga, too iga päringu korral ülemised tükid ja lisa need tükid oma Ollamale antud viipa kontekstina. See on nagu avatud raamatu režiim sinu AI jaoks ja see parandab drastiliselt faktilist täpsust.
K4: Miks on Ollama minu sülearvutis aeglane ja kuidas ma seda kiirendada saan?
Kasuta väiksemat kvantiseeritud mudelit (nt Q4), vähenda maksimaalseid tokeneid ja vajadusel alanda temperatuuri. Kui sul on Apple Silicon või kaasaegne NVIDIA GPU, siis luba riistvara kiirendus, et saada märgatavat tõusu.
K5: Kuidas sobib Sider.AI Ollama töövoogu?
Sider.AI saab ühenduse luua sinu kohalike Ollama mudelite ja pilvemudelitega ühes liideses, muutes väljundite võrdlemise ja vestluste korraldamise lihtsaks. See on mugav viipade testimiseks, ajaloo korras hoidmiseks ja parima vastuse valimiseks ilma viie rakendusega žongleerimata. 
