Ar kada bandėte surinkti IKEA baldą be mažo animacinio žmogeliuko? Būtent taip gali atrodyti vietinių AI modelių paleidimas. Daug dalių, paslaptingi pavadinimai ir nuolatinė baimė, kad praleidote varžtą, pažymėtą „LLM runtime“. Štai čia įžengia Ollama. Tai Allen raktas, skirtas dideliems kalbos modeliams paleisti jūsų pačių kompiuteryje – greitai, privačiai ir stebėtinai ne kankinimo įrankis.
Šiame vadove mes iš tikrųjų naudosime Ollama. Ne tik skaitysime apie tai. Mes ją atsisiųsime, paleisime modelį, pritaikysime jį, įjungsime į jūsų mėgstamus įrankius, išspręsime „kodėl mano ventiliatorius rėkia?“ momentą ir išeisime su sąranka, kuria galite iš tikrųjų pasitikėti atlikdami darbą. Taip, net ir neprisijungę. Taip, net ir lėktuve. Ne, jums nereikia daktaro laipsnio ar serverių fermos.
Štai kaip naudoti Ollama kaip profesionalas – nesugadinant nešiojamojo kompiuterio ar proto.
Kas yra Ollama (ir kodėl jums turėtų rūpėti)?
Ollama yra lengvas būdas paleisti didelius kalbos modelius (LLM) lokaliai. Pagalvokite apie ChatGPT, bet modelis gyvena jūsų kompiuteryje. Privalumai:
- Privatumas: jūsų duomenys lieka jūsų kompiuteryje. Jokių paslaptingų kelionių į debesį.
- Greitis: nereikia laukti serverio. Tai jūsų CPU/GPU laikas spindėti.
- Valdymas: pasirinkite modelį, versiją, dydį ir elgseną.
Jei kada nors pagalvojote: „Norėčiau galėti klausti AI dalykų nesiunčiant savo asmeninių pastabų į Neptūną“, tai yra jums.
Greičiausias būdas naudoti Ollama
Atėjote dėl instrukcijų. Padarykime tai.
1 žingsnis: įdiekite Ollama
- macOS: naudokite diegimo programą iš oficialios svetainės arba
brew install --cask ollama, jei norite jaustis galingi.
- Windows: paimkite diegimo programą. Tai įprasta sąranka – toliau, toliau, įdiegti.
- Linux: vienos eilutės per oficialų scenarijų. Nukreipkite savo vidinį sistemos administratorių 30 sekundžių.
Įdiegus, Ollama paleidžia vietinę paslaugą. Jūs bendraujate su ja per Terminalą, PowerShell arba kitas programas, kurios su ja integruojamos.
2 žingsnis: atsisiųskite savo pirmąjį modelį
Savo terminale:
Pirmą kartą Ollama atsisiunčia modelio svorius. Pagalvokite apie tai kaip apie didelio Netflix filmo talpyklos kūrimą. Po to tai yra akimirksniu. Gausite raginimą, kuriame galėsite rašyti ir kalbėtis.
Išbandykite testą: „Parašykite 2 sakinių santrauką apie Vikipedijos įrašą apie pingvinus – be jokių pūkų.“ Jei jis atsako su pingvinų TED pokalbiu, žinote, kad jis gyvas.
3 žingsnis: perjunkite modelius kaip grojaraščius
Populiarūs modeliai, kuriuos galite išbandyti:
Kiekvienas turi skirtingų stipriųjų pusių. Mistral yra greitas. Llama 3.1 yra gerai suapvalintas. Phi yra lengvas ir stebėtinai protingas pagal savo dydį. Galite atsisiųsti konkrečias žymas, pvz., llama3:8b-instruct arba mažesnius kiekybiškai įvertintus variantus.
Patarimas: naudokite ollama pull <model>, kad atsisiųstumėte iš anksto. Naudokite ollama list, kad pamatytumėte, ką turite, ir ollama rm <model>, jei jūsų SSD verkia.
4 žingsnis: kalbėkite iš terminalo kaip įsilaužėlis su socialiniais įgūdžiais
- Pradėkite sesiją:
ollama run llama3
- Pateikite sistemos pranešimą:
ollama run llama3 --system "Jūs esate glaustas kodavimo asistentas."
- Pateikite vienkartinį raginimą neįjungdami pokalbio režimo:
ollama run llama3 -p "Paaiškinkite Kubernetes taip, lyg man būtų penkeri."
Pradėsite skambėti kaip burtininkas. Mandagus burtininkas.
5 žingsnis: naudokite Ollama su savo mėgstamomis programomis
Štai čia, kaip naudoti Ollama, tampa smagu. Ollama kalba HTTP. Tai reiškia, kad daugelis įrankių gali su ja kalbėtis.
- Vietinės žiniatinklio vartotojo sąsajos: daugelis AI pokalbių vartotojo sąsajų gali prisijungti prie jūsų Ollama galinio taško. Gaunate gražų langą, atskirus pokalbius ir istoriją.
- Kodo redaktoriai: VS Code plėtiniai gali nukreipti jūsų raginimus į Ollama – įterptinius kodo paaiškinimus, refaktorius ir testus.
- Pastabų programos: kai kurios leidžia prisijungti prie vietinio modelio, kad būtų galima apibendrinti ir generuoti idėjas. Puikiai tinka susitikimų pastaboms, kurios iš tikrųjų kažkur veda.
Dėmesio: jei norite ypač švaraus, naršyklėje pagrįsto pokalbio ir tyrimų darbo eigos, verta paminėti – Sider.AI gali prisijungti prie vietinių ir debesų modelių, tvarkyti pokalbius ir padėti jums išbandyti raginimus vienas šalia kito. Kai aš susiskaldęs tarp „modelis A yra protingesnis“ ir „modelis B yra greitesnis“, tai mane išlaiko sąžiningą. Pradedančiojo planas: jūsų pirmoji produktyvi valanda su Ollama
Turite 60 minučių. Paverskime „ką?“ į „velniškai taip“.
- Įdiekite Ollama. Kavos gurkšnis. Atlikta.
- Atsisiųskite
llama3:8b-instruct. Tai yra saldi vieta kokybei ir greičiui daugumoje nešiojamųjų kompiuterių.
- Sukurkite sistemos raginimą, kuris atitiktų jūsų darbą: „Jūs esate mano tyrimų asistentas. Visada pateikite šaltinius ir punktus. Atsakymus laikykite trumpesnius nei 200 žodžių, nebent nurodysiu kitaip.“
- Išbandykite tris užduotis, kurias iš tikrųjų atliekate:
- Apibendrinkite straipsnio įkliją iki 250 žodžių.
- Suformuokite 10 pavadinimų idėjų savo naujienlaiškiui.
- Paverskite susitikimo pastabas veiksmais su savininkais ir datomis.
- Išsaugokite raginimus, kurie jums patinka. Pakartotinai juos naudokite. Taip pereinate nuo žaidimo su AI prie faktinio jo naudojimo.
Premija: jei rašote kodą, atsisiųskite codellama arba kodui pritaikytą modelį ir įveskite savo funkciją. Paprašykite testų, refaktorių ar dokumentacijos eilučių. Jausitės 30% protingesni, o tai yra teisėtas vietinio AI limitas.
Kaip pasirinkti tinkamą modelį (be galvos skausmo)
Modelio pasirinkimas yra kaip srautinio perdavimo plano pasirinkimas: jūs galite visiškai permokėti už dalykus, kurių jums nereikia.
- Rašymas ir idėjų generavimas:
llama3 arba mistral yra puikūs.
- Ypač lengvi nešiojamieji kompiuteriai: išbandykite
phi3 arba mažesnes kiekybiškai įvertintas didesnių modelių versijas.
- Pagalba koduojant:
codellama, deepseek coder arba kodui optimizuotas variantas.
- Daugiakalbis:
qwen šeimos puikiai atlieka daugiakalbį darbą.
- Ilgesnis kontekstas: ieškokite modelių, pažymėtų didesniais konteksto langais, jei įvedate didelius dokumentus.
Jei jūsų ventiliatorius virsta sraigtasparniu kiekvieną kartą, kai raginate, sumažinkite modelio dydį arba išbandykite agresyvesnį kiekybinį įvertinimą.
Slaptas ingredientas: modelio failai ir pasirinktinės elgsenos
Štai čia Ollama tampa stebėtinai maloni. Galite sukurti Modelfile – iš esmės receptą – kuris apibrėžia jūsų modelį ir jo asmenybę bei numatytuosius nustatymus.
Modelfile pavyzdys (konceptualus):
FROM llama3:8b-instruct
SYSTEM "Jūs esate aiškus, draugiškas asistentas. Naudokite punktus ir trumpus sakinius."
PARAMETER temperature 0.5
Išsaugokite jį kaip Modelfile aplanke, tada paleiskite:
ollama create crisp-assistant -f Modelfile
ollama run crisp-assistant
Dabar turite pasirinktinį asistentą, kurį galite pakartotinai naudoti visur. Tai tarsi savo privataus ChatGPT skonio kūrimas – vanilinis, su espresso šūviais.
Kalbėkite su manimi JSON kalba: Ollama HTTP API naudojimas
Jei turite net nedidelių kūrėjo polinkių, API privers jus nusišypsoti.
- Galinis taškas: ` skirtas teksto generavimui.
- Siųskite JSON naudingąją apkrovą su
model, prompt ir pasirinktiniu stream.
- Gausite atgalinius ženklus sraute. Jaučiasi tarsi skaitytumėte romaną realiuoju laiku, po vieną simbolį.
Kodėl verta naudoti API?
- Automatizuokite naujienlaiškių santraukas.
- Sukurkite pokalbių robotą savo dokumentuose.
- Sukurkite scenarijus, kad masiškai perrašytumėte produktų aprašymus. (Tik nepadarykite, kad jie visi skambėtų kaip robotas, kuris kartą improvizavo.)
Kaip naudoti Ollama su savo failais (RAG be įniršio)
RAG – gavimo papildytas generavimas – įveda jūsų failus į modelį, kad jis atsakytų faktais iš jūsų dalykų, o ne iš savo miglotos atminties.
Pagrindinis kelias:
- Naudokite vietinį įterpimo įrankį, kad indeksuotumėte savo dokumentus.
- Kiekvienu klausimu ieškokite geriausių fragmentų.
- Siųskite tinkamiausią tekstą kaip kontekstą į savo raginimą Ollama.
Pagalvokite apie tai kaip apie atviros knygos testavimą AI. Jam nereikia „atsiminti“ jūsų darbuotojų vadovo – jam tiesiog reikia jį pacituoti.
Profesionalus žingsnis: laikykite savo fragmentus mažus (200–600 žodžių), pridėkite antraštes ir įtraukite šaltinio nuorodas į raginimą, kad modelis išmoktų cituoti.
Veiklos derinimas: priverskite Ollama skristi (nesutirpdant jūsų stalo)
- Kiekybinis įvertinimas yra svarbus: Q4 yra mažesnis / greitesnis, Q8 yra didesnis / protingesnis. Pradėkite nuo mažo, kilkite aukštyn.
- Naudokite GPU, jei įmanoma: Apple Silicon veikia puikiai. Naujesnės NVIDIA kortelės? Virėjo bučinys.
- Temperatūra: žemesnė (0,2–0,5) tiksliems atsakymams; aukštesnė (0,8+) kūrybiniam chaosui.
- Maksimalus ženklų skaičius: neprašykite 3 000 žodžių romano, nebent jums to iš tikrųjų reikia. Jūsų nešiojamas kompiuteris norėtų gyventi.
Jei atsakymai jaučiasi vangūs:
- Išbandykite mažesnį modelį.
- Uždarykite Chrome skirtukus. Taip, visus 47.
- Laikinai išjunkite fono sinchronizavimo programas.
Saugumas ir privatumas: tikroji priežastis, kodėl žmonės naudoja Ollama
Vietinis reiškia vietinį. Bet nebūkime aplaidūs.
- Slapti duomenys: esate saugesni nei debesyje, bet užšifruokite savo diską ir saugiai sukurkite atsarginę kopiją.
- Modelio šaltiniai: atsisiųskite iš patikimų saugyklų. Jei modelio aprašymas atrodo taip, tarsi jį būtų parašęs katinas, vaikščiojantis klaviatūra, galbūt praleiskite jį.
- Tinklo prieiga: Ollama veikia lokaliai; neatskleiskite prievado viešuosiuose tinkluose, nebent žinote, ką darote.
Kasdienės darbo eigos, kurias iš tikrųjų naudosite
Kadangi „oho, tvarkinga“ nėra tas pats, kas „aš tai naudoju kasdien“. Štai kaip naudoti Ollama realiame gyvenime:
- Susitikimo valiklis: įklijuokite pastabas, paprašykite veiksmų pagal asmenį ir paprašykite tolesnio el. laiško projekto.
- Tyrimų bičiulis: įklijuokite straipsnį. Paprašykite prieštaravimo, 3 šaltinių, kad patvirtintumėte teiginius, ir 60 sekundžių santraukos.
- Kodavimo pilotas: paprašykite dokumentacijos eilučių, testų ar saugesnio regex. Priverskite jį paaiškinti pakeitimą atgal jums paprasta anglų kalba.
- Rašymo sprintas: pirmiausia nubrėžkite, tada išplėskite, tada sugriežtinkite toną. Laikykite sistemos pranešimą, kuris apibrėžia jūsų balsą.
- Mokymasis: išmokykite mane SSH taip, lyg būtumėte mano kantrus vyresnis pusbrolis. Tada patikrinkite mane.
Dėmesio: jei jums patinka visa tai laikyti vienoje vietoje – pokalbių istorijas, modelių testus vienas šalia kito ir greitus žiniatinklio paieškas – Sider.AI puikiai dera su vietiniais modeliais ir suteikia jums švaresnę kabiną. Tai tarsi misijos valdymas jūsų raginimams. Trikčių šalinimas: kai Ollama tampa niūri
- „Modelis nerastas.“ Jūs jo dar neatsisiuntėte.
ollama pull <model>.
- „Nepakanka atminties.“ Naudokite mažesnį kiekybinį įvertinimą arba modelio dydį.
- „Tai taip lėtai, kad girdžiu, kaip sensta mano nešiojamas kompiuteris.“ Sumažinkite maksimalų ženklų skaičių, perjunkite modelius arba naudokite GPU pagreitį.
- „Atsakymai yra per daug neaiškūs.“ Sumažinkite temperatūrą ir į savo raginimą pridėkite pavyzdžių.
- „Jis nuolat ignoruoja mano instrukcijas.“ Įdėkite taisykles į sistemos raginimą, o ne tik į vartotojo raginimą.
Patarimas: išsaugokite raginimus, kurie veikia. Geri raginimai yra kaip geri kavos receptai. Ateitis jums padėkos praeičiai.
Išplėstiniai veiksmai: kelių modelių, įrankių ir automatizavimas
- Grandinės mąstymo lite: paprašykite jo išvardyti veiksmus prieš atsakant. „Pirmiausia nubrėžkite, tada rašykite pastraipą po pastraipos.“
- Kelių modelių darbo eiga: generuokite idėjas su kūrybingu modeliu, patikrinkite su tiksliu. Pagalvokite apie bičiulių policijos filmą.
- Įrankių naudojimas: apvyniokite žiniatinklio paieškas, skaičiuotuvus ar kodo vykdymą aplink Ollama per scenarijus. Leiskite modeliui nuspręsti, kurį įrankį iškviesti, bet patvirtinkite rezultatus.
- Paketiniai darbai: įveskite produktų aprašymų CSV į scenarijų, kuris iškviečia API ir rašo rezultatus atgal. Kava, paleisti, atlikta.
Kaip saugiai naudoti Ollama komandose
Jei esate neoficialus IT asmuo (atsiprašau), nustatykite apsaugos priemones:
- Standartizuokite kelis patvirtintus modelius.
- Pasidalykite Modelfile komandos balsui ir formatavimui.
- Laikykite raginimų biblioteką pasikartojančioms užduotims.
- Įrašykite įvestį / išvestį tam tikroms darbo eigoms – lokaliai – kad galėtumėte peržiūrėti kokybę nešliaužiodami žmonėms.
Klausimas „Ar man reikia debesies?“
Kartais taip. Jei jums reikia didžiulių konteksto tyrimų, pažangiausio argumentavimo ar daugiarūšio burtininkavimo, debesies modelis vis tiek gali laimėti. Hibridinis žingsnis yra protingas:
- Naudokite Ollama lokaliai juodraščiams, privatiems dokumentams ir greitam kartojimui.
- Naudokite debesies modelį sudėtingam argumentavimui ar didžiulei įvesčiai.
- Palyginkite rezultatus toje pačioje sąsajoje, kad pasirinktumėte akimis, o ne nuotaika.
Verta paminėti: Sider.AI palengvina tą palyginimą. Galite nukreipti tą patį raginimą į vietinį Ollama ir debesies modelį, tada pasirinkti geriausią atsakymą arba juos sujungti. Tai tarsi dviejų kavų degustacija ir supratimas, kad galite jas sumaišyti. Jūsų vienos savaitės planas tapti biuro Ollama šnabždėtoju
1 diena: įdiekite, atsisiųskite llama3, nustatykite sistemos raginimą.
2 diena: sukurkite Modelfile savo tonui. Išbandykite du modelius ir atkreipkite dėmesį į skirtumus.
3 diena: prijunkite pastabų ar kodavimo įrankį į Ollama.
4 diena: sukurkite mažą RAG prototipą su keliais PDF.
5 diena: automatizuokite vieną varginantį uždavinį su API.
6 diena: pasidalykite raginimų biblioteka su savo komanda.
7 diena: peržiūrėkite, kas veikė, pašalinkite tai, kas neveikė, ir nustatykite numatytuosius nustatymus.
Tuo metu jūs ne tik žinosite, kaip naudoti Ollama – jūs ją naudosite negalvodami apie tai, o tai yra visų įrankių, kuriuos mes laikome, esmė.
Esmė
Kaip naudoti Ollama, apibendrinama trimis dalykais:
- Pradėkite nuo vietinio ir paprasto. Atsisiųskite vieną modelį, atlikite tris realias užduotis.
- Tinkinkite elgseną su sistemos raginimais ir Modelfile, kad ji atitiktų jūsų smegenis, o ne atvirkščiai.
- Integruokite ją ten, kur dirbate – redaktoriuje, naršyklėje, pastabose – kad tai nebūtų dar vienas skirtukas, kurį pamirštate.
Ollama nepavers jūsų nešiojamojo kompiuterio stebuklingu. Ji pavers jį labiau jūsų. O pasaulyje, kuriame kiekviena programa bando perkelti jūsų duomenis į kažkieno kito serverį, tai yra gana gaivinantis atnaujinimas.
Dabar eikite paprašyti savo vietinio AI parašyti geresnį pranešimą apie ne darbo vietą. Ir galbūt priminti jums iš tikrųjų pasiimti laisvą dieną.
DUK
1 klausimas: koks yra lengviausias būdas pradėti naudoti Ollama?
Įdiekite ją, atsisiųskite draugišką modelį, pvz., llama3:8b-instruct, ir atlikite kelias realias užduotis – santraukas, metmenis ar el. pašto juodraščius. Laikykite žemą temperatūrą, kad gautumėte aiškius, nuspėjamus atsakymus, ir išsaugokite visus gerai veikiančius raginimus.
2 klausimas: kurį modelį turėčiau naudoti Ollama rašymui ir kodavimui?
Rašymui pradėkite nuo llama3 arba mistral, kad gautumėte subalansuotą kokybę ir greitį. Kodavimui išbandykite codellama arba kodui optimizuotą modelį; laikykite temperatūrą apie 0,2–0,4, kad būtų mažiau haliucinacijų.
3 klausimas: ar galiu naudoti savo dokumentus su Ollama (RAG)?
Taip – indeksuokite savo failus su įterpimo įrankiu, gaukite geriausius fragmentus kiekvienoje užklausoje ir įtraukite tuos fragmentus kaip kontekstą į savo raginimą Ollama. Tai tarsi atviros knygos režimas jūsų AI ir tai drastiškai pagerina faktinį tikslumą.
4 klausimas: kodėl Ollama yra lėta mano nešiojamajame kompiuteryje ir kaip ją pagreitinti?
Naudokite mažesnį kiekybiškai įvertintą modelį (pvz., Q4), sumažinkite maksimalų ženklų skaičių ir, jei reikia, sumažinkite temperatūrą. Jei turite Apple Silicon arba modernų NVIDIA GPU, įgalinkite aparatinės įrangos pagreitį, kad pastebimai padidėtų greitis.
5 klausimas: kaip Sider.AI tinka Ollama darbo eigai?
Sider.AI gali prisijungti prie jūsų vietinių Ollama modelių ir debesies modelių vienoje sąsajoje, todėl lengva palyginti išvestis ir tvarkyti pokalbius. Tai patogu testuojant raginimus, palaikant tvarkingą istoriją ir pasirenkant geriausią atsakymą, nejongliruojant penkiomis programomis. 
