Ar kada bandėte surinkti IKEA baldus be mažo Allen rakto? Tai prilygsta vietinio AI naudojimui be tinkamos programos. Turite modelį (lentyną), nešiojamąjį kompiuterį (svetainę), bet niekas nesusijungia, kol nepasirodo įrankiai. Šiandienos įrankiai: Ollama prieš LM Studio. Du populiarūs būdai paleisti didelius kalbos modelius savo kompiuteryje nesiunčiant savo smegenų – ar duomenų – į debesį. Kuris iš jų yra Allen raktas, kurio iš karto nepasimesite po sofa?
Panagrinėkime praktiškai. Įdiegiau abu į darbinį nešiojamąjį kompiuterį, išbandžiau įprastus raginimus (apibendrinti straipsnį, parašyti el. laišką, „paaiškinti kvantinį kompiuterių mokslą taip, tarsi aš būčiau katė“) ir patikrinau jų patvarumą su didesniais modeliais ir pasikartojančiomis užduotimis. Taip pat pasikalbėjau su keliais draugais kūrėjais, pora AI besidominčių rašytojų ir tuo vienu žmogumi, kuris tvirtina, kad „nepasitiki niekuo, kas turi prisijungimą“.
Įspėjimas: tai yra palyginimas, o ne bendras susibūrimas. Pasakysiu, kur kiekvienas laimi, kur kiekvienas klysta ir kurį pasirinkti, atsižvelgiant į tai, ar esate meistras, pažengęs vartotojas, ar tiesiog žmogus, norintis ChatGPT pojūčio be prenumeratos.
Kodėl vietinis AI išgyvena pakilimą (ir kodėl jums tai turėtų rūpėti)
- Privatumas: jūsų duomenys lieka jūsų įrenginyje, o ne taškosi serverių ūkyje kaip skaitmeninis kokteilis.
- Greitis: įkėlus modelį, atsakymai gali būti greiti – ypač mažesniems modeliams.
- Valdymas: jūs pasirenkate modelį (Llama 3, Phi-3, Mistral, Qwen), kvantavimą ir tai, kaip jis veikia.
- Kaina: atsisiuntus, išvedimas yra nemokamas – joks mokestis už kiekvieną žodį neprisiartina kaip transliacijos paslauga, kurią pamiršote atšaukti.
Ollama prieš LM Studio: trumpas, be jokių nesąmonių apibūdinimas
- Ollama: minimalistinis, kūrėjams patogus, gimtoji komandinė eilutė, puikiai tinka scenarijams ir serveriams. Pagalvokite: „git modeliams“.
- LM Studio: Patobulinta darbalaukio programa su draugiška vartotojo sąsaja, įmontuotu pokalbiu ir lengvai naudojama modelių naršykle. Pagalvokite: „App Store vietiniams LLM“.
Pasirinkite LM Studio, jei norite vieno lango patirties, kuri primena vietinį ChatGPT. Pasirinkite Ollama, jei norite įrankio, kuris prijungiamas prie visko kitu komanda – ir jums neprieštaraujate Terminalui.
Kaip testavau (kitaip tariant: mano nešiojamasis kompiuteris paaukojo save)
- Aparatinė įranga: 14 colių nešiojamasis kompiuteris su 8 branduolių CPU, 32 GB RAM ir vidutinio lygio GPU. Taip pat išbandžiau liesesnę mašiną su 16 GB RAM, kad pamatyčiau, kur viskas sugenda.
- Modeliai: Llama 3 8B ir 70B (kvantuoti), Mistral 7B, Phi-3 Mini, skirti efektyvumo testams.
- Užduotys: El. laiškų rengimas, kodo komentavimas, dokumentų apibendrinimas ir „pakalbėkite apie mano biudžetą“ vaidmenų žaidimas. Taip pat patalpinau modelius vietoje ir nukreipiau naršyklės klientą į juos.
Rezultatas: abu įrankiai viską atliko. Skirtumai pasirodė nustatant, valdant modelius ir kiek kontrolės turėjau nerašydamas burto lotynų kalba.
Nustatymas ir pirmasis paleidimas: kas greičiau pasiekia „Sveikas, modeli“?
- LM Studio: Atsisiųskite, atidarykite, spustelėkite „Modeliai“, ieškokite, atsisiųskite, paspauskite „Pokalbis“. Tai nuostabiai „spustelėk ir daryk“. Prieš įsipareigodami 10 GB srautui, galite pamatyti kvantavimo parinktis ir dydžius.
- Ollama: Įdiekite vykdymo laiką (brew macOS, script Linux/Windows). Tada:
ollama run llama3. Pirmą kartą jis paima modelį ir paleidžia vietinį serverį. Tai greita, jei jaučiatės patogiai Terminale. Jei ne, tai yra „išmok komandą greitai“.
Laimėtojas: LM Studio pradedantiesiems. Ollama visiems, kurie kada nors įvedė npm install neverkdami.
Modelių valdymas: lentyna, kurioje neprarasite savo modelių
- LM Studio: Turi modelių naršyklę su peržiūromis, dydžiais, kvantavimo tipais (Q4_K_M, Q5, Q8 ir kt.) ir aiškia „tai tikriausiai tinka jūsų kompiuteriui“ nuotaika. Galite ištrinti modelius iš vartotojo sąsajos, kai jūsų SSD pradeda rėkti.
- Ollama: Naudoja paprastą
Modelfile ir komandų sintaksę. Galite traukti, žymėti ir vykdyti modelius kaip Docker vaizdus. Tai elegantiška, kai suprantate, ir puikiai tinka versijų valdymui. Bet nėra jokios oficialios GUI, todėl gyvensite CLI arba apvyniosite ją kažkuo kitu.
Laimėtojas: LM Studio už vaizdinį aiškumą. Ollama reprodukuojamumo fanatikams, norintiems pasidalinti vienos eilutės sąranka su komandos nariais.
Pokalbių patirtis: kalbėjimas su robotu vietoje
- LM Studio: Jaučiasi kaip vietinis ChatGPT klonas gerąja prasme. Keli skirtukai skirtingiems pokalbiams, sistemos raginimai, temperatūros slankikliai, žetonų limitai ir stabdymo sekos – visa tai reguliuojama neišeinant iš lango.
- Ollama: Galite kalbėtis Terminale (tai žavinga retro prasme). Bet tikroji magija yra ta, kad Ollama paleidžia su OpenAI suderinamą API localhost. Tai reiškia, kad bet kuri programa, kuri kalbasi su OpenAI, gali kalbėtis su jūsų vietiniu modeliu. Sveikas, ekosistema.
Laimėtojas: LM Studio už iš karto paruoštą pokalbių UX. Ollama už prisijungimą prie visko kito.
Veikimas ir aparatinės įrangos draugiškumas: ar jūsų ventiliatorius dalyvaus reaktyvinio variklio atrankoje?
- Mažesni modeliai (7B–8B): abu įrankiai puikiai juos tvarko šiuolaikiniuose procesoriuose. Su GPU spartinimu jie zuja.
- Didesni modeliai (70B): Tikėkitės kompromisų – mažesnio kvantavimo, lėtesnių žetonų ir didelių RAM arba VRAM reikalavimų. LM Studio pateikia aiškias gaires; Ollama leidžia lengvai keisti kvantavimus per žymes.
- Praktinis patarimas: jei turite 16 GB RAM, pradėkite nuo 7B arba 8B modelių Q4 arba Q5 kvantavimu. Jei turite 32 GB+ ir tinkamą GPU, išbandykite 13B arba 70B tam tikroms užduotims.
Laimėtojas: Lygiosios. Tikrasis ribotuvas yra jūsų aparatinė įranga ir konkretus pasirinktas kvantavimas, o ne programos logotipas.
Draugiškumas kūrėjams: klausimas „ar galiu tai užrašyti scenarijumi“
- Ollama: Tai yra jo gimtoji teritorija.
ollama serve paleidžia vietinį galinį tašką. ollama run transliuoja žetonus apvalkale. Galite sukurti Modelfile, kad sudėtumėte modelius, pridėtumėte sistemos raginimų arba sujungtumėte LoRAs. Tai iš esmės yra vietinio AI instaliacija.
- LM Studio: Taip pat galite patalpinti vietinį serverį ir atverti į OpenAI panašų galinį tašką. Bet vartotojo sąsaja yra žvaigždė. Scenarijų rašymas yra įmanomas, tik ne pagrindinis įvykis.
Laimėtojas: Ollama. Pamatysite, kad jis yra įterptas į kitus įrankius būtent todėl, kad yra lengvas ir valdomas scenarijais.
Privatumas ir naudojimas neprisijungus: jūsų duomenys, jūsų taisyklės
- Abu veikia vietoje ir gali būti visiškai neprisijungę po modelio atsisiuntimo.
- LM Studio daro „čia nėra debesies“ pažadą vizualiai akivaizdų, o tai ramina, jei esate naujokas.
- Ollama paprastumas padeda užtikrinti, kad niekas pašalinio neskambintų namo (išskyrus modelių paėmimą).
Laimėtojas: Lygiosios. Abu yra sukurti pirmiausia vietiniam naudojimui.
Modelių įvairovė ir atnaujinimai: neatsilikti nuo LLM Joneses
- LM Studio: kuruojama naršymo patirtis su populiariais modeliais ir aiškiais ženklais. Lengva atrasti naujus leidimus.
- Ollama: Didžiuliai bendruomenės sąrašai ir oficialios bibliotekos nuorodos su skirtingų kvantavimų žymėmis. Jei žinote, ko norite, gauti tai yra tik komanda.
Laimėtojas: Nedidelis pranašumas LM Studio už atradimą. Nedidelis pranašumas Ollama už platumą ir dalijimosi galimybes. Taip, tai išsisukinėjimas. Abu yra stiprūs.
Kasdienės darbo eigos: kuris išlieka po to, kai naujumas išblėsta?
1 scenarijus: norite vietinio rašymo draugo neišmokdami naujos kalbos (kalba yra Bash). Laimi LM Studio. Atidarykite, pasirinkite modelį, kalbėkitės, eksportuokite. Baigta.
2 scenarijus: norite integruoti vietinį modelį į kodo redaktorių, užrašų programą arba pasirinktinį scenarijų. Laimi Ollama. Jis elgiasi kaip infrastruktūra. Jūsų programos nežinos skirtumo tarp jūsų nešiojamojo kompiuterio ir OpenAI serverio.
3 scenarijus: Dirbate komandoje. LM Studio puikiai tinka įtraukti ne techninius komandos narius (dizainerius, produktų žmones), kurie nori išbandyti raginimus. Ollama puikiai tinka kūrėjams, kurie tai įjungs į tikrąjį produktą.
4 scenarijus: Keliaujate. Abu gali veikti neprisijungę, tačiau LM Studio sąsaja leidžia lengviau likti viename lange ant mažo lėktuvo padėklo. Ollama puikiai tinka, jei SSH jungiatės prie nešiojamos dėžutės, kurią atsinešėte, nes esate Tas Žmogus.
Kainų situacija
- Abu yra nemokami naudoti. Jūsų tikrosios išlaidos yra saugykla ir elektra – ir galbūt naujas ventiliatorius jūsų nešiojamajam kompiuteriui.
- Modeliai yra nemokami, bet jūsų laikas ne. Jei vertinate „spustelėk ir eik“, LM Studio sutaupys jūsų laiko. Jei vertinate „scenarijų ir mastelį“, Ollama sutaupys jūsų laiko.
Paslėptos problemos (nes, žinoma, jų yra)
- Dideli atsisiuntimai gali užkimšti jūsų diską. Sąmoningai valdykite versijas.
- Lengva pagalvoti „didesnis modelis = protingesnis“. Ne visada. Išbandykite kelis 7B–13B modelius, prieš praleisdami popietę atsisiųsdami 70B milžiną.
- Išplėstiniai nustatymai yra, bet jei norite git tipo modelių versijų valdymo, jausitės uždaryti.
- Terminalą bijantys vartotojai gali pasitraukti ties pirma komanda.
- Atradimas yra silpnesnis be modelių parduotuvės.
- Jei norite įmontuotos, patobulintos pokalbių patirties, jums reikės pagalbinės programos – arba išmoksite mylėti savo apvalkalą.
Kuris greitesnis? Sąžiningas atsakymas: tai priklauso
- Kvantavimas yra svarbesnis nei logotipo pasirinkimas. Q4 7B modelis bet kurioje programoje paprastai nugalės Q8 13B modelį interaktyviam naudojimui.
- GPU spartinimas, jei palaikomas jūsų įrenginyje, labai pakeis situaciją. Patikrinkite savo platformos palaikymo matricą.
- Konteksto langų dydžiai skiriasi priklausomai nuo modelio. Dideli konteksto langai puikiai tinka ilgiems dokumentams, bet sulėtina viską. Nesukiškite viso savo romano į raginimą ir nekaltinkite programos.
Praktiniai patarimai, kaip išvengti galvos skausmų
- Pradėkite nuo mažo: pirmiausia išbandykite 7B arba 8B modelį (Llama 3 8B, Mistral 7B, Phi-3). Tada padidinkite mastelį.
- Kvantavimo geriausios vietos: Q4_K greičiui, Q5 kokybei. Q8 tik tuo atveju, jei turite išteklių – ir kantrybės.
- Sistemos raginimai yra svarbūs: abiejose programose sukurkite aiškų, glaustą sistemos pranešimą (toną, vaidmenį, apribojimus). Tai tarsi duoti modeliui kavos ir darbų sąrašą.
- Išsaugokite savo gerus raginimus: LM Studio skirtukai padeda; su Ollama laikykite raginimų failą arba naudokite klientą, kuris palaiko istoriją.
- Vietinis API malonumas: Su Ollama arba LM Studio serverio režimu nukreipkite savo mėgstamą redaktorių arba užrašų programą į (arba rodomą prievadą). Bum, jūsų vietinis AI dabar veikia jūsų faktinėje darbo eigoje.
Saugumas ir atitiktis: pokalbis, kurį turėsite su IT
- Pirmiausia vietinis naudojimas padeda užtikrinti duomenų rezidenciją, ypač juodraščiams ir vidaus dokumentams.
- Vis dėlto patikrinkite savo modelio šaltinius ir maišos kodus. Neatsisiųskite atsitiktinių svorių, pažymėtų „visiškai-ne-kenkėjiška-programa.gguf“.
- Komandoms sukurkite modelio pagrindą. Su Ollama tai yra Modelfile versijų valdyme. Su LM Studio standartizuokite modelių pavadinimus ir versijas bei dokumentuokite nustatymus.
Trikčių šalinimas: nes kažkas pasidarys keisto
- Modelis neįkeliamas? Jums gali trūkti RAM/VRAM. Pereikite prie mažesnio kvantavimo arba mažesnio modelio.
- Atsakymai yra nenuoseklūs? Patikrinkite temperatūros ir top_p nustatymus. Ar netyčia nustatėte „kūrybingo mažylio“ režimą?
- Lėtai kaip melasa? Uždarykite kitas programas, sumažinkite konteksto langą, išbandykite tik CPU arba tik GPU ir patvirtinkite, kad naudojate kvantavimą, kuris patinka jūsų aparatinei įrangai.
- Sugenda dideliuose failuose? Padalinkite įvestis į dalis arba pasirinkite modelį su didesniu konteksto langu.
Žvilgsnis į konkurentus: kodėl ne viskas viename vietinis rinkinys?
- Kas savaitę atsiranda kitų vietinių paleidiklių ir vartotojo sąsajų. Pagrindinė išvada: pasirinkite kažką su aktyvia bendruomene, reguliariais atnaujinimais ir aiškiu išėjimo liuku (eksportavimo/pokalbių istorija, vietinis API arba modelio perkeliamumas). Ir Ollama, ir LM Studio atitinka šiuos reikalavimus.
Kur tinka Sider.AI (ir kodėl jums to iš tikrųjų gali prireikti)
Verta paminėti: Jei jūsų tikslas nėra meistrauti, o atlikti darbą – tyrimus, apibendrinimą, rašymą, pagalbą kuriant kodą – Sider.AI gali būti viršuje, kad ir ką pasirinktumėte. Jis kalbasi su vietiniais galiniais taškais, gali perjungti vietinius ir debesies modelius ir suteikia jums protingą, vieningą darbo sritį raginimams, dokumentams ir tinklalapiams. Vertimas: mažiau laiko žongliruojant programomis, daugiau laiko apsimetant, kad kodą įvedė katė. Jei norite „naudoti geriausią modelį užduočiai“ neįjungdami visko rankiniu būdu, Sider.AI yra gražus, protingas vidurinis sluoksnis. Ollama prieš LM Studio: verdiktai pagal asmenį
- Naujokas: pasirinkite LM Studio. Jis yra draugiškas, vaizdinis ir neįmanoma per daug sugadinti. Per kelias minutes kalbėsite su Llama 3.
- Kūrėjas: pasirinkite Ollama. Jums reikia su OpenAI suderinamos API, Modelfiles ir paprasto diegimo serveryje arba Docker.
- Užimtas profesionalas: Pradėkite nuo LM Studio, kad galėtumėte susitelkti į rašymą ir tyrimus. Pridėkite Ollama užkulisiuose, jei jums reikia scenarijų ir integracijų.
- Komanda: Naudokite abu. LM Studio demonstracijoms ir ne techniniams bendradarbiams; Ollama kūrėjams, CI darbams ir bendriems modelio pagrindams.
Jei vis dar negalite apsispręsti, pateikiame lakmuso testą: Ar džiaugiatės parašę vienos eilutės kodą, kuris paleidžia modelį ir transliuoja žetonus į CLI? Eikite su Ollama. Ar norite patogaus lango su slankikliais ir dideliu mygtuku „Pokalbis“? LM Studio.
Pagalbinė atmintinė: argumentai „už“ ir „prieš“, kuriuos galite nufotografuoti
- LM Studio Argumentai „už“
- Puiki GUI su modelio atradimu
- Įmontuotas pokalbis su istorija ir nustatymais
- Lengvos kvantavimo peržiūros ir atsisiuntimai
- Puikiai tinka pradedantiesiems ir kasdieniam naudojimui
- LM Studio Argumentai „prieš“
- Mažiau valdomas scenarijais nei Ollama
- Dideli atsisiuntimai ir saugyklos išsiplėtimas
- Išplėstinis versijų valdymas yra sudėtingesnis
- Paprastas CLI su su OpenAI suderinamu vietiniu API
- Puikiai tinka scenarijų rašymui, serveriams ir integracijoms
- Modelfiles atkuriamoms sąrankoms
- Lengvas ir lengvai dalijamasi komandomis
- Ollama Argumentai „prieš“
- Nėra oficialios GUI/pokalbių programos
- Modelio atradimas yra labiau „pasidaryk pats“
- Atbaido CLI vengiančius vartotojus
Apsauga nuo ateities: kur tai veda
Vietiniai modeliai tampa geresni, mažesni ir keistesni (gerąja prasme). Tikėkitės protingesnių 7B–13B modelių, kurie daugeliu užduočių konkuruoja su šių dienų sunkiasvoriais, plius geresnių GPU/CPU optimizacijų. Kas laimi tarp Ollama ir LM Studio? Tikriausiai jūs, naudojant abu skirtingiems darbams kaip labai atsakingas suaugęs žmogus su dviem atsuktuvais.
Apibendrinimas: mano pasirinkimas
Jei turėčiau pasirinkti vieną savo kasdieniam nešiojamajam kompiuteriui: LM Studio. Vartotojo sąsaja padeda man susikaupti, o trintis yra beveik nulinė. Visam, kas automatizuota, bendradarbiaujama arba eksperimentuojama: Ollama. Tai stuburas, kurį galiu užrašyti scenarijumi, išsiųsti ir pamiršti, kol jis tiesiog veikia.
Galutinis patarimas: pradėkite nuo mažo, pasirinkite modelį, kuris tinka jūsų aparatinei įrangai, ir nevertinkite šių įrankių pagal pirmąjį raginimą. Vietinis AI apdovanoja meistravimą – kaip ir tą IKEA knygų lentyną. Ir taip, Allen raktas visą laiką buvo jūsų kišenėje.
DUK
1 klausimas: ar LM Studio yra lengvesnis nei Ollama pradedantiesiems?
Taip. LM Studio suteikia jums švarią sąsają, modelių naršyklę ir didelį mygtuką „Pokalbis“. Jei nemėgstate terminalų, LM Studio leidžia vietiniam AI jaustis kaip pažįstamai pokalbių programai.
2 klausimas: ar Ollama ir LM Studio gali paleisti tuos pačius modelius vietoje?
Apskritai, taip – abu palaiko populiarius GGUF modelius, tokius kaip Llama 3, Mistral ir Phi-3 su skirtingais kvantavimais. Skirtumas yra tas, kaip atsisiunčiate, valdote ir paleidžiate juos: GUI LM Studio, CLI ir Modelfiles Ollama.
3 klausimas: kuris greitesnis: Ollama ar LM Studio?
Greitis labiau priklauso nuo jūsų aparatinės įrangos, modelio dydžio ir kvantavimo nei nuo paleidiklio. 7B modelis su Q4 arba Q5 kvantavimu jausis greitas abiejuose; dideli 70B modeliai jausis sunkūs visur.
4 klausimas: ar galiu naudoti vietinius modelius su savo mėgstamomis programomis ir redaktoriais?
Taip. Abu gali atverti vietinį API galinį tašką, kurį daugelis įrankių traktuoja kaip OpenAI. Ollama ypač populiarus integracijoms; LM Studio taip pat siūlo serverio režimą.
5 klausimas: kodėl naudoti Sider.AI su Ollama arba LM Studio?
Sider.AI gali suvienodinti jūsų darbo eigą – perjungti vietinius ir debesies modelius, organizuoti raginimus ir tvarkyti tyrimus bei apibendrinimus vienoje vietoje. Tai pridėtinės vertės sluoksnis, kai baigiate meistrauti ir norite atlikti darbą. 
