Vai esat kādreiz mēģinājis salikt IKEA mēbeles bez mazās seškanšu atslēgas? Tieši tā ir vietējā AI izmantošana bez pareizās lietotnes. Jums ir modelis (plaukts), dators (dzīvojamā istaba), un nekas nesakrīt, kamēr neparādās rīki. Šodienas rīki: Ollama vs LM Studio. Divi populāri veidi, kā palaist lielus valodu modeļus savā datorā, nesūtot savas smadzenes — vai savus datus — mākonī. Kurš no tiem ir seškanšu atslēga, kuru jūs uzreiz nepazaudēsiet zem dīvāna?
Ķersimies pie lietas. Esmu instalējis abus darba datorā, izmēģināju parastos uzvedinājumus (apkopot rakstu, izveidot e-pastu, "izskaidrot kvantu skaitļošanu tā, it kā es būtu kaķis") un testēju tos ar lielākiem modeļiem un atkārtotiem uzdevumiem. Esmu runājis arī ar dažiem draugiem-izstrādātājiem, pāris AI-ziņkārīgiem rakstniekiem un ar to vienu cilvēku, kurš uzstāj, ka "neuzticas nekam ar pieteikšanos."
Brīdinājums: šis ir salīdzinājums, nevis kumbaya aplis. Es pateikšu, kurš kurā uzvar, kurš kurā kļūdās un kuru izvēlēties atkarībā no tā, vai esat knibinātājs, jaudīgs lietotājs vai vienkārši kāds, kurš vēlas ChatGPT sajūtas bez abonementa.
Kāpēc vietējai AI ir savs brīdis (un kāpēc tas jums ir svarīgi)
- Privātums: Jūsu dati paliek jūsu ierīcē, nevis šļakstās pa serveru fermu kā digitāls smūtijs.
- Ātrums: Kad modelis ir ielādēts, atbildes var būt ātras — īpaši mazākiem modeļiem.
- Kontrole: Jūs izvēlaties modeli (Llama 3, Phi-3, Mistral, Qwen), kvantēšanu un to, kā tas darbojas.
- Izmaksas: Pēc lejupielādes secinājumi ir bezmaksas — nekādu maksājumu par katru žetonu, kas uzrodas kā straumēšanas pakalpojums, kuru aizmirsāt atcelt.
Ollama vs LM Studio: Īss, bezjēdzīgs skatījums
- Ollama: Minimālistisks, izstrādātājiem draudzīgs, komandrindas vietējais, lieliski piemērots skriptiem un serveriem. Doma: "git modeļiem."
- LM Studio: Pulēta darbvirsmas lietotne ar draudzīgu lietotāja saskarni, iebūvētu tērzēšanu un ērtu modeļu pārlūku. Doma: "App Store vietējiem LLM."
Izvēlieties LM Studio, ja vēlaties viena loga pieredzi, kas līdzinās vietējam ChatGPT. Izvēlieties Ollama, ja vēlaties rīku, kas ar vienu komandu pieslēdzas visam citam, un jums nav iebildumu pret Terminal.
Kā es testēju (jeb: mans dators uzņēmās triecienu)
- Aparatūra: 14 collu dators ar 8 kodolu CPU, 32 GB RAM un vidēja līmeņa GPU. Esmu izmēģinājis arī mazāku ierīci ar 16 GB RAM, lai redzētu, kur viss lūzt.
- Modeļi: Llama 3 8B un 70B (kvantēti), Mistral 7B, Phi-3 Mini efektivitātes testiem.
- Uzdevumi: E-pasta sagatavošana, koda komentāri, dokumentu apkopošana un lomu spēle "izrunājiet manu budžetu". Esmu arī mitinājis modeļus lokāli un norādījis uz tiem pārlūkprogrammas klientu.
Rezultāts: Abi rīki tika galā ar visu. Atšķirības parādījās iestatīšanā, modeļu pārvaldībā un tajā, cik daudz kontroles man bija, neierakstot burvestību latīņu valodā.
Iestatīšana un pirmā palaišana: Kurš ātrāk nodrošina "Sveiks, modelis"?
- LM Studio: Lejupielādēt, atvērt, noklikšķināt uz "Modeļi", meklēt, lejupielādēt, nospiest "Tērzēšana". Tas ir lieliski vienkārši. Jūs varat redzēt kvantēšanas opcijas un izmērus, pirms apņematies 10 GB lejupielādi.
- Ollama: Instalējiet izpildlaiku (brew operētājsistēmā macOS, skripts operētājsistēmā Linux/Windows). Pēc tam:
ollama run llama3. Pirmajā reizē tas izgūst modeli un palaiž lokālu serveri. Tas ir ātri, ja jūtaties ērti Terminal vidē. Ja nē, tad tas ir "ātri iemācīties komandu".
Uzvarētājs: LM Studio iesācējiem. Ollama ikvienam, kurš jebkad ir ierakstījis npm install bez raudāšanas.
Modeļu pārvaldība: Plaukts, kur jūs nepazaudēsiet savus modeļus
- LM Studio: Ir modeļu pārlūks ar priekšskatījumiem, izmēriem, kvantēšanas veidiem (Q4_K_M, Q5, Q8 utt.) un skaidru "tas, iespējams, ir labs jūsu datoram" noskaņu. Jūs varat izdzēst modeļus no lietotāja saskarnes, kad jūsu SSD sākas kliedziens.
- Ollama: Izmanto vienkāršu
Modelfile un komandu sintaksi. Jūs varat vilkt, atzīmēt un palaist modeļus kā Docker attēlus. Tas ir eleganti, kad to saprotat, un lieliski piemērots versiju kontrolei. Bet nav oficiālas GUI, tāpēc jūs dzīvosiet CLI vai iesaiņosiet to kaut kur citur.
Uzvarētājs: LM Studio vizuālai skaidrībai. Ollama reproducējamības entuziastiem, kuri vēlas koplietot vienas rindiņas iestatījumu ar komandas biedriem.
Tērzēšanas pieredze: Saruna ar robotu lokāli
- LM Studio: Līdzīgi vietējam ChatGPT klonam labā ziņā. Vairākas cilnes dažādām sarunām, sistēmas uzvedinājumi, temperatūras slīdņi, žetonu ierobežojumi un apturēšanas secības — viss regulējams, neizejot no loga.
- Ollama: Jūs varat tērzēt Terminal vidē (kas ir burvīgi retro veidā). Bet īstā maģija ir tā, ka Ollama palaiž ar OpenAI saderīgu API localhost. Tas nozīmē, ka jebkura lietotne, kas sarunājas ar OpenAI, var sarunāties ar jūsu vietējo modeli. Sveiks, ekosistēma.
Uzvarētājs: LM Studio tūlītējai tērzēšanas UX. Ollama, lai pievienotos visam citam.
Veiktspēja un aparatūras draudzīgums: Vai jūsu ventilators kandidēs uz reaktīvā dzinēja lomu?
- Mazāki modeļi (7B–8B): Abi rīki ar tiem lieliski tiek galā modernos CPU. Ar GPU paātrinājumu tie ir ļoti ātri.
- Lielāki modeļi (70B): Sagaidiet kompromisus — zemāku kvantēšanu, lēnākus žetonus un ievērojamas RAM vai VRAM prasības. LM Studio sniedz redzamus norādījumus; Ollama ļauj viegli apmainīt kvantēšanu, izmantojot tagus.
- Praktisks padoms: Ja jums ir 16 GB RAM, sāciet ar 7B vai 8B modeļiem Q4 vai Q5 kvantēšanā. Ja jums ir 32 GB+ un pienācīgs GPU, izmēģiniet 13B vai 70B noteiktiem uzdevumiem.
Uzvarētājs: Neizšķirts. Īstais ierobežojums ir jūsu aparatūra un konkrētā izvēlētā kvantēšana, nevis lietotnes logotips.
Draudzīgums izstrādātājiem: Jautājums "vai es varu to skriptēt?"
- Ollama: Šis ir tā lauciņš.
ollama serve palaiž lokālu galapunktu. ollama run straumē žetonus čaulā. Jūs varat izveidot Modelfile, lai izveidotu modeļus, pievienotu sistēmas uzvedinājumus vai apvienotu LoRA. Tas būtībā ir santehnika vietējai AI.
- LM Studio: Jūs varat arī mitināt lokālu serveri un atklāt OpenAI līdzīgu galapunktu. Bet lietotāja saskarne ir zvaigzne. Skriptēšana ir iespējama, taču ne galvenais notikums.
Uzvarētājs: Ollama. Jūs redzēsiet, ka tas ir iegults citos rīkos tieši tāpēc, ka tas ir viegls un skriptējams.
Privātums un bezsaistes lietošana: Jūsu dati, jūsu noteikumi
- Abi darbojas lokāli un var būt pilnībā bezsaistē pēc modeļa lejupielādes.
- LM Studio vizuāli skaidri pauž "šeit nav mākoņa" solījumu, kas ir nomierinoši, ja esat iesācējs.
- Ollama vienkāršība palīdz nodrošināt, ka nekas lieks nezvana mājās (ārpus modeļu izgūšanas).
Uzvarētājs: Neizšķirts. Abi ir veidoti pirmām kārtām lokāli.
Modeļu dažādība un atjauninājumi: Sekot līdzi LLM Joneses
- LM Studio: Kārtota pārlūkošanas pieredze ar populāriem modeļiem un skaidriem nosaukumiem. Ir viegli atklāt jaunus izlaidumus.
- Ollama: Milzīgi kopienas saraksti un oficiālās bibliotēkas atsauces ar tagiem dažādām kvantēšanām. Ja zināt, ko vēlaties, izgūt to ir komandas jautājums.
Uzvarētājs: Neliels pārsvars LM Studio atklājamībai. Neliels pārsvars Ollama plašumam un koplietojamībai. Jā, tas ir izvairīšanās. Abi ir spēcīgi.
Ikdienas darbplūsmas: Kurš no tiem paliek pēc jaunuma zuduma?
1. scenārijs: Jūs vēlaties vietējo rakstīšanas draugu, neiemācoties jaunu valodu (valoda ir Bash). LM Studio uzvar. Atvērt, izvēlēties modeli, tērzēt, eksportēt. Gatavs.
2. scenārijs: Jūs vēlaties integrēt vietējo modeli koda redaktorā, piezīmju lietotnē vai pielāgotā skriptā. Ollama uzvar. Tas darbojas kā infrastruktūra. Jūsu lietotnes nezinās atšķirību starp jūsu datoru un OpenAI serveri.
3. scenārijs: Jūs strādājat komandā. LM Studio ir lieliski piemērots netehnisku komandas biedru (dizaineru, produktu cilvēku) ievadīšanai, kuri vēlas izmēģināt uzvedinājumus. Ollama ir lieliski piemērots izstrādātājiem, kuri to ievietos faktiskajā produktā.
4. scenārijs: Jūs ceļojat. Abi var darboties bezsaistē, bet LM Studio saskarne atvieglo uzturēšanos vienā logā uz sīka lidmašīnas galdiņa. Ollama ir lieliski piemērots, ja SSH-ing portatīvā kastē, kuru paņēmāt līdzi, jo jūs esat Tas Cilvēks.
Cenu situācija
- Abus var izmantot bez maksas. Jūsu patiesās izmaksas ir krātuve un elektrība — un, iespējams, jauns ventilators jūsu datoram.
- Modeļi ir bezmaksas, bet jūsu laiks nav. Ja jūs augstu vērtējat "klikšķini un dodies", LM Studio ietaupīs jūsu laiku. Ja jūs augstu vērtējat "skriptu un mērogu", Ollama ietaupīs jūsu laiku.
Āķi (jo, protams, tādi ir)
- Lielas lejupielādes var aizsprostot jūsu disku. Apzināti pārvaldiet versijas.
- Ir viegli domāt, ka "lielāks modelis = gudrāks". Ne vienmēr. Izmēģiniet vairākus 7B–13B modeļus, pirms pavadāt pēcpusdienu, lejupielādējot 70B gigantu.
- Papildu iestatījumi ir pieejami, bet, ja vēlaties git līdzīgu modeļu versiju kontroli, jūs jutīsieties ierobežots.
- Lietotāji, kuriem ir termināļa fobija, var aizbēgt pie pirmās komandas.
- Atklājamība ir vājāka bez modeļu veikala.
- Ja vēlaties iebūvētu, pulētu tērzēšanas pieredzi, jums būs nepieciešama papildu lietotne — vai arī jūs iemācīsieties mīlēt savu čaulu.
Kurš ir ātrāks? Godīga atbilde: tas ir atkarīgs
- Kvantēšanai ir lielāka nozīme nekā logotipa izvēlei. Q4 7B modelis jebkurā lietotnē parasti pārspēs Q8 13B modeli interaktīvai lietošanai.
- GPU paātrinājums, ja to atbalsta jūsu ierīce, radīs lielu atšķirību. Pārbaudiet savas platformas atbalsta matricu.
- Konteksta logu izmēri atšķiras atkarībā no modeļa. Lieli konteksta logi ir lieliski piemēroti gariem dokumentiem, bet palēnina lietas. Neiebāziet visu savu romānu uzvednē un nevainojiet lietotni.
Praktiski padomi, kā izvairīties no galvassāpēm
- Sāciet ar mazumiņu: Vispirms izmēģiniet 7B vai 8B modeli (Llama 3 8B, Mistral 7B, Phi-3). Pēc tam palieliniet to.
- Kvantēšanas ideālās vietas: Q4_K ātrumam, Q5 kvalitātei. Q8 tikai tad, ja jums ir resursi — un pacietība.
- Sistēmas uzvedinājumiem ir nozīme: Abās lietotnēs izveidojiet skaidru, kodolīgu sistēmas ziņojumu (tonis, loma, ierobežojumi). Tas ir kā dot modelim kafiju un uzdevumu sarakstu.
- Saglabājiet savus labos uzvedinājumus: LM Studio cilnes palīdz; ar Ollama saglabājiet uzvedinājumu failu vai izmantojiet klientu, kas atbalsta vēsturi.
- Vietējā API prieki: Ar Ollama vai LM Studio servera režīmu norādiet savu iecienīto redaktoru vai piezīmju lietotni uz (vai parādīto portu). Bums, jūsu vietējā AI tagad darbojas jūsu faktiskajā darbplūsmā.
Drošība un atbilstība: Saruna, kas jums būs ar IT
- Pirmām kārtām lokāla darbība palīdz ar datu atrašanās vietu, īpaši melnrakstiem un iekšējiem dokumentiem.
- Tomēr pārbaudiet savu modeļu avotus un jaucējhashus. Nelejupielādējiet nejaušus svarus, kas atzīmēti kā "pilnīgi-ne-ļaunprogrammatūra.gguf."
- Komandām izveidojiet modeļa bāzlīniju. Ar Ollama tas ir Modelfile versiju kontrolē. Ar LM Studio standartizējiet modeļu nosaukumus un versijas un dokumentējiet iestatījumus.
Problēmu novēršana: Jo kaut kas noies greizi
- Modeli nevar ielādēt? Jums varētu trūkt RAM/VRAM. Samaziniet līdz mazākai kvantēšanai vai mazākam modelim.
- Atbildes ir nesakarīgas? Pārbaudiet temperatūras un top_p iestatījumus. Vai nejauši iestatījāt to uz "radoša mazuļa" režīmu?
- Lēns kā melase? Aizveriet citas lietotnes, samaziniet konteksta logu, izmēģiniet tikai CPU vs tikai GPU un pārliecinieties, vai izmantojat kvantēšanu, kas patīk jūsu aparatūrai.
- Avarijas ar lieliem failiem? Sadaliet savus ievades datus vai izvēlieties modeli ar lielāku konteksta logu.
Konkurentu apskats: Kāpēc ne visu vienā lokālā komplektā?
- Katru nedēļu parādās citi lokāli palaidēji un lietotāja saskarnes. Galvenā atziņa: izvēlieties kaut ko ar aktīvu kopienu, regulāriem atjauninājumiem un skaidru avārijas izeju (eksportēšanas/tērzēšanas vēsture, vietējā API vai modeļa pārnesamība). Gan Ollama, gan LM Studio atzīmē šīs rūtiņas.
Kur Sider.AI iekļaujas (un kāpēc jūs to varētu patiešām vēlēties)
Ir vērts atzīmēt: Ja jūsu mērķis nav knibināties, bet paveikt darbu — pētniecību, apkopošanu, sagatavošanu, kodēšanas palīdzību — Sider.AI var atrasties virs jebkura jūsu izvēlētā. Tas sarunājas ar vietējiem galapunktiem, var pārslēgties starp vietējiem un mākoņa modeļiem un nodrošina viedu, vienotu darba vidi uzvedinājumiem, dokumentiem un tīmekļa lapām. Tulkojums: Mazāk laika pavadāt žonglējot ar lietotnēm, vairāk laika izliekoties, ka kaķis ierakstīja kodu. Ja vēlaties "izmantot labāko modeli uzdevumam", nepielodējot visu ar roku, Sider.AI ir jauks, gudrs vidējais slānis. Ollama vs LM Studio: Spriedumi pēc personības
- Jaunpienācējs: Izvēlieties LM Studio. Tas ir draudzīgs, vizuāls un neiespējami pārāk sabojāt. Jūs tērzēsiet ar Llama 3 dažu minūšu laikā.
- Būvētājs: Izvēlieties Ollama. Jūs vēlaties ar OpenAI saderīgu API, Modelfiles un vienkāršu izvietošanu serverī vai Docker.
- Aizņemtais profesionālis: Sāciet ar LM Studio fokusētai rakstīšanai un pētniecībai. Pievienojiet Ollama aizkulisēs, ja jums ir nepieciešami skripti un integrācijas.
- Komanda: Izmantojiet abus. LM Studio demonstrācijām un netehniskiem līdzstrādniekiem; Ollama izstrādātājiem, CI darbiem un koplietojamām modeļu bāzlīnijām.
Ja joprojām nevarat izlemt, šeit ir lakmusa tests: Vai jūs sajūsmināties par vienas rindiņas rakstīšanu, kas palaiž modeli un straumē žetonus uz CLI? Dodieties uz Ollama. Vai vēlaties ērtu logu ar slīdņiem un lielu pogu Tērzēšana? LM Studio.
Špikeris: Plusi un mīnusi, ko varat uzņemt ekrānuzņēmumā
- Lieliska GUI ar modeļu atklāšanu
- Iebūvēta tērzēšana ar vēsturi un iestatījumiem
- Vienkārši kvantēšanas priekšskatījumi un lejupielādes
- Lieliski piemērots iesācējiem un ikdienas lietošanai
- Mazāk skriptējams nekā Ollama
- Lielas lejupielādes un krātuves izplešanās
- Uzlabota versiju kontrole ir neveiklāka
- Vienkārša CLI ar ar OpenAI saderīgu vietējo API
- Lieliski piemērots skriptēšanai, serveriem un integrācijām
- Modelfiles reproducējamām iestatījumiem
- Viegls un viegli koplietojamas komandas
- Nav oficiālas GUI/tērzēšanas lietotnes
- Modeļu atklāšana ir vairāk DIY
- Atbaida no CLI izvairīgus lietotājus
Nodrošināšana nākotnei: Kur tas virzās
Vietējie modeļi kļūst labāki, mazāki un dīvaināki (labā ziņā). Sagaidiet viedākus 7B–13B modeļus, kas daudzos uzdevumos konkurē ar šodienas smagsvariem, kā arī labāku GPU/CPU optimizāciju. Uzvarētājs starp Ollama un LM Studio? Iespējams, jūs, palaižot abus dažādiem darbiem kā ļoti atbildīgs pieaugušais ar diviem skrūvgriežiem.
Noslēgums: Mana izvēle
Ja man būtu jāizvēlas vienu savam ikdienas datoram: LM Studio. Lietotāja saskarne palīdz man koncentrēties, un berze ir tuvu nullei. Jebkam automatizētam, sadarbības vai eksperimentālam: Ollama. Tas ir mugurkauls, ko es varu skriptēt, nosūtīt un aizmirst, līdz tas vienkārši darbojas.
Pēdējais padoms: Sāciet ar mazumiņu, izvēlieties modeli, kas atbilst jūsu aparatūrai, un nevērtējiet šos rīkus pēc pirmā uzvedinājuma. Vietējā AI atalgo knibināšanos — tāpat kā tas IKEA grāmatu plaukts. Un jā, seškanšu atslēga visu laiku bija jūsu kabatā.
BUJ
1. jautājums: Vai iesācējiem LM Studio ir vieglāk nekā Ollama?
Jā. LM Studio nodrošina tīru saskarni, modeļu pārlūku un lielu pogu Tērzēšana. Ja jums nepatīk termināļi, LM Studio liek vietējai AI justies kā pazīstamai tērzēšanas lietotnei.
2. jautājums: Vai Ollama un LM Studio var lokāli palaist vienus un tos pašus modeļus?
Parasti jā — abi atbalsta populārus GGUF modeļus, piemēram, Llama 3, Mistral un Phi-3 ar dažādām kvantēšanām. Atšķirība ir tajā, kā jūs tos lejupielādējat, pārvaldāt un palaižat: GUI LM Studio, CLI un Modelfiles Ollama.
3. jautājums: Kurš ir ātrāks: Ollama vai LM Studio?
Ātrums vairāk ir atkarīgs no jūsu aparatūras, modeļa izmēra un kvantēšanas nekā no palaidēja. 7B modelis ar Q4 vai Q5 kvantēšanu jutīsies veikls abos; lieli 70B modeļi jutīsies smagi jebkur.
4. jautājums: Vai es varu izmantot vietējos modeļus ar savām iecienītākajām lietotnēm un redaktoriem?
Jā. Abi var atklāt vietējo API galapunktu, ko daudzi rīki uzskata par OpenAI. Ollama ir īpaši populārs integrācijām; LM Studio piedāvā arī servera režīmu.
5. jautājums: Kāpēc izmantot Sider.AI ar Ollama vai LM Studio?
Sider.AI var apvienot jūsu darbplūsmu — pārslēgties starp vietējiem un mākoņa modeļiem, organizēt uzvedinājumus un apstrādāt pētniecību un apkopošanu vienuviet. Tas ir pievienotās vērtības slānis, kad esat beidzis knibināties un vēlaties paveikt darbu. 
