Sissejuhatus: Nädalavahetus, mil ma proovisin oma sülearvutile mõtlemist õpetada
On aeg üles tunnistada: veetsin terve laupäeva, püüdes oma sülearvutis suurt keelemudelit käivitada. Kujutage mind ette, kohvitass käes, sosistades terminaliaknale julgustavaid sõnu nagu juuretisele: „Tule, sa saad hakkama.“ Kui olete mänginud ga – sõbraliku ja kõik-ühes viisiga AI-mudeleid oma arvutis käitada – olete tundnud kohaliku AI võlu, mis ei helista koju. Aga mis siis, kui soovite teistsugust maitset: paremat liidest, kiiruse suurendamist, paremat GPU-tuge või peenhäälestatud juhtimist?
Hea uudis: ei ole ainus tegija. Aastal 2025 on kohalike LLM-i käitajate, GUI-de ja mudeliserverite seas vilgas sagimine, mis võib muuta teie arvuti ajas rändavaks kirjutusmasinaks. Täna teeme ringkäigu parimate alternatiivide juurde – milles need head on, kus nad komistavad ja milline neist sobib teie seadistusega – olenemata sellest, kas olete uudishimulik nokitseja või oma majapidamise tehnikadirektor.
Muide, ma kontrollisin kohaliku tehisintellekti valdkonna kuumimaid ja üleshaibitumaid asju, sealhulgas kohalike LLM-i tööriistade ülevaateid ja võrdlusi. Näete viiteid, mis on sisse puistatud, kui me edasi liigume. Ja ma uurisin Sider.AI blogimaailma, et näha, kuhu see sobib inimestele, kes teevad iga päev AI-ga uurimistööd ja kirjutavad. Kellele see on mõeldud (ja kes võivad rahulikult edasi kerida)
- Sa soovid käitada AI-mudeleid lokaalselt privaatsuse, kiiruse pärast või seetõttu, et sinu WiFi käitub aeg-ajalt nagu pesukaru, kes su prügikastis tuhnib.
- Sa oled proovinud t või oled sellest kuulnud ja mõtled: kas minu GPU jaoks on olemas parem tööriist? Minu töövoogude jaoks? Minu mõistuse jaoks?
- Sa eelistad sõbralikke nuppe käsuridadele – või vastupidi. Meil on mõlemad olemas.
Kui sa soovid lihtsalt brauseris AI-ga vestelda ja mitte kunagi seadistusi puutuda, võib see olla liigne. Ülejäänute jaoks: edasi.
Lühinimekiri: Parimad alternatiivid iseloomu järgi
- : Kohalike mudelite „App Store“ hõng, lihvitud GUI ja lihtsate allalaadimistega. Väga lähenetav. Suurepärane mudelite sirvimiseks ja alustamiseks.
- : Šveitsi armee veebirakendus – palju lüliteid, laiendusi ja iseloomu eelseadistusi. Võimsate kasutajate paradiis.
- : Puhas ja moodne vestlusliides, mis võib paikneda kohalike taustaprogrammide peal. Vähem keeruline kui TGWUI, kuid siiski paindlik.
- : Paljude tööriistade taga olev madala taseme mootor. Kerge, CPU/GPU-sõbralik, suurepärane sisseehitatud või minimaalsete seadistuste jaoks.
- : Kui sa hoolid läbilaskevõimest ja mitme kasutaja teenindamisest – mõtle laboritele, meeskondadele või tõsisele nokitsemisele – on vLLM sinu kiire rada.
- : Suurepärane lugude kirjutamise töövoogude, rollimängude ja pikkade loominguliste sessioonide jaoks; tugev mälu ja iseloomu tööriistad.
- ja muud järeldus-/teenindus virnad: Inimestele, kes soovivad oma GPU-st maksimaalset jõudlust; rohkem konfiguratsiooni, rohkem kiirust.
Valikukaart: Mida sa tegelikult vajad?
- „Olen täiesti uus. Palun ärge sundige mind lippe meelde jätma.“ või . Alusta siit, kui sulle meeldib sõbralik liides ja minimaalne seadistus.
- „Anna mulle kõik nupud ja kangid.“ . Sa saad ajakava juhtnupud, viipade mallid, pluginad ja palju muud.
- „Minu sülearvuti on keskmise tasemega, aga ma olen kangekaelne.“ . Kerge, tõhus, üllatavalt võimekas tagasihoidlikul riistvaral.
- „Ma soovin oma meeskonnale mudeleid teenindada.“ või võrreldav serveri virn. Läbilaskevõime ja samaaegsus on siin olulised.
- „Ma kirjutan ilukirjandust ja hoolin pikaajalisest mälust.“ -maitselised tööriistad võivad narratiivse AI puhul püsiva mäluga silma paista.
Miks mitte lihtsalt juurde jääda?
on suurepärane, eriti kui sa soovid ühe rea installimist ja lihtsaid mudeli tõmbamisi. Kuid see teeb asju viisil – selle mudelivormingud, selle register, selle käituskeskkond. Kui sa soovid läikivat GUI-d, keerukat mitme kasutaja teenindamist või ülihäälestatud GPU optimeerimist, võid olla mujal õnnelikum. Ja kui sul on juba lemmikmudeli esiosa (näiteks ), võid eelistada taustaprogrammi, mis sellega kenasti mängib.
Teeme ringkäigu alternatiivide juurde, -stiilis
: Hubane kohvik kohalikele mudelitele
Kui on läbisõidu koht, siis on kohvik koos diivanitega. Sa laadid alla rakenduse, sirvid mudelite kataloogi ja klõpsad installimiseks. Vestle, katseta, vaheta mudeleid – ilma käsurea süntaksiga läbirääkimisi pidamata. See pakub API-t, kui sa seda vajad, kuid see ei sunni sind -it õppima, et end nutikana tunda. Paljude inimeste jaoks on see „kohalik AI, mis tundub nagu tavaline rakendus“, mistõttu see ilmub pidevalt parimate nimekirjades.
Plussid
- Suurepärane GUI ja mudeli avastamine
- Kiire sissejuhatus algajatele
- Kohalik privaatsus ilma kodutööta
Miinused
- Ei ole kõige kohandatavam süsteem hardcore häälestamiseks
- Jõudlus sõltub suuresti sinu riistvarast ja valitud mudelist
Ideaalne: Uudishimulikele inimestele, kes soovivad kohalikku AI-d ilma konfiguratsioonifailides marineerimata.
: Sinu AI tähelaeva juhtimisruum
See on veebirakendus, mida sa käitad lokaalselt. See on nagu kokpitti sisenemine: nupud, liugurid, iseloomu eelseadistused, mäluseaded, pistikupaneelid nägemise, TTS-i ja muu jaoks. Kui sa kirjutad, viipad inseneri või rollimängid, on TGWUI kommipood. Sa saad külge panna erinevaid taustaprogramme – , exllama, CUDA – sõltuvalt sinu GPU-st ja mudeli valikust. See on entusiasti tööriist, kuid sõbralik, kui sa oled oma teed õppinud.
Plussid
- Massiivne kohandamine ja pluginate ökosüsteem
- Hea pika vormi kirjutamiseks ja stsenaariumide testimiseks
- Töötab mitme taustaprogrammi ja vorminguga
Miinused
- Seadistamine võib olla keerulisem kui „installi ja mine“ rakendusel
- Liiga palju valikuid võivad uhiuued kasutajad üle koormata
Ideaalne: Võimsatele kasutajatele, kirjanikele ja harrastajatele, kes soovivad mänguväljakut – ja ei pahanda džunglisaali.
: Puhas ja moodne vestlus sinu mudelitega
Kujutage ette stiilset vestlusrakendust, kuid see räägib sinu kohaliku AI-ga. See on . See on seadete poolest kergem kui TGWUI, kuid see integreerub kenasti levinud taustaprogrammidega. Mõtle sellele kui „vähem keeruline, sõbralikum“, mis teeb sellest rahva lemmiku meeskondadele, kes soovivad kohalike käituskeskkondade peal ühtset liidest.
Plussid
- Moodne ja lihvitud vestluse UX
- Töötab mitme taustaprogrammiga
- Lihtne jagada koduvõrgus või väikese meeskonna vahel
Miinused
- Vähem sügavaid nuppe kui TGWUI-l
- Taustaprogrammi ühilduvus määrab sinu funktsioonid
Ideaalne: Inimestele, kes hindavad selgust ja lihtsust, kuid soovivad siiski kohalikku kontrolli.
: Väike mootor, mis suudab
Tehnoloogia tehnoloogia taga. on C/C++ järeldusmootor, mis käitab kvantiseeritud mudeleid tõhusalt protsessoritel ja graafikakaartidel. Mõtle: „Mis siis, kui me pigistaksime AI läbi joogikõrre ja see ikka töötaks?“ See on ideaalne tagasihoidlikele masinatele – idele, mini-PC-dele, isegi seadistustele – ja see on paljude teiste tööriistade selgroog.
Plussid
- Äärmiselt tõhus; töötab tagasihoidlikul riistvaral
- Suurepärane sisseehitatud või võrguühenduseta seadistuste jaoks
- Stabiilne ja laialdaselt toetatud
Miinused
- Ei ole iseenesest täielik rakendus; sa vajad GUI-d või ümbrist
- Jõudlus võib suurte mudelite puhul maha jääda raskekaalu GPU-optimeeritud serveritest
Ideaalne: Nokitsejatele ja minimalistidele, kes armastavad väikest, kiiret ja kohalikku.
: Maantee suure liikluse jaoks
Kui sa hoolid teeninduskiirusest ja samaaegsusest, siseneb koos keepiga. See on suure jõudlusega järeldusserver, mis paistab silma, kui sul on mitu kasutajat, mitu taotlust või ajatundlikke rakendusi. Kui sa muudad oma seadme meeskonna mudeliserveriks – või võrdlusaluseks nagu see oleks su kardio – on väärt vaatamist.
Plussid
- Väga hea läbilaskevõime ja tõhus mälu kasutamine
- Ideaalne mitme kasutaja või tootmisstiilis seadistuste jaoks
- Mängib hästi populaarsete raamistikega
Miinused
- Vajalik on rohkem seadistus- ja opsiteadmisi
- Üleliigne üksinda vestlemiseks ja minemiseks
Ideaalne: Arendajatele, laboritele või väikestele ettevõtetele, kes hostivad mudeleid reaalsete töökoormuste jaoks.
: Jutuvestja tööriistakomplekt
Narratiivse kirjutamise ja rollimängu jaoks toovad -maitselised tööriistad funktsioone, mis panevad autoreid sulama: pikaajaline mälu, tegelaste lehed, maailmamärkmed ja konteksti nipid järjepidevuse tagamiseks. Sa vestled oma muusaga; see mäletab sinu maailmaehitust. Kui sa oled kunagi AI peale karjunud, et ta unustas, kes on kurikael, siis see on sinu teema.
Plussid
- Kohandatud ilukirjanduse ja rollimängu jaoks
- Pikk mälu ja persona tööriistad
Miinused
- Vähem üldotstarbeline kui teised UI-d
- Parimad tulemused nõuavad veidi häälestamist ja mudeli valikut
Ideaalne: Kirjanikele, kes soovivad kohalikku AI-d, mis mäletab rohkem kui viimast lõiku.
ja jõudlusele orienteeritud virnad: Kui kiirus on ülesanne
ja sarnased virnad keskenduvad torujuhtme tõhususele, kvantimissüsteemidele ja GPU optimeerimisele. Kui sa jälitad kaadreid sekundis nagu mängur, kellel on võrdlusaluse sõltuvus, võivad need tööriistad anda sulle selle lisaeelise – konfiguratsiooniaja arvelt.
Plussid
- Häälestatav jõudlus tõsiste seadmete jaoks
- Suurepärane katsetamiseks ja oma GPU-st rohkema pigistamiseks
Miinused
- Seadistamine võib olla „too kiiver kaasa“ tasemel
- Ei ole kõige sõbralikum valik tavakasutajatele
Ideaalne: Jõudlusfriikidele ja teadlastele, kes naudivad nuppe ja graafikuid.
Kiire reaalsuskontroll „Kohaliku“ AI kohta
Kohalik ei tähenda automaatselt „100% privaatne“. Mõned rakendused võivad tuua mudeleid internetist, tõmmata värskendusi või helistada välistele API-dele hääle, nägemise või manuste jaoks. Kui privaatsus on sinu missioon, siis lülita testimise ajal sisse lennukirežiim, kasuta võrguühenduseta mudeleid ja loe seadeid nagu sa allkirjastaksid hüpoteeki. Paljud neist tööriistadest on võrguühenduseta täiesti head – aga ainult siis, kui sa tegelikult võrguühenduseta lähed.
Mudelite valimine: Kolme karu põhimõte
- Suured mudelid (70B+): Võimekamad, rohkem RAM/GPU VRAM-i vaja, rohkem soojust kui sinu röster.
- Keskmised (7B–13B): Magus koht sülearvutitele, millel on korralikud GPU-d; hea üldine jõudlus.
- Väikesed (3B–4B): Kiired tagasihoidlikul riistvaral, teatud ülesannete jaoks üllatavalt pädevad, kuigi nad aeg-ajalt hallutsineerivad sinu koera keskmise nime.
Kahtluse korral alusta väikeselt. Saa 7B mudel hästi tööle, seejärel suurenda, kuni sinu ventilaatorid hakkavad tehnokat looma.
Riistvara reaalsus: Vaikne kurikael
- GPU VRAM on kuningas. Kui sinu GPU-l on 8 GB, siis tõenäoliselt saavutad hoolikate seadetega umbes kvantiseeritud 13B mudeli.
- RAM on oluline mudelite laadimiseks, kuid VRAM on nobeda järelduse kitsaskoht.
- Protsessorid saavad kvantiseeritud mudeleid käitada kaudu, aga ära oota raketilaevu. See on tore kruiis.
Lugu kahest seadistusest: Reaalsed stsenaariumid
Juhuslik looja
- Eesmärk: Koosta uudiskirju, tee ajurünnakuid, visanda skripte – lokaalselt.
- Valik: või sõbraliku esiosa jaoks.
- Mudel: 7B üldmudel 4-bitises kvantimises kiiruse jaoks.
- Nipp: Hoia oma viipad lühikesed ja konkreetsed. Vaheta mudeleid, kui toon tundub vale. See on nagu kitarride vahetamine erineva laulu jaoks.
Kodu labori kangelane
- Eesmärk: Mitu kasutajat; võib-olla perekonna või kodeerimisabiline.
- Valik: taustaserverina; vestluse esiosana.
- Mudel: Midagi keskmise suurusega tasakaalu saavutamiseks. Kaalu arendusülesannete jaoks spetsiaalset kodeerimismudelit.
- Nipp: Käivita võrdlusaluseid koos kvantimisega ja ilma, et mõista oma läbilaskevõimet.
Ilukirjanik
- Eesmärk: Pika vormi järjepidevus ja tegelase mälu.
- Valik: või TGWUI mälu laiendustega.
- Mudel: Jutuvestmisele häälestatud mudel; proovi kiirema iteratsiooni jaoks väiksemaid suurusi.
- Nipp: Kasuta maailmamärkmeid ja tegelaste kaarte. Sinu AI on väga kannatlik improvisatsioonipartner.
Aga multimodality: Tekst, pildid ja heli?
Kohalik ökosüsteem muutub iga nädalaga multimodalsemaks. Mõned UI-d võimaldavad sul lisada pildi mõistmist, TTS-i või STT-mooduleid. See on nagu uute instrumentide lisamine bändile – lihtsalt testi ühte korraga, et sa teaksid, milline plugin põhjustas taldriku kokkupõrke. Kogukonnad nagu r/LocalLLaMA on täis tööriistakomplekte, mis ühendavad teksti, heli ja pildi genereerimise tõeliseks „AI stuudioks“ sinu laual.
Sider.AI segus: Kus brauseripoolne assistent aitab Siin on üllatus: Sider.AI (jah, inimesed, kes seda blogi hostivad) on parim, kui sa uurid, koostad ja korraldad ideid otse brauseris. See ei ole kohalik mudeli käitaja – seda teevad kõik need alternatiivid – aga see mängib suurepärast toetavat rolli, kui sa vaevled allikatega, lõikad katkendeid või sünteesid märkmeid inimloetavaks proosaks. Mõtle sellele kui oma uurimistöö abilisele, samal ajal kui sinu kohalik mudel taustal sumiseb. Nende kajastus alternatiivsete virnade kohta arendusagentide ja teadmiste raamistike jaoks näitab, et nad hoiavad silma peal AI tööriistade praktilisel küljel, mitte ainult läikivatel demodel. Vead ja kuidas neid vältida
- Mudelisupp: Erinevad vormingud (GGUF, Safetensors jne) ja kvantimistasemed võivad olla segadust tekitavad. Alusta hästi dokumenteeritud mudelikaardiga ja järgi tööriista soovitatud vormingut.
- VRAM miraaž: Kui mudel peaaegu laadib, jookseb see ikka viis minutit vestluses kokku. Kontrolli VRAM-i nõudeid ja jäta vaba ruumi.
- Pluginate hunnik: Lisa üks laiendus korraga. Kui jõudlus langeb, tead sa süüdlast.
- Värskenda Gremlins: Versiooni mittevastavused taustaprogrammide ja UI-de vahel tekitavad salapäraseid vigu. Külmuta versioonid, kui sul on stabiilne seadistus.
Praktiline minijuhend: Üleminek lt alternatiivile
Stsenaarium: Sa oled kasutanud t, aga soovid sõbralikumat GUI-d ja rohkem kontrolli.
- Laadi alla rakendus oma OS-i jaoks.
- Sirvi mudeleid ja vali alustamiseks 7B.
- Vestle ja kohanda liuguritega valimi parameetreid (temperatuur, top-p).
- Kui sa vajad API juurdepääsu, luba serverirežiim ja suuna oma klient localhosti.
- Installi oma platvormi jaoks build.
- Haara GGUF mudel (alusta 7B, 4-bitisega).
- Käivita ja määra taustaprogrammiks.
- Naudi puhast vestlusliidest mudelite vahetamisega.
- Või mine täisvõimsusele: TGWUI
- Installi (järgige repositooriumi juhiseid; hingake sügavalt).
- Vali oma GPU-le sobiv taustaprogramm (CUDA, ROCm, Metal).
- Uuri laiendusi mälu, viipade ja multimodality lisade jaoks.
Kogemuse võrdlemine: Tunne vs. kiirus vs. kontroll
- Tunne (UX): ja võidavad sõbralikkuse poolest. TGWUI on sügavam, aga tihedam.
- Kiirus: ja häälestatud taustaprogrammid nagu exllama/LLMDeploy võivad õigel riistvaral karjuda.
- Kontroll: TGWUI ja -kesksed tööriistad annavad sulle nuppe päevadeks. annab sulle minimalismi ja ühilduvuse.
Mida kokkuvõtted ütlevad (ja kus olla skeptiline)
Kokkuvõtted tõstavad järjepidevalt esile t, t, TGWUI-d ja -i kui põhitoetajaid, kusjuures saab kiidusõnu tõhususe eest ja tööriistad kirjanikele. Ole aga ettevaatlik kõikehõlmavate kohtuotsuste suhtes – riistvara, mudelid ja sinu tolerants seadistamise suhtes on olulisemad kui ükski „Top 5“ nimekiri. See, mis lendab 24 GB GPU-l, võib -il roomata ja vastupidi, kui sa valid nutikad kvantimised.
Minu arvamus: Sõbralik soovituste redel
- Alusta: või . Saa kiire võit.
- Seejärel: Proovi TGWUI-d, kui sa soovid rohkem kontrolli ja pluginaid.
- Järgmine: Uuri -d, kui sa soovid kerget ja kaasaskantavat.
- Meeskondadele: Pööra üles või sarnane server, kui sa vajad samaaegsust.
- Kirjanikele: -maitselised tööriistad mälufunktsioonidega.
Üks viimane asi… (Sest alati on üks)
Kohalik AI on nagu tagaaia aiandus. Esimene tomat on pisike ja sa oled niikuinii irratsionaalselt uhke. Sa kohandad mulda (kvantimine), päikesevalgust (VRAM) ja vett (valimi parameetrid). Ja ühel päeval tõmbad sa oma masinast välja täiusliku, privaatse ja ülikiire juturoboti – ja saad aru, et sa ei lähe kunagi tagasi.
Peamised järeldused kokkuvõtlikult
- on suurepärane, aga alternatiivid paistavad silma GUI-de (, ), võimsuse ja pluginate (TGWUI), kiiruse/teeninduse (), tõhususe () ja jutuvestmise ( tööriistad) poolest.
- Sobita tööriist oma riistvara ja eesmärkidega; alusta väikeselt, seejärel skaleeri.
- Loe mudelikaarte; pööra tähelepanu VRAM-ile; lisa pluginaid aeglaselt.
- Kasuta Sider.AI oma uurimistöö abiliseks, kui sa kogud allikaid ja kujundad mustandeid brauseris – kohalikud käitajad teevad järelduse, Sider.AI aitab sul sõnadega vaeva näha.
KKK
K1: Millised on parimad alternatiivid algajatele?
ja on kõige sõbralikumad alternatiivid. Need annavad sulle puhta liidese, lihtsa mudeli sirvimise ja kiired võidud ilma käsurea koristuseta.
K2: Milline alternatiiv on kõige kiirem mitme kasutaja teenindamiseks?
on ehitatud läbilaskevõime ja samaaegsuse jaoks, mis teeb sellest parima valiku mitme kasutaja või meeskonna stsenaariumide jaoks. See võtab rohkem seadistamist kui ühe klõpsuga rakendus, aga jõudluse tasuvus on reaalne.
K3: Kui mul on tagasihoidlik sülearvuti, siis millist tööriista peaksin esimesena proovima?
Alusta llama.cpp-ga, kasutades lihtsat esiliidest nagu OpenWebUI või LM Studio. Kasuta väiksemat, 4-bitise kvantiseeringuga 7B mudelit, et asjad sujuksid kiiresti, ilma et ventilaatorid üle kuumeneks.
K4: Olen kirjanik – milline on parim kohalik seadistus pikkade lugude jaoks?
KoboldCpp või KoboldAI on tänu mälu funktsioonidele ja tegelaste tööriistadele suurepärased lugude jutustamisel. Text Generation WebUI on veel üks hea valik, kui soovid lisapluginaid ja sügavat häälestust.
K5: Kas ma saan kombineerida sõbraliku kasutajaliidese suure jõudlusega taustaprogrammiga?
Absoluutselt. Siduge OpenWebUI või TGWUI taustaprogrammiga nagu vLLM või llama.cpp. Saate mugava vestlusliidese, samal ajal kui raske töö tehakse kulisside taga.
