Utangulizi: Mwishoni mwa Juma Nilipojaribu Kuufundisha Kompyuta Yangu Ndogo Kufikiri
Wakati wa kukiri: Nilitumia Jumamosi kujaribu kuendesha lugha kubwa kwenye kompyuta yangu ndogo. Hebu nifikirie, nikiwa na kahawa mkononi, nikinong'oneza mambo ya kutia moyo kwenye dirisha la terminal kama vile ni chachu ya unga: "Haya, unaweza kufanya hivyo." Ikiwa umecheza na Ollama—njia rafiki na ya kila kitu kwa moja ya kuendesha miundo ya AI kwenye kompyuta yako mwenyewe—umehisi msisimko wa AI ya ndani ambayo haipigi simu nyumbani. Lakini vipi ikiwa unataka ladha tofauti: kiolesura kizuri zaidi, nyongeza za kasi, usaidizi bora wa GPU, au udhibiti ulioboreshwa?
Habari njema: Ollama sio mtoto pekee mtaani. Mnamo 2025, kuna soko zuri la wanariadha wa LLM wa ndani, GUI, na seva za mfumo ambazo zinaweza kugeuza kompyuta yako kuwa typewriter ya kusafiri kwa wakati. Leo, tutazunguka njia mbadala bora za Ollama—kile ambacho wao ni wazuri kwacho, wapi wanakwama, na ni ipi inayofaa usanidi wako—iwe wewe ni fundi mwenye hamu au CTO wa Kaya Yako.
Kwa njia, niliangalia usahihi wa kile kinachoendelea na kile ambacho ni uvumi katika eneo la AI ya ndani, pamoja na muhtasari wa zana za LLM za ndani na ulinganisho. Utaona nukuu zikinyunyizwa tunapoendelea. Nami nimeingia ndani ya ulimwengu wa blogu wa Sider.AI ili kuona inafaa wapi kwa watu wanaofanya utafiti na kuandika na AI kila siku. Hii Ni Ya Nani (Na Nani Anaweza Kusogeza Salama)
- Unataka kuendesha miundo ya AI ndani ya nchi kwa faragha, kasi, au kwa sababu Wi‑Fi yako wakati mwingine huishi kama raccoon inayoiba taka zako.
- Umejaribu Ollama, au umesikia habari zake, na unajiuliza: Je, kuna zana bora kwa GPU yangu? Mtiririko wangu wa kazi? Akili yangu?
- Unapenda vifungo vya kirafiki zaidi kuliko mistari ya amri—au kinyume chake. Tuna vyote viwili.
Ikiwa unataka tu kuzungumza na AI kwenye kivinjari na usiguse mipangilio, hii inaweza kuwa kupita kiasi. Kwa sisi wengine: endelea.
Orodha Fupi: Njia Mbadala Bora za Ollama kwa Mtazamo
- LM Studio: Mtindo wa "Duka la Programu" kwa miundo ya ndani, na GUI iliyosafishwa na vipakuliwa rahisi. Inakaribisha sana. Inafaa sana kwa kuvinjari miundo na kuanza.
- Text Generation WebUI (oobabooga): Programu ya wavuti ya Jeshi la Uswizi—tani za togli, viendelezi, mipangilio ya herufi. Paradiso ya mtumiaji mkuu.
- OpenWebUI: Kiolesura safi na cha kisasa cha gumzo ambacho kinaweza kukaa juu ya sehemu za nyuma za ndani. Haina fujo kidogo kuliko TGWUI, lakini bado inabadilika.
- llama.cpp (na marafiki): Injini ya kiwango cha chini nyuma ya zana nyingi. Nyepesi, CPU/GPU-rafiki, nzuri kwa usanidi uliopachikwa au mdogo.
- vLLM: Ikiwa unajali kuhusu upitishaji na kuhudumia watumiaji wengi—fikiria maabara, timu, au ufundi mzito—vLLM ndiyo njia yako ya haraka.
- KoboldCpp / KoboldAI: Nzuri kwa mtiririko wa uandishi wa hadithi, uigizaji, na vipindi vya ubunifu vya fomu ndefu; kumbukumbu thabiti na zana za herufi.
- LMDeploy na misingi mingine ya uingizaji/kuhudumia: Kwa umati wa "Ninataka utendakazi wa juu zaidi kwenye GPU yangu"; usanidi zaidi, kasi zaidi.
Ramani ya Uteuzi: Unahitaji Nini Hasa?
- "Mimi ni mgeni kabisa. Tafadhali usinifanye nikariri bendera." LM Studio au OpenWebUI. Anza hapa ikiwa unapenda kiolesura rafiki na usanidi mdogo.
- "Nipe kila kisu na lever." Text Generation WebUI. Utapata vidhibiti vya kuratibu, violezo vya haraka, programu-jalizi, na zaidi.
- "Kompyuta yangu ndogo ni ya kati, lakini nina ukaidi." llama.cpp. Nyepesi, yenye ufanisi, yenye uwezo wa kushangaza kwenye maunzi ya kawaida.
- "Ninataka kutumikia miundo kwa timu yangu." vLLM au msururu wa seva unaolinganishwa. Upitishaji na usawa wa wakati ni muhimu hapa.
- "Ninaandika hadithi na ninajali kuhusu kumbukumbu ya muda mrefu." Zana zenye ladha ya Kobold zinaweza kung'aa kwa AI ya simulizi na kumbukumbu endelevu.
Kwa Nini Usishikamane na Ollama Tu?
Ollama ni nzuri, hasa ikiwa unataka usakinishaji wa mstari mmoja na vuta rahisi za mfumo. Lakini inafanya mambo kwa njia ya Ollama—miundo yake ya mfumo, usajili wake, wakati wake wa utekelezaji. Ikiwa unataka GUI yenye kung'aa, huduma tata ya watumiaji wengi, au uboreshaji wa GPU uliokamilika, unaweza kuwa na furaha mahali pengine. Na ikiwa tayari una kiolesura unachopenda cha mfumo (OpenWebUI, kwa mfano), unaweza kupendelea sehemu ya nyuma ambayo inacheza vizuri nayo.
Hebu Tuzunguke Njia Mbadala, Mtindo wa Pogue
LM Studio: Duka la Kahawa Linalovutia kwa Miundo ya Ndani
Ikiwa Ollama ni njia ya kuendesha gari, LM Studio ni mkahawa wenye makochi. Unapakua programu, unavinjari katalogi ya miundo, na ubofye ili kusakinisha. Piga gumzo, jaribu, ubadilishe miundo—bila kujadili na sintaksia ya mstari wa amri. Inaweka API wazi ikiwa unaihitaji, lakini haikufanyi ujifunze YAML ili ujisikie mwerevu. Kwa watu wengi, hii ni "AI ya ndani ambayo inahisi kama programu ya kawaida," ndiyo sababu inaendelea kuonekana kwenye orodha bora.
Faida
- GUI bora na ugunduzi wa mfumo
- Njia ya haraka kwa Kompyuta
- Faragha ya kwanza ya ndani bila kazi ya nyumbani
Hasara
- Sio mfumo unaoweza kubadilishwa zaidi kwa urekebishaji mkali
- Utendaji hutegemea sana maunzi yako na mfumo uliochaguliwa
Inafaa kabisa kwa: Watu wenye hamu ambao wanataka AI ya ndani bila kuandamana katika faili za usanidi.
Text Generation WebUI (oobabooga): Chumba cha Kudhibiti cha Meli Yako ya Anga ya AI
Hii ni programu ya wavuti unayoendesha ndani ya nchi. Ni kama kutembea kwenye chumba cha marubani: vifungo, vitelezi, mipangilio ya herufi, mipangilio ya kumbukumbu, paneli za programu-jalizi za maono, TTS, na zaidi. Ikiwa unaandika, mhandisi wa haraka, au kucheza jukumu, TGWUI ni duka la pipi. Unaweza kufunga sehemu tofauti za nyuma—llama.cpp, exllama, CUDA—kulingana na GPU yako na chaguo la mfumo. Ni zana ya shauku, lakini rafiki mara tu unapojifunza njia yako.
Faida
- Uboreshaji mkubwa na mfumo wa ikolojia wa programu-jalizi
- Nzuri kwa uandishi wa fomu ndefu na upimaji wa hali
- Hufanya kazi na sehemu nyingi za nyuma na miundo
Hasara
- Usanidi unaweza kuhusisha zaidi kuliko programu ya "sakinisha na uende"
- Chaguo nyingi sana zinaweza kuwalemea watumiaji wapya kabisa
Inafaa kabisa kwa: Watumiaji wakuu, waandishi, na wapenda hobby ambao wanataka uwanja wa michezo—na hawajali ukumbi wa mazoezi ya msituni.
OpenWebUI: Gumzo Safi na la Kisasa na Miundo Yako
Fikiria programu maridadi ya gumzo, lakini inazungumza na AI yako ya ndani. Hiyo ndiyo OpenWebUI. Ni nyepesi kwenye mipangilio kuliko TGWUI, lakini inaunganishwa vizuri na sehemu za nyuma za kawaida. Ifikirie kama "haina fujo kidogo, ni rafiki zaidi," ambayo inafanya kuwa ya kupendeza kwa timu zinazotaka kiolesura thabiti juu ya wakati wa utekelezaji wa ndani.
Faida
- UX ya gumzo ya kisasa na iliyosafishwa
- Hufanya kazi na sehemu nyingi za nyuma
- Rahisi kushiriki kwenye mtandao wa nyumbani au timu ndogo
Hasara
- Visu vichache vya kina kuliko TGWUI
- Upatanifu wa sehemu ya nyuma huamua vipengele vyako
Inafaa kabisa kwa: Watu ambao wanathamini uwazi na unyenyekevu, lakini bado wanataka udhibiti wa ndani.
llama.cpp: Injini Ndogo Iliyoweza
Teknolojia nyuma ya teknolojia. llama.cpp ni injini ya uingizaji ya C/C++ ambayo huendesha miundo iliyohesabiwa kwa ufanisi kwenye CPU na GPU. Fikiria: "Je, ikiwa tulibana AI kupitia majani ya kunywea na bado ilifanya kazi?" Ni bora kwa mashine za kawaida—MacBook, mini-PC, hata usanidi wa Raspberry Pi—na ndiyo uti wa mgongo nyuma ya zana zingine nyingi.
Faida
- Yenye ufanisi sana; inaendesha kwenye maunzi ya unyenyekevu
- Nzuri kwa usanidi uliopachikwa au nje ya mtandao
- Imara na inaungwa mkono sana
Hasara
- Sio programu kamili yenyewe; utataka GUI au kanga
- Utendaji unaweza kuchelewa nyuma ya seva nzito zilizoboreshwa za GPU kwenye miundo mikubwa
Inafaa kabisa kwa: Mafundi na wachache ambao wanapenda ndogo, haraka, na ya ndani.
vLLM: Barabara kuu ya Trafiki Nzito
Unapojali kuhusu kasi ya kuhudumia na usawa wa wakati, vLLM inaingia na koti. Ni seva ya uingizaji ya utendakazi wa juu ambayo hung'aa unapokuwa na watumiaji wengi, maombi mengi, au programu zinazozingatia wakati. Ikiwa unageuza rig yako kuwa seva ya mfumo kwa timu—au unalinganisha alama kama vile ni moyo wako—vLLM inafaa kuangalia.
Faida
- Upitishaji wa moto na matumizi ya kumbukumbu yenye ufanisi
- Inafaa kwa usanidi wa watumiaji wengi au mtindo wa uzalishaji
- Hucheza vizuri na mifumo maarufu
Hasara
- Maarifa zaidi ya usanidi na ops yanahitajika
- Kuzidi kwa matumizi ya gumzo la solo-na-enda
Inafaa kabisa kwa: Wasanidi programu, maabara, au kampuni ndogo zinazoandaa miundo kwa mzigo halisi wa kazi.
KoboldCpp / KoboldAI: Zana ya Msimulizi
Kwa uandishi wa simulizi na uigizaji, zana zenye ladha ya Kobold huleta vipengele vinavyowafanya waandishi kuzimia: kumbukumbu ya muda mrefu, karatasi za wahusika, madokezo ya ulimwengu, na ujanja wa muktadha kwa uthabiti. Unazungumza na muse yako; inakumbuka ujenzi wako wa ulimwengu. Ikiwa umewahi kumfokea AI kwa kusahau mhalifu ni nani, huu ndio jam yako.
Faida
- Imeundwa kwa ajili ya hadithi na uigizaji
- Kumbukumbu ya muda mrefu na zana za mtu
Hasara
- Sio kusudi la jumla kama UI zingine
- Matokeo bora yanahitaji urekebishaji kidogo na uchaguzi wa mfumo
Inafaa kabisa kwa: Waandishi wanaotaka AI ya ndani ambayo inakumbuka zaidi ya aya ya mwisho.
LMDeploy na Misingi Inayozingatia Utendaji: Wakati Kasi Ni Kazi
LMDeploy na misingi sawa huzingatia ufanisi wa bomba, mikakati ya kuhesabu, na uboreshaji wa GPU. Ikiwa unafuatilia fremu-kwa-sekunde kama mchezaji mwenye uraibu wa kulinganisha alama, zana hizi zinaweza kukupa makali hayo ya ziada—kwa gharama ya muda wa usanidi.
Faida
- Utendaji unaoweza kubadilishwa kwa rigi kubwa
- Nzuri kwa majaribio na kubana zaidi kutoka kwa GPU yako
Hasara
- Usanidi unaweza kuwa kiwango cha "leta kofia"
- Sio chaguo rafiki zaidi kwa watumiaji wa kawaida
Inafaa kabisa kwa: Wataalamu wa utendaji na watafiti ambao wanafurahia visu na chati.
Ukaguzi wa Haraka wa Ukweli Kuhusu AI "ya Ndani"
Ndani haimaanishi moja kwa moja "100% ya faragha." Programu zingine zinaweza kuchukua miundo kutoka kwa mtandao, kuvuta masasisho, au kupiga simu API za nje kwa sauti, maono, au upachikaji. Ikiwa faragha ndiyo dhamira yako, geuza hali ya ndege wakati wa kupima, tumia miundo ya nje ya mtandao, na usome mipangilio kama vile unasaini rehani. Zana nyingi kati ya hizi ni nzuri kabisa nje ya mtandao—lakini ikiwa tu utaenda nje ya mtandao.
Kuchagua Miundo: Kanuni ya Dubu Tatu
- Miundo mikubwa (70B+): Ina uwezo zaidi, RAM/GPU VRAM zaidi inahitajika, joto zaidi kuliko kibaniko chako.
- Kati (7B–13B): Sehemu tamu kwa kompyuta ndogo zilizo na GPU nzuri; utendaji mzuri wa jumla.
- Ndogo (3B–4B): Haraka kwenye maunzi ya kawaida, inafaa sana kwa kazi fulani, ingawa mara kwa mara watawazia jina la kati la mbwa wako.
Unapokuwa na shaka, anza kidogo. Fanya mfumo wa 7B ufanye kazi vizuri, kisha uongeze hadi mashabiki wako waanze kutunga techno.
Ukweli wa Maunzi: Mhalifu Kimya
- GPU VRAM ndiye mfalme. Ikiwa GPU yako ina 8GB, kuna uwezekano mkubwa kuwa utaishia karibu na mfumo wa 13B uliohesabiwa na mipangilio makini.
- RAM ni muhimu kwa kupakia miundo, lakini VRAM ndiyo kikwazo kwa uingizaji wa haraka.
- CPU zinaweza kuendesha miundo iliyohesabiwa kupitia llama.cpp, lakini usitarajie meli za roketi. Hii ni safari nzuri.
Hadithi ya Usanidi Mbili: Matukio ya Ulimwengu Halisi
Muundaji wa Kawaida
- Lengo: Andaa majarida, fanya mawazo, andika maandishi ya YouTube—ndani ya nchi.
- Chagua: LM Studio au OpenWebUI kwa sehemu ya mbele rafiki.
- Mfumo: Mfumo wa jumla wa 7B katika hesabu ya biti 4 kwa kasi.
- Kidokezo: Weka maelezo yako mafupi na mahususi. Badilisha miundo ikiwa sauti haifai. Ni kama kubadilisha gitaa kwa wimbo tofauti.
Shujaa wa Maabara ya Nyumbani
- Lengo: Watumiaji wengi; labda wiki ya familia au msaidizi wa kuweka misimbo.
- Chagua: vLLM kama seva ya nyuma; OpenWebUI kama sehemu ya mbele ya gumzo.
- Mfumo: Kitu cha kati kwa usawa. Fikiria mfumo maalum wa kuweka misimbo kwa kazi za dev.
- Kidokezo: Endesha alama za kulinganisha na bila kuhesabu ili kuelewa upitishaji wako.
Mwandishi wa Hadithi
- Lengo: Uthabiti wa fomu ndefu na kumbukumbu ya herufi.
- Chagua: KoboldAI/KoboldCpp au TGWUI na viendelezi vya kumbukumbu.
- Mfumo: Mfumo ulioundwa kwa kusimulia hadithi; jaribu ukubwa mdogo kwa marudio ya haraka.
- Kidokezo: Tumia madokezo ya ulimwengu na kadi za herufi. AI yako ni mshirika mvumilivu sana wa kuboresha.
Vipi Kuhusu Multimodal: Maandishi, Picha, na Sauti?
Mfumo wa ikolojia wa ndani unazidi kuwa multimodal kila wiki. Baadhi ya UI hukuruhusu kuongeza uelewa wa picha, TTS, au moduli za STT. Ni kama kuongeza ala mpya kwenye bendi—jaribu moja tu kwa wakati ili ujue ni programu-jalizi ipi ilisababisha upatu kuanguka. Jumuiya kama vile r/LocalLLaMA zinajaa vifaa vya zana ambavyo huchanganya maandishi, sauti, na utengenezaji wa picha kwa "studio ya AI" ya kweli kwenye dawati lako.
Sider.AI kwenye Mchanganyiko: Msaidizi wa Upande wa Kivinjari Anasaidia Wapi Hapa kuna mshangao: Sider.AI (ndiyo, watu wanaoandaa blogu hii) iko katika ubora wake unapofanya utafiti, kuandaa, na kupanga mawazo moja kwa moja kwenye kivinjari. Sio mwendeshaji wa mfumo wa ndani—hiyo ndiyo mbadala hizi zote za Ollama hufanya—lakini inachukua jukumu kubwa la usaidizi unapopambana na vyanzo, vipande vya klipu, au kuunganisha madokezo kuwa nathari inayosomeka na binadamu. Fikiria kama msaidizi wako wa utafiti wakati mfumo wako wa ndani unavuma chinichini. Ufunikaji wao kwenye misingi mbadala ya mawakala wa dev na mifumo ya maarifa inaonyesha kuwa wanafuatilia upande wa vitendo wa zana za AI, sio tu maonyesho ya kung'aa. Mambo ya Kushangaza na Jinsi ya Kuyaepuka
- Supu ya Mfumo: Miundo tofauti (GGUF, Safetensors, n.k.) na viwango vya kuhesabu vinaweza kutatanisha. Anza na kadi ya mfumo iliyoandikwa vizuri na ufuate muundo uliopendekezwa wa zana.
- VRAM Mirage: Ikiwa mfumo karibu upakiaji, bado utaanguka dakika tano kwenye kupiga gumzo. Angalia mahitaji ya VRAM na uache nafasi ya kichwa.
- Rundo la Programu-jalizi: Ongeza kiendelezi kimoja kwa wakati. Ikiwa utendaji utapungua, utamjua mkosaji.
- Gremlins za Kusasisha: Tofauti za toleo kati ya sehemu za nyuma na UI huunda makosa ya ajabu. Gundua matoleo unapokuwa na usanidi thabiti.
Mwongozo Mdogo wa Vitendo: Kubadilisha kutoka Ollama hadi Njia Mbadala
Hali: Umetumia Ollama, lakini unataka GUI rafiki zaidi na udhibiti zaidi.
- Pakua programu kwa OS yako.
- Vinjari miundo na uchague 7B ili kuanza.
- Piga gumzo na urekebishe vigezo vya sampuli (halijoto, juu-p) na vitelezi.
- Ikiwa unahitaji ufikiaji wa API, washa modi ya seva na uelekeze mteja wako kwenye localhost.
- Au Jaribu OpenWebUI + llama.cpp
- Sakinisha toleo la llama.cpp kwa jukwaa lako.
- Chukua mfumo wa GGUF (anza na 7B, biti 4).
- Endesha OpenWebUI na uweke llama.cpp kama sehemu ya nyuma.
- Furahia kiolesura safi cha gumzo na ubadilishaji wa mfumo.
- Au Nenda Nguvu Kamili: TGWUI
- Sakinisha Text Generation WebUI (fuata maagizo ya repo; pumua sana).
- Chagua sehemu ya nyuma (CUDA, ROCm, Metal) inayofaa GPU yako.
- Gundua viendelezi vya kumbukumbu, madokezo, na ziada za multimodal.
Kulinganisha Uzoefu: Hisia dhidi ya Kasi dhidi ya Udhibiti
- Hisia (UX): LM Studio na OpenWebUI zinashinda kwa urafiki. TGWUI ni ya kina zaidi, lakini yenye shughuli nyingi.
- Kasi: vLLM na sehemu za nyuma zilizorekebishwa kama vile exllama/LLMDeploy zinaweza kupiga kelele kwenye maunzi sahihi.
- Udhibiti: Zana za TGWUI na Kobold hukupa visu kwa siku. llama.cpp inakupa uchache na uoanifu.
Kile Muhtasari Unasema (Na Wapi Kuwa na Shaka)
Muhtasari huangazia mara kwa mara Ollama, LM Studio, TGWUI, na vLLM kama misingi mikuu, na kupiga kelele kwa llama.cpp kwa ufanisi na zana za Kobold kwa waandishi. Kuwa mwangalifu na hukumu za ukubwa mmoja, ingawa—maunzi, miundo, na uvumilivu wako kwa usanidi wote ni muhimu zaidi kuliko orodha yoyote ya "Juu 5". Kinachoruka kwenye GPU ya 24GB kinaweza kutambaa kwenye MacBook Air, na kinyume chake ikiwa utachagua hesabu mahiri.
Msimamo Wangu: Ngazi ya Mapendekezo Rafiki
- Anza: LM Studio au OpenWebUI. Pata ushindi haraka.
- Kisha: Jaribu TGWUI ikiwa unataka udhibiti zaidi na programu-jalizi.
- Ifuatayo: Gundua llama.cpp ikiwa unataka nyepesi na kubebeka.
- Kwa Timu: Anzisha vLLM au seva sawa wakati unahitaji usawa wa wakati.
- Kwa Waandishi: Zana zenye ladha ya Kobold na vipengele vya kumbukumbu.
Jambo Moja la Mwisho… (Kwa sababu Kuna Moja Kila Wakati)
AI ya ndani ni kama bustani ya nyuma. Nyanya ya kwanza itakuwa ndogo, na utajivunia bila sababu. Utarekebisha udongo (kuhesabu), mwanga wa jua (VRAM), na maji (vigezo vya sampuli). Na siku moja, utavuta chatbot kamilifu, ya faragha, inayowaka haraka kutoka kwa mashine yako mwenyewe—na utagundua kuwa haurudi nyuma.
Mambo Muhimu Yaliyofupishwa
- Ollama ni nzuri, lakini njia mbadala hung'aa kwa GUI (LM Studio, OpenWebUI), nguvu na programu-jalizi (TGWUI), kasi/kuhudumia (vLLM), ufanisi (llama.cpp), na kusimulia hadithi (zana za Kobold).
- Linganisha zana na maunzi yako na malengo yako; anza kidogo, kisha uongeze.
- Soma kadi za mfumo; akili VRAM; ongeza programu-jalizi polepole.
- Tumia Sider.AI kama msaidizi wako wa utafiti unapokusanya vyanzo na kuunda rasimu kwenye kivinjari—wanariadha wa ndani hufanya uingizaji, Sider.AI hukusaidia kupambana na maneno.
Maswali Yanayoulizwa Mara kwa Mara
Swali la 1: Njia mbadala bora za Ollama kwa Kompyuta ni zipi?
LM Studio na OpenWebUI ndizo njia mbadala rafiki zaidi za Ollama. Hukupa kiolesura safi, kuvinjari rahisi kwa mfumo, na ushindi wa haraka bila uwindaji wa mstari wa amri.
Swali la 2: Njia mbadala ipi ya Ollama ni ya haraka zaidi kwa kuhudumia watumiaji wengi?
vLLM imeundwa kwa ajili ya upitishaji na usawa wa wakati, na kuifanya kuwa chaguo bora kwa matukio ya watumiaji wengi au timu. Inahitaji usanidi zaidi kuliko programu ya kubofya mara moja, lakini malipo ya utendaji ni ya kweli.
Swali la 3: Ikiwa nina laptop ya kawaida, ni zana gani ninapaswa kujaribu kwanza?
Anza na llama.cpp kupitia kiolesura rahisi kama vile OpenWebUI au LM Studio. Tumia modeli ndogo, iliyo na wingi wa biti 4 ya 7B ili kuweka mambo ya haraka bila kuchoma feni zako.
Swali la 4: Mimi ni mwandishi—ni usanidi gani bora wa ndani kwa hadithi ndefu?
KoboldCpp au KoboldAI zinafaa sana kwa usimulizi wa hadithi kutokana na vipengele vya kumbukumbu na zana za wahusika. Text Generation WebUI ni chaguo jingine bora ikiwa unataka programu-jalizi za ziada na urekebishaji wa kina.
Swali la 5: Je, ninaweza kuunganisha UI rafiki na backend yenye utendaji wa juu?
Kabisa. Oanisha OpenWebUI au TGWUI na backend kama vile vLLM au llama.cpp. Unapata kiolesura cha mazungumzo cha starehe huku kazi nzito ikifanyika chinichini.
