መግቢያ: እኔ ለአንድ ሳምንት ጨርሼ ኮምፒውተርዬን እንዲአስተምር ሞክረሁ
መስገድ ጊዜ: አንድ ሰኞ ቀን ሳምንት ኮምፒውተርዬን ትልቅ የቋንቋ ሞዴል እንዲነሳ ሞክረሁ። እኔን እንደ ሳውርዶ ተመን በሚመስል ተርሚናል መስኮት ፊት በቡና እጥፍ ያለ ሰው ሕልም እያደረግሁ እንዲህ እላለሁ፡ “ና! አልቻልህ!” ከOllama ጋር ጨዋታ ካገኘህ—እንደ መሰረታዊ ሁሉንም በኮምፒውተርህ ላይ የ AI ሞዴሎችን ለመከናወን የሚርዝም መንገድ—አንተን ለምን አያጥፉ የሚለውን አስደሳች ስሜት ተሰማህ። ነገር ግን ሌላ ምንጭ ፣ ቀላል ተጠቃሚ ገጽታ፣ ፍጥነት ከፍ ማድረግ፣ ለGPU የበለጠ ድጋፍ፣ ወይም በጥሩ ሁኔታ እንዲተገብር መቆጣጠር ትፈልጋለህ?
የጥሩ ዜና: Ollama ብቻ አይደለም። በ2025 ዓመት በአካባቢ የሚሰሩ ብዙ አማራጮች እና ሞዴል አገልግሎት ሰርቨሮች አሉ ፣ ኮምፒውተርዎን የጊዜ ጉዞ የሚያደርግ ታሪካዊ ተግባር ላይ ማድረግ ይችላሉ። ዛሬ በምን እንደሚጠቅሙ ቤተሰቦች ወይም የCTO ተቋማት ላይ እንደምትሰሙ ተለዋዋጭ የOllama አማራጮችን እንግምጽ።
እንደገና በአካባቢ AI እና በአካባቢ የቋንቋ ሞዴሎች መሣሪያዎች እና አማራጭ ነገሮች ምርምር አደረግሁ። እና Sider.AI ብሎግን እንዴት እንደሚያገለግሉ ሰዎች ለአእምሮ ምርምር እና ለመጻፍ በየቀኑ እንዲጠቀሙ እንደሚገምጠው አየሁ። ይህ ለማን ነው (እና ማን በቀላሉ ሊያለፍ ይችላል)
- በግል ምርጫ የAI ሞዴሎችን ለማስከናወን ይፈልጋሉ ለፍጥነት ወይም እንደ ሞቃት ጊዜ ጊዜ ዋይ ፋይ የየትኛውም ጊዜ እንደ ራኩን በትካሽ መንገድ የሚነሳ ስለሆነ።
- Ollama ሞክረዋል ወይም አውተዋል፣ ለGPU ምንኛ ተስማሚ መሣሪያ እንደሚኖርኝ ወይም ስራዬን የሚቀጥለው ሞክረዋል ይጠይቃሉ።
- ተስማሚ አዘዣዣዎችን ወይም ትእዛዝ መስመሮችን ከፍ የሚወዱ። ሁለቱንም አለን።
ግን በብሩዘር ውስጥ ከAI ጋር ብቻ ለመነጋገር እና ማንኛውንም ቅንብር ከማንም እንዳትናኝ ፣ ይህ ከፍ ሊሆን ይችላል። ለሌሎች ሃራሳ፣ እንዲሁ።
አጭር ዝርዝር: በባህላዊ ባለቤት በሚገኙ ምርጥ የOllama አማራጮች
- LM Studio: ለአካባቢ ሞዴሎች “App Store” ስሜት ከፍ ያለ GUI እና ቀላል እንዲጫኑ። በጣም ቀላል። ሞዴሎችን ለመመልከት እና ለመመምረት ጥሩ።
- Text Generation WebUI (oobabooga): የስዊስ አርማዎች ድር መተግበሪያ—ብዙ ሚዛናት፣ ማስተካከያዎች፣ አካል ቅድመ ቅርጸቶች። ለኃይል ተጠቃሚ ድል እንደ አዳሽ ማዕከል።
- OpenWebUI: ንፁህ እና ዘመናዊ የውይይት ገጽታ እንደ አካባቢ ቢኮንትሮል ማዕከል። Text Generation WebUI ከፍ በላይ አስቸጋሪ አይደለም ነገር ግን አካል እንደ ሁሉም ይሰራል።
- llama.cpp (እና ጓደኞቻቸው): በርካታ መሣሪያዎች በስተቀር ድርጅቱ የተሠራው ታችኛው ደረጃ እንግዳ። መጠን ቆላፊ እና CPU/GPU የሚደግፍ፣ ለአንደኛው ወይም አነስተኛ አውታረ መሣሪያ ጥሩ።
- vLLM: ስለ አሰተዳደር እና ለብዙ ተጠቃሚዎች መጠቀም ከፍ በላይ እንደLab ፣ ቡድኖች ወይም ጥሩ ሙዚቃ ተስማሚ። የፍጥነት መንገዷዊ።
- KoboldCpp / KoboldAI: ትውልድ ስራዎች፣ ተጫዋቾች እና ረጅም ጊዜ ፈጠራ ስብሰባ የሚሻል ስራዎች። ጥርጥር ምንጭ እና ፍቅር መሣሪያዎች።
- LMDeploy እና ሌሎች የመጠቃሚ እና አሰጣጥ ስታክ: ለGPU ላይ ከፍ ያለ አፈፃፀም፣ ትክክለኛ ማስተካከያ ፈልጋለህ።
የምርጫ ካርታ: ትክክለኛው የሚያስፈልግህ ምንድነው?
- “አዲስ ነኝ። እባክህ አትጠናቀቅ የተለያዩ እንሰራለሁ።” LM Studio ወይም OpenWebUI. ከተስማሚው ገጽታ እና ከአነስተኛው ስታክ መሰረት እዚህ ጀምር።
- “እባክህ ያለ ሆነ ቁልፍ እና ገላጭ አቅርቦትህ።” Text Generation WebUI. ኢንስተክቴምንት መቆጣጠሪያዎች፣ ቅድመ አቀማመጦች፣ ፕላግኖች እና ሌሎች ትርፍ ይኖራቸዋል።
- “ኮምፒውተርዬ ከንቱ ነው ነገር ግን አዝኛለሁ።” llama.cpp. አነስተኛ እና በፍጥነት ተጠቃሚ ሺህ ክልሎች በሚገባ ይሰራል።
- “ለቡድን ሞዴሎችን እፈልጋለሁ።” vLLM እና ሌሎች ከባለሞያ ሰርቨሮች። በየጊዜውና በተደጋጋሚ መጠቀም አስፈላጊ ነው።
- “ታሪካዊ ጽሁፍ እና ረጅም ጊዜ አስቆጣጠር እፈልጋለሁ።” Kobold የተነደፈ መሣሪያዎች ስለ ታሪካዊ AI እና ቅድመ አቀማመጥ ይበልጣሉ።
ለምን ብቻ Ollama አትቀጥልም?
Ollama ጥሩ ነው ፣ በቀላሉ ለአንድ ተርሚናል እና ለቀላል ሞዴሎች ለመጫን። ነገር ግን አንደኛው መልኩ ይሰራል—ሞዴል ቅርፀቶቹ ፣ የሚያስተዳድሩት መረጃዎች፣ የሚጠቀሙት ጊዜ። ከፍተኛ GUI ፣ የተባበሩ ተጠቃሚዎች አስተዳደር ወይም ለGPU የበለጠ እና በጥሩ ሁኔታ የተገነባ ከፍተኛ መንገድ ትፈልገዋለህ ከሆነ ሌላ ቦታ ማድረግ እርስዎን ያሳሰባል። እና ከነዚህ አንዱ (OpenWebUI ለምሳሌ) የተመረጠ የሞዴል ፊት አምባ ካለዎት ተወዳጅ ተስተናጋጅ የእናት ማዕከል ተፈላጊ ነው።
እንግምጽ አማራጮችን በPogue ቅጥ እንጀምር
LM Studio: ለአካባቢ ሞዴሎች ፍቅር ቤተ መግቢያ
Ollama እንደ ማሽከርከር መንገድ ከLM Studio ካፌ ነው ያሉበት። መተግበሪያን ያውርዱ፣ ሞዴሎችን ተመልከትና ስለመጫን እንድትጫኑ ጠቁሙ። እንዲሁ በትክክል ቅኝ ነገሮችን እንዳትወክል ቅኝ ስርዓት ላይ እንደሚሰራ ግሩም ነው። በአፒ ሲፈልግ ያቀርባል፣ ግን YAML ማማል አያስፈልግም። ለብዙ ሰዎች ይህ የሚመስለው “አካባቢ AI እንደ ተለማዶ መተግበሪያ” ነው። ስለዚህ በምርጥ ዝርዝሮች ይታያል።
ጥሩ ነገሮች
- ወጣቶች ለእንደገና ማስተላለፊያ ቀላል መንገድ
- ለአካባቢ ግልነት ሰላም፣ በምንም ስራ ላይ አያነሳም
ክፍል ከስራ ውጭ ነው
- አፈፃፀም በሃርድዌርዎና በምርጡ ሞዴል ይመሰረታል
ለታማኝ የሚፈልጉ ሰዎች በቅኝ ፋይሎች ማረከም ያላቸው ፍላጎቶች።
Text Generation WebUI (oobabooga): የAI ኮክፒት መተግበሪያ
ይህ አካባቢ የሚቀርብ ድር መተግበሪያ ነው። እንደ ኮክፒት፡ ቁልፎች፣ ስላይደሮች፣ አካል አዘጋጆች፣ የመዝገብ ቅንብሮች፣ የተጨማሪ ፕላግኖች እና ሌሎች። ሲጻፉ ወይም ጥያቄ በማድረግ ወይም በሚጫወቱ ጊዜ ጥሩ ነው። በተለያዩ አካባቢዎች—llama.cpp ፣ exllama ፣ CUDA እና ሌሎች—ሊጣል ይችላል። ለሁሉም የፍላጎት መሣሪያ ነው፣ ነገር ግን ከተማሪ ጋር እንደ ጓደኛ ነው።
ጥሩ ነገሮች
- በጣም እቅድ የተሞላ እና ፕላግኖች ስርዓት
- በብዙ ማስተከላየቶች እና ቅርፀቶች ይሰራል
አዳነት
- አንድ እንደ “አገጣጠም እና ሂደት” በሚባል መተግበሪያ ስር ፈጣን አይደለም
- ብዙ አማራጮች አዲስ ተጠቃሚዎችን ሊያስደንቅ ይችላል
ለኃይል ተጠቃሚዎች፣ ጻፎችና ኩዞርስ የሚፈልጉ ጨዋታ ቦታ።
OpenWebUI: አንጻር ዘመናዊ ውይይት እና ሞዴሎችህ
የአነስተኛ ስርዓት የሚቀርብ ቆንጆ ውይይት መተግበሪያ አስባሪ። ከTGWUI ይቀላል ነገር ግን ከአካባቢ እንደመጡ ሞዴሎች ጋር በጥሩ ሁኔታ ይቀላቀላል። ለቡድኖች የተስተናጋጅ ተግባር ያለው የተደጋጋሚ እና ቀላል አዘጋጅ ያገኙ።
ጥሩ ነገሮች
- ዘመናዊ፣ ተዘራሪ የውይይት ተጠቃሚ ልምድ
- በአካባቢ ኔትወርክ ወይም ለትንሿ ቡድን አስተዋጽኦ ቀላል ነው
አዳነት
- ከTGWUI የታላቅ ቁልፎች ቁጥር ይገኛል
ለጥሩ ግል ትክክለኛነት እና ቀላል ቁጥጥር ይፈልጋሉ.
llama.cpp: ትንሽ መናበሪ እንደ ሚችል
ቴክኖሎጂው ከ behind ነው። llama.cpp የሲ/ሲ++ እንደሚሰራ በስራ ላይ የታዋቂ አፈፃፀም ያለው ሞዴል እንዲያስከፍል ይሁን። ለመቀመጫ መሣሪያዎች፣ ለMacBook ፣ ለmini-PC እና ለRaspberry Pi ተግባሪ በጣም ተስማሚ ነው። ብዙ ሌሎች መሣሪያዎች የመሠረት ነው።
ጥሩ ነገሮች
- ለውስጣዊ ወይም ከመስመር ውጭ ስታክ ምርጥ
አዳነት
- ራሱ ሙሉ መተግበሪያ አይደለም; ግሩም GUI ወይም ቆሻሻ ይፈልጋሉ
- ከፍተኛ GPU-ን የተሻለ ሰርቨሮች በትልቅ ሞዴሎች ላይ አንዳንድ ጊዜ ይቀይራል
ለተመናበሪዎች እና ለአነስተኛ እንግዳ ፣ ፈጣን እና አካባቢ የሚፈልጉ
vLLM: ለከባድ ትራፊክ ፍጥነት መንገድ
ለፍጥነት እና ለተጠቃሚ ብዛት እንግዲኛ vLLM ይነሣል። በብዙ ተጠቃሚዎች፣ በብዙ ጥያቄዎች ወይም የጊዜ ጥረት አተጋገም ላይ ሲስራ ብሎኝ የተሻለ ነው። እንደ ቡድን ሞዴል ሰርቨር ለመሆን ወይም እንደ ካርዲዮ ማድረግ የማይቆም ሰርቨር ሲሆን ይጠቅማል።
ጥሩ ነገሮች
- ፍጥነት እና ከፍተኛ የመዋቅር ተጠቃሚ ቁጥር
- ለብዙ ተጠቃሚዎች ወይም በስራ ላይ አስፈላጊ ነው
አዳነት
- በተጨማሪ ማስተካከያና የስራ እውቀት ይፈልጋል
- ለአንድ ሰው የውይይት መግቢያ ብቻ ጥቂት ነው
ለሰራተኞች፣ ለጥናቶች ወይም ትንሿ ኩባንያዎች የሞዴሎችን አስተዳደር የሚያደርጉ
KoboldCpp / KoboldAI: የታሪክ ታራቂ መሣሪያ
ለታሪካዊ ጽሁፍ እና ተጫዋቾች ማዕከላዊ የሆነ የረጅም ጊዜ ትምህርት፣ የባለጌ ስለት ማስታወሻዎች እና የአካል ማስታወሻ ያካትታል። ከAI ለቅሶ የተለያዩን ግልፅ ያሰማል, እንደ ሁሉም ተራ ምስሎች።
ጥሩ ነገሮች
አዳነት
- ምርጥ ውጤቶች እና መለያየት ፣ ሞዴል ምርጫ ያስፈልጋል
ለጻፎች ሲሉ ከአካባቢ AI በተለያዩ ከካሳ
LMDeploy እና ፍጥነት የተመረጡ ስታክዎች: ፍጥነት ሲሆን ብረት ተጨማሪዎች።
LMDeploy እና ከእነዚህ ዝርዝሮች በተለይ ለውስጣዊ ድጋፍ ፣ ክፍለ ግፍጥ መንገዶች እና GPU ጥቅም። ለቅን ምርመራዎችና ያልተለመደ ፈተና መወዳደር።
ጥሩ ነገሮች
- ለታሙስ ሃርድዌር መሣሪያዎች እንደሚሰራ መተግበሪያ
- ለሙከራ ስርዓት እና ከGPU በላይ አናባቢ ነው
አዳነት
ለአሰላለፊ ክለክታዎች እና ለምርምር ፈላጊዎች
ስለ “አካባቢ” AI አንድ ቀላል እውነታ ማረጋገጫ
አካባቢ ማለት በሙሉ ግል ማለት አይደለም። አንዳንድ መተግበሪያዎች ሞዴሎችን ከኢንተርኔት ሊያደርሱ ይችላሉ፣ አዳዲስ ዝግጅቶችን ሊያገኙ ወይም ለድምፅ፣ ለእይታ ወይም ለእባክህ መሳሪያዎች መጠቀም ይችላሉ። እንደ ተለባበሱ እባክህ በሙከራ ጊዜ አየር ሞድ አቋርጥና ከመስመር ልዩ ሞዴሎችን ጠቀምና ቅንብሮቹን እንደምትያዝ እንደ ተፈላጊ አንገብጋቢ። ብዙ እነዚህ መተግበሪያዎች ከመስመር ውጭ ብቻ ብቻ ናቸው ፣ ነገር ግን እባክህ ከመስመር ውጭ በሙሉ ሂደት ፈቃደኛ ከሆነ ብቻ።
ከሞዴል ማምለጥ: የሶስት አወቃቀር መሠረት
- ትልቅ ሞዴሎች (70B+): በሰማይ ተጠያቂና በተለያዩ RAM/GPU VRAM ይፈልጋሉ፣ ከተስተዋቢሉ መኪና ከሙቀት ያልበለየ።
- መካከለኛ መጠን (7B–13B): በኮምፒውተሮች በተገቢ የGPU VRAM ያላቸው የማቅረብ ስፍራ፣ ጠቃሚ።
- ትንሽ (3B–4B): በትንሽ ሃርድዌር ፈጣን ነው። ለአንዳንድ ሥራዎች የሚቀርበው ነገር ነው ፣ ግን አንዳንድ ጊዜ የውሻዎ መካከል ስም ይፈልጋል።
ከዳታ የጋራ ስራ ጀምር። ከ7B ሞዴል ስርዓት በስራ ላይ ያስከትል እና እስከ አውታረ አየር ከስራ ላይ ያለ ሲመነጭ።
ሃርድዌር እውነታ: አስሰውር ፈሳሽ
- GPU VRAM ንጉሰ ነው። 8GB ከሆነ በመጠን በጥንቃቄ እንደ 13B ሞዴል በኩርጭት ይሰራል።
- RAM ሞዴሎችን ለማስጫን አስፈላጊ ነው፣ ነገር ግን VRAM የፍጥነት ጨዋታ መንቀሳቀስ አይነት ነው።
- CPU በllama.cpp መሣሪያ ላይ ሞዴሎችን ማስከፈት ይችላል ፣ ነገር ግን እንደ ድምፅ ፍራፍሬ አይሆንም። ይህ እረፍት ጉዞ ነው።
ሁለት ሴቶች ተቋማት፡ እውነተኛ ሁኔታዎች
አሰፋዩ ፈጣጣ
- ግቦች፡ ጽሁፎችን ማውጣት፣ ሃሳቦችን ማቅረብ፣ YouTube መተግበሪያ መመሪያ በመካተት አካባቢ።
- ምርጫ፡ LM Studio ወይም OpenWebUI ለተመራጭ ፊት ማንበብ።
- ሞዴል፡ ለፍጥነት 7B አጠቃቀም በ4-ቢት መጠን ያለ
- ማስታወሻ፡ እባክህ ትንሽ ጥቃቅሎችን እና በግል አድርጉ። ቀይሮችን ለሮም እንደምትለው ተቀምጣ ይሽሳላል።
የቤት ላብ ታሪክ፡
- ግቦች፡ ብዙ ተጠቃሚዎች፣ ምናልባት የቤተሰብ wiki ወይም ለኮድ አገልግሎት።
- ምርጫ፡ vLLM እንደ ባክንድ ሰርቨር፣ OpenWebUI እንደ ውይይት ፊት ማንበብ።
- ሞዴል: ለሚመከር መካከለኛ ቁጥር። ለእንቅስቃሴ ስራዎች ልዩ የኮድ ሞዴል አስብ።
- ማስታወሻ፡ በቅጥር እና ከቅጥር ውጭ በሚሆን አሰልጣኝ ከፍ ከሆነ ያስተዋይ።
የታሪክ ጻፊ፡
- ግቦች፡ ረጅም ጽሁፎች እና የተአምር አስቆጣጠር።
- ምርጫ፡ KoboldAI/KoboldCpp ወይም TGWUI የማስታወሻ አባላት ጋር።
- ሞዴል፡ የታሪክ ተስማሚ እንደ ሆነ እና ፈጣን ለማሻሻል ትንሽ ይሞክሩ።
- ማስታወሻ፡ የምድር ማስታወሻዎችን እና የባለስልጣናት ካርዶችን ይጠቀሙ። አእምሮዎ በጣም የፍጥረት መተግበሪያ ነው።
ስለ መልክ ጥቂት ፣ ምስሎች እና ድምፅ ምን ይታያል?
አካባቢ የAI ተቋማት በሳምንት እየተጨመሩ ነው። አንዳንድ የUI አፕሊኬሽኖች ለቅርጸ ምስሎች፣ ለTTS እና ለSTT እንደ መሳሪያዎች ማስተካከያ ያቀርባሉ። እንደ ተወደዱ የr/LocalLLaMA ማህበረሰብ በልዩ መንገዶች ለጽሑፍ፣ ድምፅ እና ምስል ፍጠራ ድጋፍ ያቀርባሉ።
እዚህ ተደንቀው፦ Sider.AI (እኔም ይህን ብሎግ የሚያከናውኑ) በፍለጋ፣ በጽሁፍ እና በማዕከላዊ ዳታ በሚመከር ጊዜ የሚረዳ ምርጥ እርዳታ ነው። አካባቢ ሞዴል አውታረ ሲርቨር አይደለም፣ እነዚህን አማራጮች ያስከፍላሉ፣ ግን ሲሆን የሚያስተናግድ በሆነ ከምንጭ መንገዶች፣ ቁጥር አንዱን ከሰነዱ በቀር ከሰጣቸው ፣ ሰውን ከሚረዳ ጽሁፍ ውስጥ በጥሩ ሁኔታ አሽአሽ ነው። እነሱ የመሣሪያ መንገዶችን ለአዳዲስ ተወካዮች እና ለእውቀት ዳሰሳ በተደጋጋሚ እንደሚያስተናግዱ ይታወቃል። እንደሚያሳርፉበትና እንዴት እንደሚመለሱ ምንጮች
- ሞዴል ሱፑ፡ በተለያዩ ቅርፀቶች (GGUF, Safetensors ወዘተ) እና በመጠን ለፍላጎት ሊታገስ ይችላሉ። ከተመረጡ ሞዴል እና በመሣሪያ የተሰማሩበትን ቅርፀ ቃል ይጀምሩ።
- VRAM ማልዋል፡ ሞዴል ከሚሰራ ቢበቂም በሪት ውስጥ ከ5 ደቂቃ በኋላ ይጠፋል። በVRAM ራስሰርየውና በቅድሚያ ክልል ይደርስ።
- ፕላግን ኮንተነር: አንድ እንደ ፕላግን ተጨማሪ እንደሚገኝ እንዲህ አድርግ። አፈፃፀም ከማጣት አዳዲስ ተግባሮችን ታወቃለህ።
- አዳዲስ እጦቤኞች፡ በመሣሪያዎችና UI መካከል የሚከሰቱ በርካታ ስህተቶች። ተዋሀድ ስርዓቶችን ሲከናወን ተወስዶ ቅንብሮችን አስቆጣጠር።
አንድ ትንሽ መመሪያ: Ollama ማሻሻያ ምን ማድረግ እንደሚቻል
ሁኔታ፡ Ollama አጠቃላይ ገጽታ እና ተጨማሪ ቁጥጥር የሚፈልጉት ነው።
- ሞዴሎችን ተመልከትና ለመጀመሪያ 7B አምርተው ይጀምሩ።
- ውይይት እና ለምሳሌ የ sampling መለኪያዎች (temperature, top-p) ገምግም በስላይደሮች።
- API ከፈለጉ ሰርቨር ሁኔታን እንዲክትናዊ ያድርጉና ደንበኞዎን localhost ላይ ያድርጉ።
- ወይም OpenWebUI + llama.cppን ይሞክሩ
- ከመሣሪያዎ ጋር እንዲሰራ አንድ የllama.cpp ቅርጽ ያግኙ።
- GGUF ሞዴል ያግኙ (ግምገማ ይጀምርበት 7B, 4-ቢት).
- OpenWebUI ይከናወኑና llama.cppን እንደ ባክንድ ያዋቅሩ።
- ንፁህ ውይይት ገጽታን በሞዴል ማሽላት ይደሰቱ።
- ወይም ፍጥነትን ሙሉ ማጠቃለያ፡ TGWUI
- Text Generation WebUI ያስገቡ (የ repository መመሪያዎችን ተከትሉ፤ በአእምሮ ውስጥ ያታግሱ).
- ከGPU በሚሆኑ CUDA, ROCm ወይም Metal የተስማሚ ባክንድ ይምረጡ።
- ለማስታወሻ እና ለሜሞሪ ፕሮምት እና ለሙሉ የሚቀይሩ ባለሙዚቃ አፕሊኬሽኖችን ይጎብኙ።
የተለያዩት ልምዶች: ስሜት ግንዛቤ፣ ፍጥነት፣ ቁጥጥር
- ስሜት (UX): LM Studio እና OpenWebUI የመልካም ቁጥር ይዞ ይራዥ ናቸው። TGWUI ጠቃሚ ግን ብዙ ነገር ይጠቀማል።
- ፍጥነት: vLLM እና ከ GPU በላይ exllama/LLMDeploy ፍጥነት በጣም ከፍተኛ ናቸው።
- ቁጥጥር: TGWUI እና Kobold መሣሪያዎች እረኛ የሆነው አቅርቦት ይሰጣሉ። llama.cpp አነስተኛነት እና ተስማሚነት ይሰጠዋል።
እውነተኛ እና ከተለያዩ ምንጮች ዕድል ማሳሰቢያ
በተደጋጋሚ የሚያገለግሉት Ollama, LM Studio, TGWUI እና vLLM ናቸው፣ ከllama.cpp ጋር በፍፁም አስፈላጊነት ለKobold መሣሪያዎች ጻፎች ተጋላጭ ሆነው እንዳሉ። በአንድ ዓይነት ሁሉንም ስሜት ማስፈሪያ እንዲደረግ በጣም አይመካም። - ሃርድዌር፣ ሞዴሎችና እርስዎ የማስተካከያ ፍላጎት ከተለያዩ በተቻለ ሁኔታ ይበልጣል። 24GB የGPU ያለው ነፃ ነገር ለMacBook Air ሊደርስ ይችላል እና በተመጣጣኝ ሞዴሎች ሲመርጥ በዓለም ይቻላል።
የእኔ አስተያየት: የተመራ ምንጭ ተከታታይ ምክር
- ጀምር: LM Studio ወይም OpenWebUI. ፈጥነኛ ስኬት ያግኙ.
- ከዚያ: TGWUI ሞክሩ ተጨማሪ ቁጥጥርና ፕላግኖች ለማግኘት.
- ቀጥሎ: llama.cpp ካለን ቀላልና የተለዋዋጮች አማራጭ.
- ለቡድኖች: vLLM ወይም ከእኩልም የሰርቨር ስታክ.
- ለጻፎች: ከKobold መሣሪያዎች ጋር ከረጅም ጊዜ አስቆጣጠር.
አንድ አስቀድሞ ነገር... (ምክንያት ሁልጊዜ አለው)
አካባቢ AI እንደ የመከር መኪና ነው። የመጀመሪያ ቲማቶ ትንሽ ነው፣ እናም በጥሩ ስሜት ታደክናላችሁ። ምድር (quantization), ፀሐይ (VRAM) እና ውሃ (sampling params) በቅኝ ሁኔታ ታደርጋላችሁ። እና አንደኛ ቀን በራስዎ መኪና በግል ፍጥነት የሚሰራ ቻትቦት ታደርጋላችሁ—እና ከዚያ ወደ ኋላ አትመለሱ።
ዋና መወያየቶች አጭር እሴቶች
- Ollama ጥሩ ነው ፣ ነገርግን ሌሎችን አማራጮች ለGUI (LM Studio, OpenWebUI), ለኃይልና ፕላግኖች (TGWUI), ፍጥነት/ማስተዳደር (vLLM), በስርም ማስተናገድ (llama.cpp) እና ለታሪክ ጻፎች (Kobold መሣሪያዎች) ይሻላሉ።
- መሣሪያዎችን ከሃርድዌር እና ከግብሮቻችሁ ጋር ይገናኝ፤ አነስተኛ በመጀመር ከዚያ ከፍ አድርግ።
- ሞዴሎችን አንብብ፤ VRAMን ተጠባበቅ፤ ፕላግን በአንድ ጊዜ ያክል።
- በምንጭ እና ማብራሪያ ላይ የምታከናውን ብሩዘር ዘንድ ይህን Sider.AI እንደ ርዳታ ይጠቀሙ። አካባቢ ሰርቨሮች በሙሉ እያስከፈሉ የ Sider.AI እንደ ርዳታ መርሐ ግብር ይገልጻሉ።
ጥያቄዎች እና መልስ
Q1: ለማነፃፀሪያዎች ምን ያህል ከOllama የሚጠቅሙ አማራጮች ማነው?
LM Studio እና OpenWebUI ከOllama በጣም ተወዳጅ እና ቀላል ናቸው። ንፁህ ገጽታ፣ ቀላል የሞዴል ማሳሰቢያ እና በትክክል ውጤቶች እንዲያገኙ ያስተዋውቃሉ።
Q2: ለብዙ ተጠቃሚዎች አገልግሎት በፍጥነት የሚሰራው የOllama ማን ነው?
vLLM በትርፍና በተወዳጅ ተጠቃሚዎች በሚሰሩበት ስራ ላይ ለሚሰራ እንደ ተመረጠ ነው። ከአንድ ጠቅ መተግበሪያ ይልቅ ብዙ ማስተካከያዎች ይፈልጋሉ እና አስፈላጊ አፈፃፀም እንደነበር ይሆናል።
ጥያቄ 3፡ መጠነኛ ላፕቶፕ ካለኝ በመጀመሪያ የትኛውን መሣሪያ መሞከር አለብኝ?
በቀላል የፊት ገጽታ እንደ OpenWebUI ወይም LM Studio በኩል በllama.cpp ይጀምሩ። ደጋፊዎችዎን ሳይጠበሱ ነገሮችን በፍጥነት ለማስቀጠል ትንሽ፣ 4-ቢት quantized 7B ሞዴል ይጠቀሙ።
ጥያቄ 4፡ እኔ ጸሐፊ ነኝ - ለረጅም ጊዜ የሚቆዩ ታሪኮች ምርጡ የአካባቢ ማዋቀር ምንድነው?
KoboldCpp ወይም KoboldAI በማስታወሻ ባህሪያት እና በባህሪ መሳሪያዎች ምክንያት ለታሪክ አተራረክ ያበራሉ። ተጨማሪ ተሰኪዎችን እና ጥልቅ ማስተካከያ ከፈለጉ Text Generation WebUI ሌላ ጠንካራ አማራጭ ነው።
ጥያቄ 5፡ ወዳጃዊ UIን ከከፍተኛ አፈጻጸም የጀርባ ፕሮሰሰር ጋር ማጣመር እችላለሁ?
በፍጹም። OpenWebUI ወይም TGWUIን እንደ vLLM ወይም llama.cpp ካሉ የጀርባ ፕሮሰሰር ጋር ያጣምሩ። ከባድ ስራው ከውስጥ በኩል በሚከናወንበት ጊዜ ምቹ የሆነ የውይይት በይነገጽ ያገኛሉ።
