ትንሹ የአለን ኪይ ሳይኖር የ IKEA የቤት ዕቃዎችን ለመገጣጠም ሞክረው ያውቃሉ? ልክ እንደዛው ትክክለኛ መተግበሪያ ከሌለ በአካባቢዎ AI ማስኬድ ነው። ሞዴሉ (መደርደሪያው)፣ ላፕቶፑ (ሳሎን) አለዎት፣ እና መሳሪያዎቹ እስኪመጡ ድረስ ምንም ነገር አይገጥምም። የዛሬዎቹ መሳሪያዎች፡ Ollama እና LM Studio ናቸው። አእምሮዎን - ወይም መረጃዎን - ወደ ደመናው ሳይልኩ በትልቅ የቋንቋ ሞዴሎች (large language models) በማሽንዎ ላይ ለማሄድ ሁለቱ ታዋቂ መንገዶች ናቸው። ከሶፋው ስር ወዲያውኑ የማያጡት የአለን ኪይ የቱ ነው?
ወደ ተግባራዊ ነገሮች እንግባ። ሁለቱንም በስራ ላፕቶፕ ላይ ጫንኳቸው፣ የተለመዱ ጥያቄዎችን ሞከርኩ (አንድ ጽሑፍ ማጠቃለል፣ ኢሜይል ማዘጋጀት፣ “ኳንተም ኮምፒውቲንግን ድመት እንደሆንኩ አስረዳኝ”)፣ እና በትላልቅ ሞዴሎች እና በተደጋጋሚ ስራዎች ፈተና ውስጥ እንዲያልፉ አደረግኳቸው። እንዲሁም ጥቂት የገንቢ ጓደኞቼን፣ ስለ AI ለማወቅ የሚጓጉ ጥንድ ጸሃፊዎችን እና “በመግቢያ ምንም ነገር አላምንም” የሚል አንድን ሰው አናግሬያለሁ።
ማስጠንቀቂያ፡ ይህ የሁለቱ ንጽጽር ነው፣ የኩምባያ ክበብ አይደለም። እያንዳንዱ የት እንደሚያሸንፍ፣ የት እንደሚደናቀፍ እና እርስዎ ባለሙያ፣ ከፍተኛ ተጠቃሚ ወይም የ ChatGPT ስሜት ያለ ምዝገባ የሚፈልጉ ሰው መሆንዎን ላይ በመመስረት የትኛውን እንደሚመርጡ እነግርዎታለሁ።
ለምን በአካባቢ ላይ የሚሰራ AI (local AI) አሁን ተፈላጊነትን እያገኘ ነው (እና ለምን እርስዎ ግድ ሊላችሁ ይገባል)
- ግላዊነት፡ የእርስዎ ውሂብ በዲጂታል ለስላሳነት (digital smoothie) እንደ አገልጋይ እርሻ ውስጥ ከመንሳፈፍ ይልቅ በመሳሪያዎ ላይ ይቆያል።
- ፍጥነት፡ ሞዴሉ ከተጫነ በኋላ በተለይ ለአነስተኛ ሞዴሎች ምላሾች ፈጣን ሊሆኑ ይችላሉ።
- ቁጥጥር፡ ሞዴሉን (Llama 3, Phi-3, Mistral, Qwen)፣ መጠኑን እና እንዴት እንደሚሰራ ይመርጣሉ።
- ዋጋ፡ ከማውረድ በኋላ ግምገማ ነፃ ነው - ልክ መሰረዝዎን እንደረሱት የዥረት አገልግሎት በድብቅ የሚመጣ ክፍያ የለም።
Ollama እና LM Studio፡ በአጭሩ እና በማያሻማ መልኩ
- Ollama፡ አነስተኛነትን የሚያጎላ፣ ለገንቢዎች ተስማሚ፣ በትእዛዝ መስመር ላይ የሚሰራ፣ ለስክሪፕቶች እና ለአገልጋዮች በጣም ጥሩ ነው። ልክ፡ “git for models” ብለው ያስቡ።
- LM Studio፡ ወዳጃዊ UI ያለው የተስተካከለ ዴስክቶፕ መተግበሪያ፣ አብሮ የተሰራ የውይይት መስኮት እና ቀላል ሞዴል ማሰሻ። ልክ፡ “App Store for local LLMs” ብለው ያስቡ።
ልክ እንደ አካባቢያዊ ChatGPT የሚሰማዎት የአንድ መስኮት ተሞክሮ ከፈለጉ LM Studioን ይምረጡ። አንድ ትዕዛዝ በመጠቀም ከሌሎች ነገሮች ጋር የሚገናኝ መሣሪያ ከፈለጉ Ollamaን ይምረጡ - እና ተርሚናልን መጠቀም አይጠሉም።
እንዴት እንደሞከርኩት (በሌላ አባባል፡ ላፕቶፔ መስዋዕትነት ከፍሏል)
- ሃርድዌር፡ ባለ 8-ኮር ሲፒዩ፣ 32 ጂቢ ራም እና መካከለኛ ደረጃ ጂፒዩ ያለው 14 ኢንች ላፕቶፕ። ነገሮች የት እንደሚበላሹ ለማየት 16 ጂቢ ራም ባለው ቀጭን ማሽን ላይም ሞክሬዋለሁ።
- ሞዴሎች፡ Llama 3 8B እና 70B (የተቀነሰ)፣ Mistral 7B፣ Phi-3 Mini ለብቃት ፈተናዎች።
- ተግባራት፡ ኢሜይል ማዘጋጀት፣ የኮድ ትንተና፣ የሰነድ ማጠቃለያ እና “በጀቴን አስረዳኝ” በሚል ሚና መጫወት። እንዲሁም ሞዴሎቹን በአካባቢው አስተናግጄ የብሮውዘር ደንበኛን ወደ እነርሱ አመራሁ።
ውጤት፡ ሁለቱም መሳሪያዎች ሁሉንም ነገር አልፈዋል። ልዩነቶቹ በቅንብር፣ በሞዴል አስተዳደር እና በላቲን ቋንቋ ፊደል ሳይተይቡ ምን ያህል ቁጥጥር እንዳለኝ ላይ ታይተዋል።
ቅንብር እና የመጀመሪያ ሩጫ፡ ‘ሰላም፣ ሞዴል’ (Hello, model) የሚል ቃል ቶሎ እንዲናገሩ የሚያደርግዎት ማነው?
- LM Studio፡ አውርድ፣ ክፈት፣ “Models” ላይ ጠቅ አድርግ፣ ፈልግ፣ አውርድ፣ “Chat” የሚለውን ተጫን። በሚያስደስት ሁኔታ ጠቁሞ ጠቅ ማድረግ ነው። 10 ጂቢ ከመውረድዎ በፊት የመጠን አማራጮችን እና መጠኖችን ማየት ይችላሉ።
- Ollama፡ የሩጫ ጊዜውን ጫን (በማክኦኤስ ላይ brew፣ በሊኑክስ/ዊንዶውስ ላይ ስክሪፕት)። ከዚያ፡
ollama run llama3። ለመጀመሪያ ጊዜ ሞዴሉን ያወርዳል እና አካባቢያዊ አገልጋይ ያስነሳል። በተርሚናል ላይ ምቾት የሚሰማዎት ከሆነ ፈጣን ነው። ካልሆነ፣ “ትዕዛዝን መማር ፈጣን ነው” ማለት ነው።
አሸናፊ፡ LM Studio ለጀማሪዎች። npm install ብለው ሳያለቅሱ ተይበውት ለማያውቁ ለማንኛውም ሰው Ollama ምርጥ ነው።
ሞዴል አስተዳደር፡ ሞዴሎችዎን የማያጡበት መደርደሪያ
- LM Studio፡ የሞዴል ማሰሻ ቅድመ እይታዎች፣ መጠኖች፣ የመጠን ዓይነቶች (Q4_K_M, Q5, Q8, ወዘተ) እና ግልጽ የሆነ “ይህ ምናልባት ለማሽንዎ ጥሩ ነው” የሚል ስሜት አለው። የእርስዎ ኤስኤስዲ መጮህ ሲጀምር ሞዴሎችን ከ UI ላይ መሰረዝ ይችላሉ።
- Ollama፡ ቀላል
Modelfile እና የትዕዛዝ አገባብ ይጠቀማል። እንደ ዶከር ምስሎች ሞዴሎችን መሳብ፣ መለያ መስጠት እና ማስኬድ ይችላሉ። አንዴ ከተረዱት የሚያምር ነው፣ እና ስሪትን ለመቆጣጠር በጣም ጥሩ ነው። ግን ምንም ኦፊሴላዊ GUI የለም፣ ስለዚህ በ CLI ውስጥ ይኖራሉ ወይም በሌላ ነገር ውስጥ ይጠቅልሉት።
አሸናፊ፡ LM Studio ለእይታ ግልጽነት። ከአንድ መስመር ጋር ቅንብርን ከቡድን ጓደኞች ጋር ለመጋራት ለሚፈልጉ ተባዝተው ለሚሰሩ ሰዎች Ollama ምርጥ ነው።
የውይይት ተሞክሮ፡ በአካባቢው ላሉ ሮቦቶች ማውራት
- LM Studio፡ በአካባቢው ChatGPT ክሎኒንግ የሚመስል ስሜት አለው። ለተለያዩ ንግግሮች ብዙ ትሮች፣ የስርዓት ጥያቄዎች፣ የሙቀት ተንሸራታቾች፣ የቶከን ገደቦች እና የማቆሚያ ቅደም ተከተሎች - ሁሉም መስኮቱን ሳይለቁ የሚስተካከሉ ናቸው።
- Ollama፡ በተርሚናል ውስጥ መወያየት ይችላሉ (ይህም በአሮጌው ዘመን ማራኪ ነው)። ነገር ግን እውነተኛው አስማት Ollama በlocalhost ላይ OpenAI-ተኳሃኝ የሆነ ኤፒአይ (API) ማሽከርከሩ ነው። ይህም ማለት ከ OpenAI ጋር የሚነጋገር ማንኛውም መተግበሪያ ከአካባቢዎ ሞዴል ጋር መነጋገር ይችላል ማለት ነው። ሰላም፣ ስነ-ምህዳር።
አሸናፊ፡ LM Studio ለአስቀድሞ ለተዘጋጀ የውይይት UX። ወደ ሌላ ነገር ሁሉ ለመሰካት Ollama ምርጥ ነው።
አፈጻጸም እና ሃርድዌር ተስማሚነት፡ የእርስዎ ማራገቢያ ለጄት ሞተር ማጣሪያ ያቀርባል?
- አነስተኛ ሞዴሎች (7B–8B)፡ ሁለቱም መሳሪያዎች በዘመናዊ ሲፒዩዎች ላይ ጥሩ ይሰራሉ። በጂፒዩ ማጣደፍ፣ በጣም ፈጣን ናቸው።
- ትላልቅ ሞዴሎች (70B)፡ ስምምነትን ይጠብቁ - ዝቅተኛ ቅነሳ፣ ቀርፋፋ ቶከኖች እና ከፍተኛ ራም ወይም ቪራም መስፈርቶች። LM Studio የሚታይ መመሪያ ይሰጣል; Ollama በመለያዎች አማካኝነት ልኬቶችን በቀላሉ ለመለዋወጥ ያስችላል።
- ጠቃሚ ምክር፡ 16 ጂቢ ራም ካለዎት በ Q4 ወይም Q5 ቅነሳ ውስጥ በ 7B ወይም 8B ሞዴሎች ይጀምሩ። 32 ጂቢ+ እና ጥሩ ጂፒዩ ካለዎት፣ ለአንዳንድ ተግባራት 13B ወይም 70B ይሞክሩ።
አሸናፊ፡ አቻ። እውነተኛው ወሰን የእርስዎ ሃርድዌር እና የሚመርጡት የተወሰነ ቅነሳ እንጂ የመተግበሪያው አርማ አይደለም።
ለገንቢዎች ተስማሚነት፡ “ይህን ስክሪፕት ማድረግ እችላለሁ?” የሚለው ጥያቄ
- Ollama፡ ይህ የእሱ ግዛት ነው።
ollama serve አካባቢያዊ የመጨረሻ ነጥብን ያካሂዳል። ollama run ቶከኖችን በሼል ውስጥ ያስተላልፋል። ሞዴሎችን ለመፃፍ፣ የስርዓት ጥያቄዎችን ለመጨመር ወይም LoRAዎችን ለማዋሃድ Modelfile መፍጠር ይችላሉ። በአካባቢው ለሚሰራ AI መሠረታዊ የቧንቧ መስመር ነው።
- LM Studio፡ እንዲሁም አካባቢያዊ አገልጋይ ማስተናገድ እና እንደ OpenAI ያለ የመጨረሻ ነጥብ ማጋለጥ ይችላሉ። ነገር ግን የ UI ኮከብ ነው። ስክሪፕት ማድረግ ይቻላል፣ ነገር ግን ዋናው ክስተት አይደለም።
አሸናፊ፡ Ollama። ቀላል ክብደት ያለው እና ስክሪፕት ሊደረግ የሚችል በመሆኑ በትክክል በሌሎች መሳሪያዎች ውስጥ እንደተካተተ ያዩታል።
ግላዊነት እና ከመስመር ውጭ መጠቀም፡ የእርስዎ ውሂብ፣ የእርስዎ ህጎች
- ሁለቱም በአካባቢው ይሰራሉ እና ሞዴሉን ካወረዱ በኋላ ሙሉ በሙሉ ከመስመር ውጭ ሊሆኑ ይችላሉ።
- LM Studio “እዚህ ምንም ደመና የለም” የሚለውን ተስፋ በግልፅ ያሳያል፣ ይህ ደግሞ ለዚህ አዲስ ከሆኑ የሚያረጋጋ ነው።
- የ Ollama ቀላልነት ምንም ተጨማሪ ነገር ወደ ቤት እንዳይደውል ለማረጋገጥ ይረዳል (ከሞዴል ፍለጋዎች ባሻገር)።
አሸናፊ፡ አቻ። ሁለቱም ለአካባቢው ተስማሚ ሆነው የተገነቡ ናቸው።
የሞዴል ልዩነት እና ዝመናዎች፡ ከ LLM Joneses ጋር መጣጣም
- LM Studio፡ ታዋቂ ሞዴሎች እና ግልጽ መለያዎች ያሉት የተመረጠ የአሰሳ ተሞክሮ። አዳዲስ ልቀቶችን ማግኘት ቀላል ነው።
- Ollama፡ ብዙ የማህበረሰብ ዝርዝሮች እና የተለያዩ ልኬቶች ያላቸው መለያዎች ያሉት ኦፊሴላዊ የቤተ-መጻህፍት ማጣቀሻዎች። ምን እንደሚፈልጉ ካወቁ, እሱን ማግኘት ትዕዛዝ ብቻ ይቀራል።
አሸናፊ፡ ለይፋዊነት ለ LM Studio ትንሽ ጠቀሜታ። ለስፋት እና ለማጋራት ለ Ollama ትንሽ ጠቀሜታ። አዎ፣ ይህ ማስወገጃ ነው። ሁለቱም ጠንካራ ናቸው።
ዕለታዊ የስራ ፍሰቶች፡ አዲስ ነገር ከጠፋ በኋላ የትኛው ይጣበቃል?
ሁኔታ 1፡ አዲስ ቋንቋ ሳይማሩ (ቋንቋው ባሽ ነው) በአካባቢዎ ጸሐፊ ጓደኛ እንዲኖርዎት ይፈልጋሉ። LM Studio ያሸንፋል። ክፈት፣ ሞዴል ምረጥ፣ ተወያይ፣ ወደ ውጭ ላክ። ተጠናቋል።
ሁኔታ 2፡ በአካባቢዎ የሚገኝ ሞዴል ወደ ኮድ አርታዒ፣ ማስታወሻ የሚይዝ መተግበሪያ ወይም ብጁ ስክሪፕት ማዋሃድ ይፈልጋሉ። Ollama ያሸንፋል። እንደ መሠረተ ልማት ነው የሚሰራው። የእርስዎ መተግበሪያዎች በእርስዎ ላፕቶፕ እና በ OpenAI አገልጋይ መካከል ያለውን ልዩነት አያውቁም።
ሁኔታ 3፡ በቡድን ላይ ነው የሚሰሩት። LM Studio ጥያቄዎችን መሞከር ለሚፈልጉ ቴክኒካዊ ላልሆኑ የቡድን አባላት (ዲዛይነሮች፣ የምርት ሰዎች) ለማስጀመር በጣም ጥሩ ነው። Ollama ይህንን ወደ ትክክለኛው ምርት ለሚሰሩ ገንቢዎች በጣም ጥሩ ነው።
ሁኔታ 4፡ እየተጓዙ ነው። ሁለቱም ከመስመር ውጭ ሊሰሩ ይችላሉ፣ ነገር ግን የ LM Studio በይነገጽ በአንድ ትንሽ የአውሮፕላን ትሪ ጠረጴዛ ላይ በአንድ መስኮት ውስጥ ለመቆየት ቀላል ያደርገዋል። ያ ሰው ስለሆኑ ይዘውት በመጡ ተንቀሳቃሽ ሳጥን ውስጥ ኤስኤስኤች (SSH-ing) እያደረጉ ከሆነ Ollama ፍጹም ነው።
የዋጋ ሁኔታ
- ሁለቱም ለመጠቀም ነጻ ናቸው። እውነተኛው ወጪዎ ማከማቻ እና ኤሌክትሪክ ነው - እና ምናልባትም ለላፕቶፕዎ አዲስ ማራገቢያ ሊያስፈልግዎት ይችላል።
- ሞዴሎች ነጻ ናቸው፣ ነገር ግን ጊዜዎ ነጻ አይደለም። “ጠቅ አድርግና ሂድ” የሚል ዋጋ ከሰጡ፣ LM Studio ጊዜ ይቆጥብልዎታል። “ስክሪፕት እና ልኬት” የሚል ዋጋ ከሰጡ፣ Ollama ጊዜ ይቆጥብልዎታል።
የሚያስቸግሩ ነገሮች (ምክንያቱም በእርግጥ አሉ)
- ትላልቅ ውርዶች ድራይቭዎን ሊዘጉ ይችላሉ። ስሪቶችን ሆን ብለው ያስተዳድሩ።
- “ትልቅ ሞዴል = የበለጠ ብልህ” ብሎ ማሰብ ቀላል ነው። ሁልጊዜ አይደለም። ከሰዓት በኋላ 70B ግዙፍ ነገር ከማውረድዎ በፊት ጥቂት 7B–13B ሞዴሎችን ይሞክሩ።
- የላቁ ቅንብሮች አሉ፣ ነገር ግን እንደ git መሰል የሞዴሎች ስሪት ቁጥጥር ከፈለጉ፣ እንደታሰሩ ይሰማዎታል።
- ተርሚናልን የሚፈሩ ተጠቃሚዎች በመጀመሪያው ትዕዛዝ ሊያቋርጡ ይችላሉ።
- የሞዴል ማከማቻ ከሌለ በቀላሉ ማግኘት አስቸጋሪ ነው።
- አብሮ የተሰራ፣ የተጣራ የውይይት ተሞክሮ ከፈለጉ፣ ጓደኛ የሚሆን መተግበሪያ ያስፈልግዎታል - ወይም ሼልዎን መውደድ ይማራሉ።
የትኛው ፈጣን ነው? እውነቱ መልስ፡ ይወሰናል
- ቅነሳ ከ አርማ ምርጫ የበለጠ ትርጉም አለው። በሁለቱም መተግበሪያዎች ውስጥ ያለው Q4 7B ሞዴል ብዙውን ጊዜ ለተደጋጋሚ አጠቃቀም Q8 13B ሞዴልን ያሸንፋል።
- በመሣሪያዎ ላይ የሚደገፍ ከሆነ የጂፒዩ ማጣደፍ ትልቅ ለውጥ ያመጣል። የመድረክዎን ድጋፍ ማትሪክስ ያረጋግጡ።
- የዐውደ-ጽሑፍ መስኮት መጠኖች በሞዴል ይለያያሉ። ትላልቅ የዐውደ-ጽሑፍ መስኮቶች ለረጅም ሰነዶች በጣም ጥሩ ናቸው ነገር ግን ነገሮችን ያዘገያሉ። ሙሉውን ልቦለድዎን ወደ ጥያቄው ውስጥ አይጨምሩ እና መተግበሪያውን አይውቀሱ።
ራስ ምታትን ለማስወገድ ተግባራዊ ምክሮች
- በትንሹ ይጀምሩ፡ በመጀመሪያ 7B ወይም 8B ሞዴል ይሞክሩ (Llama 3 8B, Mistral 7B, Phi-3)። ከዚያ ያሳድጉ።
- የቅነሳ ጣፋጭ ቦታዎች፡ Q4_K ለፍጥነት፣ Q5 ለጥራት። Q8 ሀብቶች ካሉዎት ብቻ - እና ትዕግስት።
- የስርዓት ጥያቄዎች አስፈላጊ ናቸው፡ በሁለቱም መተግበሪያዎች ውስጥ ግልጽ እና አጭር የስርዓት መልዕክት ይፍጠሩ (ቃና፣ ሚና፣ ገደቦች)። ሞዴልዎን ቡና እና የሚሰራ ዝርዝር እንደመስጠት ነው።
- ጥሩ ጥያቄዎችዎን ያስቀምጡ፡ የ LM Studio ትሮች ይረዳሉ; በ Ollama አማካኝነት የጥያቄ ፋይል ያስቀምጡ ወይም ታሪክን የሚደግፍ ደንበኛ ይጠቀሙ።
- የአካባቢ ኤፒአይ (API) አዝናኝ፡ በ Ollama ወይም በ LM Studio የአገልጋይ ሁነታ፣ የሚወዱትን አርታዒ ወይም ማስታወሻ መተግበሪያ ወደ (ወይም ወደሚታየው ወደብ) ያመልክቱ። ድንገት፣ የእርስዎ አካባቢያዊ AI አሁን በእውነተኛ የስራ ፍሰትዎ ውስጥ ይሰራል።
ደህንነት እና ተገዢነት፡ ከ IT ጋር የሚያደርጉት ውይይት
- በአካባቢው መስራት በተለይ ለረቂቆች እና ለውስጣዊ ሰነዶች የውሂብ ነዋሪነትን ለመጠበቅ ይረዳል።
- ቢሆንም፣ የሞዴል ምንጮችዎን እና ሃሾችዎን ይፈትሹ። “በፍፁም-ቫይረስ-ያልሆነ.gguf” የሚል ስያሜ የተሰጣቸውን የዘፈቀደ ክብደቶችን አያወርዱ።
- ለቡድኖች የሞዴል መነሻ መስመር ይፍጠሩ። በ Ollama አማካኝነት ያ Modelfile በስሪት ቁጥጥር ውስጥ ነው። በ LM Studio፣ የሞዴል ስሞችን እና ስሪቶችን ደረጃውን የጠበቀ ያድርጉ እና ቅንብሮቹን ይመዝግቡ።
መላ መፈለግ፡ ምክንያቱም የሆነ ነገር እንግዳ ይሆናል
- ሞዴሉ አይጫንም? ከ RAM/VRAM ውጪ ሊሆኑ ይችላሉ። ወደ ትንሽ ቅነሳ ወይም ትንሽ ሞዴል ይቀይሩ።
- ምላሾች የማይጣጣሙ ናቸው? የሙቀት መጠንን እና top_p ቅንብሮችን ያረጋግጡ። በድንገት ወደ “ፈጣሪ ታዳጊ” ሁነታ አቀናብረውታል?
- እንደ ሞላሰስ ቀርፋፋ ነው? ሌሎች መተግበሪያዎችን ይዝጉ፣ የዐውደ-ጽሑፉን መስኮት ይቀንሱ፣ ሲፒዩ-ብቻ ከ ጂፒዩ-ብቻ ይሞክሩ እና ሃርድዌርዎ የሚወደውን ቅነሳ እየተጠቀሙ መሆንዎን ያረጋግጡ።
- በትልልቅ ፋይሎች ላይ ይወድቃል? ግብዓቶችዎን ይከፋፍሉ ወይም ትልቅ የዐውደ-ጽሑፍ መስኮት ያለው ሞዴል ይምረጡ።
ተወዳዳሪዎች በጨረፍታ፡ ለምን ሁሉንም በአንድ ላይ የሚያጠቃልል አካባቢያዊ ስብስብ አይኖርም?
- በየሳምንቱ የሚፈጠሩ ሌሎች አካባቢያዊ ሯጮች እና UIs አሉ። ትልቁ ቁም ነገር፡ ንቁ ማህበረሰብ፣ መደበኛ ዝመናዎች እና ግልጽ የማምለጫ መንገድ (ወደ ውጭ መላክ/የውይይት ታሪክ፣ አካባቢያዊ ኤፒአይ (API) ወይም ሞዴል ተንቀሳቃሽነት) ያለው ነገር ይምረጡ። ሁለቱም Ollama እና LM Studio እነዚያን ሳጥኖች ይፈትሹ።
Sider.AI የት ነው የሚገባው (እና ለምን በእርግጥ ሊፈልጉት ይችላሉ)
ልብ ሊባል የሚገባው፡ ግብዎ መሞከር ሳይሆን ስራን ማከናወን ከሆነ - ምርምር፣ ማጠቃለል፣ ረቂቅ ማዘጋጀት፣ የኮድ እገዛ - Sider.AI በመረጡት ማንኛውም ነገር ላይ መቀመጥ ይችላል። ከአካባቢያዊ የመጨረሻ ነጥቦች ጋር ይነጋገራል፣ በአካባቢያዊ እና በደመና ሞዴሎች መካከል መቀያየር ይችላል፣ እና ለጥያቄዎች፣ ሰነዶች እና የድር ገፆች ብልህ እና የተዋሃደ የስራ ቦታ ይሰጥዎታል። ትርጉም፡ አነስተኛ ጊዜ መተግበሪያዎችን በመቀያየር፣ ድመቷ ኮዱን እንደፃፈች በማስመሰል ብዙ ጊዜ ያገኛሉ። ሁሉንም ነገር በእጅ ሳያስሩ “ለተግባሩ ምርጡን ሞዴል ለመጠቀም” ከፈለጉ፣ Sider.AI ጥሩ ብልህ መካከለኛ ሽፋን ነው። Ollama እና LM Studio፡ በባህሪያቸው መሰረት ፍርዶች
- አዲስ መጤ፡ LM Studioን ይምረጡ። ወዳጃዊ፣ ምስላዊ ነው፣ እና በጣም አያበላሹትም። በደቂቃዎች ውስጥ ከ Llama 3 ጋር ይወያያሉ።
- ገንቢ፡ Ollamaን ይምረጡ። OpenAI-ተኳሃኝ የሆነ ኤፒአይ (API)፣ Modelfiles እና በአገልጋይ ወይም በዶከር ላይ ቀጥተኛ ማሰማራትን ይፈልጋሉ።
- ተጨናቂ ባለሙያ፡ ትኩረት ላለው ጽሑፍ እና ምርምር በ LM Studio ይጀምሩ። ስክሪፕቶች እና ውህደቶች ከፈለጉ ከበስተጀርባ Ollamaን ያክሉ።
- ቡድን፡ ሁለቱንም ይጠቀሙ። ለሙከራዎች እና ቴክኒካዊ ላልሆኑ ተባባሪዎች LM Studio; ለገንቢዎች፣ የ CI ስራዎች እና የሞዴል መነሻ መስመሮች Ollama።
አሁንም መወሰን ካልቻሉ፣ እዚህ አንድ ፈተና አለ፡ ሞዴልን የሚያሽከረክር እና ቶከኖችን ወደ CLI የሚያስተላልፍ አንድ መስመር በመጻፍ ይደሰታሉ? ወደ Ollama ይሂዱ። ተንሸራታቾች እና ትልቅ የውይይት ቁልፍ ያለው ምቹ መስኮት ይፈልጋሉ? LM Studio።
ማጭበርበሪያ ወረቀት፡ ጥቅሞችን እና ጉዳቶችን የቅጽበታዊ ገጽ እይታ ማንሳት ይችላሉ
- ሞዴልን በቀላሉ ለመፈለግ የሚያስችል በጣም ጥሩ GUI አለው
- ታሪክ እና ቅንጅቶች ያሉት አብሮ የተሰራ ውይይት አለው
- የቀነሱ ቅድመ እይታዎችን እና ውርዶችን በቀላሉ ማየት ያስችላል
- ለጀማሪዎች እና አልፎ አልፎ ለዕለታዊ አጠቃቀም በጣም ጥሩ ነው
- ከ Ollama ያነሰ ስክሪፕት ማድረግ ይቻላል
- ትላልቅ ውርዶች እና የማከማቻ መስፋፋት አለው
- OpenAI-ተኳሃኝ አካባቢያዊ ኤፒአይ (API) ያለው ቀላል CLI አለው
- ለስክሪፕት፣ ለአገልጋዮች እና ውህደቶች በጣም ጥሩ ነው
- ሊባዛ የሚችል ቅንብር ለማድረግ Modelfiles አሉት
- ቀላል ክብደት ያለው እና ትዕዛዞችን ለመጋራት ቀላል ነው
- ምንም ኦፊሴላዊ GUI/የውይይት መተግበሪያ የለውም
- ሞዴልን መፈለግ የበለጠ በእጅ የሚሰራ ነው
ወደፊት የሚረጋገጥ፡ ይህ የት እየሄደ ነው
አካባቢያዊ ሞዴሎች እየተሻሻሉ፣ እየቀነሱ እና እየተለወጡ ናቸው (በጥሩ መንገድ)። ለብዙ ተግባራት ከዛሬዎቹ ከባባድ ሞዴሎች ጋር የሚወዳደሩ ብልጥ 7B–13B ሞዴሎችን እና የተሻለ የጂፒዩ/ሲፒዩ ማሻሻያዎችን ይጠብቁ። በ Ollama እና LM Studio መካከል ያለው አሸናፊ ማን ነው? ምናልባት ሁለቱንም ለተለያዩ ስራዎች የሚያስኬዱት እርስዎ ሊሆኑ ይችላሉ፣ ልክ እንደ ሁለት ዊንች ሾፌሮች ያሉት በጣም ኃላፊነት የሚሰማው አዋቂ።
ማጠቃለያ፡ የእኔ ምርጫ
ለዕለታዊ ላፕቶፔ አንድን መምረጥ ቢኖርብኝ፡ LM Studioን እመርጣለሁ። UI ትኩረቴን ይጠብቃል፣ እና ግጭቱ ወደ ዜሮ የቀረበ ነው። ለማንኛውም አውቶማቲክ፣ ትብብር ወይም የሙከራ ነገር፡ Ollamaን እመርጣለሁ። እኔ መፃፍ፣ መላክ እና ስለሱ መርሳት የምችለው የጀርባ አጥንት ነው።
የመጨረሻ ምክር፡ በትንሹ ይጀምሩ፣ ከሃርድዌርዎ ጋር የሚስማማ ሞዴል ይምረጡ እና እነዚህን መሳሪያዎች በመጀመሪያው ጥያቄዎ አይፍረዱ። አካባቢያዊ AI ልክ እንደ IKEA የመጻሕፍት መደርደሪያ መሞከርን ይሸልማል። እና አዎ፣ የአለን ኪይ በኪስዎ ውስጥ ነበር።
ተደጋጋሚ ጥያቄዎች
ጥ1፡ LM Studio ለጀማሪዎች ከ Ollama ቀላል ነው?
አዎ። LM Studio ንጹህ በይነገጽ፣ የሞዴል ማሰሻ እና ትልቅ የውይይት ቁልፍ ይሰጥዎታል። ተርሚናሎችን የማይወዱ ከሆነ፣ LM Studio አካባቢያዊ AIን እንደለመዱት የውይይት መተግበሪያ እንዲሰማዎት ያደርጋል።
ጥ2፡ Ollama እና LM Studio ተመሳሳይ ሞዴሎችን በአካባቢው ማስኬድ ይችላሉ?
በአጠቃላይ፣ አዎ—ሁለቱም እንደ Llama 3፣ Mistral እና Phi-3 ያሉ ታዋቂ የ GGUF ሞዴሎችን በተለያየ ቅነሳ ይደግፋሉ። ልዩነቱ እንዴት እንደሚያወርዱ፣ እንደሚያስተዳድሩ እና እንደሚያስኬዷቸው ነው፡ GUI በ LM Studio፣ CLI እና Modelfiles በ Ollama።
ጥ3፡ የትኛው ፈጣን ነው፡ Ollama ወይም LM Studio?
ፍጥነት በሩጫው ላይ ሳይሆን በሃርድዌርዎ፣ በሞዴል መጠንዎ እና በቅነሳዎ ላይ የበለጠ የተመሰረተ ነው። Q4 ወይም Q5 ቅነሳ ያለው 7B ሞዴል በሁለቱም ላይ ፈጣን ስሜት ይፈጥራል; ትልልቅ 70B ሞዴሎች በየትኛውም ቦታ ከባድ ስሜት ይፈጥራሉ።
ጥ4፡ በአካባቢው ያሉ ሞዴሎችን ከምወዳቸው መተግበሪያዎች እና አርታዒዎች ጋር መጠቀም እችላለሁ?
አዎ። ሁለቱም ብዙ መሳሪያዎች እንደ OpenAI የሚይዙትን አካባቢያዊ ኤፒአይ (API) የመጨረሻ ነጥብ ማጋለጥ ይችላሉ። Ollama ለውህደቶች በጣም ታዋቂ ነው; LM Studio እንዲሁ የአገልጋይ ሁነታን ይሰጣል።
ጥ5፡ ለምንድነው Sider.AIን ከ Ollama ወይም LM Studio ጋር መጠቀም ያስፈለገው?
Sider.AI የስራ ፍሰትዎን አንድ ማድረግ ይችላል—በአካባቢያዊ እና በደመና ሞዴሎች መካከል መቀያየር፣ ጥያቄዎችን ማደራጀት፣ እና በአንድ ቦታ ላይ ምርምር እና ማጠቃለልን ማስተናገድ። መሞከር ሲጨርሱ እና ስራን ማከናወን ሲፈልጉ እሴት የሚጨምርበት ንብርብር ነው። 
