ሊያሸንፉት የሚችሉት የፍጥነት ሩጫ
ፈጣን የ AI ባህሪያትን ለመላክ ከፍተኛ በጀት አያስፈልግዎትም። GPT‑NeoX ን ለማሰማራት ከሞከሩ እና የ latency ጣሪያዎችን ከመቱ፣ እርስዎ ብቻ አይደሉም፡ የ20B-parameter class models በሸቀጦች GPUs ላይ ከባድ ሊሰማቸው ይችላል እና በ CPUs ላይም በጣም ቀርፋፋ ናቸው። መልካሙ ዜና? ቀጭን፣ ክፍት ምንጭ የ AI models አዲስ ማዕበል ፈጣን ምላሾችን በተወዳዳሪ ጥራት ሊያቀርብ ይችላል—በተለይ ለቻት፣ ወኪሎች፣ retrieval‑augmented generation (RAG) እና ኮድ ኮፒሎቶች።
ይህ መመሪያ በእውነተኛ ዓለም ሁኔታዎች ውስጥ ከ GPT‑NeoX በበለጠ ፈጣን የሆኑ አምስት ክፍት ምንጭ AI models ጎላ አድርጎ ያሳያል፣ ለምን ፈጣን እንደሆኑ ያብራራል፣ እና የት እንደሚበሩ ያሳይዎታል። ወደ ተግባራዊ ምርጫዎች እንሸጋገራለን፡ ቶክናይዘር ቅልጥፍና፣ quantization ድጋፍ፣ KV‑cache አፈጻጸም እና ጠንካራ inference stacks (vLLM, TensorRT‑LLM, llama.cpp)።
የቅጥ ማስታወሻ፡ ተግባራዊ እና ቀጥተኛ። እንደምንመክራቸው ሞዴሎች በፍጥነት እንሄዳለን።
ለምን “ከGPT‑NeoX ፈጣን” ጉዳይ ይሆናል
- ዝቅተኛ latency: ንዑስ‑ሰከንድ የመጀመሪያ token ማለት ይበልጥ ተፈጥሯዊ ቻት እና የተሻለ UX ማለት ነው።
- ከፍተኛ throughput: tokens/sec በመጭመቅ ለእያንዳንዱ GPU ተጨማሪ ተጠቃሚዎችን ያገልግሉ።
- ርካሽ መሠረተ ልማት: ትናንሽ ሞዴሎች ወይም የተሻሉ ኬርነሎች ለተመሳሳይ ትራፊክ ጥቂት GPUs ማለት ነው።
- ለጫፍ የተሻለ ብቃት: CPU/Metal inference በ 4‑bit quantization ተግባራዊ ይሆናል።
GPT‑NeoX በክፍት የቋንቋ ሞዴል ውስጥ ትልቅ ምዕራፍ ነው፣ ነገር ግን መጠኑ (ብዙውን ጊዜ 20B ልዩነቶች) እና የቆዩ ኬርነሎች ተቃውሞዎችን ሊፈጥሩ ይችላሉ። የዛሬዎቹ የታመቁ architectures፣ grouped‑query attention (GQA)፣ sliding window attention እና በጣም የተመቻቹ runtimes ጠረጴዛውን ወደ አዳዲስ አማራጮች ያዞራሉ።
“ፈጣን” ብለን እንዴት ገመገምን
ፍጥነት አንድ ቁጥር አይደለም። እኛ ላይ እናተኩራለን፡
- Time‑to‑first‑token (TTFT): የሚታይ ምላሽ ሰጪነት።
- Tokens per second (TPS): ቀጣይነት ያለው ዲኮድ ፍጥነት።
- የማህደረ ትውስታ አሻራ እና quantization: ለጫፍ እና ዝቅተኛ‑VRAM GPUs የ 4‑bit/8‑bit ድጋፍ።
- የማገልገል stack: ከ vLLM፣ TensorRT‑LLM፣ llama.cpp እና ቀልጣፋ KV cache ጋር ተኳሃኝነት።
የእርስዎ ርቀት በቅደም ተከተል ርዝመት፣ በቡድን መጠን፣ በ GPU አይነት (A100 vs የሸማቾች RTX) እና በከርነል ምርጫዎች ይለያያል። አሁንም፣ በተለመዱ አወቃቀሮች ውስጥ፣ የሚከተሉት ሞዴሎች ለብዙ ተግባራት ጥራትን እየጠበቁ ከGPT‑NeoX በበለጠ ፍጥነት ይሰራሉ።
ከGPT‑NeoX በበለጠ ፈጣን የሆኑት 5 ምርጥ ክፍት ምንጭ AI models
1) Llama 3.1 8B Instruct (Meta)
- ለምን ፈጣን ነው፡ ዘመናዊ ትኩረት (ከGQA ጋር)፣ ቀልጣፋ ቶክናይዘር እና በvLLM፣ llama.cpp (GGUF) እና TensorRT‑LLM ላይ ከፍተኛ‑ደረጃ ድጋፍ። የ8B አሻራ በአንድ 24GB GPU ላይ ቀልጣፋ ያደርገዋል፤ quantized ህንጻዎች በሸማቾች GPUs እና በ CPUs ላይም ይሰራሉ።
- የት ነው የሚበልጠው፡ አጠቃላይ ቻት፣ አጭር‑ወደ‑መካከለኛ contexts ያለው RAG፣ ቀላል ክብደት ያላቸው ወኪሎች እና የምርት ረዳቶች። ጠንካራ መመሪያ‑መከተል።
- እውነተኛ‑ዓለም ጠርዝ፡ M‑series Mac ወይም መጠነኛ CPU server ላይ በ llama.cpp በኩል ባለ 4‑bit GGUF፣ Llama 3.1 8B GPT‑NeoX በሚሳብበት ቦታ ላይ ፈጣን መስተጋብራዊ latencies ማቅረብ ይችላል።
- ከዚህ ጋር ያጣምሩ፡ ለብዙ‑ተከራይ አገልግሎት vLLM፣ ወይም ለጫፍ ማሰማራቶች llama.cpp።
2) Mistral 7B Instruct (Mistral AI)
- ለምን ፈጣን ነው፡ 7B መጠን፣ ጠንካራ ቶክናይዘር ቅልጥፍና እና በታዋቂ runtimes ውስጥ ከፍተኛ‑ጥራት ያላቸው ኬርነሎች። የ Mistral architecture እና ስልጠና በጣም ጥሩ የፍጥነት/የጥራት መገለጫ ያስገኛሉ።
- የት ነው የሚበልጠው፡ አጭር‑ቅጽ ምክንያታዊነት፣ የኮድ ፍንጮች፣ የእውቀት ረዳቶች እና ብዙ ቋንቋዎችን የሚናገሩ አጫጭር መልሶች። ለመገልገያ ተግባራት ብዙውን ጊዜ ከመጠኑ በላይ ይሠራል።
- እውነተኛ‑ዓለም ጠርዝ፡ 4‑bit ያለው Mistral 7B በሸማቾች RTX ካርዶች ላይ በጣም ጥሩ TPS ይመታል። TTFT የውይይት UIs ፈጣን እንዲሰማቸው ለማድረግ በቂ ነው። ወጪ ቆጣቢ ምርት ለማግኘት መነሻ ነው።
- ከዚህ ጋር ያጣምሩ፡ ከፍተኛ throughput ለማግኘት vLLM + PagedAttention፤ ለሞባይል/ጫፍ llama.cpp።
3) Phi‑3 Mini 3.8B (Microsoft)
- ለምን ፈጣን ነው፡ ትንሽ ግን ኃይለኛ። በ3.8B parameters፣ Phi‑3 Mini በ CPUs እና በተቀናጁ GPUs ላይ ኃይለኛ quantization በመጠቀም ይጮኻል፣ አሁንም ወጥ የሆኑ ውጤቶችን እየጠበቀ ነው።
- የት ነው የሚበልጠው፡ Embedded ወኪሎች፣ on‑device ማጠቃለያ፣ ከመስመር ውጭ የኖት ረዳቶች እና ዝቅተኛ‑ኮምፒውተር RAG። ከጥሬ አቅም ይልቅ ለ latency እና ወጪ ቅድሚያ መስጠት ሲኖርብዎት ተስማሚ ነው።
- እውነተኛ‑ዓለም ጠርዝ፡ የመጀመሪያ‑token latency በሸቀጦች ሃርድዌር ላይ ፈጣን ሊመስል ይችላል። በተመሳሳዩ አወቃቀሮች ውስጥ ከGPT‑NeoX ከ2–3x throughput ብዙ ጊዜ ያያሉ።
- ከዚህ ጋር ያጣምሩ፡ ለዊንዶውስ ONNX Runtime / DirectML፣ ለመድረክ አቋራጭ llama.cpp።
4) Qwen2 7B Instruct (Alibaba)
- ለምን ፈጣን ነው፡ ጠንካራ የብዙ ቋንቋ ድጋፍ እና በደንብ‑የተመቻቹ inference graphs ያሉት ቀልጣፋ architecture። በ vLLM እና TensorRT‑LLM ውስጥ ጠንካራ መሣሪያ።
- የት ነው የሚበልጠው፡ ብዙ ቋንቋዎችን የሚናገር ቻት፣ የድር መሣሪያዎች፣ function calling እና የ ecommerce‑style የእውቀት ተግባራት። በቋንቋዎች ላይ ጥሩ የፍጥነት እና ትክክለኛነት ሚዛን።
- እውነተኛ‑ዓለም ጠርዝ፡ ከ KV‑cache offloading እና 4‑bit quantization ጋር፣ Qwen2 7B በአብዛኛዎቹ የመተግበሪያ ፍሰቶች ውስጥ የምላሽ ጥራትን እየጠበቀ ከGPT‑NeoX የበለጠ የቡድን throughput ይጠብቃል።
- ከዚህ ጋር ያጣምሩ፡ ለ NVIDIA stacks TensorRT‑LLM፤ ለብዙ‑ሞዴል አገልግሎት vLLM።
5) TinyLlama 1.1B Chat (Community)
- ለምን ፈጣን ነው፡ በጣም ትንሽ ነው—እና ያ ነው ቁም ነገሩ። በ1.1B parameters እና በጣም ጥሩ በሆነ GGUF ድጋፍ፣ TinyLlama በተግባር በማንኛውም ነገር ላይ ይሰራል።
- የት ነው የሚበልጠው፡ Ultra‑low‑latency triggers፣ ምደባ፣ templated ምላሾች፣ የዥረት UI ፍንጮች እና በወኪል graphs ውስጥ ያሉ የ watchdog/co‑pilot ተግባራት።
- እውነተኛ‑ዓለም ጠርዝ፡ በላፕቶፕ CPUs ላይ ንዑስ‑100ms ምላሾች የተለመዱ ናቸው። ከከባድ ሞዴል ከመጥራትዎ በፊት ለመምራት፣ ለመከላከል ወይም ቅድመ ማጣሪያዎች ፍጹም ነው።
- ከዚህ ጋር ያጣምሩ፡ ለ featherweight local inference llama.cpp፤ ለትክክለኛነት ከ reranker + RAG ጋር ያዋህዱ።
ቁልልዎን ሊስማሙ የሚችሉ የተከበሩ መጠቀሶች
- Llama 3.1 70B Instruct: ከGPT‑NeoX ያነሰ አይደለም፣ ነገር ግን ለላቁ ኬርነሎች እና architecture ምስጋና ይግባውና፣ በከፍተኛ‑መጨረሻ GPUs ላይ ለእያንዳንዱ የአሃድ አቅም የተሻለ TPS ማቅረብ ይችላል። በተመጣጣኝ ፍጥነት ከፍ ያለ ጥራት ከፈለጉ፣ አሳማኝ ነው።
- Mixtral 8x7B: የ Mixture‑of‑Experts ሞዴል ከጠንካራ ጥራት እና ጥሩ throughput ጋር የቡድን መጠኖች ሲስተካከሉ፤ activation sparsity latencyን ሊረዳ ይችላል፣ ነገር ግን የማህደረ ትውስታ bandwidth በጥንቃቄ መተዳደር አለበት።
- Gemma 2 9B: ጠንካራ inference ድጋፍ ያለው ጥሩ የአፈጻጸም/የመጠን ሚዛን፤ በvLLM ስር በጣም ፈጣን ሊሆን ይችላል።
ፈጣን ንጽጽር በአንድ እይታ
- በአነስተኛ ሃርድዌር ላይ ፈጣኑ የመጀመሪያ‑token: Phi‑3 Mini, TinyLlama።
- ምርጥ የፍጥነት እና የአቅም ሚዛን፡ Llama 3.1 8B፣ Mistral 7B፣ Qwen2 7B።
- በተመጣጣኝ ደረጃ ለማገልገል ቀላሉ (ecosystem/tooling): Llama 3.1፣ Mistral 7B፣ Qwen2 7B በ vLLM/TensorRT‑LLM በኩል።
- ለብዙ ቋንቋ ተናጋሪነት ምርጡ፡ Qwen2 7B።
- ለጫፍ/ከመስመር ውጭ ምርጡ፡ Phi‑3 Mini, TinyLlama።
ሁሉም አምስቱ በተለይም quantized ሲሆኑ እና በዘመናዊ runtimes በኩል ሲቀርቡ ለቻት‑style እና RAG አጠቃቀም ከGPT‑NeoX በበለጠ ፍጥነት ይሰማቸዋል።
ተግባራዊ የማሰማራት የምግብ አዘገጃጀቶች (ለመቅዳት‑ተስማሚ)
ምሳሌ፡ ፈጣን የውይይት ኤፒአይ ከ vLLM ጋር (Llama 3.1 8B)
- ሃርድዌር፡ 1× RTX 3090/4090 ወይም A10/A100
- tensor parallelism ወደ 1 ተቀናብሮ vLLM ያስጀምሩ፣ PagedAttention ን ያንቁ እና KV cacheን አስቀድመው ይመድቡ።
- FP16 ወይም INT8 ይጠቀሙ; ተቀባይነት ባለው የጥራት ኪሳራ ለ 4‑bit AWQ ወይም GPTQ ን ያስቡ።
- ለተጣበቁ latencies max_new_tokens ወግ አጥባቂ ያድርጉት (256–512)።
- batch‑first መርሐግብርን ያብሩ፤ tokensን ወዲያውኑ ወደ UIዎ ያሰራጩ።
ምሳሌ፡ በ macOS ላይ የጫፍ ማጠቃለያ (Phi‑3 Mini በ llama.cpp በኩ)
- ወደ Q4_K_M ወይም Q5_K_M GGUF ያሳድጉ።
- በአፈጻጸም ኮር 4–8 ክሮች ይጠቀሙ; ፈጣን የ cache ምቶች ለማግኘት ዝቅተኛ context (1k–2k tokens) ያዘጋጁ።
- TTFT አነስተኛ እንዲሆን ውጤቱን ያሰራጩ።
ምሳሌ፡ ብዙ ቋንቋዎችን የሚናገር ረዳት (Qwen2 7B + TensorRT‑LLM)
- በFP8 ወይም INT8 ልኬት ሞተር ይገንቡ።
- ለረጅም ሰነዶች KV cacheን እንደገና መጠቀም እና ተንሸራታች መስኮት ትኩረትን ያንቁ።
- ጥያቄዎችን በኃይል ያዘጋጁ; ለከፍተኛ TPS በ speculative decoding ላይ ይተማመኑ።
ለምን እነዚህ ሞዴሎች GPT‑NeoXን ይበልጣሉ
- Parameter ቅልጥፍና: 3–8B ዘመናዊ architectures በአብዛኛዎቹ ተግባራዊ ተግባራት ላይ የቆዩ 20B ሞዴሎችን አሁን ይወዳደራሉ ወይም ይበልጣሉ።
- የተመቻቸ ትኩረት: GQA እና ተንሸራታች መስኮቶች ኮምፒውተርን እና የማህደረ ትውስታ ትራፊክን ይቀንሳሉ።
- የተሻሉ runtimes: የ vLLM PagedAttention፣ TensorRT‑LLM fused kernels፣ llama.cpp CPU/Metal ማሻሻያዎች።
- Quantization‑first ባህል: Community GGUF፣ AWQ፣ GPTQ እና bitsandbytes 4–8 bit routine ያደርጋሉ።
በቀላል አነጋገር፡ ecosystem ወደፊት ተጉዟል። GPT‑NeoX ለምርምር እና ታሪካዊ መነሻዎች ጠቃሚ ሆኖ ይቆያል፣ ነገር ግን ለምርት latency፣ ቀለል ያሉ ሞዴሎች ያሸንፋሉ።
የአጠቃቀም ጉዳዮች እና የሞዴል ብቃት
- ለእውቀት መሰረቶች RAG የውይይት bots: Llama 3.1 8B ወይም Mistral 7B + reranker; ከማውጣት በኋላ ሊነፃፀር በሚችል ጥራት ከGPT‑NeoX ጋር ትርጉም ያለው የፍጥነት‑ups ይጠብቁ።
- የደንበኛ ድጋፍ deflection: ለብዙ ቋንቋዎች የሚናገሩ FAQs Qwen2 7B; ለተመሳሳይነት quantize ያድርጉ፣ ምላሾችን በአብነት በኩል ጥርት አድርገው ይያዙ።
- On‑device ኮፒሎቶች: ለኖቶች፣ ለኢሜይል ረቂቆች እና ለቼክሊስት ትውልድ Phi‑3 Mini; ለአካባቢያዊ semantic ፍለጋ ከአነስተኛ embedding ሞዴል ጋር ያዋህዱ።
- የወኪል graphs: TinyLlama እንደ ራውተር፣ የምደባ ራስጌ ወይም መከላከያ; በራስ መተማመን ዝቅተኛ በሚሆንበት ጊዜ ብቻ ወደ ከባድ ሞዴል ይደውሉ።
ለበለጠ ፍጥነት ማስተካከል
- የ context ርዝመት ይገድቡ፡ ረጅም ጥያቄዎች ኮምፒውተርን ያፈነዳሉ፤ መስኮቶችን ትንሽ ለማድረግ RAG ይጠቀሙ።
- Speculative decoding: ዲኮዲንግን ለማፋጠን ትንሽ ረቂቅ ሞዴል (TinyLlama/Phi‑3) ከትልቅ ዒላማ (Mistral/Llama 3.1) ጋር ያጣምሩ።
- KV cache ንጽህና: ለብዙ‑ዙር ቻት cachesን እንደገና ይጠቀሙ; የሚቻል ከሆነ ማህደረ ትውስታን ይሰኩ።
- Tokenizer ስነ-ስርዓት: አጫጭር ጥያቄዎችን ይመርጡ; የስርዓት ጥያቄዎች አስፈላጊ ናቸው—አጭር ያድርጓቸው።
- በዘዴ Quantize ያድርጉ፡ ለጫፍ 4‑bit; ጥራትን‑የሚጠብቅ እብጠት ለማግኘት 8‑bit። AWQ vs GPTQ ይሞክሩ።
- በጥንቃቄ ያዘጋጁ፡ ትላልቅ ስብስቦች throughputን ያሳድጋሉ ነገር ግን TTFTን ሊጎዱ ይችላሉ፤ ትራፊክን በ SLA ይከፋፍሉ።
ስለ ጥራት vs ፍጥነትስ?
አንድ ነጠላ መለኪያ አያሸንፍም። መተግበሪያዎ ረጅም‑ቅጽ ምክንያታዊነት የሚፈልግ ከሆነ፣ ትልቅ ሞዴል አሁንም ዋስትና ሊሰጠው ይችላል። ነገር ግን ለአብዛኛዎቹ መስተጋብራዊ ተግባራት—ቻት፣ አጫጭር ማጠቃለያዎች፣ የተዋቀሩ ውጤቶች—አምስቱ የደመቁ ሞዴሎች ከGPT‑NeoX የተሻለ የፍጥነት‑ወደ‑አጠቃቀም ሬሾ ያቀርባሉ። በተግባር ላይ ያተኮረ የ eval ስብስብ ያሂዱ፣ ሁለቱንም latency እና ትክክለኛነት ይለኩ እና በሙከራ ይወስኑ።
በነገራችን ላይ፡ ፈጣን የስራ ፍሰቶችን ከ Sider.AI ጋር መገንባት
በርካታ ክፍት‑ምንጭ ሞዴሎችን እያቀናበሩ ከሆነ፣ Sider.AI ሙከራን እና ማሰማራትን እንደሚያቀልል ልብ ሊባል የሚገባው ነው። የተለያዩ ሞዴሎችን (ለምሳሌ፣ Llama 3.1 8B vs Mistral 7B) በፍጥነት A/B ማድረግ፣ latency እና token ስታቲስቲክስን መዝግቦ RAG ወይም function calling ሙጫ ኮድ ጋር ሳይታገሉ ማገናኘት ይችላሉ። ረዳቶችን ወይም የውስጥ ኮፒሎቶችን ለሚያቀርቡ ቡድኖች፣ ይህ ወጪዎችን እና latencyን በመቆጣጠር ከፕሮቶታይፕ ወደ ምርት የሚወስደውን ጊዜ ይቀንሳል። ቁልፍ መውሰጃዎች
- እንደ Llama 3.1 8B፣ Mistral 7B እና Qwen2 7B ያሉ ዘመናዊ 3–8B ሞዴሎች በተለይም በ vLLM ወይም TensorRT‑LLM ስር ከGPT‑NeoX በበለጠ ፍጥነት ይሰማቸዋል።
- እጅግ በጣም ትናንሽ አማራጮች (Phi‑3 Mini, TinyLlama) ከሞላ ጎደል ፈጣን ምላሾች ጋር ጫፍ እና CPU‑first ማሰማራቶችን ይከፍታሉ።
- Quantization፣ KV cache ማስተካከል እና አጫጭር ጥያቄዎች እንደ ሞዴል ምርጫ አስፈላጊ ናቸው።
- ሞዴሎችን በተግባር እና በ latency በጀት ይምረጡ፣ ከዚያ በራስዎ evals ያረጋግጡ።
በመቀጠል ምን ማድረግ አለብዎት
- እንደ ነባሪ ፈጣን መነሻዎ በMistral 7B ወይም Llama 3.1 8B ይጀምሩ።
- ለማፋጠን እንደ speculative ረቂቅ/ራውተር Phi‑3 Mini ወይም TinyLlama ያክሉ።
- vLLMን በዥረት መልቀቅ ያስነሱ፤ በተጨባጭ ሸክሞች ስር TTFT እና TPSን ይለኩ።
- የጥያቄውን መጠን ለመቀነስ እና ሞዴሉን ሳያስፋፉ ትክክለኛነትን ለማሻሻል RAGን ያቅርቡ።
- በሞዴሎች ላይ ሙከራዎችን ለማቀናጀት እና አፈጻጸምን ለመከታተል Sider.AI ን ያስቡ።
FAQ
Q1:ለቻት መተግበሪያዎች ከGPT‑NeoX በበለጠ ፈጣን የሆኑት የትኞቹ ክፍት‑ምንጭ ሞዴሎች ናቸው?
Llama 3.1 8B, Mistral 7B, Qwen2 7B, Phi‑3 Mini እና TinyLlama በተለይ በ vLLM ወይም llama.cpp እና 4–8 bit quantization ዝቅተኛ latency ያቀርባሉ።
Q2:Mistral 7B በሸማቾች GPUs ላይ ከGPT‑NeoX ፈጣን ነው?
አዎ። የMistral 7B ትንሽ መጠን እና የተመቻቹ ኬርነሎች በአጠቃላይ በ RTX‑class GPUs ላይ ከGPT‑NeoX ጋር ሲነፃፀር የተሻሉ tokens በሰከንድ እና ዝቅተኛ ጊዜ‑ወደ‑መጀመሪያ‑token ያስገኛሉ።
Q3:በ CPU ወይም Mac ላይ ፈጣን GPT‑NeoX አማራጭ ማስኬድ እችላለሁ?
Phi‑3 Mini እና TinyLlama በጂጂዩኤፍ quantization አማካኝነት በ llama.cpp በኩል በ CPUs እና Apple Silicon ላይ በደንብ ይሰራሉ፣ በተመሳሳይ ሃርድዌር ላይ ከGPT‑NeoX የበለጠ ፈጣን ምላሾችን ይሰጣሉ።
Q4:ለብዙ ቋንቋዎች የሚናገሩ ረዳቶች ምርጡ ፈጣን ሞዴል ምንድነው?
Qwen2 7B Instruct ፍጥነትን እና የብዙ ቋንቋ ጥራትን ያስተካክላል፣ ብዙውን ጊዜ በቋንቋዎች ላይ ጠንካራ ትክክለኛነትን እየጠበቀ በ latency ውስጥ GPT‑NeoXን ይበልጣል።
Q5:ክፍት‑ምንጭ ሞዴሎች ጋር ንዑስ‑ሰከንድ latency እንዴት ማግኘት እችላለሁ?
የታመቀ ሞዴል (3–8B) ይጠቀሙ፣ 4–8 bit quantization ያንቁ፣ ጥያቄዎችን አጭር ያድርጉ እና በ vLLM ወይም TensorRT‑LLM ያቅርቡ። ትንሽ ረቂቅ ሞዴል ያለው Speculative decoding latencyን የበለጠ ሊቀንስ ይችላል።
