በራስዎ ጂፒዩ ላይ ትልቅ የቋንቋ ሞዴል ለማስተናገድ ሞክረው እና በጣም የተራበ ታማጎቺን እንደተቀበሉ ተሰምቶዎት ያውቃል? VRAM ይመግቡታል፣ ከርነሎችን ይንከባከባሉ፣ እና በመጨረሻም መልስ ሲጠይቁ... ለአምስት ሰከንድ ያህል ብልጭ ድርግም ይልብዎታል እና ይሄዳል። ያ ከ“ቫኒላ” LLM አገልጋይ ጋር የሳምንት መጨረሻዬ ነበር። ከዚያ vLLM ጫንኩ።
ማስታወሻ፡ vLLM የ LLM ድምዳሜን ልክ ትሪሳይክልዎን በቴስላ እንደተለዋወጡት እንዲሰማዎት የሚያደርግ ክፍት ምንጭ ሞተር ነው። ይህ vLLM ግምገማ ምን እንደሆነ፣ ከሃርድዌር በጀትዎ ተጨማሪ ቶከኖችን እንዴት እንደሚጨምቅ፣ የት እንደሚበራ፣ የት እንደሚደናቀፍ እና ማን በጋሪው፣ በክላስተር ወይም “ምናልባት በኋላ” ክምር ውስጥ ማስገባት እንዳለበት ይመረምራል።
vLLM ምንድን ነው፣ በቀላል እንግሊዝኛ (እና ጥቂት የጂፒዩ እንባዎች)?
vLLM ለትላልቅ የቋንቋ ሞዴሎች ክፍት ምንጭ ድምዳሜ እና አገልግሎት መስጫ ሞተር ነው። ጥያቄዎችን የሚያስተናግድ፣ ሻንጣዎችን የሚይዝ፣ እና የቅናሽ አየር መንገድ በአንድ ላይ—ጥያቄዎችን የሚይዝ፣ ቶከኖችን ወደ ጂፒዩ ማህደረ ትውስታ የሚጭን እና መቀመጫዎችን (VRAM) ባዶ ሳያስቀር በብቃት የሚነሳ ነገር አድርገው ያስቡት። የሚያውቋቸውን ሞዴሎች — Llama, Mistral, Mixtral, Phi, Qwen, Gemma — ከሚያውቋቸው ኤፒአይዎች (በOpenAI-style፣ ከOpenAI ጋር የሚጣጣም) ጀርባ ይሸፍናል፣ ከዚያም ብልህ የማስታወሻ ዘዴዎችን እና መርሐግብርን በመጠቀም ያበረታታቸዋል።
LLMsን በዋህነት ሉፕ ወይም አጠቃላይ ዓላማ ባላቸው የአገልግሎት ማዕቀፎች ለማስኬድ ከሞከሩ፣ ምናልባት ትልቁን የፍጥነት ገዳይ አግኝተው ይሆናል፡ የባከነ ማህደረ ትውስታ። የvLLM የፊርማ እንቅስቃሴ PagedAttention ነው፣ ቁልፍ/እሴት ትኩረትን መሸጎጫዎችን እንደ ኦፕሬቲንግ ሲስተም ገፆች የሚይዝ ተለዋዋጭ የማስታወሻ አስተዳዳሪ ነው። ትርጉም፡ እያንዳንዱን ውይይት በVRAM ውስጥ የግል ፔንትሀውስ ከመስጠት ይልቅ ፔንትሀውስን ወደ የጋራ የስራ ቦታ ይቀይረዋል። ብዙ ሰዎች (ጥያቄዎች) ሊገቡ ይችላሉ። ሁሉም ሰው በፍጥነት ይተይባል።
ይህ vLLM ግምገማ ለማን ነው?
- ዝቅተኛ-መዘግየት ቻት እና ከፍተኛ-ግቤት የቡድን ስራዎችን የሚፈልጉ AI መተግበሪያዎችን የሚገነቡ ቡድኖች።
- ለንግድ LLM የመጨረሻ ነጥቦች ክፍት ምንጭ አማራጭን የሚፈልጉ የመሰረተ ልማት ባለሙያዎች።
- አፈጻጸምን ሳያስቀሩ ፈጣን የሞዴል ልውውጦችን የሚፈልጉ ተመራማሪዎች።
- ወጪ ቆጣቢነትን በራስ በማስተናገድ ለመቁረጥ የሚሞክሩ የጅምር ተግባራዊ ባለሙያዎች።
በ “የሚጠይቅ ሳጥን እና ስሜት ብቻ ነው የምፈልገው” ውስጥ ከሆኑ፣ የሚተዳደሩ ኤፒአይዎችን ሊመርጡ ይችላሉ። በ “10x በጀት ሳይጨምሩ 10x ግብዓት እፈልጋለሁ” ውስጥ ከሆኑ ማንበብዎን ይቀጥሉ።
የvLLM ዋና ዋና ባህሪያት (እና ለምን ሊጨነቁ ይገባል)
- PagedAttention፡ ለማስታወሻ KV መሸጎጫዎች የማስታወሻ ገጽ አስተዳደር። vLLM ፍሬሞችን ሳያስቀር ብዙ ጥያቄዎችን መቋቋም የሚችለው ለዚህ ነው።
- ቀጣይነት ያለው የቡድን ስራ፡ አዳዲስ ጥያቄዎች በበረራ ላይ ካሉ ስብስቦች ጋር ይቀላቀላሉ፣ ስለዚህ ጂፒዩዎች ስራ ላይ ይውላሉ እና መዘግየቱ ጤናማ ይሆናል።
- OpenAI-ተኳሃኝ ኤፒአይዎች፡ አነስተኛ የኮድ ለውጦች ጋር ለOpenAI በተሰሩ መሳሪያዎች እና SDKዎች ውስጥ ይሰኩት።
- Tensor/quantization ድጋፍ፡ FP16, BF16, እና ታዋቂ የቁጥር ክብደቶች (እንደ AWQ, GPTQ በሚመለከተው ቦታ), ስለዚህ ትልልቅ አእምሮዎችን ወደ ትናንሽ ጂፒዩዎች ማስገባት ይችላሉ።
- ባለብዙ-ጂፒዩ እና የተከፋፈለ አገልግሎት፡ አንድ A100ዎ ማላብ ሲጀምር ያሳድጉት።
- ዥረት ቶከኖች፡ ተጠቃሚዎች ቃላቶች የሆሊውድ ጠለፋ ትዕይንት ይመስላሉ፣ ይህም የሆነ ነገር ሁሉን በፍጥነት እንዲሰማ ያደርጋል።
- LoRA/adapter ድጋፍ (በሞዴል ላይ የተመሰረተ)፡ በተመሳሳይ የመሠረት ሞዴል ላይ ጥሩ ማስተካከያ ያላቸው ልዩነቶችን እያገለገሉ ከሆነ ጠቃሚ ነው።
ፈጣን የማዋቀር ታሪክ (አካ፡ ለመጀመሪያው ቶከን ምን ያህል ፈጣን መሆን እችላለሁ?)
- vLLM በ pip በኩል ይጫኑ። ምንም የጥሪ ክበብ አያስፈልግም:
pip install vllm
- በHugging Face ወይም በአካባቢዎ ክብደት ላይ ወዳለው ሞዴል ይጠቁሙት።
- ከOpenAI ጋር በሚስማማ የመጨረሻ ነጥብ አገልጋዩን ያስጀምሩ።
- ይከርሉት ወይም አሁን ባለው የOpenAI ደንበኛዎ ውስጥ ይሰኩት።
በአንድ የደንበኛ ጂፒዩ እና የመረጃ ማዕከል ካርድ ባለው የስራ ቦታ ላይ ባደረግኳቸው ሙከራዎች፣ ለመጀመሪያ ጊዜ ቶከን የሚወስደው ጊዜ ከተለመደው ትራንስፎርመር አገልጋይ ማዋቀር የበለጠ ፈጣን ሆኖ ተሰማኝ፣ በተለይ በጭነት ውስጥ። አስማቱ የሚታየው ብዙ ተጠቃሚዎች (ወይም የራስዎ የቡድን ስራዎች) አገልጋዩን ሲያጠቁ ነው—vLLM ጂፒዩ እንዲመገብ ያደርጋል።
ቤንችማርኮች፣ መዘግየት እና የእውነተኛው ዓለም ስሜት
በvLLM ግምገማ ወቅት ጎልተው የወጡት ነገሮች እነሆ፡-
- ግብዓት፡ ቀጣይነት ባለው የቡድን ስራ፣ vLLM ጂፒዩዎን ወደ ኤሊፕስ ብቻ ወደሚያትም የጠፈር ማሞቂያ ሳይቀይር በሰከንድ ብዙ ጥያቄዎችን ማስተናገድ ይችላል። በበዙ ቁጥር በአንድ ጊዜ የሚቀርቡ ጥያቄዎችን ሲጥሉበት (በምክንያታዊነት)፣ የበለጠ ያሳያል።
- መዘግየት፡ ለመጀመሪያ ጊዜ ቶከን የሚወስደው ጊዜ ተወዳዳሪ ነው፣ እና አንዳንዴም ከሞከርኳቸው ሌሎች ክፍት ምንጭ አገልጋዮች የተሻለ ነው—በተለይ ዥረት ሲነቃ እና ጥያቄዎች አጭር እስከ መካከለኛ ሲሆኑ።
- ረጅም ውጤቶች፡ ቀጣይነት ያለው ትውልድ ቋሚ ነው። ለረጅም ትውልዶች፣ VRAM ምቹ ለማድረግ max_tokens፣ የጨረር ቅንብሮችን (አስፈላጊ ከሆነ) እና የሙቀት መጠኑን ማስተካከል ይፈልጋሉ።
- ድብልቅ የስራ ጫናዎች፡ ቻት፣ የመሳሪያ አጠቃቀም ጥያቄዎችን እና ቀላል የቡድን ውጤቶችን በተመሳሳይ ጊዜ በማስተናገድ ጥሩ ነው። ማንንም ሳይመርዝ ፓንኬኮች እና ፓድ ታይ እንደሚያቀርብ ምግብ ቤት።
ቁጥሮችዎ በጂፒዩ ክፍል፣ በቁጥር፣ በተከታታይ ርዝመቶች እና በሞዴል ምርጫ ላይ ይመሰረታሉ። ግን ቅጦቹ ወጥ ናቸው፡ vLLM በአንድ ጊዜ የሚሰሩ ስራዎች ሲጨምሩ ወደፊት ይሄዳል።
vLLM ከሌሎች የLLM አገልጋዮች ጋር ሲነጻጸር የት ነው የሚያበራው
- ቅድሚያ የሚሰጡት አነስተኛ የመዘግየት ጠብታዎች ያላቸው ብዙ በይነተገናኝ ተጠቃሚዎችን ማገልገል ከሆነ፣ የvLLM መርሐግብር አስያዥ እና PagedAttention ጎልተው ይታያሉ።
- በነባር መተግበሪያዎች ውስጥ ለመክተት OpenAI-ተኳሃኝ የመጨረሻ ነጥቦች ከፈለጉ፣ ተሰኪ እና አጫውት ተስማሚ ነው።
- ወጪን እያመቻቹ ከሆነ፣ ብዙ ጊዜ ወደ ትንሽ የጂፒዩ ክፍል ዝቅ ማለት ወይም ከእመሳሳዩ ሃርድዌር ተጨማሪ ጥያቄዎችን ማግኘት ይችላሉ። CFOs በየቦታው አሉ።
vLLM የት ሊያበሳጭዎት ይችላል (አስማታዊ የፒክሲ አቧራ አይደለም)
- የሞዴል ተኳሃኝነት ሁለንተናዊ አይደለም። በጣም ተወዳጅ የሆኑት ክፍት ክብደቶች በጣም ጥሩ ናቸው፣ ነገር ግን ያልተለመዱ አርክቴክቸሮች ወይም እጅግ የላቁ የቁጥር ቅርጸቶች ማስተካከያ ሊፈልጉ ወይም እስካሁን ላይደገፉ ይችላሉ።
- ማህደረ ትውስታ አሁንም ፊዚክስ ነው። PagedAttention ይረዳል፣ ነገር ግን በ6GB ጂፒዩ ላይ ያለ 7B ሞዴል ከ100 በአንድ ጊዜ ተጠቃሚዎች ጋር አሁንም ሲትኮም እንጂ አገልጋይ አይደለም።
- የላቀ ባለብዙ ተከራይነት እና የጥበቃ ሀዲዶች ከሌሎች መሳሪያዎች ጋር ማጣመር ወይም ሙጫ ኮድ መፃፍ ሊያስፈልግ ይችላል።
- ዝማኔዎች በፍጥነት ይንቀሳቀሳሉ። ይህ ለባህሪያት ተጨማሪ ነገር ነው፣ የማይንቀሳቀስ መረጋጋት ከፈለጉ ደግሞ ሲቀነስ ነው።
vLLM ከተለመዱት ተጠርጣሪዎች ጋር (ወዳጃዊ ፊት ለፊት)
- Text Generation Inference (TGI)፡ TGI የተወለወለ እና በድርጅቶች ዘንድ ተወዳጅ ነው። vLLM ብዙውን ጊዜ በተለዋዋጭ የቡድን ስራ እና በPagedAttention የግብአት ጠርዝ ላይ ነው፣ በተለይ ለጫጫታ የስራ ጫናዎች። TGI ጠንካራ Hugging Face ውህደት እና ጠንካራ የምርት ergonomics አለው። ለጥሬ አገልግሎት ፍጥነት እና OpenAI መሰል ኤፒአይዎች vLLMን ይምረጡ; በHF መሣሪያ ውስጥ ጥልቅ ከሆኑ እና የኦፕስ ንድፎቻቸውን ከፈለጉ TGIን ይምረጡ።
- OpenLLM/FastChat/ሌሎች፡ ብዙዎቹ ለሙከራ በጣም ጥሩ ናቸው። vLLM በተለምዶ በአንድ ጊዜ በሚሰሩ ስራዎች እና በማስታወሻ ቅልጥፍና ያሸንፋል። በስፒኪ ትራፊክ የደንበኛ መተግበሪያ እየገነቡ ከሆነ፣ የvLLM መርሐግብር ማውጣት ጅራቶችን አጭር ለማድረግ ይረዳል።
- ብጁ ትሪቶን/ትራንስፎርመር ቁልል፡ አማካኝ አገልጋይ በእጅ መስራት ይችላሉ፣ ነገር ግን vLLM ለማንኛውም የሚገነቧቸውን ዘዴዎች ያካትታል—እና የአንድ ትንሽ ከተማ ዋጋ ያላቸውን ከርነሎች መጠበቅ የለብዎትም።
ጥልቅ-ኢሽ ዳይቭ፡ PagedAttention ለምን አስፈላጊ ነው
የሞዴልዎን ትኩረት የሚያስብ ቦታ እንደ ትልቅ ነጭ ሰሌዳ አድርገው ያስቡት። እያንዳንዱ ውይይት በእሱ ላይ ይሳላል. አብዛኛዎቹ አገልጋዮች ሙሉ ክፍል ይመድባሉ—ምንም እንኳን ንግግሩ ሁለት ዱድሎች እና ፈገግታ ቢሆንም። PagedAttention ያንን ነጭ ሰሌዳ ወደ ተጣባቂ ማስታወሻዎች ይከፋፍላል እና ወደ ውስጥ እና ወደ ውጭ ይቀያይራቸዋል። ብዙ ሰዎች በአንድ ጊዜ መሳል ይችላሉ, ጥቂት ክፍተቶች, አነስተኛ የባከነ ቦታ. ለዚህ ነው vLLM እውነተኛው ዓለም—ብዙ ተጠቃሚዎች የዘፈቀደ ነገሮችን ሲጠይቁ—ሲመጣ አፈጻጸምን የሚይዘው።
የገንቢው ተሞክሮ፡ ምቹ ወይስ ጨካኝ?
- ኤፒአይ ምቾት፡ OpenAIን የሚመስሉ REST የመጨረሻ ነጥቦችን ያገኛሉ። ነባር ደንበኞችዎን፣ ፈጣን አብነቶችዎን እና ሎገሮችን ይዘው ይምጡ።
- ውቅሮች፡ ምክንያታዊ ነባሪዎች፣ ለቡድን መጠኖች፣ ለ tensor parallelism፣ quantization እና scheduler knobs ብዙ ባንዲራዎች አሉ።
- ተመልካችነት፡ የሜትሪክስ የመጨረሻ ነጥቦች፣ ምዝግብ ማስታወሻዎች እና Prometheus መንጠቆዎች አሉ፣ ምንም እንኳን ምናልባት የራስዎን መከታተያ ያክላሉ።
- ተጨማሪነት፡ ለቶክኒዘር፣ አስማሚዎች እና የኋላ ጫፎች ተሰኪ መሰል ድጋፍ እየተሻሻለ ነው። እኩለ ሌሊት ላይ ኮድ ማንበብ ከፈለጉ፣ ማከማቻው ንቁ እና ተደራሽ ነው።
የወጪ ሂሳብ፡ vLLM የጂፒዩ ሂሳቡን እንዴት እንደሚቀይር
- የተሻለ አጠቃቀም = ጥቂት የስራ ፈት ዑደቶች። በሰዓት (ደመና) እየከፈሉ ወይም እየቀነሱ ከሆነ (በቦታው ላይ)፣ የvLLM ግብዓት መጨመር በአንድ ዶላር ተጨማሪ ቶከኖች ማለት ነው።
- Quantization ትርፍ፡ የሚደገፍ AWQ/GPTQ/INT8 ማስኬድ የVRAM አሻራዎችን ሊቀንስ እና የጂፒዩ ደረጃን እንዲቀንሱ ያስችልዎታል—ወይም በአንድ ካርድ ብዙ በአንድ ጊዜ የሚሰሩ ስራዎችን እንዲያሟሉ ያስችልዎታል።
- አግድም ሚዛን፡ ተጨማሪ ጡንቻ ሲፈልጉ vLLM በብዙ ጂፒዩዎች እና ኖዶች ላይ ይሰራል። አርክቴክቸርዎን በብሌንደር ውስጥ ሳይጥሉ በመስመር ማደግ ይችላሉ።
የአውራ ጣት ህግ፡ አገልግሎትዎ ከአንድ እጅ በላይ በአንድ ጊዜ ተጠቃሚዎች ካሉት ወይም የቡድን ስራዎችን በማዕበል ውስጥ የሚያስኬዱ ከሆነ፣ የvLLM ቅልጥፍና በፍጥነት ይከፍላል። ጥያቄዎችን እየሞከሩ ከሆነ፣ ጥሩ ነገር ነው።
የእውነተኛ ዓለም ሁኔታዎች፡ vLLM ክፍያውን የት ያገኛል
- ብዙ በአንድ ጊዜ ተጠቃሚዎች ያላቸው የቻት ረዳቶች፡ የደንበኛ ድጋፍ፣ የውስጥ IT እገዛ፣ ወይም ተማሪዎችን እኩለ ሌሊት ከአምስት ደቂቃ በፊት ድርሰቶችን እንዲያወጡ የሚረዳ መተግበሪያ።
- የይዘት ማመንጫ መስመሮች፡ የብሎግ አወቃቀሮች፣ የኢሜል ረቂቆች፣ የኮድ አስተያየቶች—በዲኤምቪ የሚመስል ወረፋ ሳይኖር በትይዩ ተፈጥረዋል።
- መሳሪያ የተጎላበቱ ወኪሎች፡ ሞዴልዎ ለመሳሪያ ጥሪዎች ለአፍታ ሲቆም፣ የvLLM የቡድን ስራ ጂፒዩ በሌሎች ጥያቄዎች እንዲጠመድ ያደርጋል።
- RAG ስርዓቶች፡ የእርስዎ ቃኚ የመጽሐፍ ትል ነገር በሌላ ቦታ ሲሰራ vLLM እንደ ማመንጫ ንብርብር ጥሩ ይሰራል።
vLLM የማዋቀር ምክሮች (በአስደሳች መንገድ የተማሩ)
- በእርግጥ ለማገልገል ባቀዱት ሞዴል ይጀምሩ። ትንሽ 3B ቤንችማርክ አታድርጉ ከዚያ 70Bን አሰማሩ እና ጂፒዩዎ ለምን እንደሚጮህ አስቡ።
- ከፍተኛውን የዐውደ-ጽሑፍ ርዝመት ያስተካክሉ። ከመጠን በላይ የሆነ የዐውደ-ጽሑፍ VRAMን ያጠፋል; ትክክለኛ መጠን በአንድ ጊዜ የሚሰሩ ስራዎችን ከፍ ያደርገዋል።
- ዥረትን አንቃ። ተጠቃሚዎች ፈጣን ምላሾችን ይሰማቸዋል፣ እና የUI ቶከኖችን ቀድመው ማውጣት ይችላሉ።
- በእውነተኛ የትራፊክ ቅጦች ይሞክሩ። ስፒኪ? ቋሚ? ድብልቅ? የvLLM መርሐግብር አስያዥ እንደ ቅርጹ በተለየ መልኩ ያበራል።
- ሁሉንም ነገር ይመዝግቡ። መዘግየት p50፣ p95፣ የቶከን ግብዓት እና የOOM ክስተቶች ቀጥሎ የት እንደሚጨምቁ ይነግሩዎታል።
ደህንነት እና አስተዳደር፡ የራስዎን ያደጉ ሱሪዎችን ይዘው ይምጡ
vLLM የሞራል ኮምፓስ ሳይሆን አገልግሎት መስጫ ሞተር ነው። ልከኝነት፣ ፒአይአይ ማጽዳት፣ የፍጥነት ገደቦች፣ የኪራይ መነጠል ወይም የኦዲት መንገዶች ከፈለጉ—በመግቢያው ወይም በመተግበሪያ ንብርብር ላይ ይከርክሙ። መልካሙ ዜና፡ OpenAI-ተኳሃኝ በይነገጽ የሚወዷቸውን መመሪያዎች እና መካከለኛ ዌር እንዲቀይሩ ቀላል ያደርገዋል።
ጥሩ ህትመት፡ በዚህ vLLM ግምገማ ውስጥ ተኳሃኝነት እና ማስጠንቀቂያዎች
- እያንዳንዱ የሞዴል አርክቴክቸር ወይም የቁጥር ክብደት ተሰኪ እና አሂድ አይሆንም። ሰነዶቹን እና የקהበረሰቡን ጉዳዮች ይመልከቱ። የድጋፍ ፍጥነት ፈጣን ነው፣ ነገር ግን አዲስ ነገር ሁልጊዜ መረጋጋትን ይበልጣል።
- የሲፒዩ ምትኬ? vLLM በጂፒዩዎች ላይ ደስተኛ ነው። በሲፒዩ ላይ መሞከር ይችላሉ፣ ነገር ግን የበረዶ ላይ ጫማዎችን ለብሶ ማራቶን ለመሮጥ እንደ መሞከር ነው።
- ባለብዙ-ጂፒዩ ሻርዲንግ ኃይለኛ ነው፣ ነገር ግን ጥንቃቄ የተሞላበት ውቅር ያስፈልገዋል። በተለይ ለምርት SLAs የውድቀት እና ሞቅ ያለ ጅምርን ይፈትሹ።
ፈጣን ጅምር፡ የአዕምሮ ዝርዝር
- ሃርድዌር፡ ለዒላማ ሞዴልዎ በቂ VRAM ያላቸው ጂፒዩዎች + ለተመሳሳይ ጊዜ የሚሰሩ ስራዎች የራስ ቦታ።
- ሞዴል፡ በደንብ የሚደገፍ ቤተሰብ (Llama, Mistral, Mixtral, Qwen, Gemma) ይምረጡ እና የቶክኒዘር/ቁጥር ተኳሃኝነትን ያረጋግጡ።
- አገልግሎት፡ vLLMን በOpenAI ኤፒአይ በርቶ ያሂዱ፣ ምላሾችን ያሰራጩ፣ ዐውደ-ጽሑፍ እና max_tokens በጤናማ ሁኔታ ያዘጋጁ።
- ሚዛን፡ ጂፒዩዎችን ወይም ኖዶችን ያክሉ። ለማዘዋወር፣ የፍጥነት ገደቦች እና ማረጋገጫ መግቢያን ይጠቀሙ። ደመና ከሆነ ራስ-ሰር ማሳደግን ያስቡበት።
- ወጪዎች፡ በሰከንድ ቶከኖችን፣ በአንድ ጊዜ የሚሰሩ ስራዎችን እና አማካይ የውጤት ርዝመትን ይለኩ። ከእያንዳንዱ ለውጥ በኋላ እንደገና ያሂዱ።
ልብ ሊባል የሚገባው፡ Sider.AI በዚህ ምስል ውስጥ የት እንደሚገባ
ገንቢዎች ትኩረት ይስጡ፡ ሞዴሎችን ለመምረጥ እየሞከሩ ከሆነ፣ በጥያቄዎች ላይ ፍጥነትን ያወዳድሩ እና በአጠቃላይ ሲደጋገሙ አእምሮዎን እንዳያጡ፣ Sider.AI እጅግ በጣም ጥሩ የአእምሮ ቼክ ሊሆን ይችላል። በተለያዩ የኋላ ጫፎች ላይ ጥያቄዎችን ማርቀቅ፣ መሞከር እና ማጣራት ይችላሉ፣ ከዚያ ለወጪ ወይም ቁጥጥር በራስ ለማስተናገድ ጊዜው ሲደርስ ወደ vLLM ይሂዱ። Sider.AI እንደ የጉድጓድዎ ቡድን አድርገው ያስቡት—ከዚያ ትራኩ ሲከፈት የሚነዱት የእሽቅድምድም መኪና እንደ vLLM። vLLMን አሁን ማን መምረጥ አለበት?
- አዎ፡ እያደጉ ያሉ የተጠቃሚ መሰረቶች ያላቸው ጅምሮች፣ ብዙ ቡድኖችን የሚያገለግሉ የውስጥ መድረኮች፣ ከሚከፈል ኤፒአይ ወደ ራስ-ማስተናገድ የሚሸጋገሩ የምርት ቡድኖች።
- ምናልባት፡ አማራጮችን የሚቃኙ ሶሎ ገንቢዎች። ትራፊክዎ ትንሽ ከሆነ፣ የሚተዳደሩ ኤፒአይዎች ለአሁኑ ቀለል ያሉ (እና ርካሽ) ሊሆኑ ይችላሉ።
- ገና አይደለም፡ በከፍተኛ ቁጥጥር የሚደረግባቸው ድርጅቶች በተንቀሳቃሽ አገልግሎት ንብርብር ውስጥ ቁልፍ የሆነ ተገዢነት እና መነጠል ያስፈልጋቸዋል። መጀመሪያ ዙሪያውን ብዙ የጥበቃ ሀዲዶች ያስፈልጉዎታል።
vLLM ጥቅሞች እና ጉዳቶች (ምንም ስኳር ሳይጨምር)
ጥቅሞች
- በተመሳሳይ ጊዜ በሚሰሩ ስራዎች ውስጥ በጣም ጥሩ ግብዓት
- OpenAI-ተኳሃኝ ኤፒአይ ፍልሰትን ቀላል ያደርገዋል
- በPagedAttention ጠንካራ የማስታወሻ ቅልጥፍና
- ለታዋቂ ክፍት ሞዴሎች እና quantization ጥሩ ድጋፍ
- ንቁ ማህበረሰብ እና ፈጣን የእድገት ምት
ጉዳቶች
- ሁለንተናዊ ሞዴል/ኳንት ድጋፍ አይደለም; አንዳንድ ማስተካከያ ያስፈልጋል
- በጂፒዩዎች ላይ ምርጥ; የሲፒዩ አጠቃቀም በአብዛኛው ለሳይንስ ሙከራዎች ነው
- የምርት ደረጃ ባለብዙ ተከራይነት እና አስተዳደር ተጨማሪ ነገሮችን ይፈልጋሉ
- ፈጣን ለውጦች አልፎ አልፎ ማሻሻያዎችን ሊያመለክቱ ይችላሉ
የዚህ vLLM ግምገማ ፍርድ
vLLM ሁለቱንም ምሁራዊ-ብልህ እና ምርት-ተግባራዊ የሚሰማው ብርቅዬ ክፍት ምንጭ ፕሮጀክት ነው። የሳውና እጥፍ የሚሆን የጂፒዩ እርሻ ሳያሽከረክሩ LLMsን በስፋት ለማስኬድ ከፈለጉ በአጭር ዝርዝርዎ ላይ መሆን አለበት—ምናልባትም ከላይ። ሞዴሎችን ለማገልገል ብቸኛው መንገድ አይደለም፣ ነገር ግን በአሁኑ ጊዜ በጣም ፈጣኑ፣ በጣም ተለዋዋጭ እና በጣም ገንቢ-ተስማሚ ከሆኑት አንዱ ነው።
በሌላ አነጋገር፡ አሁን ያለው ማዋቀርዎ ተጠቃሚዎች የህይወት ምርጫቸውን እንደገና እንዲያስቡ በቂ ጊዜ እንዲጠብቁ የሚያደርግ ከሆነ፣ vLLM ከመቻላቸው በፊት መልሶችን እንዲልኩ ይረዳዎታል። እና ያ ዋናው ነገር ነው፣ አይደል?
የድርጊት መርሃ ግብር፡ በዚህ ሳምንት LLMዎን በፍጥነት ያድርጉት
- ቀን 1፡ vLLMን በዒላማ ሞዴልዎ ያቁሙ። ዥረትን ያብሩ። በእውነተኛ ጥያቄዎችዎ ይመቱት።
- ቀን 2፡ የዐውደ-ጽሑፍ መስኮት እና የቡድን ቅንብሮችን ያስተካክሉ። ተጨማሪ ጥያቄዎችን ለማሟላት የሚደገፍ quantization ይሞክሩ።
- ቀን 3፡ መግቢያ እና ምዝግብ ማስታወሻዎችን ያክሉ። p95 መዘግየት እና በአንድ ዶላር ቶከኖችን ይለኩ።
- ቀን 4–5፡ ካናሪን ለእውነተኛ ተጠቃሚዎች ግፉ። አስፈላጊ ከሆነ ያሳድጉ። በሚፈነዳ ነገር ያክብሩ (ሴልትዘር ይቆጠራል)።
እና አለቃዎ ወጪውን በእጥፍ ሳይጨምሩ ግብዓትን እንዴት በእጥፍ እንዳሳደጉ ከጠየቁ፣ ሁለት ቃላት ብቻ ይናገሩ፡ “ገጽ ትኩረት።” ከዚያ ይህን vLLM ግምገማ ያስረክቡ እና ልክ እንዳቀዱት የጭንቅላት ነቀልዎን ይደሰቱ።
ተደጋጋሚ ጥያቄዎች
Q1:vLLM ለአነስተኛ ቡድኖች ወይም ለትልልቅ ኢንተርፕራይዞች ጥሩ ነው?
ሁለቱም። ወጪዎችን ለመቀነስ ከሚተዳደሩ ኤፒአይዎች ወደ ራስ-ማስተናገድ እየተሸጋገሩ ከሆነ፣ የvLLM OpenAI-ተኳሃኝ የመጨረሻ ነጥቦች መቀያየርን ቀላል ያደርጉታል። ለትልልቅ ቡድኖች፣ የግብዓት እና የአንድ ጊዜ የሚሰሩ ስራዎች በረከቶች ትራፊክ ሲጨምር ያበራሉ።
Q2:በvLLM ላይ የትኞቹ ሞዴሎች በተሻለ ሁኔታ ይሰራሉ?
እንደ Llama, Mistral, Mixtral, Qwen, Gemma እና Phi ያሉ ታዋቂ ክፍት ሞዴሎች በደንብ የተረገጡ መንገዶች ናቸው። ለቁጥር ልዩነቶች የተኳሃኝነት ማስታወሻዎችን ያረጋግጡ—በጣም የተለመዱ ቅርጸቶች ይሰራሉ፣ ነገር ግን ያልተለመዱ ጥንብሮች ማስተካከያ ሊያስፈልጋቸው ይችላል።
Q3:vLLMን ለማስኬድ ምን ያህል ጂፒዩ ያስፈልገኛል?
VRAMን ከሞዴል መጠንዎ እና ከዐውደ-ጽሑፍ መስኮትዎ ጋር ያዛምዱ፣ ከዚያ ለተመሳሳይ ጊዜ ለሚሰሩ ስራዎች የራስ ቦታ ይጨምሩ። አንድ ነጠላ ከፍተኛ የማስታወሻ ጂፒዩ 7B–13B ሞዴልን በደንብ ማገልገል ይችላል; ትላልቅ ሞዴሎች ወይም ከባድ ትራፊክ ከብዙ-ጂፒዩ ማዋቀር ይጠቀማሉ።
Q4:vLLM መዘግየትን ይቀንሳል ወይስ ግብዓትን ብቻ ይጨምራል?
እንደ የስራ ጫናው ሁለቱም። ቀጣይነት ያለው የቡድን ስራ ለተሻለ ግብዓት የጂፒዩ አጠቃቀምን ያሻሽላል፣ ዥረት እና ቀልጣፋ መርሐግብር ደግሞ በመነሻ ጊዜ እና በመጪ ውይይቶች መዘግየት ላይ ይረዳሉ።
Q5:vLLM ከText Generation Inference (TGI) ጋር እንዴት ይነጻጸራል?
vLLM ብዙውን ጊዜ በPagedAttention እና በተለዋዋጭ የቡድን ስራ በግብዓት ላይ TGIን ያበላሸዋል፣ በተለይ ለበይነተገናኝ ውይይት። TGI ወደ Hugging Face ውህደቶች እና የድርጅት ማጣሪያ ያዘነብላል—ቁልልዎ እና ቅድሚያዎችዎ መወሰን አለባቸው።
