શું તમે ક્યારેય તમારા પોતાના GPU પર એક મોટા ભાષા મોડેલને હોસ્ટ કરવાનો પ્રયાસ કર્યો છે અને એવું લાગ્યું છે કે તમે એક ખૂબ જ ભૂખ્યા તામગોટચીને દત્તક લીધું છે? તમે તેને VRAM ખવડાવો છો, તમે કર્નલોને લાડ કરો છો, અને જ્યારે તમે આખરે જવાબ માટે પૂછો છો... તે તમારી સામે પાંચ સેકન્ડ માટે પલકારે છે અને જતું રહે છે. વેનીલા LLM સર્વર સાથેનો મારો વીકએન્ડ એવો જ હતો. પછી મેં vLLM ઇન્સ્ટોલ કર્યું.
સ્પોઇલર: vLLM એ ઓપન-સોર્સ એન્જિન છે જે LLM અનુમાનને એવું અનુભવે છે કે તમે હમણાં જ તમારી ટ્રાઇસિકલને ટેસ્લા સાથે બદલી છે. આ vLLM સમીક્ષા શું છે, તે તમારા હાર્ડવેર બજેટમાંથી વધુ ટોકન્સ કેવી રીતે સ્ક્વિઝ કરે છે, તે ક્યાં ચમકે છે, તે ક્યાં ઠોકર મારે છે અને કોણે તેને કાર્ટ, ક્લસ્ટર અથવા "કદાચ પછી" ના ઢગલામાં મૂકવું જોઈએ તેની તપાસ કરે છે.
vLLM શું છે, સાદી ભાષામાં (અને ઓછા GPU આંસુઓમાં)?
vLLM એ મોટા ભાષા મોડેલ્સ માટે ઓપન-સોર્સ અનુમાન અને સર્વિંગ એન્જિન છે. તેને એર-ટ્રાફિક કંટ્રોલર, સામાન હેન્ડલર અને ડિસ્કાઉન્ટ એરલાઇન તરીકે વિચારો - જે વિનંતીઓનું શેડ્યૂલ કરે છે, ટોકન્સને GPU મેમરીમાં પેક કરે છે અને ખાલી બેઠકો (VRAM) છોડ્યા વિના કાર્યક્ષમ રીતે ઉપડે છે. તે તમને પરિચિત મોડેલો—, , , , , —ને પરિચિત API (-શૈલી, -સુસંગત) પાછળ લપેટે છે, પછી હોંશિયાર મેમરી યુક્તિઓ અને શેડ્યૂલિંગ સાથે તેમને ટર્બોચાર્જ કરે છે.
જો તમે наиve લૂપ્સ અથવા સામાન્ય-હેતુના સર્વિંગ ફ્રેમવર્ક સાથે LLM ચલાવવાનો પ્રયાસ કર્યો હોય, તો તમે કદાચ સૌથી મોટા સ્પીડ કિલરને મળ્યા હશો: બરબાદ થયેલી મેમરી. vLLMની સિગ્નેચર મૂવ પેજ્ડએટેંશન છે, જે એક ડાયનેમિક મેમરી મેનેજર છે જે કી/વેલ્યુ એટેંશન કેશને ઓપરેટિંગ સિસ્ટમમાં પેજ તરીકે ગણે છે. અનુવાદ: દરેક વાતચીતને VRAMમાં ખાનગી પેન્ટહાઉસ આપવાને બદલે, તે પેન્ટહાઉસને કો-વર્કિંગ સ્પેસમાં ફેરવે છે. વધુ લોકો (વિનંતીઓ) ફિટ થઈ શકે છે. દરેક જણ ઝડપથી ટાઇપ કરે છે.
આ vLLM સમીક્ષા કોના માટે છે?
- AI એપ્લિકેશન્સ બનાવતી ટીમો કે જે ઓછી-લેટન્સી ચેટ અને ઉચ્ચ-થ્રુપુટ બેચ જોબ્સ ઇચ્છે છે.
- ઇન્ફ્રા લોકો કોમર્શિયલ LLM એન્ડપોઇન્ટ્સના ઓપન-સોર્સ વિકલ્પની શોધમાં છે.
- સંશોધકો જેમને કામગીરીનું બલિદાન આપ્યા વિના ઝડપી મોડેલ સ્વેપની જરૂર છે.
- સ્ટાર્ટઅપ વ્યવહારવાદીઓ સ્વ-હોસ્ટિંગ દ્વારા ટોકન ખર્ચને ઘટાડવાનો પ્રયાસ કરી રહ્યા છે.
જો તમે "મારે ફક્ત એક પ્રોમ્પ્ટ બોક્સ અને વાઇબ્સ જોઈએ છે," તો તમે સંચાલિત APIs ને પસંદ કરી શકો છો. જો તમે "મારે 10x બજેટ વિના 10x થ્રુપુટ જોઈએ છે," તો વાંચતા રહો.
vLLM ની મુખ્ય વિશેષતાઓ (અને તમારે શા માટે કાળજી લેવી જોઈએ)
- પેજ્ડએટેંશન: એટેંશન KV કેશ માટે મેમરી પેજિંગ. આ જ કારણ છે કે vLLM ફ્રેમ્સ છોડ્યા વિના ઘણી વિનંતીઓનું સંચાલન કરી શકે છે.
- સતત બેચિંગ: નવી વિનંતીઓ ઇન-ફ્લાઇટ બેચમાં જોડાય છે, તેથી GPUs વ્યસ્ત રહે છે અને લેટન્સી સામાન્ય રહે છે.
- -સુસંગત APIs: તેને ન્યૂનતમ કોડ ફેરફારો સાથે માટે બનેલા ટૂલ્સ અને SDK માં પ્લગ કરો.
- ટેન્સર/ક્વોન્ટિઝેશન સપોર્ટ: FP16, BF16 અને લોકપ્રિય ક્વોન્ટાઇઝ્ડ વેઇટ્સ (જેમ કે AWQ, GPTQ જ્યાં લાગુ હોય ત્યાં), જેથી તમે મોટા મગજને નાના GPUs માં ફિટ કરી શકો.
- મલ્ટિ-GPU અને વિતરિત સર્વિંગ: જ્યારે તમારું સિંગલ A100 પરસેવો પાડવાનું શરૂ કરે ત્યારે સ્કેલ-આઉટ કરો.
- સ્ટ્રીમિંગ ટોકન્સ: વપરાશકર્તાઓ હોલીવુડ હેકિંગ સીનની જેમ શબ્દો ટાઇપ થયેલા જુએ છે, જે કોઈક રીતે બધું ઝડપી લાગે છે.
- LoRA/એડેપ્ટર સપોર્ટ (મોડેલ-આધારિત): જો તમે સમાન બેઝ મોડેલ પર ફાઇન-ટ્યુન્ડ વેરિઅન્ટ્સ સર્વ કરી રહ્યા હોવ તો ઉપયોગી.
ઝડપી સેટઅપ સ્ટોરી (ઉર્ફે: હું પ્રથમ ટોકન પર કેટલી ઝડપથી પહોંચી શકું?)
- pip દ્વારા vLLM ઇન્સ્ટોલ કરો. કોઈ સમનિંગ સર્કલની જરૂર નથી:
pip install vllm
- તેને હગિંગ ફેસ અથવા તમારા સ્થાનિક વેઇટ્સ પરના મોડેલ પર પોઇન્ટ કરો.
- -સુસંગત એન્ડપોઇન્ટ સાથે સર્વરને ફાયર અપ કરો.
- તેને કર્લ કરો અથવા તમારા હાલના ક્લાયન્ટમાં પ્લગ કરો.
કન્ઝ્યુમર GPU અને ડેટા-સેન્ટર કાર્ડવાળા વર્કસ્ટેશન પરના મારા પરીક્ષણોમાં, સ્ટોક ટ્રાન્સફોર્મર્સ સર્વર સેટઅપ્સ કરતાં સમય-થી-પ્રથમ-ટોકન નોંધપાત્ર રીતે ઝડપી લાગ્યો, ખાસ કરીને લોડ હેઠળ. જ્યારે બહુવિધ વપરાશકર્તાઓ (અથવા તમારી પોતાની બેચ જોબ્સ) સર્વર પર ડોગપાઇલ કરે છે ત્યારે જાદુ દેખાય છે—vLLM GPU ને ખવડાવતું રહે છે.
બેન્ચમાર્ક્સ, લેટન્સી અને વાસ્તવિક દુનિયાનો અનુભવ
vLLM સમીક્ષા દરમિયાન જે બાબતો બહાર આવી તે અહીં છે:
- થ્રુપુટ: સતત બેચિંગ સાથે, vLLM તમારા GPU ને સ્પેસ હીટરમાં ફેરવ્યા વિના પ્રતિ સેકન્ડ ઘણી વિનંતીઓ સર્વ કરી શકે છે જે ફક્ત લંબગોળ જ છાપે છે. તમે જેટલી વધુ એક સાથે થતી વિનંતીઓ તેના પર ફેંકો છો (કારણની અંદર), તેટલું જ તે ફ્લેક્સ કરે છે.
- લેટન્સી: સમય-થી-પ્રથમ-ટોકન સ્પર્ધાત્મક છે, અને કેટલીકવાર અન્ય ઓપન-સોર્સ સર્વર્સ કરતાં વધુ સારું છે જે મેં અજમાવ્યું છે—ખાસ કરીને જ્યારે સ્ટ્રીમિંગ સક્ષમ હોય અને પ્રોમ્પ્ટ્સ ટૂંકાથી મધ્યમ હોય.
- લાંબા આઉટપુટ: સતત જનરેશન સ્થિર છે. ખૂબ લાંબા જનરેશન માટે, તમારે VRAM ને આરામદાયક રાખવા માટે max_tokens, બીમ સેટિંગ્સ (જો તમારે આવશ્યક હોય તો) અને તાપમાનને ટ્યુન કરવું પડશે.
- મિશ્ર વર્કલોડ્સ: તે ચેટ, ટૂલ-યુઝ પ્રોમ્પ્ટ્સ અને એક જ સમયે લાઇટ બેચ સ્કોરિંગને હેન્ડલ કરવામાં વિચિત્ર રીતે સારું છે. એક ડાઇનરની જેમ જે કોઈને ઝેર આપ્યા વિના પેનકેક અને પેડ થાઈ સર્વ કરે છે.
તમારા નંબરો GPU વર્ગ, ક્વોન્ટિઝેશન, સિક્વન્સ લંબાઈ અને મોડેલ પસંદગી પર આધાર રાખે છે. પરંતુ પેટર્ન સુસંગત છે: જેમ જેમ એક સાથે થવાની સંખ્યા વધે છે તેમ vLLM આગળ વધે છે.
અન્ય LLM સર્વર્સ સામે vLLM ક્યાં ચમકે છે
- જો તમારી પ્રાથમિકતા ન્યૂનતમ લેટન્સી ઘટાડા સાથે ઘણાં બધાં ઇન્ટરેક્ટિવ વપરાશકર્તાઓને સર્વ કરવાની છે, તો vLLM નું શેડ્યૂલર અને પેજ્ડએટેંશન ઉત્કૃષ્ટ છે.
- જો તમને હાલની એપ્લિકેશન્સમાં સ્લોટ કરવા માટે -સુસંગત એન્ડપોઇન્ટ્સની જરૂર હોય, તો તે પ્લગ-એન્ડ-પ્લે ફ્રેન્ડલી છે.
- જો તમે ખર્ચ-ઓપ્ટિમાઇઝ કરી રહ્યા છો, તો તમે ઘણીવાર થોડો નાનો GPU વર્ગ ડાઉનશિફ્ટ કરી શકો છો અથવા સમાન હાર્ડવેરમાંથી વધુ req/sec સ્ક્વિઝ કરી શકો છો. દરેક જગ્યાએ CFOs હમણાં જ ચમકી ગયા.
vLLM તમને ક્યાં નિરાશ કરી શકે છે (તે જાદુઈ પિક્સી ડસ્ટ નથી)
- મોડેલ સુસંગતતા સાર્વત્રિક નથી. મોટાભાગના લોકપ્રિય ઓપન વેઇટ્સ સરસ રીતે ચાલે છે, પરંતુ વિદેશી આર્કિટેક્ચર્સ અથવા અદ્યતન ક્વોન્ટ ફોર્મેટ્સને ટીંકરિંગની જરૂર પડી શકે છે અથવા હજી સુધી સપોર્ટેડ ન પણ હોય.
- મેમરી હજુ પણ ભૌતિકશાસ્ત્ર છે. પેજ્ડએટેંશન મદદ કરે છે, પરંતુ 100 એક સાથે થતા વપરાશકર્તાઓ સાથે 6GB GPU પર 7B મોડેલ હજુ પણ સિટકૉમ છે, સર્વર નથી.
- અદ્યતન મલ્ટિટેનન્સી અને ગાર્ડ્રેલ્સને અન્ય સાધનો સાથે જોડી બનાવવાની અથવા ગ્લુ કોડ લખવાની જરૂર પડી શકે છે.
- અપડેટ્સ ઝડપથી આગળ વધે છે. તે સુવિધાઓ માટે પ્લસ છે, માઇનસ જો તમને સ્થિર સ્થિરતા જોઈતી હોય.
સામાન્ય શંકાસ્પદો સામે vLLM (એક મૈત્રીપૂર્ણ મુકાબલો)
- ટેક્સ્ટ જનરેશન ઇન્ફરન્સ (TGI): TGI પોલિશ્ડ અને એન્ટરપ્રાઇઝ લોકપ્રિય છે. vLLM ઘણીવાર ડાયનેમિક બેચિંગ અને પેજ્ડએટેંશન સાથે થ્રુપુટમાં તેને ધાર આપે છે, ખાસ કરીને ચેટ્ટી વર્કલોડ્સ માટે. TGI માં મજબૂત હગિંગ ફેસ ઇન્ટિગ્રેશન અને નક્કર પ્રોડક્શન એર્ગોનોમિક્સ છે. રો સર્વિંગ સ્પીડ અને -જેવા APIs માટે vLLM પસંદ કરો; જો તમે HF ટૂલિંગમાં ઊંડા ઉતરેલા હોવ અને તેમની ops પેટર્ન જોઈતી હોય તો TGI પસંદ કરો.
- OpenLLM/FastChat/અન્ય: ઘણા પ્રયોગ માટે શ્રેષ્ઠ છે. vLLM સામાન્ય રીતે એક સાથે થવાની સંખ્યા અને મેમરી કાર્યક્ષમતા પર જીતે છે. જો તમે સ્પાઇકી ટ્રાફિક સાથે કન્ઝ્યુમર એપ્લિકેશન બનાવી રહ્યા છો, તો vLLM નું શેડ્યૂલિંગ પૂંછડીઓને ટૂંકી રાખવામાં મદદ કરે છે.
- કસ્ટમ ટ્રિટોન/ટ્રાન્સફોર્મર્સ સ્ટેક્સ: તમે એક શાનદાર સર્વર હાથથી બનાવી શકો છો, પરંતુ vLLM તમે જે યુક્તિઓ બનાવશો તેને પેકેજ કરે છે—અને તમારે નાના શહેરના કર્નલોની જાળવણી કરવાની જરૂર નથી.
ડીપ-ઇશ ડાઇવ: પેજ્ડએટેંશન શા માટે મહત્વનું છે
તમારા મોડેલના એટેંશન થિંક-સ્પેસને એક વિશાળ વ્હાઇટબોર્ડ તરીકે કલ્પના કરો. દરેક વાતચીત તેના પર દોરે છે. મોટાભાગના સર્વર્સ આખો વિભાગ સોંપે છે—ભલે કોન્વો બે ડૂડલ્સ અને સ્માઈલી હોય. પેજ્ડએટેંશન તે વ્હાઇટબોર્ડને સ્ટીકી નોટ્સમાં વિભાજિત કરે છે અને તેમને અંદર અને બહાર શફલ કરે છે. વધુ લોકો એક જ સમયે દોરી શકે છે, ઓછી ખાલી જગ્યાઓ, ઓછી બરબાદ જગ્યા. તેથી જ vLLM વાસ્તવિક દુનિયા—ઉર્ફે ઘણા વપરાશકર્તાઓ રેન્ડમ સામગ્રી પૂછે છે—આવે ત્યારે પણ કામગીરી જાળવી રાખે છે.
ડેવલપર અનુભવ: આરામદાયક કે ક્રન્ચી?
- API આરામ: તમને REST એન્ડપોઇન્ટ્સ મળે છે જે ની નકલ કરે છે. તમારા હાલના ક્લાયન્ટ્સ, પ્રોમ્પ્ટ ટેમ્પ્લેટ્સ અને લોગર્સ લાવો.
- રૂપરેખાંકનો: બેચ સાઈઝ, ટેન્સર પેરેલલિઝમ, ક્વોન્ટિઝેશન અને શેડ્યૂલર નોબ્સ માટે પુષ્કળ ફ્લેગ્સ સાથે સમજદાર ડિફોલ્ટ્સ.
- ઓબ્ઝર્વેબિલિટી: મેટ્રિક્સ એન્ડપોઇન્ટ્સ, લોગ્સ અને પ્રોમિથિયસ હુક્સ ત્યાં છે, જોકે તમે કદાચ તમારી પોતાની ટ્રેસિંગ ઉમેરશો.
- એક્સ્ટેન્સિબિલિટી: ટોકનાઇઝર્સ, એડેપ્ટર્સ અને બેકએન્ડ્સ માટે પ્લગઇન-ઇશ સપોર્ટ સુધરી રહ્યો છે. જો તમને મધ્યરાત્રિએ કોડ વાંચવાનું ગમે છે, તો રેપો સક્રિય અને સુલભ છે.
ખર્ચ ગણિત: vLLM GPU બિલને કેવી રીતે બદલે છે
- વધુ સારી ઉપયોગિતા = ઓછા નિષ્ક્રિય ચક્ર. જો તમે કલાકદીઠ ચૂકવણી કરી રહ્યા છો (ક્લાઉડ) અથવા ધિરાણ આપી રહ્યા છો (ઓન-પ્રેમ), તો vLLM નો થ્રુપુટ બમ્પ પ્રતિ ડોલર વધુ ટોકન્સમાં અનુવાદ કરે છે.
- ક્વોન્ટિઝેશન ગેઇન્સ: જ્યાં સપોર્ટેડ હોય ત્યાં AWQ/GPTQ/INT8 ચલાવવાથી VRAM ફૂટપ્રિન્ટ્સ સંકોચાઈ શકે છે અને તમને GPU ટિયરને નીચે ઉતારવા દે છે—અથવા પ્રતિ કાર્ડ વધુ એક સાથે થતી જોબ્સ ફિટ કરવા દે છે.
- હોરિઝોન્ટલ સ્કેલ: જ્યારે તમારે વધુ સ્નાયુની જરૂર હોય, ત્યારે vLLM બહુવિધ GPUs અને નોડ્સમાં કામ કરે છે. તમે તમારા આર્કિટેક્ચરને બ્લેન્ડરમાં ફેંક્યા વિના રેખીય રીતે વધી શકો છો.
નિયમ: જો તમારી સેવા પર થોડા હાથથી વધુ એક સાથે થતા વપરાશકર્તાઓ હોય અથવા તમે તરંગોમાં બેચ જોબ્સ ચલાવો છો, તો vLLM ની કાર્યક્ષમતા ઝડપથી ચૂકવણી કરે છે. જો તમે ફક્ત પ્રોમ્પ્ટ્સનું પરીક્ષણ કરી રહ્યા છો, તો તે એક સરસ બાબત છે.
વાસ્તવિક દુનિયાના દૃશ્યો: vLLM ક્યાં પોતાની કમાણી કરે છે
- ઘણા એક સાથે થતા વપરાશકર્તાઓ સાથે ચેટ સહાયકો: ગ્રાહક સપોર્ટ, આંતરિક IT સહાય અથવા તે એપ્લિકેશન જે મધ્યરાત્રિ પહેલાં પાંચ મિનિટ પહેલાં વિદ્યાર્થીઓને નિબંધો માટે વિચારમંથન કરવામાં મદદ કરે છે.
- સામગ્રી જનરેશન પાઇપલાઇન્સ: બ્લોગ રૂપરેખા, ઇમેઇલ ડ્રાફ્ટ્સ, કોડ ટિપ્પણીઓ—DMV જેવી દેખાતી કતાર વિના સમાંતર રીતે જનરેટ થાય છે.
- ટૂલ-સંચાલિત એજન્ટો: જ્યારે તમારું મોડેલ ટૂલ કોલ્સ માટે થોભાવે છે, ત્યારે vLLM નું બેચિંગ GPU ને અન્ય વિનંતીઓ સાથે વ્યસ્ત રાખે છે.
- RAG સિસ્ટમ્સ: જ્યારે તમારું રીટ્રીવર અન્યત્ર બુકવોર્મ સામગ્રી કરે છે ત્યારે vLLM જનરેશન લેયર તરીકે સરસ રીતે કાર્ય કરે છે.
vLLM સેટઅપ ટિપ્સ (મનોરંજક રીતે શીખ્યા)
- તમે જે મોડેલ સર્વ કરવાની યોજના ઘડી રહ્યા છો તેનાથી પ્રારંભ કરો. પછી એક નાનું 3B બેન્ચમાર્ક ન કરો અને 70B ને જમાવશો અને આશ્ચર્ય પામશો કે તમારું GPU શા માટે ચીસો પાડે છે.
- મહત્તમ સંદર્ભ લંબાઈ ટ્યુન કરો. સંદર્ભનું કદ વધારવાથી VRAM ફૂટી જાય છે; યોગ્ય કદ રાખવાથી એક સાથે થવાની સંખ્યા ઊંચી રહે છે.
- સ્ટ્રીમિંગ સક્ષમ કરો. વપરાશકર્તાઓ ઝડપી પ્રતિસાદ અનુભવે છે અને તમે UI ટોકન્સને વહેલા ફ્લશ કરી શકો છો.
- વાસ્તવિક ટ્રાફિક પેટર્ન સાથે પરીક્ષણ કરો. સ્પાઇકી? સ્થિર? મિશ્ર? vLLM નું શેડ્યૂલર આકારના આધારે અલગ રીતે ચમકે છે.
- દરેક વસ્તુને લોગ કરો. લેટન્સી p50, p95, ટોકન થ્રુપુટ અને OOM ઇવેન્ટ્સ તમને જણાવે છે કે આગળ ક્યાં સ્ક્વિઝ કરવું.
સુરક્ષા અને શાસન: તમારા પોતાના પુખ્ત વયના પેન્ટ લાવો
vLLM એક સર્વિંગ એન્જિન છે, નૈતિક હોકાયંત્ર નથી. જો તમને મધ્યસ્થતા, PII સ્ક્રબિંગ, દર મર્યાદાઓ, ભાડૂત આઇસોલેશન અથવા ઓડિટ ટ્રેઇલ્સની જરૂર હોય, તો તેને ગેટવે અથવા એપ્લિકેશન લેયર પર બોલ્ટ કરો. સારા સમાચાર: -સુસંગત ઇન્ટરફેસ તમારી મનપસંદ નીતિઓ અને મિડલવેરને સ્વેપ કરવાનું સરળ બનાવે છે.
ફાઇન પ્રિન્ટ: આ vLLM સમીક્ષામાં સુસંગતતા અને ચેતવણીઓ
- દરેક મોડેલ આર્કિટેક્ચર અથવા ક્વોન્ટ વેઇટ પ્લગ-એન્ડ-ગો નહીં હોય. દસ્તાવેજો અને સમુદાય મુદ્દાઓ તપાસો. સપોર્ટની ગતિ ઝડપી છે, પરંતુ નવીનતા હંમેશા સ્થિરતાને વટાવી જાય છે.
- CPU ફોલબેક? vLLM GPUs પર સૌથી વધુ ખુશ છે. તમે CPU પર પ્રયોગ કરી શકો છો, પરંતુ તે સ્કી બૂટમાં મેરેથોન ચલાવવા જેવું છે.
- મલ્ટિ-GPU શાર્ડિંગ શક્તિશાળી છે, પરંતુ કાળજીપૂર્વક રૂપરેખાંકનની જરૂર છે. ખાસ કરીને પ્રોડક્શન SLAs માટે, ફેલઓવર અને વોર્મ સ્ટાર્ટ્સનું પરીક્ષણ કરો.
ઝડપી શરૂઆત: એક માનસિક ચેકલિસ્ટ
- હાર્ડવેર: તમારા લક્ષ્ય મોડેલ + એક સાથે થવાની સંખ્યા માટે હેડરૂમ માટે પૂરતી VRAM સાથે GPUs.
- મોડેલ: સારી રીતે સપોર્ટેડ પરિવાર (, , , , ) પસંદ કરો અને ટોકનાઇઝર/ક્વોન્ટિઝેશન સુસંગતતાની પુષ્ટિ કરો.
- સર્વિંગ: API ચાલુ કરીને vLLM ચલાવો, પ્રતિસાદો સ્ટ્રીમ કરો, સંદર્ભ અને max_tokens સમજદારીપૂર્વક સેટ કરો.
- સ્કેલ: GPUs અથવા નોડ્સ ઉમેરો. રૂટીંગ, દર મર્યાદાઓ અને ઓથ માટે ગેટવેનો ઉપયોગ કરો. જો ક્લાઉડ હોય તો ઓટોસ્કેલિંગનો વિચાર કરો.
- ખર્ચ: પ્રતિ સેકન્ડ ટોકન્સ, એક સાથે થવાની સંખ્યા અને સરેરાશ આઉટપુટ લંબાઈ માપો. દરેક ફેરફાર પછી ફરીથી ચલાવો.
નોંધનીય: આ ચિત્રમાં Sider.AI ક્યાં બંધબેસે છે
હેડ્સ અપ, બિલ્ડર્સ: જો તમે મોડેલો પસંદ કરવાનો પ્રયાસ કરી રહ્યા છો, પ્રોમ્પ્ટ્સ પર ઝડપની સરખામણી કરો છો અને સામાન્ય રીતે પુનરાવર્તન કરતી વખતે તમારું મન ગુમાવતા નથી, તો Sider.AI એક ઉત્તમ સમજદારી ચકાસણી હોઈ શકે છે. તમે વિવિધ બેકએન્ડ્સ પર પ્રોમ્પ્ટ્સનો ડ્રાફ્ટ, પરીક્ષણ અને સુધારો કરી શકો છો, પછી જ્યારે ખર્ચ અથવા નિયંત્રણ માટે સ્વ-હોસ્ટ કરવાનો સમય આવે ત્યારે vLLM પર જાઓ. Sider.AI ને તમારા પિટ ક્રૂ તરીકે વિચારો—પછી vLLM ને રેસ કાર તરીકે વિચારો જે તમે ટ્રેક ખુલવા પર ચલાવો છો. હમણાં જ vLLM કોણે પસંદ કરવું જોઈએ?
- હા: વધતા વપરાશકર્તા આધારવાળા સ્ટાર્ટઅપ્સ, ઘણી ટીમોને સર્વ કરતા આંતરિક પ્લેટફોર્મ્સ, પ્રોડક્ટ સ્કવોડ્સ જે પેઇડ API થી સ્વ-હોસ્ટિંગ તરફ આગળ વધી રહી છે.
- કદાચ: એકલા ડેવલપર્સ વિકલ્પોનું અન્વેષણ કરી રહ્યા છે. જો તમારો ટ્રાફિક નાનો હોય, તો સંચાલિત APIs હમણાં માટે સરળ (અને સસ્તા) હોઈ શકે છે.
- હજી સુધી નહીં: અત્યંત નિયંત્રિત સંસ્થાઓને સર્વિંગ લેયરમાં ટર્નકી અનુપાલન અને આઇસોલેશનની જરૂર છે. તમારે પહેલા તેની આસપાસ વધુ ગાર્ડ્રેલ્સની જરૂર પડશે.
vLLM ગુણદોષ (કોઈ શુગરકોટિંગ નહીં)
ગુણ
- એક સાથે થવાની સ્થિતિમાં ઉત્તમ થ્રુપુટ
- -સુસંગત API સ્થળાંતરને સરળ બનાવે છે
- પેજ્ડએટેંશન સાથે મજબૂત મેમરી કાર્યક્ષમતા
- લોકપ્રિય ઓપન મોડેલ્સ અને ક્વોન્ટિઝેશન માટે સારું સમર્થન
- સક્રિય સમુદાય અને ઝડપી વિકાસ કેડન્સ
વિપક્ષ
- સાર્વત્રિક મોડેલ/ક્વોન્ટ સપોર્ટ નથી; થોડું ટીંકરિંગ જરૂરી છે
- GPUs પર શ્રેષ્ઠ; CPU નો ઉપયોગ મોટે ભાગે વિજ્ઞાન પ્રયોગો માટે છે
- પ્રોડક્શન-ગ્રેડ મલ્ટિટેનન્સી અને શાસન માટે વધારાની જરૂર છે
- ઝડપી ફેરફારોનો અર્થ પ્રસંગોપાત અપગ્રેડ બમ્પ્સ થઈ શકે છે
આ vLLM સમીક્ષાનો ચુકાદો
vLLM એ દુર્લભ ઓપન-સોર્સ પ્રોજેક્ટ છે જે એકેડેમિક-સ્માર્ટ અને પ્રોડક્શન-વ્યવહારુ બંને લાગે છે. જો તમે સૌના તરીકે બમણી GPU ફાર્મ સ્પિન કર્યા વિના સ્કેલ પર LLM ચલાવવા વિશે ગંભીર છો, તો તે તમારી ટૂંકી સૂચિમાં હોવું જોઈએ—સંભવતઃ ટોચ પર. મોડેલો સર્વ કરવાનો આ એકમાત્ર રસ્તો નથી, પરંતુ અત્યારે, તે સૌથી ઝડપી, સૌથી લવચીક અને સૌથી વધુ ડેવલપર-ફ્રેન્ડલી છે.
બીજી રીતે મૂકવા માટે: જો તમારી વર્તમાન સેટઅપ વપરાશકર્તાઓને તેમના જીવનની પસંદગીઓ પર પુનર્વિચાર કરવા માટે પૂરતો સમય રાહ જોવડાવે છે, તો vLLM તમને તેઓ તે કરી શકે તે પહેલાં જવાબો મોકલવામાં મદદ કરશે. અને આ આખો મુદ્દો છે, ખરું ને?
એક્શન પ્લાન: આ અઠવાડિયે તમારા LLM ને ઝડપી બનાવો
- દિવસ 1: તમારા લક્ષ્ય મોડેલ સાથે vLLM ને ઊભું કરો. સ્ટ્રીમિંગ ચાલુ કરો. તેને તમારા વાસ્તવિક પ્રોમ્પ્ટ્સ સાથે હિટ કરો.
- દિવસ 2: સંદર્ભ વિન્ડો અને બેચ સેટિંગ્સને ટ્યુન કરો. વધુ વિનંતીઓ ફિટ કરવા માટે સપોર્ટેડ ક્વોન્ટિઝેશનનો પ્રયાસ કરો.
- દિવસ 3: ગેટવે અને લોગ ઉમેરો. p95 લેટન્સી અને પ્રતિ ડોલર ટોકન્સ માપો.
- દિવસ 4-5: વાસ્તવિક વપરાશકર્તાઓને કેનેરી દબાણ કરો. જરૂર પડે તો સ્કેલ આઉટ કરો. કંઈક બબલી સાથે ઉજવણી કરો (સેલ્ટ્ઝર ગણાય છે).
અને જ્યારે તમારો બોસ પૂછે કે તમે ખર્ચ બમણો કર્યા વિના થ્રુપુટ કેવી રીતે બમણો કર્યો, તો ફક્ત બે શબ્દો કહો: "પેજ્ડ એટેંશન." પછી તેમને આ vLLM સમીક્ષા આપો અને એવી રીતે માથું ધુણાવવાનો આનંદ માણો કે જાણે તમે આ બધું આયોજન કર્યું હોય.
FAQ
Q1:શું vLLM નાની ટીમો માટે સારું છે કે માત્ર મોટા સાહસો માટે?
બંને માટે. જો તમે ખર્ચ ઘટાડવા માટે સંચાલિત APIs થી સ્વ-હોસ્ટેડ પર જઈ રહ્યા છો, તો vLLM ના -સુસંગત એન્ડપોઇન્ટ્સ સ્વિચને સરળ બનાવે છે. મોટી ટીમો માટે, ટ્રાફિક વધે ત્યારે થ્રુપુટ અને એક સાથે થવાની જીત ચમકે છે.
Q2:vLLM પર કયા મોડેલો શ્રેષ્ઠ રીતે ચાલે છે?
, , , , , અને જેવા લોકપ્રિય ઓપન મોડેલો સારી રીતે ચાલતા માર્ગો છે. ક્વોન્ટાઇઝ્ડ વેરિઅન્ટ્સ માટે સુસંગતતા નોંધો તપાસો—સૌથી સામાન્ય ફોર્મેટ્સ કામ કરે છે, પરંતુ વિદેશી કોમ્બોઝને ટીંકરિંગની જરૂર પડી શકે છે.
Q3:vLLM ચલાવવા માટે મારે કેટલા GPU ની જરૂર છે?
તમારા મોડેલના કદ અને સંદર્ભ વિન્ડો સાથે VRAM ને મેચ કરો, પછી એક સાથે થવાની સંખ્યા માટે હેડરૂમ ઉમેરો. એક જ ઉચ્ચ-મેમરી GPU 7B–13B મોડેલને સારી રીતે સર્વ કરી શકે છે; મોટા મોડેલો અથવા ભારે ટ્રાફિકને મલ્ટિ-GPU સેટઅપ્સથી ફાયદો થાય છે.
Q4:શું vLLM લેટન્સી ઘટાડે છે કે માત્ર થ્રુપુટ વધારે છે?
વર્કલોડના આધારે બંને. સતત બેચિંગ વધુ સારા થ્રુપુટ માટે GPU ઉપયોગિતામાં સુધારો કરે છે, જ્યારે સ્ટ્રીમિંગ અને કાર્યક્ષમ શેડ્યૂલિંગ ચેટ્ટી એપ્લિકેશન્સમાં સમય-થી-પ્રથમ-ટોકન અને પૂંછડી લેટન્સીમાં મદદ કરે છે.
Q5:ટેક્સ્ટ જનરેશન ઇન્ફરન્સ (TGI) ની સરખામણીમાં vLLM કેવી રીતે છે?
vLLM ઘણીવાર પેજ્ડએટેંશન અને ડાયનેમિક બેચિંગ સાથે થ્રુપુટ પર TGI ને ધાર આપે છે, ખાસ કરીને ઇન્ટરેક્ટિવ ચેટ માટે. TGI હગિંગ ફેસ ઇન્ટિગ્રેશન્સ અને એન્ટરપ્રાઇઝ પોલિશ તરફ ઝૂકે છે—તમારો સ્ટેક અને પ્રાથમિકતાઓ નક્કી કરે છે.
