Ar kada bandėte patys talpinti didelį kalbos modelį savo GPU ir jautėtės taip, lyg būtumėte įsigiję labai išalkusį Tamagotchi? Maitinate jį VRAM, lepinkite branduolius, ir kai pagaliau paprašote atsakymo... jis penkias sekundes mirksi į jus ir nuklysta. Toks buvo mano savaitgalis su „vaniliniu“ LLM serveriu. Tada įdiegiau vLLM.
SPOILERIS: vLLM yra atvirojo kodo variklis, dėl kurio LLM išvados jaučiasi taip, lyg triratį būtumėte iškeitę į Tesla. Ši vLLM apžvalga nagrinėja, kas tai yra, kaip jis išspaudžia daugiau žetonų iš jūsų aparatinės įrangos biudžeto, kur jis spindi, kur klysta ir kas turėtų jį įsidėti į krepšelį, klasterį arba „galbūt vėliau“ krūvą.
Kas yra vLLM paprasta kalba (ir mažiau GPU ašarų)?
vLLM yra atvirojo kodo išvadų ir aptarnavimo variklis, skirtas dideliems kalbos modeliams. Pagalvokite apie tai kaip apie skrydžių vadovą, bagažo tvarkytoją ir pigių skrydžių oro linijas viename – dalyką, kuris suplanuoja užklausas, supakuoja žetonus į GPU atmintį ir efektyviai pakyla nepalikdamas tuščių vietų (VRAM). Jis apgaubia jums žinomus modelius – Llama, Mistral, Mixtral, Phi, Qwen, Gemma – už pažįstamų API (OpenAI stiliaus, suderinamų su OpenAI), tada juos patobulina gudriais atminties triukais ir planavimu.
Jei bandėte paleisti LLM su naiviomis kilpomis ar net bendrosios paskirties aptarnavimo sistemomis, tikriausiai susidūrėte su didžiausiu greičio žudiku: švaistoma atmintimi. Firminis vLLM bruožas yra PagedAttention – dinaminis atminties valdiklis, kuris traktuoja raktų / reikšmių dėmesio talpyklas kaip puslapius operacinėje sistemoje. Vertimas: užuot kiekvienam pokalbiui suteikus privatų apartamentą VRAM, jis paverčia tuos apartamentus bendradarbystės erdve. Telpa daugiau žmonių (užklausų). Visi rašo greičiau.
Kam skirta ši vLLM apžvalga?
- AI programėles kuriančioms komandoms, kurios nori mažos delsos pokalbių ir didelio pralaidumo paketinių užduočių.
- Infrastruktūros specialistams, ieškantiems atvirojo kodo alternatyvos komerciniams LLM galiniams taškams.
- Tyrėjams, kuriems reikia greitų modelio pakeitimų neaukojant našumo.
- Pradedančiųjų įmonių pragmatikams, bandantiems sumažinti žetonų sąnaudas savarankiškai talpinant.
Jei esate „Aš tiesiog noriu raginimo laukelio ir nuotaikos“, galbūt labiau norėsite valdomų API. Jei esate „Noriu 10 kartų didesnio pralaidumo be 10 kartų didesnio biudžeto“, skaitykite toliau.
Pagrindinės vLLM funkcijos (ir kodėl turėtumėte ja rūpintis)
- PagedAttention: Atminties puslapių tvarkymas dėmesio KV talpykloms. Tai priežastis, kodėl vLLM gali žongliruoti daugybe užklausų nepraleidžiant kadrų.
- Nuolatinis paketinis apdorojimas: Naujos užklausos prisijungia prie apdorojamų paketų, todėl GPU išlieka užimtas, o delsa – sveika.
- Suderinamos su OpenAI API: Prijunkite ją prie įrankių ir SDK, sukurtų OpenAI, minimaliais kodo pakeitimais.
- Tenoriaus / kiekybinimo palaikymas: FP16, BF16 ir populiarūs kiekybiškai įvertinti svoriai (pvz., AWQ, GPTQ, kur taikoma), todėl galite sutalpinti didesnius smegenis į mažesnius GPU.
- Kelių GPU ir paskirstytas aptarnavimas: Išplėskite, kai jūsų vienas A100 pradeda prakaituoti.
- Srautiniai žetonai: Vartotojai mato, kaip žodžiai išspausdinami kaip Holivudo įsilaužimo scena, todėl viskas kažkaip atrodo greičiau.
- LoRA / adapterio palaikymas (priklauso nuo modelio): Naudinga, jei aptarnaujate smulkiai sureguliuotas to paties bazinio modelio versijas.
Greitas sąrankos aprašymas (kitaip: kaip greitai galiu gauti pirmąjį žetoną?)
- Įdiekite vLLM per pip. Nereikia jokio iškvietimo rato:
pip install vllm
- Nurodykite modelį Hugging Face arba savo vietinius svorius.
- Paleiskite serverį su OpenAI suderinamu galiniu tašku.
- Įkelkite jį arba prijunkite prie esamo OpenAI kliento.
Mano testuose su vartotojo GPU ir darbo stotimi su duomenų centro plokšte laikas iki pirmojo žetono pasirodė pastebimai greitesnis nei standartinės transformatorių serverio sąrankos, ypač esant apkrovai. Magija pasirodo, kai keli vartotojai (arba jūsų pačių paketinių užduočių) užpuola serverį – vLLM nuolat maitina GPU.
Etaloniniai testai, delsa ir realaus pasaulio nuotaika
Štai kas išsiskyrė per vLLM apžvalgą:
- Pralaidumas: Su nuolatiniu paketiniu apdorojimu vLLM gali aptarnauti daugybę užklausų per sekundę nepaverčiant jūsų GPU kosminiu šildytuvu, kuris spausdina tik elipses. Kuo daugiau lygiagrečių užklausų į jį įmetate (pagrįstai), tuo labiau jis pasireiškia.
- Delssa: Laikas iki pirmojo žetono yra konkurencingas ir kartais geresnis nei kitų mano išbandytų atvirojo kodo serverių, ypač kai įjungtas srautinis perdavimas, o raginimai yra trumpi ar vidutiniai.
- Ilgos išvestys: Pastovus generavimas yra stabilus. Labai ilgiems generavimams norėsite sureguliuoti max_tokens, spindulio nustatymus (jei būtina) ir temperatūrą, kad VRAM būtų patogus.
- Mišrūs darbo krūviai: Jis keistai gerai tvarko pokalbius, įrankių naudojimo raginimus ir lengvą paketų vertinimą tuo pačiu metu. Kaip užkandinė, kuri patiekia blynus ir pad thai nieko nenuodydama.
Jūsų skaičiai priklausys nuo GPU klasės, kiekybinimo, sekų ilgių ir modelio pasirinkimo. Tačiau modelis yra nuoseklus: vLLM išsiveržia į priekį didėjant lygiagretumui.
Kur vLLM spindi, palyginti su kitais LLM serveriais
- Jei jūsų prioritetas yra aptarnauti daugybę interaktyvių vartotojų su minimaliais delsos sumažėjimais, vLLM planuotojas ir PagedAttention yra išskirtiniai dalykai.
- Jei jums reikia su OpenAI suderinamų galinių taškų, kad įdėtumėte į esamas programas, tai yra draugiškas „įjunk ir žaisk“.
- Jei optimizuojate sąnaudas, dažnai galite pereiti prie šiek tiek mažesnės GPU klasės arba išspausti daugiau užklausų / sek iš tos pačios aparatinės įrangos. CFO visur ką tik atsigavo.
Kur vLLM gali nuvilti (tai nėra stebuklingos fėjos dulkės)
- Modelio suderinamumas nėra universalus. Dauguma populiarių atvirų svorių veikia puikiai, tačiau egzotiškoms architektūroms arba pažangiausiems kiekybinio įvertinimo formatams gali prireikti koregavimo arba jie dar gali būti nepalaikomi.
- Atmintis vis dar yra fizika. PagedAttention padeda, bet 7B modelis 6GB GPU su 100 lygiagrečių vartotojų vis dar yra situacijų komedija, o ne serveris.
- Norint pažangaus kelių nuomininkų aptarnavimo ir apsaugos priemonių, gali prireikti susieti su kitais įrankiais arba rašyti klijų kodą.
- Atnaujinimai vyksta greitai. Tai yra pliusas funkcijoms, minusas, jei norite stagnacijos stabilumo.
vLLM prieš įprastus įtariamuosius (draugiškas susidūrimas)
- Teksto generavimo išvada (TGI): TGI yra nušlifuotas ir populiarus įmonėse. vLLM dažnai pralenkia jį pagal pralaidumą su dinaminiu paketiniu apdorojimu ir PagedAttention, ypač pokalbių darbo krūviams. TGI turi stiprią Hugging Face integraciją ir tvirtą gamybos ergonomiką. Pasirinkite vLLM, jei norite didelio aptarnavimo greičio ir į OpenAI panašių API; pasirinkite TGI, jei esate giliai HF įrankiuose ir norite jų operacijų modelių.
- OpenLLM / FastChat / Kiti: Daugelis puikiai tinka eksperimentams. vLLM paprastai laimi pagal lygiagretumą ir atminties efektyvumą. Jei kuriate vartotojo programą su smailiu srautu, vLLM planavimas padeda išlaikyti trumpas uodegas.
- Individualūs Triton / Transformers rinkiniai: Galite rankomis sukurti puikų serverį, bet vLLM supakuoja triukus, kuriuos vis tiek sukurtumėte – ir jums nereikia prižiūrėti mažo miesto vertės branduolių.
Gilus pasinėrimas: kodėl PagedAttention yra svarbus
Įsivaizduokite savo modelio dėmesio erdvę kaip milžinišką lentą. Kiekvienas pokalbis ja remiasi. Dauguma serverių priskiria visą skyrių – net jei pokalbis yra du piešiniai ir šypsenėlė. PagedAttention padalija tą lentą į lipnius lapelius ir juos maišo. Daugiau žmonių gali piešti vienu metu, mažiau spragų, mažiau švaistomos vietos. Štai kodėl vLLM išlaiko našumą, kai atsiranda realus pasaulis – kitaip tariant, daugelis vartotojų klausia atsitiktinių dalykų.
Kūrėjo patirtis: jauki ar traški?
- API patogumas: Gaunate REST galinius taškus, kurie imituoja OpenAI. Atsineškite esamus klientus, raginimo šablonus ir registratorius.
- Konfigūracijos: Protingos numatytosios reikšmės su daugybe žymų paketų dydžiams, tenzorių lygiagretumui, kiekybinimui ir planuotojo rankenėlėms.
- Stebėjimas: Metrikos galiniai taškai, žurnalai ir Prometheus kabliukai yra, nors tikriausiai pridėsite savo sekimą.
- Išplečiamumas: Gerėja įskiepių palaikymas žetonizatoriams, adapteriams ir programinei įrangai. Jei mėgstate skaityti kodą vidurnaktį, saugykla yra aktyvi ir prieinama.
Sąnaudų matematika: kaip vLLM keičia GPU sąskaitą
- Geresnis panaudojimas = mažiau tuščiosios eigos ciklų. Jei mokate pagal valandą (debesis) arba amortizuojate (vietoje), vLLM pralaidumo padidėjimas reiškia daugiau žetonų už dolerį.
- Kiekybinimo nauda: AWQ / GPTQ / INT8 paleidimas, kur palaikoma, gali sumažinti VRAM pėdsakus ir leisti jums sumažinti GPU pakopą arba sutalpinti daugiau lygiagrečių užduočių vienoje plokštėje.
- Horizontalus mastelis: Kai jums reikia daugiau raumenų, vLLM veikia keliuose GPU ir mazguose. Galite augti tiesiškai neįmesdami savo architektūros į maišytuvą.
Praktikos taisyklė: jei jūsų tarnyba turi daugiau nei saujelę lygiagrečių vartotojų arba vykdote paketines užduotis bangomis, vLLM efektyvumas greitai atsipirks. Jei tiesiog testuojate raginimus, tai yra malonus dalykas.
Realaus pasaulio scenarijai: Kur vLLM užsitarnauja savo išlaikymą
- Pokalbių asistentai su daugybe vienu metu prisijungusių vartotojų: Klientų aptarnavimas, vidinė IT pagalba arba programa, padedanti studentams generuoti esė likus penkioms minutėms iki vidurnakčio.
- Turinio generavimo konvejeriai: Tinklaraščio metmenys, el. laiškų juodraščiai, kodo komentarai – generuojami lygiagrečiai be eilės, kuri atrodo kaip DMV.
- Įrankiais pagrįsti agentai: Kai jūsų modelis sustoja dėl įrankių iškvietimų, vLLM paketinis apdorojimas užtikrina, kad GPU būtų užimtas kitomis užklausomis.
- RAG sistemos: vLLM puikiai veikia kaip generavimo sluoksnis, o jūsų paieškos sistema atlieka knygų sliekų dalykus kitur.
vLLM sąrankos patarimai (išmokti smagiu būdu)
- Pradėkite nuo modelio, kurį iš tikrųjų planuojate aptarnauti. Nebandykite mažyčio 3B etalonų, tada neįdiekite 70B ir stebėkitės, kodėl jūsų GPU rėkia.
- Sureguliuokite maksimalų konteksto ilgį. Per didelis konteksto dydis susprogdina VRAM; tinkamas dydis išlaiko didelį lygiagretumą.
- Įjunkite srautinį perdavimą. Vartotojai jaučia greitesnius atsakymus, ir galite anksti išvalyti UI žetonus.
- Išbandykite su tikrais srauto modeliais. Smaili? Pastovus? Mišrus? vLLM planuotojas spindi skirtingai, priklausomai nuo formos.
- Registruokite viską. Delssa p50, p95, žetonų pralaidumas ir OOM įvykiai parodo, kur toliau išspausti.
Saugumas ir valdymas: atsineškite savo suaugusiųjų kelnes
vLLM yra aptarnavimo variklis, o ne moralinis kompasas. Jei jums reikia moderavimo, PII valymo, normų apribojimų, nuomininkų izoliavimo ar audito takelių, pritvirtinkite juos prie šliuzo arba programos sluoksnio. Gera žinia: su OpenAI suderinama sąsaja leidžia lengviau įdėti mėgstamas strategijas ir tarpinę programinę įrangą.
Smulkusis šriftas: suderinamumas ir įspėjimai šioje vLLM apžvalgoje
- Ne kiekviena modelio architektūra ar kiekybinis svoris bus „įjunk ir eik“. Patikrinkite dokumentus ir bendruomenės problemas. Palaikymo tempas yra greitas, tačiau naujumas visada pralenkia stabilumą.
- CPU atsarginis variantas? vLLM geriausiai jaučiasi su GPU. Galite eksperimentuoti su CPU, bet tai yra tarsi bandymas bėgti maratoną su slidžių batais.
- Kelių GPU dalijimasis yra galingas, bet reikalauja kruopščios konfigūracijos. Išbandykite perjungimą ir šiltus paleidimus, ypač gamybos SLA.
Greita pradžia: psichinis kontrolinis sąrašas
- Aparatinė įranga: GPU su pakankamai VRAM jūsų tiksliniam modeliui + vietos lygiagretumui.
- Modelis: Pasirinkite gerai palaikomą šeimą (Llama, Mistral, Mixtral, Qwen, Gemma) ir patvirtinkite žetonizatoriaus / kiekybinimo suderinamumą.
- Aptarnavimas: Paleiskite vLLM su įjungta OpenAI API, perduokite atsakymus srautu, protingai nustatykite kontekstą ir max_tokens.
- Mastelis: Pridėkite GPU arba mazgų. Naudokite šliuzą maršrutams, normų apribojimams ir autentifikavimui. Apsvarstykite automatinį mastelio keitimą, jei naudojate debesį.
- Sąnaudos: Išmatuokite žetonų per sekundę, lygiagretumą ir vidutinį išvesties ilgį. Paleiskite iš naujo po kiekvieno pakeitimo.
Verta paminėti: kur į šį vaizdą įeina Sider.AI
Žinia kūrėjams: jei bandote pasirinkti modelius, palyginti greitį tarp raginimų ir apskritai neprarasti proto kartodami, Sider.AI gali būti puikus proto patikrinimas. Galite kurti, testuoti ir tobulinti raginimus įvairiose programinės įrangos sistemose, tada pereiti prie vLLM, kai ateis laikas savarankiškai talpinti dėl sąnaudų ar kontrolės. Pagalvokite apie Sider.AI kaip apie savo techninę komandą – tada vLLM kaip apie lenktyninį automobilį, kuriuo važiuojate, kai trasa atsidaro. Kas turėtų pasirinkti vLLM dabar?
- Taip: Pradedančiosios įmonės su augančiomis vartotojų bazėmis, vidinės platformos, aptarnaujančios daugybę komandų, produktų komandos, pereinančios nuo mokamos API prie savarankiško talpinimo.
- Galbūt: Solo kūrėjai, tyrinėjantys galimybes. Jei jūsų srautas yra mažas, valdomos API gali būti paprastesnės (ir pigesnės) dabar.
- Dar ne: Labai reguliuojamos organizacijos, kurioms reikia greito atitikties ir izoliavimo aptarnavimo sluoksnyje. Pirmiausia aplink jį reikės daugiau apsaugos priemonių.
vLLM privalumai ir trūkumai (be saldinimo)
Privalumai
- Puikus pralaidumas esant lygiagretumui
- Su OpenAI suderinama API palengvina migraciją
- Stiprus atminties efektyvumas su PagedAttention
- Geras populiarių atvirų modelių ir kiekybinimo palaikymas
- Aktyvi bendruomenė ir greitas kūrimo tempas
Trūkumai
- Ne universalus modelio / kiekybinio palaikymas; reikia šiek tiek koreguoti
- Geriausiai veikia su GPU; CPU naudojimas daugiausia skirtas mokslo eksperimentams
- Gamybos lygio aptarnavimas keliems nuomininkams ir valdymas reikalauja priedų
- Greiti pakeitimai gali reikšti atsitiktinius atnaujinimo šuolius
Šios vLLM apžvalgos verdiktas
vLLM yra retas atvirojo kodo projektas, kuris jaučiasi ir akademiškai protingas, ir praktiškas gamyboje. Jei rimtai ketinate paleisti LLM dideliu mastu neįsukdami GPU ūkio, kuris dvigubai atlieka saunos funkciją, jis priklauso jūsų sąrašo viršuje – tikriausiai pačiame viršuje. Tai nėra vienintelis būdas aptarnauti modelius, bet šiuo metu tai yra vienas iš greičiausių, lanksčiausių ir patogiausių kūrėjams.
Kitaip tariant: jei dabartinė sąranka priverčia vartotojus laukti pakankamai ilgai, kad jie persvarstytų savo gyvenimo pasirinkimus, vLLM padės jums pateikti atsakymus anksčiau, nei jie gali tai padaryti. Ir tai yra esmė, ar ne?
Veiksmų planas: padarykite savo LLM greitesnį šią savaitę
- 1 diena: Atsistokite vLLM su savo tiksliniu modeliu. Įjunkite srautinį perdavimą. Pataikykite į jį su tikrais raginimais.
- 2 diena: Sureguliuokite konteksto langą ir paketų nustatymus. Išbandykite palaikomą kiekybinimą, kad tilptų daugiau užklausų.
- 3 diena: Pridėkite šliuzą ir žurnalus. Išmatuokite p95 delsą ir žetonus už dolerį.
- 4–5 dienos: Perkelkite kanarėlę tikriems vartotojams. Prireikus padidinkite mastelį. Švęskite su kažkuo burbuliuojančiu (seltzeris skaičiuojasi).
Ir kai jūsų viršininkas paklaus, kaip padidinote pralaidumą dvigubai nepadidinę sąnaudų dvigubai, tiesiog pasakykite du žodžius: „puslapinis dėmesys“. Tada įteikite jiems šią vLLM apžvalgą ir mėgaukitės linktelėjimais, lyg viską būtumėte suplanavę iš anksto.
DUK
1 klausimas: Ar vLLM tinka mažoms komandoms ar tik didelėms įmonėms?
Abu. Jei pereinate nuo valdomų API prie savarankiško talpinimo, kad sumažintumėte sąnaudas, vLLM su OpenAI suderinami galiniai taškai palengvina perėjimą. Didelėms komandoms pralaidumo ir lygiagretumo laimėjimai spindi, kai srautas padidėja.
2 klausimas: Kurie modeliai geriausiai veikia vLLM?
Populiarūs atviri modeliai, tokie kaip Llama, Mistral, Mixtral, Qwen, Gemma ir Phi, yra gerai praminti keliai. Patikrinkite kiekybiškai įvertintų variantų suderinamumo pastabas – dauguma įprastų formatų veikia, tačiau egzotiškiems deriniams gali prireikti koregavimo.
3 klausimas: Kiek GPU man reikia vLLM paleisti?
Suderinkite VRAM su savo modelio dydžiu ir konteksto langu, tada pridėkite vietos lygiagretumui. Vienas didelės atminties GPU gali gerai aptarnauti 7B–13B modelį; didesniems modeliams ar dideliam srautui naudinga kelių GPU sąranka.
4 klausimas: Ar vLLM sumažina delsą, ar tik padidina pralaidumą?
Abu, priklausomai nuo darbo krūvio. Nuolatinis paketinis apdorojimas pagerina GPU panaudojimą, kad būtų užtikrintas didesnis pralaidumas, o srautinis perdavimas ir efektyvus planavimas padeda užtikrinti laiką iki pirmojo žetono ir uodegos delsą pokalbių programose.
5 klausimas: Kaip vLLM palyginti su teksto generavimo išvada (TGI)?
vLLM dažnai pralenkia TGI pagal pralaidumą su PagedAttention ir dinaminiu paketiniu apdorojimu, ypač interaktyviems pokalbiams. TGI remiasi Hugging Face integracijomis ir įmonės poliravimu – jūsų programinės įrangos sistema ir prioritetai turėtų lemti.
