Ste se že kdaj trudili gostiti velik jezikovni model na svojem GPU-ju in se počutili, kot da ste posvojili zelo lačnega Tamagotchija? Hranite ga z VRAM-om, razvajate jedra, in ko končno zahtevate odgovor ... pet sekund mežika v vas in odtava. Takšen je bil moj konec tedna z "navadnim" LLM strežnikom. Potem sem namestil vLLM.
Razkritje: vLLM je odprtokodni pogon, zaradi katerega se sklepanje LLM zdi, kot da ste tricikel zamenjali za Teslo. Ta pregled vLLM raziskuje, kaj je, kako iztisne več žetonov iz vašega proračuna za strojno opremo, kje blesti, kje se spotika in kdo bi ga moral dati v košarico, gručo ali na kup "morda kasneje".
Kaj je vLLM, po domače (in z manj solz zaradi GPU-ja)?
vLLM je odprtokodni pogon za sklepanje in strežbo velikih jezikovnih modelov. Predstavljajte si ga kot kontrolorja zračnega prometa, manipulatorja prtljage in nizkocenovnega letalskega prevoznika v enem – tisto, kar načrtuje zahteve, pakira žetone v pomnilnik GPU in učinkovito vzleti, ne da bi pustilo prazne sedeže (VRAM). Modele, ki jih poznate – Llama, Mistral, Mixtral, Phi, Qwen, Gemma – zavije za znane API-je (v slogu OpenAI, združljive z OpenAI), nato pa jih okrepi s pametnimi pomnilniškimi triki in razporejanjem.
Če ste poskusili zagnati LLM-je z naivnimi zankami ali celo splošnimi ogrodji za strežbo, ste verjetno spoznali največjega ubijalca hitrosti: zapravljen pomnilnik. Glavna poteza vLLM je PagedAttention, dinamični upravitelj pomnilnika, ki obravnava predpomnilnike ključnih/vrednostnih pozornosti kot strani v operacijskem sistemu. Prevod: namesto da bi vsakemu pogovoru namenili zasebni penthouse v VRAM-u, spremeni penthouse v prostor za sodelovanje. Vanj se lahko prilega več ljudi (zahtev). Vsi tipkajo hitreje.
Komu je namenjen ta pregled vLLM?
- Ekipam, ki gradijo aplikacije z umetno inteligenco in želijo klepet z nizko latenco in visoko pretočnost paketnih opravil.
- Strokovnjakom za infrastrukturo, ki iščejo odprtokodno alternativo komercialnim končnim točkam LLM.
- Raziskovalcem, ki potrebujejo hitre zamenjave modelov brez žrtvovanja zmogljivosti.
- Startup pragmatikom, ki poskušajo zmanjšati stroške žetonov z lastnim gostovanjem.
Če ste v fazi "Želim samo polje za pozive in vibracije", boste morda raje uporabili upravljane API-je. Če pa ste v fazi "Želim 10-krat večjo pretočnost brez 10-krat večjega proračuna", berite naprej.
Glavne funkcije vLLM (in zakaj bi vas morale zanimati)
- PagedAttention: Strani pomnilnika za predpomnilnike pozornosti KV. To je razlog, zakaj lahko vLLM obvladuje veliko zahtev, ne da bi pri tem izpuščal sličice.
- Neprekinjeno paketno obdelovanje: Nove zahteve se pridružijo paketom med letom, tako da GPU-ji ostanejo zasedeni in latenca ostane razumna.
- API-ji, združljivi z OpenAI: Priključite ga v orodja in SDK-je, zgrajene za OpenAI, z minimalnimi spremembami kode.
- Podpora za tenzorje/kvantizacijo: FP16, BF16 in priljubljene kvantizirane uteži (kot so AWQ, GPTQ, kjer je to primerno), tako da lahko večje možgane spravite v manjše GPU-je.
- Strežba z več GPU-ji in porazdeljena strežba: Povečajte obseg, ko se vaš en sam A100 začne potiti.
- Pretakanje žetonov: Uporabniki vidijo besede, ki se izpisujejo kot v hollywoodskem prizoru hekanja, zaradi česar se zdi, da je vse hitreje.
- Podpora za LoRA/adapter (odvisno od modela): Uporabno, če strežete različice, natančno nastavljene na istem osnovnem modelu.
Hitra nastavitev (aka: kako hitro lahko pridem do prvega žetona?)
- Namestite vLLM prek pipa. Ni potreben noben krog za priklic:
pip install vllm
- Pokažite na model na Hugging Face ali na svoje lokalne uteži.
- Zaženite strežnik s končno točko, združljivo z OpenAI.
- Uporabite Curl ali ga priključite v obstoječo stranko OpenAI.
V mojih testih na potrošniškem GPU-ju in delovni postaji s kartico podatkovnega centra se je čas do prvega žetona zdel opazno hitrejši kot pri standardnih nastavitvah strežnika transformers, zlasti pri obremenitvi. Čarovnija se pojavi, ko več uporabnikov (ali vaših lastnih paketnih opravil) napade strežnik – vLLM ohranja GPU napolnjen.
Primerjalni testi, latenca in resnični občutek
To je tisto, kar je izstopalo med pregledom vLLM:
- Pretočnost: Z neprekinjenim paketnim obdelovanjem lahko vLLM obdela veliko zahtev na sekundo, ne da bi vaš GPU spremenil v grelnik prostora, ki natisne samo elipse. Več sočasnih zahtev kot mu pošljete (v razumnih mejah), bolj se izkaže.
- Latenca: Čas do prvega žetona je konkurenčen in včasih boljši od drugih odprtokodnih strežnikov, ki sem jih preizkusil – zlasti, če je omogočeno pretakanje in so pozivi kratki do srednji.
- Dolgi izpisi: Trajno ustvarjanje je enakomerno. Za zelo dolge generacije boste želeli nastaviti max_tokens, nastavitve snopa (če morate) in temperaturo, da bo VRAM udoben.
- Mešane obremenitve: Nenavadno dober je pri sočasnem obravnavanju klepeta, pozivov za uporabo orodij in lahkega točkovanja paketov. Kot restavracija, ki streže palačinke in pad thai, ne da bi koga zastrupila.
Vaše številke bodo odvisne od razreda GPU, kvantizacije, dolžine zaporedja in izbire modela. Vendar je vzorec dosleden: vLLM se izkaže, ko se sočasnost poveča.
Kje vLLM blesti v primerjavi z drugimi strežniki LLM
- Če je vaša prioriteta strežba veliko interaktivnih uporabnikov z minimalnimi padci latence, sta razporejevalnik in PagedAttention vLLM izjemna.
- Če potrebujete končne točke, združljive z OpenAI, da se prilegajo obstoječim aplikacijam, je prijazen do plug-and-play.
- Če optimizirate stroške, se lahko pogosto preusmerite na nekoliko manjši razred GPU ali iztisnete več zahtev/sek iz iste strojne opreme. Finančni direktorji so se pravkar zbudili.
Kje vas lahko vLLM razočara (ni čarobni prah)
- Združljivost modelov ni univerzalna. Večina priljubljenih odprtih uteži deluje odlično, vendar lahko eksotične arhitekture ali najsodobnejše kvantizacijske oblike zahtevajo popravljanje ali pa še niso podprte.
- Pomnilnik je še vedno fizika. PagedAttention pomaga, vendar je model 7B na 6 GB GPU s 100 sočasnimi uporabniki še vedno sitcom, ne strežnik.
- Napredno večnajemništvo in zaščitni ukrepi lahko zahtevajo združevanje z drugimi orodji ali pisanje kode za lepljenje.
- Posodobitve se premikajo hitro. To je plus za funkcije, minus pa, če želite stabilnost.
vLLM proti običajnim osumljencem (prijazno soočenje)
- Text Generation Inference (TGI): TGI je poliran in priljubljen v podjetjih. vLLM ga pogosto prekaša v pretočnosti z dinamičnim paketnim obdelovanjem in PagedAttention, zlasti za klepetalni delovni tok. TGI ima močno integracijo Hugging Face in trdno proizvodno ergonomijo. Izberite vLLM za surovo hitrost strežbe in API-je, podobne OpenAI; izberite TGI, če ste globoko v orodjih HF in želite njihove operativne vzorce.
- OpenLLM/FastChat/Drugi: Mnogi so odlični za eksperimentiranje. vLLM običajno zmaga pri sočasnosti in pomnilniški učinkovitosti. Če gradite potrošniško aplikacijo s koničnim prometom, razporejanje vLLM pomaga skrajšati repove.
- Lastni skladi Triton/Transformers: Lahko ročno izdelate odličen strežnik, vendar vLLM pakira trike, ki bi jih tako ali tako zgradili – in vam ni treba vzdrževati jedr v vrednosti majhnega mesta.
Globinski potop: zakaj je PagedAttention pomemben
Predstavljajte si, da je miselni prostor pozornosti vašega modela kot ogromna tabla. Vsak pogovor riše po njej. Večina strežnikov dodeli celoten odsek – tudi če je pogovor sestavljen iz dveh čačk in smeška. PagedAttention razdeli to tablo na samolepilne lističe in jih premeša. Več ljudi lahko riše hkrati, manj vrzeli, manj zapravljenega prostora. Zato vLLM ohranja zmogljivost, ko se pojavi resnični svet – aka veliko uporabnikov, ki sprašujejo naključne stvari.
Razvijalska izkušnja: prijetna ali trda?
- Udobje API-ja: Dobite končne točke REST, ki posnemajo OpenAI. Prinesite svoje obstoječe stranke, predloge za pozive in zapisovalnike.
- Konfiguracije: Razumne privzete vrednosti, z veliko zastavicami za velikosti paketov, tenzorsko paralelnost, kvantizacijo in gumbe za razporejevalnik.
- Opazovalnost: Končne točke metrik, dnevniki in kljuke Prometheus so na voljo, čeprav boste verjetno dodali svoje sledenje.
- Razširljivost: Podpora za vtičnike za tokenizerje, adapterje in zaledja se izboljšuje. Če radi berete kodo ob polnoči, je repozitorij aktiven in dostopen.
Stroškovni izračun: kako vLLM spremeni račun za GPU
- Boljša izkoriščenost = manj ciklov nedejavnosti. Če plačujete po uri (oblak) ali amortizirate (na mestu), se povečanje pretočnosti vLLM prevede v več žetonov na dolar.
- Dobički kvantizacije: Zagon AWQ/GPTQ/INT8, kjer je podprto, lahko zmanjša površino VRAM in vam omogoči, da stopite eno stopnjo nižje pri GPU-ju – ali pa spravite več sočasnih opravil na kartico.
- Horizontalno skaliranje: Ko potrebujete več moči, vLLM deluje na več GPU-jih in vozliščih. Lahko rastete linearno, ne da bi svojo arhitekturo vrgli v mešalnik.
Pravilo: če ima vaša storitev več kot peščico sočasnih uporabnikov ali izvajate paketna opravila v valovih, se učinkovitost vLLM hitro povrne. Če samo preizkušate pozive, je to dobrodošla funkcija.
Scenariji iz resničnega sveta: Kje vLLM zasluži svoj denar
- Klepetalni pomočniki z veliko sočasnimi uporabniki: Podpora strankam, notranja pomoč IT ali aplikacija, ki pomaga študentom pri zbiranju idej za eseje pet minut pred polnočjo.
- Cevovodi za ustvarjanje vsebine: Osnutki blogov, osnutki e-pošte, komentarji kode – ustvarjeni vzporedno brez čakalne vrste, ki je videti kot DMV.
- Agenti, ki jih poganjajo orodja: Ko se vaš model ustavi zaradi klicev orodij, paketno obdelovanje vLLM ohranja GPU zaseden z drugimi zahtevami.
- Sistemi RAG: vLLM se lepo obnese kot generacijska plast, medtem ko vaš iskalnik počne stvari z molji drugje.
Nasveti za nastavitev vLLM (naučeni na zabaven način)
- Začnite z modelom, ki ga dejansko nameravate uporabiti. Ne izvajajte primerjalnih testov majhnega 3B, nato pa uvedite 70B in se sprašujte, zakaj vaš GPU kriči.
- Nastavite največjo dolžino konteksta. Prevelik kontekst razstreli VRAM; pravilna velikost ohranja visoko sočasnost.
- Omogočite pretakanje. Uporabniki občutijo hitrejše odzive in lahko zgodaj izperete žetone uporabniškega vmesnika.
- Preizkusite z resničnimi vzorci prometa. Koničasto? Enakomerno? Mešano? Razporejevalnik vLLM se sveti različno, odvisno od oblike.
- Zabeležite vse. Latenca p50, p95, pretočnost žetonov in dogodki OOM vam povedo, kje je treba naslednjič stisniti.
Varnost in upravljanje: prinesite svoje hlače za odrasle
vLLM je pogon za strežbo, ne pa moralni kompas. Če potrebujete moderiranje, brisanje PII, omejitve hitrosti, izolacijo najemnikov ali revizijske sledi – jih pritrdite na prehod ali aplikacijsko plast. Dobra novica: vmesnik, združljiv z OpenAI, olajša zamenjavo vaših najljubših pravilnikov in vmesne programske opreme.
Drobni tisk: združljivost in opozorila v tem pregledu vLLM
- Vse arhitekture modelov ali kvantizacijske uteži ne bodo plug-and-go. Preverite dokumente in težave skupnosti. Tempo podpore je hiter, vendar novost vedno prehiti stabilnost.
- Povratek na CPU? vLLM je najbolj zadovoljen na GPU-jih. Lahko eksperimentirate na CPU-ju, vendar je to kot poskus teka maratona v smučarskih čevljih.
- Razdeljevanje z več GPU-ji je zmogljivo, vendar zahteva natančno konfiguracijo. Preizkusite preklop in tople zagone, zlasti za proizvodne SLA-je.
Hiter začetek: kontrolni seznam
- Strojna oprema: GPU-ji z dovolj VRAM za vaš ciljni model + prostor za sočasnost.
- Model: Izberite dobro podprto družino (Llama, Mistral, Mixtral, Qwen, Gemma) in potrdite združljivost tokenizerja/kvantizacije.
- Strežba: Zaženite vLLM z vklopljenim API-jem OpenAI, pretakajte odzive, nastavite kontekst in max_tokens razumno.
- Skaliranje: Dodajte GPU-je ali vozlišča. Uporabite prehod za usmerjanje, omejitve hitrosti in preverjanje pristnosti. Razmislite o samodejnem skaliranju, če je v oblaku.
- Stroški: Izmerite žetone na sekundo, sočasnost in povprečno dolžino izpisa. Ponovno zaženite po vsaki spremembi.
Omeniti velja: kje se Sider.AI prilega tej sliki
Pozor, graditelji: če poskušate izbrati modele, primerjati hitrost med pozivi in na splošno ne izgubiti razuma med ponavljanjem, je lahko Sider.AI odličen preverjalnik razuma. Lahko pripravite, preizkusite in izboljšate pozive v različnih zaledjih, nato pa preidete na vLLM, ko je čas za lastno gostovanje zaradi stroškov ali nadzora. Predstavljajte si Sider.AI kot vašo ekipo v boksih – nato vLLM kot dirkalni avto, ki ga vozite, ko se odpre steza. Kdo bi moral izbrati vLLM zdaj?
- Da: Startupi z rastočim številom uporabnikov, notranje platforme, ki strežejo številnim ekipam, ekipe za izdelke, ki prehajajo s plačljivega API-ja na lastno gostovanje.
- Morda: Samostojni razvijalci, ki raziskujejo možnosti. Če je vaš promet majhen, so lahko upravljani API-ji za zdaj preprostejši (in cenejši).
- Še ne: Visoko regulirane organizacije, ki potrebujejo izolacijo v strežni plasti. Najprej boste potrebovali več zaščitnih ukrepov okoli njega.
Prednosti in slabosti vLLM (brez olepšav)
Prednosti
- Odlična pretočnost pri sočasnosti
- API, združljiv z OpenAI, olajša migracije
- Močna pomnilniška učinkovitost s PagedAttention
- Dobra podpora za priljubljene odprte modele in kvantizacijo
- Aktivna skupnost in hiter razvojni ritem
Slabosti
- Ni univerzalne podpore za modele/kvante; potrebno je nekaj popravkov
- Najboljši na GPU-jih; uporaba CPU-ja je večinoma za znanstvene poskuse
- Večnajemništvo in upravljanje proizvodnega razreda zahtevata dodatke
- Hitre spremembe lahko pomenijo občasne posodobitve
Razsodba tega pregleda vLLM
vLLM je redek odprtokodni projekt, ki je videti akademsko pameten in proizvodno praktičen. Če resno razmišljate o zagonu LLM-jev v velikem obsegu, ne da bi zagnali kmetijo GPU, ki se podvoji kot savna, spada na vaš ožji seznam – verjetno na vrh. Ni edini način za strežbo modelov, vendar je trenutno eden najhitrejših, najbolj prilagodljivih in razvijalcem najbolj prijaznih.
Če povem drugače: če vaša trenutna nastavitev uporabnikom dovolj dolgo čaka, da ponovno razmislijo o svojih življenjskih odločitvah, vam bo vLLM pomagal poslati odgovore, preden bodo to storili. In to je bistvo, kajne?
Akcijski načrt: pospešite svoj LLM ta teden
- 1. dan: Postavite vLLM s svojim ciljnim modelom. Vklopite pretakanje. Udarite ga s svojimi resničnimi pozivi.
- 2. dan: Nastavite kontekstno okno in nastavitve paketov. Preizkusite podprto kvantizacijo, da se prilega več zahtevam.
- 3. dan: Dodajte prehod in dnevnike. Izmerite latenco p95 in žetone na dolar.
- 4.–5. dan: Potisnite kanarčka resničnim uporabnikom. Povečajte obseg, če je potrebno. Praznujte s penino (šteje tudi seltzer).
In ko vas šef vpraša, kako ste podvojili pretočnost, ne da bi podvojili stroške, recite samo dve besedi: »pozorna pozornost«. Nato jim izročite ta pregled vLLM in uživajte v prikimavanjih, kot da ste vse načrtovali.
Pogosta vprašanja
V1: Ali je vLLM dober za majhne ekipe ali samo za velika podjetja?
Oba. Če prehajate z upravljanih API-jev na lastno gostovanje, da bi zmanjšali stroške, vLLM-jeve končne točke, združljive z OpenAI, olajšajo preklop. Za velike ekipe se zmage v pretočnosti in sočasnosti izkažejo, ko se promet poveča.
V2: Kateri modeli najbolje delujejo na vLLM?
Priljubljeni odprti modeli, kot so Llama, Mistral, Mixtral, Qwen, Gemma in Phi, so dobro prehojene poti. Preverite opombe o združljivosti za kvantizirane različice – večina običajnih formatov deluje, vendar bodo morda potrebne popravke za eksotične kombinacije.
V3: Koliko GPU-ja potrebujem za zagon vLLM?
Uskladite VRAM z velikostjo modela in kontekstnim oknom, nato pa dodajte prostor za sočasnost. En sam GPU z velikim pomnilnikom lahko dobro služi modelu 7B–13B; večji modeli ali močan promet imajo koristi od nastavitev z več GPU-ji.
V4: Ali vLLM zmanjša latenco ali samo poveča pretočnost?
Oboje, odvisno od delovne obremenitve. Neprekinjeno paketno obdelovanje izboljša izkoriščenost GPU-ja za boljšo pretočnost, medtem ko pretakanje in učinkovito razporejanje pomagata pri času do prvega žetona in končni latenci v klepetalnih aplikacijah.
V5: Kako se vLLM primerja s Text Generation Inference (TGI)?
vLLM pogosto prekaša TGI pri pretočnosti s PagedAttention in dinamičnim paketnim obdelovanjem, zlasti za interaktivni klepet. TGI se nagiba k integracijam Hugging Face in podjetniški izvedbi – vaša skladovnica in prioritete bi morale odločati.
