Vai esat kādreiz mēģinājis mitināt lielu valodas modeli savā GPU un juties tā, it kā būtu adoptējis ļoti izsalkušu Tamagotchi? Jūs to barojat ar VRAM, lutināt kodolus, un, kad beidzot lūdzat atbildi... tas piecas sekundes skatās uz jums un aizklīst prom. Tāda bija mana nedēļas nogale ar “vanilla” LLM serveri. Pēc tam es instalēju vLLM.
Spoilers: vLLM ir atvērtā koda dzinējs, kas LLM secinājumus liek justies tā, it kā jūs tikko nomainītu savu trīsriteni pret Tesla. Šis vLLM apskats iedziļinās tajā, kas tas ir, kā tas izspiež vairāk žetonu no jūsu aparatūras budžeta, kur tas spīd, kur klūp un kam to vajadzētu ievietot grozā, klasterī vai “varbūt vēlāk” kaudzē.
Kas ir vLLM vienkāršā valodā (un mazāk GPU asarās)?
vLLM ir atvērtā koda secinājumu un apkalpošanas dzinējs lieliem valodas modeļiem. Domājiet par to kā par gaisa satiksmes kontrolieri, bagāžas apstrādātāju un zemo cenu aviokompāniju vienā – lietu, kas plāno pieprasījumus, iepako žetonus GPU atmiņā un efektīvi paceļas, neatstājot sēdvietas (VRAM) tukšas. Tas ietver modeļus, kurus jūs zināt — Llama, Mistral, Mixtral, Phi, Qwen, Gemma — aiz pazīstamām API (OpenAI stila, ar OpenAI saderīgām), pēc tam tos uzlādē ar gudriem atmiņas trikiem un plānošanu.
Ja esat mēģinājis palaist LLM ar naivām cilpām vai pat vispārējas nozīmes apkalpošanas ietvariem, jūs, iespējams, esat saticis lielāko ātruma slepkavu: izšķērdēto atmiņu. vLLM raksturīgā iezīme ir PagedAttention, dinamisks atmiņas pārvaldnieks, kas izturas pret atslēgu/vērtību uzmanības kešatmiņām kā pret lapām operētājsistēmā. Tulkojums: tā vietā, lai katrai sarunai piešķirtu privātu penthausu VRAM, tā pārvērš penthausu par kopstrādes telpu. Var ietilpt vairāk cilvēku (pieprasījumu). Visi raksta ātrāk.
Kam ir paredzēts šis vLLM apskats?
- Komandām, kas veido AI lietotnes un vēlas zemas latentuma tērzēšanu un lielas caurlaidspējas pakešu darbus.
- Infra speciālistiem, kas meklē atvērtā pirmkoda alternatīvu komerciāliem LLM galapunktiem.
- Pētniekiem, kuriem nepieciešama ātra modeļa nomaiņa, nezaudējot veiktspēju.
- Startup pragmatiķiem, kuri cenšas samazināt žetonu izmaksas, pašmitinot.
Ja jūs esat “Es tikai vēlos uzvednes lodziņu un noskaņas”, iespējams, vēlēsities pārvaldītās API. Ja vēlaties 10x caurlaidspēju bez 10x budžeta, turpiniet lasīt.
vLLM galvenās funkcijas (un kāpēc jums vajadzētu par to rūpēties)
- PagedAttention: atmiņas lappušu sadalīšana uzmanības KV kešatmiņām. Tas ir iemesls, kāpēc vLLM var žonglēt ar daudziem pieprasījumiem, nenometot kadrus.
- Nepārtraukta pakešu apstrāde: jauni pieprasījumi pievienojas lidojuma paketēm, tāpēc GPU ir aizņemti un latentums saglabājas saprātīgs.
- Ar OpenAI saderīgas API: pievienojiet to rīkiem un SDK, kas izveidoti OpenAI, ar minimālām koda izmaiņām.
- Tensoru/kvantēšanas atbalsts: FP16, BF16 un populāri kvantēti svari (piemēram, AWQ, GPTQ, kur piemērojams), lai jūs varētu ievietot lielākas smadzenes mazākos GPU.
- Vairāku GPU un sadalīta apkalpošana: mērogojiet, kad jūsu viens A100 sāk svīst.
- Straumēšanas žetoni: lietotāji redz, kā vārdi tiek ierakstīti kā Holivudas uzlaušanas ainā, kas kaut kā padara visu ātrāku.
- LoRA/adaptera atbalsts (atkarīgs no modeļa): noderīgi, ja apkalpojat precizētus variantus tajā pašā bāzes modelī.
Ātrās iestatīšanas stāsts (jeb: cik ātri es varu tikt līdz pirmajam žetonam?)
- Instalējiet vLLM, izmantojot pip. Nav nepieciešams izsaukšanas aplis:
pip install vllm
- Norādiet to uz modeli Hugging Face vai saviem vietējiem svariem.
- Iedarbiniet serveri ar ar OpenAI saderīgu galapunktu.
- Curl to vai pievienojiet to savam esošajam OpenAI klientam.
Manos testos patērētāju GPU un darbstacijā ar datu centra karti laiks līdz pirmajam žetonam šķita ievērojami ātrāks nekā standarta transformatoru serveru iestatījumiem, īpaši zem slodzes. Burvība parādās, kad vairāki lietotāji (vai jūsu pašu pakešu darbi) sabrūk serverī — vLLM nodrošina GPU.
Etalonuzdevumi, latentums un reālās pasaules noskaņa
Šeit ir tas, kas izcēlās vLLM apskata laikā:
- Caurlaidspēja: ar nepārtrauktu pakešu apstrādi vLLM var apkalpot daudzus pieprasījumus sekundē, nepārvēršot jūsu GPU par kosmosa sildītāju, kas drukā tikai elipses. Jo vairāk vienlaicīgu pieprasījumu jūs tam izvirzāt (saprāta robežās), jo vairāk tas izvēršas.
- Latentums: Laiks līdz pirmajam žetonam ir konkurētspējīgs un dažreiz labāks nekā citiem atvērtā pirmkoda serveriem, kurus esmu mēģinājis, īpaši, ja ir iespējota straumēšana un uzvednes ir īsas līdz vidējām.
- Garie izvadi: Ilgstoša ģenerēšana ir vienmērīga. Ļoti garām ģenerācijām vēlēsities noregulēt max_tokens, staru kūļa iestatījumus (ja nepieciešams) un temperatūru, lai VRAM būtu ērts.
- Jaukti darbi: Tas ir dīvaini labs, apstrādājot tērzēšanu, rīku lietošanas uzvednes un vieglu pakešu vērtēšanu vienlaikus. Līdzīgi kā ēdnīca, kas pasniedz pankūkas un pad thai, nevienu nesaindējot.
Jūsu skaitļi būs atkarīgi no GPU klases, kvantēšanas, secības garumiem un modeļa izvēles. Bet modelis ir konsekvents: vLLM izvirzās priekšgalā, palielinoties vienlaicīgumam.
Kur vLLM spīd salīdzinājumā ar citiem LLM serveriem
- Ja jūsu prioritāte ir apkalpot daudzus interaktīvus lietotājus ar minimāliem latentuma kritumiem, vLLM plānotājs un PagedAttention ir izcili.
- Ja jums ir nepieciešami ar OpenAI saderīgi galapunkti, lai tos ievietotu esošajās lietotnēs, tas ir draudzīgs plug-and-play.
- Ja optimizējat izmaksas, bieži vien varat pazemināt uz nedaudz mazāku GPU klasi vai izspiest vairāk req/sek no tās pašas aparatūras. Finanšu direktori visur ir priecīgi.
Kur vLLM var jūs satracināt (tas nav burvju pasaku putekļi)
- Modeļa saderība nav universāla. Lielākā daļa populāro atvērto svaru darbojas lieliski, bet eksotiskām arhitektūrām vai jaunākajiem kvantēšanas formātiem var būt nepieciešama knibināšanās vai tie vēl netiek atbalstīti.
- Atmiņa joprojām ir fizika. PagedAttention palīdz, bet 7B modelis 6GB GPU ar 100 vienlaicīgiem lietotājiem joprojām ir situāciju komēdija, nevis serveris.
- Lai nodrošinātu uzlabotu daudznomnieku un aizsardzības pasākumus, var būt nepieciešams savienot pārī ar citiem rīkiem vai rakstīt līmēšanas kodu.
- Atjauninājumi virzās ātri. Tas ir pluss funkcijām, mīnuss, ja vēlaties stagnējošu stabilitāti.
vLLM pret parastajiem aizdomās turamajiem (draudzīgs aci pret aci)
- Teksta ģenerēšanas secinājumi (TGI): TGI ir pulēts un uzņēmumiem populārs. vLLM bieži vien pārspēj to caurlaidspējas ziņā ar dinamisku pakešu apstrādi un PagedAttention, īpaši tērzēšanas darbiem. TGI ir spēcīga Hugging Face integrācija un stabila ražošanas ergonomika. Izvēlieties vLLM, lai nodrošinātu izejvielu apkalpošanas ātrumu un OpenAI līdzīgas API; izvēlieties TGI, ja esat dziļi HF rīkos un vēlaties viņu ops modeļus.
- OpenLLM/FastChat/Citi: Daudzi ir lieliski piemēroti eksperimentēšanai. vLLM parasti uzvar vienlaicīguma un atmiņas efektivitātes ziņā. Ja veidojat patērētāju lietotni ar smailu trafiku, vLLM plānošana palīdz uzturēt īsas astes.
- Pielāgoti Triton/Transformers steki: Jūs varat izveidot ļaunu serveri, bet vLLM iepako trikus, kurus jūs jebkurā gadījumā izveidotu, un jums nav jāuztur nelielas pilsētas vērtībā kodolu.
Dziļš niršana: kāpēc PagedAttention ir svarīgs
Iedomājieties sava modeļa uzmanības telpu kā milzīgu tāfeli. Katra saruna uz tās zīmē. Lielākā daļa serveru piešķir veselu sadaļu — pat ja saruna ir divi zīmējumi un smaidiņš. PagedAttention sadala šo tāfeli lipīgās zīmītēs un sajauc tās iekšā un ārā. Vairāk cilvēku var zīmēt vienlaikus, mazāk atstarpju, mazāk izšķērdētas vietas. Tāpēc vLLM saglabā veiktspēju, kad parādās reālā pasaule — aka daudzi lietotāji, kas jautā nejaušas lietas.
Izstrādātāja pieredze: mājīga vai kraukšķīga?
- API komforts: Jūs saņemat REST galapunktus, kas atdarina OpenAI. Paņemiet savus esošos klientus, uzvedņu veidnes un reģistrētājus.
- Konfigurācijas: Saprātīgas noklusējuma vērtības ar daudz karodziņiem pakešu izmēriem, tensoru paralēlismam, kvantēšanai un plānotāja pogām.
- Novērojamība: Metrikas galapunkti, žurnāli un Prometheus āķi ir tur, lai gan jūs, iespējams, pievienosit savu izsekošanu.
- Paplašināmība: Spraudņa atbalsts žetonizatoriem, adapteriem un aizmugursistēmām uzlabojas. Ja jums patīk lasīt kodu pusnaktī, repo ir aktīvs un pieejams.
Izmaksu matemātika: kā vLLM maina GPU rēķinu
- Labāks izmantojums = mazāk dīkstāves ciklu. Ja maksājat pa stundai (mākonis) vai amortizējat (uz vietas), vLLM caurlaidspējas palielinājums pārvēršas par vairāk žetoniem par dolāru.
- Kvantēšanas ieguvumi: AWQ/GPTQ/INT8 palaišana, ja to atbalsta, var samazināt VRAM nospiedumus un ļaut jums samazināt GPU līmeni vai ievietot vairāk vienlaicīgu darbu vienā kartē.
- Horizontāls mērogs: Kad jums ir nepieciešams vairāk muskuļu, vLLM darbojas vairākos GPU un mezglos. Jūs varat augt lineāri, neiemetot savu arhitektūru blenderī.
Īkšķa likums: ja jūsu pakalpojumam ir vairāk nekā daži vienlaicīgi lietotāji vai jūs veicat pakešu darbus viļņos, vLLM efektivitāte atmaksājas ātri. Ja jūs tikai testējat uzvednes, tas ir jauks papildinājums.
Reālās pasaules scenāriji: Kur vLLM nopelna savu uzturēšanos
- Tērzēšanas asistenti ar daudziem vienlaicīgiem lietotājiem: Klientu atbalsts, iekšējā IT palīdzība vai lietotne, kas palīdz studentiem brainstormingu esejas piecas minūtes pirms pusnakts.
- Satura ģenerēšanas cauruļvadi: Emuāru izklāsti, e-pasta melnraksti, koda komentāri — ģenerēti paralēli bez rindas, kas izskatās kā DMV.
- Ar rīkiem darbināti aģenti: Kad jūsu modelis apstājas rīku zvanu dēļ, vLLM pakešu apstrāde nodrošina GPU ar citiem pieprasījumiem.
- RAG sistēmas: vLLM labi darbojas kā ģenerēšanas slānis, kamēr jūsu izgūšanas rīks veic grāmatzīmju lietas citur.
vLLM iestatīšanas padomi (iemācījies jautrā veidā)
- Sāciet ar modeli, kuru patiesībā plānojat apkalpot. Neveiciet etalonuzdevumus ar mazu 3B, pēc tam izvietojiet 70B un brīnieties, kāpēc jūsu GPU kliedz.
- Regulējiet maksimālo konteksta garumu. Pārmērīgs konteksts uzspridzina VRAM; pareizs izmērs uztur augstu vienlaicīgumu.
- Iespējojiet straumēšanu. Lietotāji jūt ātrākas atbildes, un jūs varat agri iztukšot UI žetonus.
- Pārbaudiet ar reāliem trafika modeļiem. Smailīgs? Vienmērīgs? Jaukts? vLLM plānotājs spīd atšķirīgi atkarībā no formas.
- Reģistrējiet visu. Latentums p50, p95, žetonu caurlaidspēja un OOM notikumi parāda, kur nākamo izspiest.
Drošība un pārvaldība: paņemiet savas pieaugušo bikses
vLLM ir apkalpošanas dzinējs, nevis morālais kompass. Ja jums ir nepieciešama moderēšana, PII tīrīšana, likmju ierobežojumi, nomnieku izolācija vai audita izsekojamība, pievienojiet tos vārtejā vai lietotņu slānī. Labā ziņa: ar OpenAI saderīgais interfeiss atvieglo iecienītāko politiku un starpprogrammatūras nomaiņu.
Sīkais drukas teksts: saderība un brīdinājumi šajā vLLM apskatā
- Ne katra modeļa arhitektūra vai kvantu svars būs plug-and-go. Pārbaudiet dokumentus un kopienas problēmas. Atbalsta temps ir ātrs, bet jaunums vienmēr pārspēj stabilitāti.
- CPU atkāpšanās? vLLM ir vislaimīgākais GPU. Varat eksperimentēt ar CPU, bet tas ir tāpat kā mēģināt skriet maratonu slēpošanas zābakos.
- Vairāku GPU šķērsošana ir jaudīga, bet tai nepieciešama rūpīga konfigurācija. Pārbaudiet atteici un siltos startus, īpaši ražošanas SLA.
Ātrais starts: garīga kontrolsaraksts
- Aparatūra: GPU ar pietiekami daudz VRAM jūsu mērķa modelim + vieta vienlaicīgumam.
- Modelis: Izvēlieties labi atbalstītu saimi (Llama, Mistral, Mixtral, Qwen, Gemma) un apstipriniet žetonizatora/kvantēšanas saderību.
- Apkalpošana: Palaidiet vLLM ar ieslēgtu OpenAI API, straumējiet atbildes, iestatiet kontekstu un max_tokens saprātīgi.
- Mērogs: Pievienojiet GPU vai mezglus. Izmantojiet vārteju maršrutēšanai, likmju ierobežojumiem un autentifikācijai. Apsveriet automātisko mērogošanu, ja izmantojat mākoni.
- Izmaksas: Izmēriet žetonus sekundē, vienlaicīgumu un vidējo izvades garumu. Atkārtoti palaidiet pēc katras izmaiņas.
Vērts atzīmēt: kur Sider.AI iekļaujas šajā attēlā
Uzmanību, veidotāji: ja mēģināt izvēlēties modeļus, salīdzināt ātrumu dažādās uzvednēs un parasti nezaudēt prātu, atkārtojot, Sider.AI var būt lieliska saprāta pārbaude. Varat izstrādāt, pārbaudīt un pilnveidot uzvednes dažādās aizmugursistēmās, pēc tam pāriet uz vLLM, kad ir pienācis laiks pašmitināšanai, lai samazinātu izmaksas vai kontroli. Padomājiet par Sider.AI kā par savu pit crew, tad vLLM kā par sacīkšu automašīnu, kuru jūs vadāt, kad trase atveras. Kam vajadzētu izvēlēties vLLM tieši tagad?
- Jā: Jaunuzņēmumiem ar augošu lietotāju bāzi, iekšējām platformām, kas apkalpo daudzas komandas, produktu komandām, kas pāriet no maksas API uz pašmitināšanu.
- Varbūt: Solo izstrādātāji, kas izpēta iespējas. Ja jūsu trafiks ir niecīgs, pārvaldītās API šobrīd varētu būt vienkāršākas (un lētākas).
- Vēl ne: Augsti regulētām organizācijām, kurām ir nepieciešama gatava atbilstība un izolācija apkalpošanas slānī. Vispirms jums būs nepieciešami vairāk aizsardzības pasākumu.
vLLM plusi un mīnusi (bez cukura pārklājuma)
Plusi
- Lieliska caurlaidspēja vienlaicīguma apstākļos
- Ar OpenAI saderīga API padara migrācijas vienkāršas
- Spēcīga atmiņas efektivitāte ar PagedAttention
- Labi atbalsta populārus atvērtus modeļus un kvantēšanu
- Aktīva kopiena un straujš izstrādes temps
Mīnusi
- Nav universāla modeļa/kvantu atbalsta; nepieciešama zināma knibināšanās
- Vislabāk darbojas GPU; CPU izmantošana galvenokārt paredzēta zinātnes eksperimentiem
- Lai nodrošinātu ražošanas līmeņa daudznomnieku un pārvaldību, ir nepieciešami papildinājumi
- Straujas izmaiņas var nozīmēt neregulārus jaunināšanas triecienus
Šī vLLM apskata spriedums
vLLM ir rets atvērtā pirmkoda projekts, kas šķiet gan akadēmiski gudrs, gan ražošanas ziņā praktisks. Ja jūs nopietni domājat par LLM palaišanu mērogā, neizveidojot GPU fermu, kas vienlaikus ir arī sauna, tam jābūt jūsu īsajā sarakstā — iespējams, pašā augšā. Tas nav vienīgais veids, kā apkalpot modeļus, bet šobrīd tas ir viens no ātrākajiem, elastīgākajiem un izstrādātājiem draudzīgākajiem.
Sakot to citādi: ja jūsu pašreizējā iestatīšana liek lietotājiem gaidīt pietiekami ilgi, lai pārdomātu savas dzīves izvēles, vLLM palīdzēs jums nosūtīt atbildes, pirms viņi to varēs izdarīt. Un tas ir viss, vai ne?
Darbības plāns: padariet savu LLM ātrāku šonedēļ
- 1. diena: Izveidojiet vLLM ar savu mērķa modeli. Ieslēdziet straumēšanu. Iesitiet to ar savām reālajām uzvednēm.
- 2. diena: Regulējiet konteksta logu un pakešu iestatījumus. Izmēģiniet atbalstītu kvantēšanu, lai ievietotu vairāk pieprasījumu.
- 3. diena: Pievienojiet vārteju un žurnālus. Izmēriet p95 latentumu un žetonus par dolāru.
- 4.–5. diena: Spiediet kanāriju uz reāliem lietotājiem. Mērogojiet, ja nepieciešams. Svinējiet ar kaut ko burbuļojošu (seltzer skaitās).
Un, kad jūsu priekšnieks jautā, kā jūs dubultojāt caurlaidspēju, nedubultojot izmaksas, vienkārši pasakiet divus vārdus: “lappušu uzmanība”. Pēc tam iedodiet viņiem šo vLLM apskatu un izbaudiet mājienus tā, it kā jūs visu būtu plānojis.
BUJ
Q1:Vai vLLM ir piemērots mazām komandām vai tikai lieliem uzņēmumiem?
Abiem. Ja pārejat no pārvaldītām API uz pašmitinātu, lai samazinātu izmaksas, vLLM ar OpenAI saderīgie galapunkti atvieglo pārslēgšanos. Lielām komandām caurlaidspējas un vienlaicīguma ieguvumi spīd, kad trafiks palielinās.
Q2:Kuri modeļi darbojas vislabāk vLLM?
Populāri atvērti modeļi, piemēram, Llama, Mistral, Mixtral, Qwen, Gemma un Phi, ir labi noslogoti ceļi. Pārbaudiet saderības piezīmes par kvantētiem variantiem — lielākā daļa izplatīto formātu darbojas, bet eksotiskiem kombinācijām var būt nepieciešama knibināšanās.
Q3:Cik daudz GPU man ir nepieciešams, lai palaistu vLLM?
Saskaņojiet VRAM ar modeļa lielumu un konteksta logu, pēc tam pievienojiet vietu vienlaicīgumam. Viens GPU ar lielu atmiņu var labi apkalpot 7B–13B modeli; lielākiem modeļiem vai lielam trafikam ir izdevīgi vairāku GPU iestatījumi.
Q4:Vai vLLM samazina latentumu vai tikai palielina caurlaidspēju?
Atkarībā no darba slodzes, abi. Nepārtraukta pakešu apstrāde uzlabo GPU izmantošanu, lai nodrošinātu labāku caurlaidspēju, savukārt straumēšana un efektīva plānošana palīdz laikam līdz pirmajam žetonam un astes latentumam tērzēšanas lietotnēs.
Q5:Kā vLLM salīdzinās ar teksta ģenerēšanas secinājumiem (TGI)?
vLLM bieži vien pārspēj TGI caurlaidspējas ziņā ar PagedAttention un dinamisku pakešu apstrādi, īpaši interaktīvai tērzēšanai. TGI vairāk koncentrējas uz Hugging Face integrācijām un uzņēmuma pulējumu — jūsu stekam un prioritātēm vajadzētu izlemt.
