Uvod: Hitrostna past
Pri "hitrosti" v inferenci umetne inteligence je tako, da si jo vsi želijo, nihče pa se ne strinja, kaj to pomeni. Ali želite manjšo zakasnitev za enega uporabnika? Večjo prepustnost pri množici zahtev? Boljše število žetonov na dolar? Ali pa samo manj časovnih omejitev, da vaša predstavitev ne propade pred podpredsednikom? "SGL vs vLLM" je ena tistih primerjav, ki je na Hacker News videti preprosta, a se spremeni v zmedo, ko poskušate poslati nekaj, kar ljudje dejansko uporabljajo.
Navajeni smo, da strežniške okvire obravnavamo kot blagovne znamke papirnatih brisač: vsi poberejo razlitje, samo izberite tisto, ki "dodatno vpija". V praksi sta SGL in vLLM različni vrsti krp za brisanje. Podobno packarijo rešujeta z različno fiziko – in nenavadno svojeglavimi idejami o tem, kako naj bi potekalo razporejanje zahtev, ko se vaše grafične kartice topijo.
Prekinimo hrup, pobrskajmo po predpostavkah in se pogovorimo o tem, kje se SGL in vLLM dejansko razlikujeta – in zakaj bi morda še vedno izbrali "napačnega" in bi vam bilo vseeno.
SGL vs vLLM: Kaj je sploh vprašanje?
- Če je vaša ključna beseda "SGL vs vLLM", je vaše dejansko vprašanje verjetno: kateri strežnik iz iste grafične kartice iztisne več žetonov z manj drame?
- Ali: kateri naredi moj model odziven za interaktivne aplikacije, ne da bi se prepustnost spremenila v bučo?
- Ali, bolj pošteno: katerega lahko uvedem do petka in mi ne bo žal v ponedeljek?
To je okvir. Podrobnosti so pomembne, vendar ne enako.
Za kaj je vLLM optimiziran (in za kaj ne)
Blagovna znamka vLLM je prepustnost z možgani. Glavna funkcija je PagedAttention, shema strani VRAM, ki obravnava predpomnilnik KV kot sistem z upravljanjem pomnilnika namesto kot predal za smeti. Lahko spakirate veliko sočasnih zahtev, ne da bi zapravljali dragoceni pomnilnik grafične kartice za oblazinjenje in zombi kontekste. Sistem čakalnih vrst je optimiziran za paketno, sočasno generiranje – pomislite na številne uporabnike, številne klepete ali končno točko API, ki jo zasipajo majhne do srednje zahteve.
Po domače: vLLM vam omogoča več hkratnega generiranja na grafično kartico, saj pametno ravna s pomnilnikom in razporejanjem. Je dolgočasen na dober način – konzervativne privzete nastavitve, trdna zmogljivost in nagnjenost k temu, da preprosto deluje za običajne oblike.
Kje vas ugrizne: interaktivna UX z ultra nizko zakasnitvijo (tesne zanke za enega uporabnika), nenavadno oblikovani pozivi (ogromen vnos + majhen izpis ali obratno) in izbirčne razširitve (sloj po meri, kvantizacija po meri ali vrhunski triki vzorčenja) se včasih drgnejo ob varovala vLLM. Je dobavljiva osnova za večino ekip – dokler ne naletite na rob in odkrijete, zakaj osnova obstaja.
Za kaj je SGL optimiziran (in zakaj je to zanimivo)
SGL ponuja nekoliko bolj maksimalistično ponudbo: iztisnite tako zakasnitev kot prepustnost z uporabo pametnejšega razporejanja – bolj dinamične prekinitve, natančnejše souporabe in pripravljenosti na usklajevanje sočasnih zahtev, tako da se čreda premika hitreje, ne da bi katera koli zahteva stradala. Če je pomnilniški model vLLM njegova vizitka, je SGL njegov razporejevalnik. Cilj ni samo spakirati več v VRAM, temveč ohraniti računske poti grafične kartice polne, ne da bi dolgi konteksti sedeli kot kit na obali, medtem ko kratke zahteve čakajo.
V praksi to pomeni, da SGL pogosto blesti, ko je delovna obremenitev koničasta ali mešana – nekaj ogromnih pozivov, nekaj kratkih odgovorov, izbruhi prometa in interaktivne seje, kjer so skoki zakasnitve ubijalec UX. Je strežnik "natrpane kavarne": veliko majhnih naročil, en tip s 14-sestavinsko kavo z mlekom po meri in barista, ki dejansko ve, kako paralelizirati.
Neprijetna resnica: pametnejše razporejanje pomeni tudi več politike. Več gumbov. Več odločitev, ki jih lahko sprejmete narobe. Če potrebujete zelo preprosto, množično uvajanje, se lahko prilagodljivost SGL-ja zdi kot izbira lastne pustolovščine, kjer se več izbir konča z zmajem.
Glavna menjava: Zakasnitev proti prepustnosti proti predvidljivosti
- Zakasnitev: SGL ponavadi zmanjša končno zakasnitev za mešane delovne obremenitve, ker je bolj agresiven pri usklajevanju. vLLM je stabilen, vendar bo dal prednost prepustnosti, ko je vrsta globoka.
- Prepustnost: PagedAttention vLLM je pošast pri pakiranju sočasnih zahtev za visoko število žetonov na sekundo na grafično kartico. SGL jo lahko izenači ali premaga v scenarijih z mešano obremenitvijo, kjer pametnejša prekinitev preprečuje računske mehurčke.
- Predvidljivost: vLLM zmaga za "dolgočasno in stabilno", SGL zmaga za "to lahko nastavim tako, da oblikujem promet, ki ga dejansko imam." Predvidljivost ni moralna vrlina; je zahteva za nekatere ekipe in prisilni jopič za druge.
Paketiranje in težava z večerno gnečo
Predstavljajte si restavracijo. vLLM hitro posede vse tako, da razporedi mize kot Tetris, tako da je minimalno praznega prostora. SGL prav tako vodi nadstropje, vendar maître d' tudi mikroupravlja kuhinjo – premešča tečaje, tako da šest sedežev ne blokira ducata dveh sedežev, ki čakajo na krompirček. Bistvo SGL proti vLLM ni "kdo hitreje posede", temveč "kdo ohranja jedilnico živahno, ko se pojavi avtobusna tura in je polovica brez glutena".
Če je vaš promet nemoten in so oblike zahtev dosledne, zmaga Tetris vLLM. Če je vaš promet koničast z distribucijo dolžin pozivov in vam je mar za 95. percentil zakasnitve za interaktivne uporabnike, se koreografija kuhinje SGL izplača.
Predpomnilnik KV: En čuden trik, ki ni čuden
Tako SGL kot vLLM obravnavata predpomnilnik pozornosti kot plemenito kovino. Paginacija vLLM je kanonični trik: ohranite ključe/vrednosti kompaktne, defragmentirajte in se izognete zapravljanju VRAM za oblazinjenje. Pristop SGL je bolj o tem, kdaj in kako prekiniti in prepletati delo, tako da se predpomnilnik ne spremeni v odlagališče.
Če se vaš model komaj prilega s prostorom za več hkratnih sej, je lahko učinkovitost pomnilnika vLLM razlika med "deluje" in "OOM." Če se vaš model udobno prilega, vendar se uporabniki pritožujejo nad skoki zakasnitve, je lahko razporejanje SGL razlika med "uporabno" in "čudovito".
Dodeljevanje žetonov in človeško zaznavanje
Uporabniki ne zaznavajo "žetonov na sekundo." Zaznavajo: dotik… počakaj… odgovor se začne… teče… končano. Prepustnost je ekonomska metrika; zakasnitev je psihološka. Pristranskost SGL je usmerjena v psihologijo – ohranite pretok prvih žetonov in preprečite konice repa. Pristranskost vLLM je usmerjena v ekonomijo – povečajte stabilno generacijo. Nobena od njih ni napačna. Toda vaš izdelek se verjetno nagiba v eno smer.
Kvantizacija in hiša kart
Tukaj se lepe zgodbe razpadejo. Takoj, ko vstavite 4-bitno ali 8-bitno kvantizacijo, jedra po meri ali arhitekture modelov, ki niso na glavni cesti, se lahko odločitev sprejme za vas s projektom, ki ima danes podporo jedra, ki jo potrebujete. SGL proti vLLM postane "kaj deluje brez skrivnostnih regresij natančnosti ali mehkih zrušitev po 40 minutah."
Lahko si romantično predstavljate razporejanje, kolikor želite; jedra so gravitacija. Preverite matriko za točen model, dtype in grafično kartico, ki jo nameravate poslati. Nato testirajte, kot da nikomur ne zaupate – vključno s samim seboj.
Pretočna UX: Prvi žeton je pomembnejši od zadnjega
vLLM pretočno predvaja dovolj dobro za večino aplikacij. Obsedenost SGL z zmanjšanjem blokiranja na čelu linije ji daje prednost, ko uporabniška izkušnja živi ali umre zaradi časa prvega žetona – razlika med "to se zdi takojšnje" in "zakaj se to vrti?" Če je vaša aplikacija pomoč pri kodiranju, klepet, obogaten z iskanjem, ali karkoli, kjer je človek v zanki, je ta prvi žeton pomembnejši od surovih žetonov na sekundo.
Če pa namesto tega tedenska poročila ustvarjate paketno ali upodabljate dolge izpise na strani strežnika, vam stabilna prepustnost vLLM povrne dolarje za čas grafične kartice. Nikogar ne zanima, ali je prvi žeton prispel pri 150 ms ali 450 ms, če je vse to delo v ozadju.
Operativna realnost: Dnevniki, omejitve in preizkus "Kdo je na dežurstvu?"
- vLLM: Zrela operativna zgodba. Lažje je razmišljati o njej. Jasnejše meritve za načrtovanje zmogljivosti, ker sta paketiranje in paginacija predvidljiva.
- SGL: Več številčnic. Potencialno več moči. Boljši, ko poznate svoje prometne vzorce in jih ste pripravljeni oblikovati. Toda zgodba o "dežurstvu ob 2. uri zjutraj" je samo tako dobra kot vaša navodila za uporabo.
Uporabna hevristika: če vaša ekipa ne more razložiti lastnih ciljev p95/p99 in kako se preslikajo v prihodke ali UX, privzeto uporabite vLLM. Če pa lahko in imate razlog za lovljenje nizke zakasnitve repa pri mešani obremenitvi, si SGL zasluži svojo kompleksnost.
RAG in poziv, ki zahteva veliko pasovne širine
Generiranje, obogateno s pridobivanjem, vrže bencin na vhodno stran. Ogromni pozivi s kosi konteksta spremenijo zakasnitev v funkcijo tokenizacije in stroškov vnosa. Pakiranje pomnilnika vLLM pomaga, da se jih več prilega drug ob drugem. Razporejanje SGL lahko prepreči, da bi nekaj kitov zamrznilo jato. Če je vaš RAG videti kot "ogromen poziv + kratek odgovor", lahko prekinitev SGL ohrani stvari žive. Če je "srednji poziv + srednji odgovor" pri trajni glasnosti, zmaga pakiranje vLLM.
Stroškovni modeli, ki jih dejansko lahko razložite
- Žetoni na uro grafične kartice: vLLM ponavadi zmaga za visoko obremenitev v stabilnem stanju.
- Stroški na interaktivno sejo: SGL ponavadi zmaga, ko ne morete izpustiti sličic v človeškem zaznavanju.
- Inženirski čas: vLLM običajno cenejši, razen če ste že globoko v SGL in žanjete dobiček. Stroški preklopa so resnični.
Nič od tega ni absolutno. Če pa vas vpraša vaš finančni direktor, imate zdaj stavke, ki zvenijo kot slovenščina.
Merila uspešnosti, ki jih morate prezreti (in tista, ki jih ne smete)
Prezrite grafikone z eno številko, ki ne razkrivajo distribucije oblike zahteve, velikosti paketa, največje sočasnosti, dtype modela in modela grafične kartice. So fitnes selfiji s pravo osvetlitvijo. Uporabna merila uspešnosti:
- Preizkusi obremenitve z mešano distribucijo: kratki, srednji, dolgi pozivi, pomešani z različnimi največjimi žetoni.
- Končna zakasnitev pri izbruhu: izmerite čas prvega žetona p95/p99 med simuliranim skokom prometa.
- Rezerva pomnilnika: dejanska meja OOM z modelom in predpomnilnikom kv pri ciljni sočasnosti.
- Stabilnost sčasoma: delujte šest ur; pazite na počasno puščanje, odstopanje prepustnosti ali redke zastoje.
"Hitreje" ni pomembno, če je hitro za promet nekoga drugega na grafični kartici nekoga drugega.
Ergonomija razvijalca: koliko abstrakcije želite?
vLLM podpira čiste API-je, predvidljive konfiguracije in usklajenost s priljubljenimi orodji. Je varna privzeta nastavitev za ekipe, ki želijo množično strežno plast. SGL vam daje več površine pravilnika: določanje prednosti, vedenje pri prekinitvah in prostor za oblikovanje oblike vašega računanja. Je zlato, če ga potrebujete – in režija, če ga ne potrebujete.
Zgodba o razširitvah je podobna. vLLM se ponavadi prej integrira s priljubljenimi ekosistemi in gostovanimi platformami. SGL se hitro premika pri funkcijah razporejanja in napredni sočasnosti. Če veste, zakaj potrebujete SGL, ga verjetno potrebujete. Če ne veste, ga verjetno še ne – še.
Težava z zbirko več modelov
Strežba enega vodilnega modela je staromodna. Večina resničnih aplikacij usklajuje več: LLM, uglašene za navodila, ponovne razvrščevalnike, vdelave, morda model vizualnega jezika. Predvidljivost vLLM olajša razrez zmogljivosti med več modeli. Razporejanje SGL vam daje orodja, da se izognete dolgotrajnim svinjam, ki ovirajo majhne, visoko prioritetne klice – vendar boste morali določiti pravila. Avtomatizacija pomaga, vendar politika še vedno potrebuje možgane.
Beseda o upravljanju: SLA ali vibracije?
Če strankam dolgujete številke (SLA, SLO, izberite svojo kratico), je dolgočasno funkcija. Doslednost vLLM olajša obljubo pragov in njihovo doseganje. Če je vaš izdelek vse o "občutku", in občutek je definiran s takojšnjo povratno informacijo (pomislite na kopilote IDE), je sposobnost SGL, da brani uporabniško izkušnjo pod stresom, vredna dodatnega razmisleka.
Ko je grafična kartica napačen odgovor
Najbolj vroča strežna plast je tista, ki uporablja manj grafičnih kartic. Tako SGL kot vLLM imata koristi, ko storite odraslo stvar: dobra kontekstna okna, pametno obrezovanje, boljše pridobivanje, predpomnjenje odgovorov in ne prosite LLM, da napiše Vojno in mir za vsak klik na gumb. Najcenejša zakasnitev je žeton, ki ga nikoli ne ustvarite.
Vzorci iz resničnega sveta (AKA, kako se ljudje dejansko odločijo)
- Startup, ki naslednji teden pošilja aplikacijo AI: vLLM. Hitrost do usposobljenosti zmaga.
- Izdelek z interaktivno UX in koničastim prometom: SGL, uglašen za končno zakasnitev.
- Paketno generiranje v ozadju: vLLM, konec zgodbe.
- Orodje za podporo, ki je močno odvisno od RAG: izenačevalnik gre SGL, če so vaši pozivi ogromni; sicer vLLM.
- Ekipa brez strokovnjakov za grafične kartice: vLLM. Nehajte se pretvarjati.
- Ekipa z vodjo, usmerjenim v zmogljivost, ki uživa v razporejevalnikih: SGL. Uživajte odgovorno.
SGL vs vLLM za pomoč pri kodiranju in IDE
To je eden od jasnejših primerov. Pomočniki pri kodiranju živijo in umrejo zaradi zaznane odzivnosti. Prvi žeton hiter, pretok stalen, izogibajte se konicam repa, ko uporabnik trikrat zapored udari po bližnjici. Svetovni nazor SGL, osredotočen na prekinitev, se tukaj izplača. vLLM to lahko stori – zlasti s previdno konfiguracijo in rezervo – vendar boste pogosto pustili nekaj zakasnitve na mizi.
SGL vs vLLM za klepetalnice v velikem obsegu
Obrnite jo. Za ogromen, stalen promet klepeta – roboti za podporo, interni pomočniki, široka vprašanja in odgovori – je pakiranje zmogljivosti vLLM darilo, ki ga ne manjka. To želite, če je vaš graf večinoma raven in poslovni model nagrajuje žetone na dolar.
Srednja pot: lahko zaženete oba
Šokantno stališče: različne delovne obremenitve, različni strežniki. Zaženite SGL tam, kjer potrebujete interaktivnost in nizko zakasnitev repa; zaženite vLLM za večino. Usmerjajte po končni točki, najemniku ali celo času dneva. Operativna režija je resnična, vendar si kupite svobodo pred napačnimi izbirami.
Sider.AI dejansko deluje – vsaj ko ga uporabljate za tisto, v čemer je dober, kar, nenavadno, ni povsem tisto, kar pravi trženje. Če usklajujete SGL proti vLLM, ker potrebujete praktično delovno postajo AI in potek dela, ki se ne sesuje pod lastno kodo lepila, je integrirano okolje Sider del, za katerega nihče ne načrtuje proračuna: dolgočasna površina, kjer pozivi, dokumenti in poskusi živijo, ne da bi ponovno izumili aplikacijo za beležke in domačo opremo za merila uspešnosti. Ne bo izbral SGL proti vLLM namesto vas – niti ne bi smel – ampak bo ohranil vašo ekipo osredotočeno na rezultate, medtem ko boste testirali oba. Če želite srebrno kroglo, poglejte drugam. Če želite manj ostrih robov med "idejo," "pozivom," "izvajanjem," in "pošiljanjem," si Sider.AI zasluži svoj denar. Pogosti ugovori, odgovorjeni brez vrtenja
- "Izgubili bomo prepustnost s SGL." Morda. Pri homogeni obremenitvi verjetno. Pri mešani, koničasti obremenitvi morda ne – izboljšave končne zakasnitve lahko povečajo učinkovito prepustnost.
- "Izgubili bomo zakasnitev z vLLM." Tudi morda. Pod pritiskom vLLM ohranja prepustnost, tudi če čas prvega žetona odstopa. Lahko ublažite z rezervo in zdravimi omejitvami.
- "Ali lahko nastavimo vLLM, da se obnaša kot SGL?" Delno. Lahko določite prioritete, obrežete največje število žetonov in oblikujete čakalne vrste. Toda DNK razporejevalnika je drugačen.
- "Ali lahko nastavimo SGL, da se obnaša kot vLLM?" Tudi delno. Če pa tedne porabite za spreminjanje SGL v vLLM, ste izbrali napačno.
Praktični kontrolni seznam, preden se odločite
- Določite meritev, ki je dejansko pomembna: čas p95 do prvega žetona, zakasnitev p99 od konca do konca, žetoni na dolar ali stopnja zrušitve med izbruhom. Izberite eno primarno meritev in eno varovalo.
- Ponovite svojo resnično porazdelitev prometa. Ne igrača. Resnični histogrami velikosti poziva/odgovora, resnična koničastost.
- Testirajte na strojni opremi, ki je podobna proizvodni, vsaj eno uro pod trajno obremenitvijo. Pazite na odstopanje, puščanje in redke zastoje.
- Preverite podporo jedra in kvantizacije za vaš točen model. Nato to ponovite po nadgradnji gonilnikov.
- Odločite se, kdo je na dežurstvu, in zapišite, kako se boste vrnili.
Če tega ne boste storili, izberite vLLM in sprejmite privzete nastavitve. Če boste, vam lahko SGL kupi boljšo uporabniško izkušnjo in nižje repove, kjer se skriva užitek.
Kratka beseda o tveganju selitve
Preklapljanje strežniških okvirov v proizvodnji je vrsta dela, ki uniči vikende. Če sumite, da boste želeli preizkusiti oba, načrtujte zanju: standardizirajte sheme zahtev/odgovorov, ohranite prenosljivost konfiguracij tokenizatorja in vzorčenja ter skrijte strežnik za dosledno interno stranko. Razdružitev vam kupi izbirnost, kar je modna beseda za "prihodnji jaz ne bo sovražil preteklega jaza."
Dialektični konec, za katerega ste vedeli, da prihaja
Če ste prišli sem v upanju na viteško podelitev – vstanite, gospod SGL; ali, naj živi vLLM – ste izbrali napačno pravljico. Pravi odgovor je oblikovan glede na delovno obremenitev. vLLM je zanesljiv pickup, ki veliko vleče in se ne pritožuje. SGL je športni karavan, ki se prebija skozi promet, ne da bi polil kavo. Lahko se vozite v službo v obeh; v vožnji boste uživali drugače.
Zapomniti si morate: uporabniki občutijo latenco, finance pa prepustnost. Vaša naloga je uskladiti oboje, ne da bi koga od njiju lagali. SGL proti vLLM ni preizkus vzdušja. Je priznanje, da ima »hitro« več kot eno dimenzijo in da strežniški okviri, tako kot ljudje, pokažejo svoj značaj pod pritiskom.
Če imate srečo, vam nikoli ne bo treba skrbeti. Če ste dobri, boste vedeli, kdaj morate.
H2: Uspešnost SGL proti vLLM: Repna latenca proti prepustnosti
- SGL se nagiba k dinamičnemu razporejanju, da zmanjša p95/p99 repe in izboljša čas do prvega žetona pri mešanih obremenitvah.
- PagedAttention vLLM stisne več hkratnih zahtev v isti VRAM in potiska žetone na sekundo na GPU.
- Izberite SGL za interaktivno UX in sunkovit promet; izberite vLLM za stalni klepet z veliko količino ali paketno obdelavo.
H2: Izbire uvajanja za SGL proti vLLM v proizvodnji
- Preslikajte svojo SLA na latenco (primerno za SGL) ali prepustnost (primerno za vLLM).
- Preverite veljavnost kvantizacije in podpore jedra za vaš natančen model in GPU.
- Ohranite prenosno odjemalsko plast, da lahko usmerjate na SGL in vLLM po končni točki.
H2: Pravilno primerjalno testiranje SGL proti vLLM
- Izmerite čas prvega žetona in latenco od konca do konca pri dejanskih oblikah prometa.
- Spremljajte rezervo pomnilnika in stabilnost pri večurnih izvajanjih.
- Izogibajte se enocifernim trofejam žetonov/sekundo, ki skrivajo velikost paketa in porazdelitev zahtev.
H3: Ključne besede z dolgim repom, ki vas dejansko zanimajo
- »SGL proti vLLM prepustnost«
- »SGL proti vLLM generiranje kode«
- »SGL proti vLLM proizvodna uvedba«
- »SGL proti vLLM primerjalno merilo«
- »SGL proti vLLM GPU pomnilnik«
Sklep: Iskren odgovor, ki ga lahko uporabite
Izberite vLLM, če želite zanesljivo privzeto vrednost in je vaša metrika žetoni na dolar na dolgi rok. Izberite SGL, če so vaši uporabniki ljudje v zanki in izdelek živi ali umre glede na zaznano hitrost na robovih. Če ne morete ugotoviti, v katerem taboru ste, ste privzeto v taboru vLLM – in to je v redu. Dobra novica je, da lahko zaženete oba. Še boljša novica je, da se lahko nehate pretvarjati, da obstaja univerzalni prvak. SGL proti vLLM je izbira med dvema pametnima, mnenjskima pogledoma na »hitro«. Ostalo je vaša delovna obremenitev, vaš proračun in vaša želja po gumbih.
Pogosta vprašanja
V1: Kaj je hitrejše: SGL ali vLLM?
Odvisno od tega, kaj mislite s hitro. vLLM je hitrejši za stalno prepustnost z veliko sočasnostjo; SGL je hitrejši do prvega žetona in bolj dosleden na repu pri mešanih, sunkovitih obremenitvah. Če je vaša metrika žetoni na dolar, vLLM; če je to zaznana latenca, SGL.
V2: Ali je SGL boljši od vLLM za delovne obremenitve RAG?
Za RAG z velikanskimi pozivi in kratkimi odgovori lahko razporejanje SGL prepreči, da bi se časi prvega žetona povečali. Za srednje pozive v velikem obsegu zmaga pomnilniško pakiranje vLLM. Primerjalno preizkusite dejanske velikosti pozivov, preden stavite celotno kmetijo.
V3: Kako naj pošteno primerjam SGL in vLLM?
Uporabite svojo dejansko porazdelitev zahtev, ne igrače. Izmerite čas prvega žetona p95/p99, skupno prepustnost in stabilnost v urah. Razkrijte model, dtype, GPU, velikost paketa in sočasnost – sicer samo polepšate grafe.
V4: Ali lahko uvedem SGL in vLLM v isti sklad?
Da, in verjetno bi morali, če se vaše delovne obremenitve razlikujejo. Interaktivne končne točke usmerite na SGL, paketni klepet ali klepet z veliko količino pa na vLLM. Ohranite prenosno odjemalsko plast, da zamenjava ne uniči vašega vikenda.
V5: Kdaj vLLM deluje slabše v primerjavi s SGL?
Pri sunkovitih, mešanih delovnih obremenitvah, kjer je pomembna latenca prvega žetona in dolgi pozivi blokirajo kratke. Prednostno prekinjanje in razporejanje SGL lahko izravnata te repe. Če je vaš promet homogen, pogosto zmaga stabilno stanje vLLM.
