Pri "revolucionarnih" mehanizmih pozornosti vsi prikimavajo, kot da gledajo čarovnika, nato pa tiho upajo, da jih nihče ne bo prosil, naj razložijo trik. DeepSeek Sparse Attention (DSA) je eden od teh trikov – pameten, hiter in, če malo bolj natančno pogledate podrobnosti, dejansko razumljiv brez stotih strani matematike. Obljuba: ohranite inteligenco, opustite davek na računalništvo. Realnost: odvisno, vendar so tokrat kompromisi videti osvežujoče razumni.
Pojdimo k bistvu: DSA je način, s katerim lahko veliki jezikovni modeli pozornost posvetijo samo stvarem, ki so pomembne. Ne nekako. Ne "morda je relevantno." To je natančna shema redke pozornosti, ki obrezuje kvadratno eksplozijo, ki jo dobite pri polni samo-pozornosti – ne da bi pri tem odžagali vejo, na kateri model stoji. Če je bila pozornost starega modela soba, kjer mora vsaka beseda vzpostaviti očesni stik z vsako drugo besedo, DSA to spremeni v zabavo, kjer introverti uspevajo: direktne poti, manj nesmiselnih obvozov in veliko manj hrupa.
Kaj DeepSeek Sparse Attention v resnici je?
DSA je mehanizem redke pozornosti, ki zmanjšuje računsko kompleksnost samo-pozornosti z O(L²) na O(Lk), kjer je L dolžina zaporedja in k število "ohranjenih" povezav na žeton – izbrani, verjetno relevantni sosedje. To je bistvo v eni vrstici. Manj matematike, več smisla: namesto da bi vsak žeton primerjal samega sebe z vsakim drugim žetonom, DSA izbere podniz – sosede, glave, okna, "sidra," karkoli hevrističnega ali naučenega, kar je za model najbolj smiselno – tako da ne zapravljate časa za puhlice.
Če se vam zdi to znano, potem je: redka pozornost ni nič novega. Imeli smo že Longformer, BigBird, bločno-redke jedra in ducat "lokalnih + globalnih" hibridov. Običajna težava je, da redki vzorci bodisi puščajo pri priklicu (zgrešijo iglo v senu) ali pa jih je tako težko učinkovito implementirati, da se vse, kar teoretično prihranite, ponovno pojavi kot režijski stroški jedra. DSA slovi po dveh stvareh: prvič, vzorec redkosti je bolj natančen in prilagodljiv kot običajna bločna redkost; drugič, implementiran je bil od začetka do konca na način, ki dejansko deluje na resničnih inferenčnih skladih – vLLM vključen..
Intuicija: Indeksator strele, ne kosilnica
Najboljša analogija, ki sem jo videl: DSA deluje kot indeksator strele. Ne pokosi celega polja; usmerja se k temu, kar je pomembno – kot dober urednik, ki prečrta tri odstavke in obdrži stavek, ki zveni. Sistem ohranja majhen nabor povezav z visokim signalom na žeton – pomislite na top-k po neki oceni relevantnosti – plus tanko hrbtenico strukture (lokalna okna, periodični globalni žetoni), tako da se dolgoročna koherenca ne spremeni v brozgo.
Inženirje zanima del po analogiji: kaj "relevantnost" pomeni operativno? Različni zapisi DSA namigujejo na hevristike, ki izbirajo ključe kandidatov po bližini in predhodni pomembnosti, čemur sledi kompaktna pozornost med temi kandidati. To ni čarovnija; to je triaža. Obdržite očitne sosede (lokalni kontekst je skoraj vedno uporaben za jezik), dodajte globalne "znamenitosti" in selektivno usmerite pozornost na obetavne žetone izven okna. Neto učinek: zmanjšate prostor za iskanje, ne da bi pri tem pohabili priklic. Ko je to storjeno pravilno, je to manj kot obrezovanje in bolj kot lepo vedenje.
Matematika, minimalistična izdaja
- Popolna samo-pozornost: O(L²d), kjer je d dimenzija glave.
- DSA: O(Lkd). Za fiksni k je to linearno v L. To je pomembno za dolge kontekste. Pri 128K žetonih se vam bo vaša GPU-račun zahvalila.
- Model vzdržuje dinamičen nabor kandidatov na žeton. Plačate za izbiro kandidatov plus dejansko pozornost med njimi. Če je izbira kandidatov vektorizirana in se zaveda predpomnilnika, zmagate; če ne, stiskate balon.
To je napetost pri vseh redkih metodah: zmanjšajte asimptotiko, vendar je ne vnašajte ponovno v premikanje podatkov in režijske stroške zagona jedra. Implementacije okoli DSA poudarjajo podporo na ravni jedra in integracijo razporejevalnika, nedavne objave pa kažejo, da podpora vLLM pristaja prav zato, da bi to postalo resnično v nastavitvah uvajanja.
Zakaj je DSA zdaj pomemben?
Ker je dolg kontekst nova vojna velikosti zaslona. Vsi želijo 200K žetonov in več – skripte, baze kode, PDF-je velikosti vaše vesti. Kvadratna pozornost pri teh dolžinah je za latenco, pretočnost in stroške nesprejemljiva. Lahko jo ponaredite s pametnim razkosanjem in pridobivanjem, vendar je to kot namestitev knjižne police v avto, ker se vam prtljažnik nenehno polni. Argument DSA je preprostejši: poskrbite, da dejanski korak pozornosti ne bo neumnobno drag.
Stranski učinek je stabilnost. Popolna pozornost pri zelo dolgih zaporedjih je lahko številčno občutljiva in spominsko hrupna. Redka pozornost skrči delovni nabor in zmanjša verjetnost, da bo model "pozabil" zaradi utopitve v šibkih parnih rezultatih. Obdržite hrbtenico strukture in majhen delček prilagodljivosti na vrhu. To je praktičen kompromis, ki se zdi, tokrat, kot inženirska odločitev in ne kot papirna predstavitev.
Kje se DSA prilega v redki živalski vrt
- Fiksni vzorci (lokalna okna, dilatacije): Hitro, vendar krhko. Zgreši dolgoročne navzkrižne reference, razen če je vaša statistika sreče maksimirana.
- Globalni žetoni: Doda sidra. Bolje, vendar površno. Ne morete prilepiti "CLS" na vse in to imenovati priklic.
- Usmerjanje prek naučenih pravil: Potencialno idealno, operativno neurejeno. Kompleksnosti usposabljanja in krhka inferenca.
- DSA-jev natančni hibrid: Kurirajte kompakten nabor kandidatov na žeton, ki meša lokalnost, strukturirane globale in visoko signalne izbire. Bistvo ni biti pameten – ampak biti dosledno dovolj dober, da se vaša latenca in kakovost povečata.
Uspešnost: Davčna olajšava O(L²)
Doslej pokritost trdi precejšnje zmanjšanje stroškov – "prepolovitev" stroškov se pojavlja v zasoplih delih – vendar bistvo ni natančna številka, ampak, da se krivulja povečevanja vrne v izvedljivost za daljša pozivna sporočila in večjo sočasnost.
- RAG in dokumentni klepet prek 100+ strani,
- Navigacija po kodi z več datotekami,
- Agenti, ki uporabljajo orodja in imajo dolge praske,
…DSA zmanjšuje računanje in pomnilnik na žeton. Kontekst lahko potisnete tja, kjer je dejansko uporaben, namesto da bi uprizarjali parado okenskih hekov. Zgodnja podpora vLLM nakazuje, da to ni samo okras – deluje tam, kjer ljudje uvajajo modele.
Opozorila (a.k.a. Zakaj nihče ne bi smel razglasiti zmage v torek)
- Izbira kandidatov ni brezplačna. Če se rutina izbire spotakne ob vrstice predpomnilnika ali vas potisne v ping-pong CPU-GPU, bodo vaše zmage pri redkosti izhlapile.
- k je proračun, ne rojstna pravica. Premajhna in izpustite navzkrižne reference, ki so pomembne. Prevelika in se vrnete nazaj k gostemu.
- Neskladje med usposabljanjem in inferenco. Če je vaš model usposobljen gosto in ga izvajate redko pri inferenci, pričakujte odmik kakovosti. Najmočnejši rezultati DSA se pojavijo, ko je redkost del prehrane usposabljanja, ne le okras ob serviranju.
- Čudnost dolgega repa. Redki vzorci včasih zaidejo v poziv od nikoder 30K žetonov kasneje. Dobri hibridi se zavarujejo s periodičnimi globalami ali naučenimi sidri.
Če vse to zveni kot ustvarjanje dobrega indeksa za knjigo, je to zato, ker je. Prekratek in ne najdete ničesar; predolg in to je spet samo knjiga.
Kako DSA verjetno izbere, kaj obdržati
Podrobnosti se razlikujejo glede na implementacijo, vendar je navodilo videti takole:
- Lokalno okno: Obdržite sosede znotraj drsnega okna – večina jezikovne strukture je lokalna. 2) Periodični/globalni žetoni: Vstavite redne "svetilnike", ki se vedno povezujejo globalno. 3) Točkovanje izstopanja: Uporabite lahke signale – iz aktivacij prejšnje plasti, predpomnjene pomembnosti ali aproksimacij, kot je podobnost top-k – za izbiro dodatnih oddaljenih žetonov. 4) Kompaktna pozornost: Izvedite pozornost samo nad unijo ohranjenega nabora. 5) Ponavljajte na plast, pri čemer različnim glavam dovolite, da imajo raje različne strukture.
To ni ortodoksija; to je samo najmanj presenetljiva stvar, ki bi lahko delovala. In očitno deluje, glede na operativno podporo, ki pristaja v sodobnih inferenčnih skladih..
DSA proti razkosanju proti pridobivanju: Izberite svoj strup
- Naivno razkosanje: Hitro, vendar neumno – meje konteksta postanejo klifi. Dobro za pretočnost, slabo za karkoli subtilnega.
- Generiranje, dopolnjeno s pridobivanjem: Pametnejše, vendar krhko – odvisno od pridobitelja, ki se spomni, kaj bo generator potreboval pozneje.
- Redka pozornost v slogu DSA: Ohranja celotno nit v kontekstu, pri čemer je računalništvo osredotočeno tam, kjer šteje. Ne nadomešča pridobivanja; omogoča, da je pridobivanje manj bergle.
Poštena rešitev je mešanica: pridobivanje za pridobivanje ustreznih dokumentov, redka pozornost za razmišljanje o dolgih zaporedjih brez taljenja. Oboje lahko storite, ne da bi sovražili svoj račun v oblaku.
Kakovost: Ali še vedno razume?
Vprašanje za milijon dolarjev je, ali redka pozornost tiho izpušča pomen med stavki. Zgodnja poročila za modele DeepSeek kažejo, da se kakovost ohranja ali izboljšuje pri dolgem kontekstu, ker model ne zapravlja verjetnostne mase za nesmiselne parne rezultate. Trik je v uglaševanju k in globalne strukture, tako da ima model zanesljivo hrbtenico skozi pozivno sporočilo. In spet, usposabljanje z redkostjo v zanki je pomembno – modeli se prilagodijo. To je kot učenje vožnje z ročnim menjalnikom; ko enkrat dobite ritem, ne pogrešate avtomatike.
Realnost uvajanja: Jedra, predpomnilniki, razporejevalniki
Vredno je izpostaviti opombo o podpori vLLM: DSA ni samo papirni trik; vloženega je veliko resničnega dela v podporo jedra in razporejanje, da ne bi upočasnilo GPU s teatrskimi zbiranji.. Bločno-redka jedra, fuzijske operacije in skrbna postavitev predpomnilnika KV so odločilni. Najslabši izidi pri redki pozornosti izhajajo iz popolnoma smiselnih idej, ki trčijo s pasovno širino pomnilnika in režijskimi stroški zagona. Ko so ti obravnavani, redkost poje.
Kje DSA blesti
- Vprašanja in odgovori v dolgem kontekstu nad strukturiranimi dokumenti. Mešanica lokalnega + svetilnika sledi odsekom in navzkrižnim referencam brez preplavljanja pozornosti.
- Razmišljanje o bazi kode. Lokalna okna zajamejo kontekst znotraj datoteke; periodične/globalne povezave vozijo prek datotek, klicev funkcij in uvozov.
- Agenti s praskami. Redka pozornost omogoča agentu, da ohrani dolg delovni spomin, ne da bi se po peti strani poslabšal v nesmisel.
Kje DSA (še) ne
- Majhni pozivi. Gosta pozornost je v redu; redki režijski stroški se morda ne amortizirajo.
- Zelo zapletena poezija ali ugankarska pozivna sporočila, ki zahtevajo preskoke igle v senu brez očitnih strukturnih namigov. Še vedno lahko uglašujete k, vendar ima metoda raje vzorce kot uganke.
Tukaj je test za katero koli od teh tehnik: ali izboljšajo orodja, ne da bi uporabnike spremenili v neplačane inženirje QA? V mojih izvedbah se orodja, ki dobro integrirajo redko pozornost – zlasti za klepet o dokumentih in kodi – zdijo manj muhasta. Sider.AI dejansko igra tukaj: ko prilepite specifikacije na 80 straneh ali se prebijate skozi repozitorij, je sposobnost ohranjanja dolge, koherentne niti brez zatikanja ali haluciniranja o strani 47 pomembna. Marketing se ne hvali z "natančno redkostjo," in to je v redu. Uporabnike zanima, da ostane odziven, ohranja kontekst naravnost in ne stane kot konec tedna v Vegasu. Če delate z velikimi, neurejenimi vnosi, je ta razred trika s pozornostjo natančno tista vrsta spremembe pod pokrovom, ki se pojavi kot manj bradavic in hitrejši odgovori. Praktično vodstvo: Če se odločate, ali boste uporabili DSA
- Vaš kontekst je rutinsko >32K žetonov: da, ocenite ga.
- Imate svoj sklad za uvajanje (vLLM, jedra Triton, uglaševanje predpomnilnika KV): da, še posebej.
- Obtičali ste z gosto usposobljenimi utežmi in ne morete ponovno usposobiti: preizkusite previdno; razmislite o delni redkosti ali redkosti, specifični za glavo.
- Latenca občutljiva, delovna obremenitev z visokim QPS: tukaj je pomembna krivulja upogibanja. Izmerite p95 in p99.
In prosim, zaradi ljubezni do vseh stvari GPU, primerjajte s pravimi pozivi, ne s sintetičnim lorem ipsum. Redke metode živijo ali umrejo na realističnih porazdelitvah relevantnosti.
Meta-točka: Redkost kot dober okus
Pri tem obstaja estetika. Modeli, ki so enako pozorni na vse, so kot sestanki, kjer vsi govorijo. Izgleda demokratično, ne doseže ničesar. Občutljivost DSA je uredniška: osredotočite se na zanimive dele, ohranite hrbtenico in držite se proračuna. Če želite lekcijo, ki je širša od strojnega učenja, je tukaj. Dobri sistemi ne počnejo vsega. Počnejo prave stvari, hitro.
Neizogibna prihodnost: Usposobite redko, služite redko
Videli bomo več modelov, usposobljenih od začetka do konca z vgrajenimi redkimi vzorci. Od tam prihaja zadnjih 10–15 % kakovosti in stabilnosti: omogočanje, da se induktivne pristranskosti modela uskladijo s potjo serviranja. Če služite redko, usposabljate pa gosto, prosite model, da preklopi prestave na avtocesti. Lahko deluje, vendar ne bodite šokirani, ko se zruši.
Medtem bodo okviri omogočili sestavljanje redkih vzorcev: lokalna okna + periodične globale + naučena sidra + žetoni, ki se zavedajo pridobivanja. Zadnji del – zapiranje zanke med izstopanjem pridobitelja in izstopanjem pozornosti – se zdi kot naslednji očiten korak. Ko tisto, kar pridobite, informira tisto, na kar ste pozorni, nehate ping-pongati med dvema pol-slepima sistemoma.
Torej, kako deluje DSA? Kratek odgovor
- Izbere kompakten nabor verjetno relevantnih žetonov za vsak žeton – večinoma lokale, nekaj global, nekaj pametnih izbir.
- Izvede pozornost samo nad tem naborom, pri čemer zmanjša računanje s kvadratnega na približno linearnega v dolžini konteksta.
- Zanaša se na skrbna jedra in postavitev predpomnilnika, tako da se teoretični prihranki pokažejo kot resnične zmage pri latenci.
- Ohranja kakovost z ohranjanjem strukture in dovolj globalne povezljivosti, da se dolgoročne reference ne izgubijo.
To je to. Brez kadila, brez invokacij. Samo vsiljen dober okus pri tem, na kaj biti pozoren.
Preobrat (Ker je vedno eden)
Vsak trik z umetno inteligenco bo sčasoma doživel trenutek razočaranja. Redka pozornost bo nekaj pomembnega zgrešila, verjetno v pozivu, ki ga je oblikoval pameten kritik, ki vztraja, da bi moral model povezati kitico tri s kitico sedemintrideset čez jezike, medtem ko žonglira s podpisom funkcije. V redu. Toda večina resničnega dela ni poezija/merila uspešnosti – ampak se prebija skozi besedilo, kodo in dejstva. Za to DSA ni samo lepa ideja. Je razlika med modelom, ki se pretvarja, da bere vaš kontekst, in tistim, ki ga dejansko lahko.
In če to lahko storite, ne da bi zažgali luknjo skozi proračun v oblaku? To ni trik. To je napredek..
Pogosta vprašanja
V1:Kako DeepSeek Sparse Attention (DSA) deluje v preprostem jeziku?
DSA zoži pozornost na žetone, ki so pomembni – večinoma bližnje besedilo, nekaj globalnih sider plus kratek seznam visoko signalnih izbir. Namesto primerjav O(L²) izvede O(Lk), pri čemer ohranja kakovost z ohranjanjem strukture, medtem ko zmanjšuje računalništvo.
V2:Je DSA boljši od razkosanja ali pridobivanja za dolg kontekst?
DSA ohranja vse v eni niti, medtem ko osredotoča računalništvo tam, kjer šteje; razkosanje ustvarja klife in pridobivanje je lahko pozabljivo. Najboljše nastavitve mešajo pridobivanje za pridobivanje z DSA za sklepanje v dolgem kontekstu brez kvadratnega davka.
V3:Ali bo DSA poslabšal kakovost modela v primerjavi z gosto pozornostjo?
Če usposabljate in služite ob upoštevanju redkosti (in razumno nastavite k), se kakovost ohranja – pogosto bolje za dolge kontekste, ker model ne utaplja v nizko vrednih parih. Služenje redko na gosto usposobljenih utežeh se lahko odmakne, zato primerjajte z resničnimi pozivi.
V4:Katere delovne obremenitve imajo največ koristi od DSA?
Vprašanja in odgovori v dolgem kontekstu, navigacija po bazi kode in agentove praske. Povsod, kjer se dolžina zaporedja poveča in se gosta pozornost spremeni v latenco, pritisk na pomnilnik in naraščajoče stroške.
V5:Ali vLLM podpira DSA za uvajanje?
Da – nedavne objave kažejo, da vLLM integrira podporo za natančno redko pozornost DeepSeek, z jedrom in razporejevalnikom, da bi to postalo praktično v proizvodnih cevovodih.
