Nnendeid „revolutsiooniliste“ tähelepanumehhanismide puhul noogutavad kõik kaasa nagu võluri vaatamisel, lootes vaikselt, et keegi ei palu neil trikki selgitada. DeepSeek Sparse Attention (DSA) on üks neist trikkidest – nutikas, kiire ja, kui detaile uurida, siis tegelikult arusaadav ilma sadade lehekülgede matemaatikat läbi töötamata. Lubadus: säilita intelligentsus, loobu arvutusmaksust. Reaalsus: see oleneb, aga seekord tunduvad kompromissid värskendavalt mõistlikud.
Lähme asja juurde: DSA on suurte keelemudelite jaoks viis pöörata tähelepanu ainult olulistele asjadele. Mitte umbes-täpselt. Mitte „võib-olla on see asjakohane“. See on peeneteraline hõre tähelepanuskeem, mis kärbib ruutvõrrandi plahvatust, mille saad täieliku enesetähelepanu korral – ilma oksa maha saagimata, millel mudel seisab. Kui vana mudeli tähelepanu oli ruum, kus iga sõna pidi iga teise sõnaga silmsidet looma, siis DSA muudab selle peoks, kus introverdid õitsevad: otsesed teed, vähem mõttetuid väikeseid jututeemalisi kõrvalepõikeid ja palju vähem müra.
Mis on DeepSeek Sparse Attention tegelikult?
DSA on hõre tähelepanumehhanism, mis vähendab enesetähelepanu arvutuslikku keerukust O(L²) -lt O(Lk) -ni, kus L on jada pikkus ja k on „säilitatud“ ühenduste arv märgi kohta – valitud, eeldatavasti asjakohased naabrid. See ongi kokkuvõte ühes reas. Vähem matemaatikat, rohkem mõistust: selle asemel, et iga märk võrdleks ennast iga teise märgiga, valib DSA alamhulga – naabrid, päised, aknad, „ankrud“, ükskõik milline heuristika või õpitud poliitika on mudeli jaoks kõige mõistlikum –, nii et sa ei raiska aega tühja-tähja peale.
Kui see tundub sulle tuttav, siis see ongi nii: hõre tähelepanu pole midagi uut. Meil on olnud Longformer, BigBird, plokkhõredad kernelid ja tosin „kohalik + globaalne“ hübriidi. Tavaline probleem on see, et hõredad mustrid kas lekivad (nad jätavad tähelepanuta nõela heinakuhjas) või neid on nii valus tõhusalt rakendada, et kõik, mis sa teoreetiliselt säästad, ilmub lihtsalt kernelite lisakuludena. DSA trumbiks on kahekordne: esiteks on hõredusmuster peeneteralisem ja kohandatavam kui tavaline plokkhõredus; teiseks on seda rakendatud terviklikult viisil, mis tegelikult toimib reaalselt järelduste tegemise protsessis – kaasa arvatud vLLM.
Intuitsioon: Pikseindekseerija, mitte muruniiduk
Kõige kasulikum analoogia, mida ma olen näinud: DSA toimib nagu pikseindekseerija. See ei niida tervet põldu; see sööstab selle juurde, mis on oluline – nagu hea toimetaja, kes kriipsutab maha kolm lõiku ja jätab alles lause, mis kõnetab. Süsteem säilitab väikese hulga tugeva signaaliga ühendusi märgi kohta – mõtle top-k mingi asjakohasuse hindamise järgi – pluss õhuke struktuuribaas (kohalikud aknad, perioodilised globaalsed märgid), nii et pikaajaline sidusus ei muutuks pudruks.
Insenerid hoolivad analoogia järgsest osast: mida tähendab „asjakohasus“ operatiivselt? Erinevad DSA kirjutised viitavad heuristikale, mis valib kandidaatvõtmeid läheduse ja varasema tähtsuse järgi, millele järgneb kompaktne tähelepanu nende kandidaatide seas. See ei ole maagia; see on sorteerimine. Sa hoiad alles ilmsed naabrid (kohalik kontekst on keele jaoks peaaegu alati kasulik), lisad globaalseid „maamärke“ ja suunad tähelepanu valikuliselt paljulubavatele aknavälistele märkidele. Netomõju: sa vähendad otsinguruumi, ilma et saaksummutust kahjustaksid. Kui seda õigesti teha, tundub see vähem nagu kärpimine ja rohkem nagu korralikud kombed.
Matemaatika, minimalistlik versioon
- Täielik enesetähelepanu: O(L²d), kus d on päise dimensioon.
- DSA: O(Lkd). Fikseeritud k korral on see L suhtes lineaarne. See on pikkade kontekstide puhul oluline. 128K märgi korral tänab su GPU arve sind.
- Mudel säilitab iga märgi kohta dünaamilise kandidaatide komplekti. Sa maksad kandidaatide valiku eest pluss tegelik tähelepanu nende seas. Kui kandidaatide valik on vektoriseeritud ja vahemäluteadlik, siis sa võidad; kui ei, siis sa pigistad õhupalli.
See on pinge kõigis hõredates meetodites: vähenda asümptootikat, aga ära vii seda uuesti sisse oma andmeliikumise ja kernelikäivituse lisakuludesse. DSA rakendused rõhutavad kernelitaseme tuge ja ajakava integreerimist ning hiljutised postitused näitavad vLLM-i toe maandumist just selleks, et see oleks reaalselt kasutatav.
Miks on DSA praegu oluline?
Sest pikk kontekst on uus ekraanisuuruse sõda. Kõik tahavad 200K märki ja rohkem – skripte, koodibaase, PDF-e, mis on sama suured kui su südametunnistus. Ruutvõrrandi tähelepanu nendes pikkustes on latentsuse, läbilaskevõime ja maksumuse jaoks välistav tegur. Sa võid seda võltsida nutika tükeldamise ja otsinguga, aga see on nagu raamaturiiuli paigaldamine oma autosse, sest su pagasiruum täitub pidevalt. DSA argument on lihtsam: tee tegelik tähelepanu samm mitte rumalalt kulukaks.
Kõrvalkasu on stabiilsus. Täielik tähelepanu väga pikkade jadade korral võib muutuda numbriliselt tundlikuks ja mälumürarikkaks. Hõre tähelepanu kahandab tööhulka ja vähendab tõenäosust, et mudel „unustab“, uppudes nõrkadesse paarikaupa skooridesse. Sa hoiad alles struktuuribaasi ja väikese adaptiivsuse viilu peal. See on praktiline kompromiss, mis tundub seekord rohkem nagu inseneriotsus kui paberdemo.
Kus DSA hõredas loomaaias sobib
- Fikseeritud mustrid (kohalikud aknad, dilatatsioonid): Kiire, aga rabe. Jätab tähelepanuta pikaajalised ristviited, kui su õnne statistika pole maksimaalne.
- Globaalsed märgid: Lisab ankruid. Parem, aga ebamäärane. Sa ei saa kõigele „CLS“ -i peale lüüa ja seda saagiks nimetada.
- Suunamine õpitud poliitikate kaudu: Potentsiaalselt ideaalne, operatiivselt segane. Koolituslikud keerukused ja rabe järeldus.
- DSA peeneteraline hübriid: Kureeri iga märgi kohta kompaktne kandidaatide komplekt, mis segab lokaalsust, struktureeritud globaale ja tugeva signaaliga valikuid. Eesmärk ei ole olla nutikas – see on olla järjekindlalt piisavalt hea, et su latentsus ja kvaliteet mõlemad skaleeruksid.
Toimivus: O(L²) maksutagastus
Seni väidetakse, et see katab olulisi kulude vähendamisi – „poole võrra“ kulude vähendamine ilmneb hingeldavates tükkides –, aga point ei ole täpne number, vaid see, et skaleerimiskõver paindub tagasi elujõulisusesse pikemate küsimuste ja suurema samaaegsuse korral. Kui su töökoormused on:
- RAG ja dokumendivestlus üle 100+ lehekülje,
- Mitme failiga koodinavigatsioon,
- Tööriistu kasutavad agendid, kes hoiavad pikki kratsimispatju,
…DSA vähendab märgi kohta arvutust ja mälu. Sa saad konteksti suruda sinna, kus see on tegelikult kasulik, selle asemel, et lavastada akendega häkkide paraad. Varajane vLLM-i tugi viitab sellele, et see pole lihtsalt pingipael – see töötab seal, kus inimesed mudeleid juurutavad.
Hoiatused (ehk miks keegi ei tohiks teisipäeval võitu kuulutada)
- Kandidaatide valik pole tasuta. Kui valikurutiin komistab vahemäluridade otsa või põrkab sind CPU-GPU ping-pongi, siis su hõredusvõidud aurustuvad.
- k on eelarve, mitte sünniõigus. Liiga väike ja sa jätad tähelepanuta ristviited, mis on olulised. Liiga suur ja sa liigud tagasi tihedaks.
- Koolituse ja järelduse mittevastavus. Kui su mudel on koolitatud tihedaks ja sa käivitad selle hõredalt järelduse tegemisel, siis oota kvaliteedi triivi. DSA tugevaimad tulemused ilmnevad siis, kui hõredus on osa koolitustoidust, mitte ainult serveerimise ajal lisand.
- Pikk saba imelikkus. Hõredad mustrid ebaõnnestuvad mõnikord ootamatu tagasihelistamise korral 30K märgi hiljem. Head hübriidid maandavad perioodiliste globaalide või õpitud ankrutega.
Kui see kõik kõlab nagu hea raamatu indeksi tegemine, siis see ongi nii. Liiga lühike ja sa ei leia midagi; liiga pikk ja see on lihtsalt jälle raamat.
Kuidas DSA tõenäoliselt valib, mida säilitada
Detailid on rakenduste kaupa erinevad, aga käsiraamat näeb välja selline:
- Kohalik aken: Säilita naabrid liikuvas aknas – enamik keele struktuuri on kohalik. 2) Perioodilised/globaalsed märgid: Sisesta regulaarsed „majakad“, mis ühenduvad alati globaalselt. 3) Tähtsuse hindamine: Kasuta kergeid signaale – varasema kihi aktivatsioonidest, vahemällu salvestatud tähtsusest või ligikaudsetest väärtustest, nagu top-k sarnasus –, et valida täiendavaid kaugel asuvaid märke. 4) Kompaktne tähelepanu: Käivita tähelepanu ainult säilitatud komplekti liidu kohal. 5) Korda kihi kohta, võimaldades erinevatel päistel eelistada erinevaid struktuure.
See ei ole ortodoksia; see on lihtsalt kõige vähem üllatav asi, mis võiks töötada. Ja ilmselt see töötab, arvestades kaasaegsete järelduste tegemise protsessis toimuvat operatiivset tuge.
DSA vs tükeldamine vs otsing: Vali oma mürk
- Lihtne tükeldamine: Kiire, aga rumal – konteksti piirid muutuvad kaljudeks. Hea läbilaskevõime jaoks, halb millegi peene jaoks.
- Otsinguga täiendatud genereerimine: Nutikam, aga rabe – sõltub sellest, kas otsija mäletab, mida generaator hiljem vajab.
- DSA-stiilis hõre tähelepanu: Hoiab kogu niidi kontekstis, arvutus on suunatud sinna, kus see loeb. See ei asenda otsingut; see muudab otsingu vähem karguks.
Aus lahendus on segu: otsing asjakohaste dokumentide leidmiseks, hõre tähelepanu pikkade jadade üle arutlemiseks ilma sulatamata. Sa saad teha mõlemat, ilma et sa vihkaksid oma pilvearvet.
Kvaliteet: Kas see ikka veel mõistab?
Miljoni dollari küsimus on, kas hõre tähelepanu jätab vaikselt lausete vahelise tähenduse välja. DeepSeek mudelite varased aruanded viitavad sellele, et kvaliteet pikas kontekstis säilib või paraneb, sest mudel ei raiska tõenäosuse massi mõttetutele paarikaupa skooridele. Trikk on häälestada k ja globaalset struktuuri nii, et mudelil oleks usaldusväärne alus läbi küsimuse. Ja jälle, hõredusega koolitamine on oluline – mudelid kohanevad. See on nagu õppida sõitma manuaalkäigukastiga; kui sa oled rütmi kätte saanud, siis sa ei igatse automaati taga.
Juurutamise reaalsus: Kernelid, vahemälud, ajakavad
vLLM-i tugimärkus on väärt väljatoomist: DSA ei ole lihtsalt paberitrikk; kernelite toe ja ajakava koostamisse panustatakse reaalselt, et see ei peataks GPU-d haju-kogumise teatraalsusega. Plokkhõredad kernelid, ühendatud ops ja hoolikas KV-vahemälu paigutus kas teevad selle asja korda või lõhuvad selle. Hõreda tähelepanu halvimad tulemused tulenevad täiesti mõistlikest ideedest, mis põrkuvad mäluriba laiuse ja käivitamise lisakuludega. Kui need on lahendatud, siis hõredus laulab.
Kus DSA särab
- Pika konteksti küsimused ja vastused struktureeritud dokumentide kohta. Kohalik + majaka segu jälgib jaotisi ja ristviiteid ilma tähelepanu üle ujutamata.
- Koodibaasi arutluskäik. Kohalikud aknad haaravad failisisese konteksti; perioodilised/globaalsed lingid kulgevad üle failide, funktsioonikutsete ja impordi.
- Agendid kratsimispatjadega. Hõre tähelepanu võimaldab agendil hoida pikka töömälu ilma pärast viiendat lehekülge mõttetustesse langemata.
Kus DSA (veel) ei tööta
- Väikesed küsimused. Tihe tähelepanu on hea; hõredad lisakulud ei pruugi amortiseerida.
- Väga sassis luule- või mõistatusküsimused, mis nõuavad nõela heinakuhjas hüppeid ilma ilmselgete struktuuriliste vihjeteta. Sa saad ikka veel k häälestada, aga meetodile meeldivad mustrid rohkem kui mõistatused.
Siin on test mis tahes nende tehnikate jaoks: kas need muudavad tööriistad paremaks, muutmata kasutajaid tasustamata QA insenerideks? Minu käivitamistel tunduvad tööriistad, mis integreerivad hästi hõredat tähelepanu – eriti dokumentide ja koodivestluse jaoks –, vähem temperamentsed. Sider.AI mängib siin tegelikult rolli: kui sa kleebid sisse 80-leheküljelisi spetsifikatsioone või trampid läbi repot, siis on oluline võime säilitada pikk ja sidus niit ilma seiskumata või 47. lehekülje kohta hallutsineerimata. Turundus ei kiida „peeneteralist hõredust“ ja see on hea. Kasutajad hoolivad sellest, et see püsiks reageeriv, hoiaks konteksti sirge ja ei maksaks nagu nädalavahetus Vegases. Kui sa töötad suurte ja segaste sisenditega, siis on see klass tähelepanutrikk täpselt selline varjatud muutus, mis ilmneb vähemate tüükadena ja kiiremate vastustena. Praktiline juhend: Kui sa otsustad, kas DSA-d kasutada
- Su kontekst on rutiinselt >32K märki: jah, hinda seda.
- Sa omad oma juurutusstacki (vLLM, Triton kernelid, KV-vahemälu häälestus): jah, eriti.
- Sa oled kinni tihedalt koolitatud kaaludes ja sa ei saa ümber koolitada: testi hoolikalt; kaalu osalist hõredust või päisepõhist hõredust.
- Latentsustundlikud, kõrge QPS-iga töökoormused: siin on kõvera paindumine oluline. Mõõda p95 ja p99.
Ja palun, kõigi GPU asjade nimel, tee võrdlusuuringuid reaalsete küsimustega, mitte sünteetilise lorem ipsumiga. Hõredad meetodid elavad või surevad realistlike asjakohasuse jaotuste korral.
Meta-point: Hõredus kui hea maitse
Selles on esteetikat. Mudelid, mis pööravad tähelepanu kõigele võrdselt, on nagu koosolekud, kus kõik räägivad. Näeb välja demokraatlik, ei saavuta midagi. DSA tundlikkus on toimetuslik: keskendu huvitavatele osadele, säilita alus ja hoia eelarvet. Kui sa tahad masinõppest laiemat õppetundi, siis siin see on. Head süsteemid ei tee kõike. Nad teevad õigeid asju kiiresti.
Vältimatu tulevik: Koolita hõredalt, teeninda hõredalt
Me näeme rohkem mudeleid, mis on koolitatud terviklikult hõredate mustritega, mis on sisse küpsetatud. See on koht, kust tuleb viimane 10–15% kvaliteedist ja stabiilsusest: lasta mudeli induktiivsetel eelarvamustel joonduda teenindamise teekonnaga. Kui sa teenindad hõredalt, aga koolitad tihedalt, siis sa palud mudelil kiirteel käiku vahetada. See võib töötada, aga ära ole šokeeritud, kui see tõmbleb.
Vahepeal muudavad raamistikud hõredad mustrid komponeeritavaks: kohalikud aknad + perioodilised globaalid + õpitud ankrud + otsinguteadlikud märgid. See viimane osa – silmuse sulgemine otsija silmapaistvuse ja tähelepanu silmapaistvuse vahel – tundub nagu järgmine ilmne samm. Kui see, mida sa leiad, teavitab seda, millele sa tähelepanu pöörad, siis sa lõpetad kahe poolpimeda süsteemi vahelise pingpongimise.
Kuidas DSA töötab? Lühike vastus
- See valib iga märgi jaoks kompaktse komplekti tõenäoliselt asjakohaseid märke – enamasti kohalikke, mõned globaalseid, mõned nutikaid valikuid.
- See käivitab tähelepanu ainult selle komplekti kohal, kärpides arvutust ruutvõrrandist ligikaudu lineaarseks konteksti pikkuseks.
- See tugineb hoolikatele kernelitele ja vahemälu paigutusele, nii et teoreetilised säästud ilmnevad reaalse latentsusena.
- See hoiab kvaliteeti, säilitades struktuuri ja piisavalt globaalset ühenduvust, et pikaajalised viited ei läheks kaduma.
See on kõik. Ei mingit viirukit, ei mingeid loitsusid. Lihtsalt sunnitud hea maitse selles, millele tähelepanu pöörata.
Lõppakord (sest alati on üks)
Igal tehisintellekti trikil on lõpuks oma pettumuse hetk. Hõre tähelepanu jätab midagi olulist tähelepanuta, tõenäoliselt küsimuses, mille on välja mõelnud nutikas kriitik, kes nõuab, et mudel peaks ühendama kolmanda stroofi kolmekümne seitsmenda stroofiga üle keelte, žongleerides samal ajal funktsiooni signatuuriga. Hea küll. Aga enamik reaalset tööd ei ole luule-slash-võrdlusuuringud – see on läbi teksti, koodi ja faktide jahvatamine. Selle jaoks ei ole DSA lihtsalt hea idee. See on erinevus mudeli vahel, mis teeskleb, et loeb su konteksti, ja mudeli vahel, mis tegelikult suudab seda teha.
Ja kui sa saad seda teha ilma pilveeelarvet läbi põletamata? See ei ole trikk. See on edasiminek.
KKK
K1: Kuidas DeepSeek Sparse Attention (DSA) tavalises keeles töötab?
DSA piirab tähelepanu olulistele märkidele – enamasti lähedal asuv tekst, mõned globaalsed ankrud pluss lühike nimekiri tugeva signaaliga valikutest. O(L²) võrdluste asemel käivitab see O(Lk), säilitades kvaliteedi, säilitades struktuuri, vähendades samal ajal arvutust.
K2: Kas DSA on pika konteksti jaoks parem kui tükeldamine või otsing?
DSA hoiab kõike ühes niidis, keskendudes samal ajal arvutusele sinna, kus see loeb; tükeldamine loob kaljusid ja otsing võib olla unustav. Parimad seadistused segavad otsingu leidmiseks DSA-ga põhjendamiseks pikas kontekstis ilma ruutvõrrandi maksuta.
K3: Kas DSA kahjustab mudeli kvaliteeti võrreldes tiheda tähelepanuga?
Kui sa koolitad ja teenindad hõredusega (ja seadistad k mõistlikult), siis kvaliteet säilib – sageli parem pikkade kontekstide jaoks, sest mudel ei upu madala väärtusega paaridesse. Tihedalt koolitatud kaalude hõre teenindamine võib triivida, seega tee võrdlusuuringuid reaalsete küsimustega.
K4: Millised töökoormused saavad DSA-st kõige rohkem kasu?
Pika konteksti dokumendi küsimused ja vastused, koodibaasi navigeerimine ja agentide kratsimispadjad. Igal pool, kus jada pikkus paisub ja tihe tähelepanu muutub latentsuseks, mälusurveks ja kasvavateks kuludeks.
K5: Kas vLLM toetab DSA juurutamist?
Jah – hiljutised postitused näitavad, et vLLM integreerib DeepSeeki peeneteralise hõreda tähelepanu tuge kernelite ja ajakava tööga, et muuta see tootmisjuhtmetes praktiliseks.
