Būtība par “revolucionāriem” uzmanības mehānismiem ir tāda, ka visi pamāj, it kā vērotu burvju mākslinieku, un pēc tam klusībā cer, ka neviens nelūgs viņiem izskaidrot triku. DeepSeek Sparse Attention (DSA) ir viens no šiem trikiem — gudrs, ātrs un, ja ieskatās detaļās, pat saprotams, neieelpojot simtiem lappušu matemātikas. Solījums: saglabāt intelektu, atbrīvoties no aprēķinu nodokļa. Realitāte: tas ir atkarīgs, bet šoreiz kompromisi izskatās atsvaidzinoši saprātīgi.
Pieliksim punktu uz “i”: DSA ir veids, kā lieliem valodu modeļiem pievērst uzmanību tikai tam, kas ir svarīgs. Nevis tā-it-kā. Ne arī “varbūt tas ir būtiski”. Tas ir smalki graudains sparse attention shēma, kas apgriež kvadrātisko sprādzienu, ko iegūstat no pilnas pašuzmanības — neatzāģējot zaru, uz kura modelis stāv. Ja vecā modeļa uzmanība bija telpa, kur katram vārdam ir jākontaktējas ar katru citu vārdu, DSA pārvērš to par ballīti, kurā introverts zied: tieši maršruti, mazāk bezjēdzīgu small-talk noviržu un daudz mazāk trokšņa.
Kas īsti ir DeepSeek Sparse Attention?
DSA ir sparse attention mehānisms, kas samazina pašuzmanības aprēķinu sarežģītību no O(L²) līdz O(Lk), kur L ir secības garums un k ir “saglabāto” savienojumu skaits vienam tokenam — atlasītie, iespējams, atbilstošie kaimiņi. Tas ir vienas rindas pičs. Mazāk matemātikas, vairāk jēgas: tā vietā, lai katrs tokens salīdzinātu sevi ar katru citu tokenu, DSA izvēlas apakškopu — kaimiņus, galvas, logus, “enkuru”, jebkuru heiristiku vai apgūtu politiku, kas modelim šķiet visloģiskākā —, lai jūs netērētu laiku niekiem.
Ja jums šķiet, ka tas izklausās pazīstami, tad tā arī ir: sparse attention nav nekas jauns. Mums ir bijuši Longformer, BigBird, block-sparse kodoli un duci “vietējo + globālo” hibrīdu. Parastā problēma ir tā, ka sparse attention modeļi vai nu zaudē atsaukšanu (tie palaiž garām adatu siena kaudzē), vai arī tos ir tik grūti efektīvi ieviest, ka viss, ko jūs teorētiski ietaupāt, vienkārši atkal parādās kā kodola virsizdevumi. DSA galvenā priekšrocība ir divējāda: pirmkārt, sparse attention modelis ir smalkāks un adaptīvāks nekā parastais bloku sparse attention; otrkārt, tas ir ieviests no gala līdz galam tādā veidā, kas faktiski darbojas reālās secinājumu stekos — ieskaitot vLLM.
Intuīcija: Zibens indeksētājs, nevis zāles pļāvējs
Visnoderīgākā līdzība, ko esmu redzējis: DSA darbojas kā zibens indeksētājs. Tas nepļauj visu lauku; tas metas pie tā, kas ir svarīgs — kā labs redaktors, kurš pārsvītro trīs rindkopas un patur teikumu, kas skan. Sistēma saglabā nelielu skaitu augsta signāla savienojumu vienam tokenam — domājiet par top-k pēc kāda atbilstības vērtējuma —, kā arī plānu struktūras pamatu (vietējos logus, periodiskus globālos tokenus), lai liela attāluma kohēzija nepārvērstos par putru.
Inženieriem rūp daļa pēc līdzības: ko “atbilstība” nozīmē operatīvi? Dažādi DSA apraksti norāda uz heiristikām, kas izvēlas kandidātu atslēgas pēc tuvuma un iepriekšējās nozīmes, kam seko kompakta uzmanība starp šiem kandidātiem. Tā nav maģija; tā ir triāža. Jūs paturat acīmredzamos kaimiņus (vietējais konteksts gandrīz vienmēr ir noderīgs valodai), iepiliniet globālos “orientierus” un selektīvi novirziet uzmanību uz daudzsološiem tokeniem ārpus loga. Neto efekts: jūs samazināt meklēšanas vietu līdz pareizam izmēram, nesabojājot atsaukšanu. Ja to dara pareizi, tas šķiet mazāk kā apgriešana un vairāk kā pieklājīga uzvedība.
Matemātika, minimālistu izdevums
- Pilna pašuzmanība: O(L²d), kur d ir galvas dimensija.
- DSA: O(Lkd). Fiksētam k tas ir lineārs pret L. Tam ir nozīme garam kontekstam. Pie 128K tokeniem jūsu GPU rēķins jums pateiks paldies.
- Modelis uztur dinamisku kandidātu kopu vienam tokenam. Jūs maksājat par kandidātu atlasi, kā arī faktisko uzmanību starp tiem. Ja kandidātu atlase ir vektorizēta un ņem vērā kešatmiņu, jūs uzvarat; ja nē, jūs saspiežat balonu.
Tā ir spriedze visās sparse attention metodēs: samazināt asimptotiku, bet neatjaunot to datu pārvietošanā un kodola palaišanas virsizdevumos. DSA ieviešanas uzsver kodola līmeņa atbalstu un plānotāja integrāciju, un nesen publicētie ieraksti parāda vLLM atbalsta nonākšanu tieši, lai padarītu to reālu izvietošanas iestatījumos.
Kāpēc DSA ir svarīga tagad?
Tāpēc, ka garš konteksts ir jauns ekrāna izmēra karš. Visi vēlas 200K tokenu un vairāk — skriptus, kodu bāzes, PDF failus jūsu sirdsapziņas lielumā. Kvadrātiskā uzmanība šajos garumos nav iespējama latentuma, caurlaidspējas un izmaksu dēļ. Jūs varat to viltot ar gudru sadalīšanu un izguvi, bet tas ir tāpat kā uzstādīt grāmatu plauktu savā automašīnā, jo jūsu bagāžnieks turpina piepildīties. DSA arguments ir vienkāršāks: padariet faktisko uzmanības soli nevis stulbi dārgu.
Sānu ieguvums ir stabilitāte. Pilna uzmanība ļoti garās secībās var kļūt skaitliski jutīga un atmiņas trokšņaina. Sparse attention samazina darba kopu un samazina izredzes, ka modelis “aizmirsīs”, noslīkstot vājos pāru rezultātos. Jūs saglabājat struktūras pamatu un nelielu adaptivitātes daļu virs tā. Tas ir praktisks kompromiss, kas, vienreiz, šķiet kā inženiertehnisks lēmums, nevis papīra demonstrācija.
Kur DSA iederas Sparse Attention zoodārzā
- Fiksēti modeļi (vietējie logi, dilatācijas): Ātri, bet trausli. Palaiž garām liela attāluma krusteniskās atsauces, ja vien jūsu veiksmes statistika nav maksimāla.
- Globālie tokeni: Pievieno enkurus. Labāk, bet nenoteikti. Jūs nevarat uzsist “CLS” uz visa un nosaukt to par atsaukšanu.
- Maršrutēšana, izmantojot apgūtas politikas: Potenciāli ideāli, operatīvi juceklīgi. Apmācības sarežģītība un trausls secinājums.
- DSA smalkgraudainais hibrīds: Izveidojiet kompaktu kandidātu kopu vienam tokenam, kas apvieno lokalitāti, strukturētus globālos un augsta signāla izvēles. Mērķis nav būt gudram — tas ir būt konsekventi pietiekami labam, lai jūsu latentums un kvalitāte būtu mērogojami.
Veiktspēja: O(L²) nodokļu atmaksa
Līdz šim sniegtais pārklājums apgalvo ievērojamu izmaksu samazinājumu — “uz pusi samazinātas” izmaksas parādās elpu aizraujošos gabalos —, bet būtība nav precīzs skaitlis, bet gan tas, ka mērogošanas līkne atgriežas dzīvotspējā garākiem uzvednēm un lielākai vienlaicīgai izpildei. Ja jūsu darba slodzes ir:
- RAG un dokumentu tērzēšana vairāk nekā 100+ lappusēs,
- Vairāku failu koda navigācija,
- Rīkus izmantojoši aģenti, kas uztur garas piezīmes,
…DSA samazina aprēķinu un atmiņu vienam tokenam. Jūs varat virzīt kontekstu tur, kur tas patiešām ir noderīgs, nevis iestudēt logu uzlaušanas parādi. Agrīnais vLLM atbalsts liecina, ka tas nav tikai soliņa spīdums — tas darbojas tur, kur cilvēki izvieto modeļus.
Brīdinājumi (jeb Kāpēc nevienam nevajadzētu paziņot par uzvaru otrdienā)
- Kandidātu atlase nav bezmaksas. Ja atlases rutīna paklūp pār kešatmiņas rindām vai iegrūž jūs CPU-GPU ping-pong, jūsu sparse attention uzvaras izgaist.
- k ir budžets, nevis iedzimtas tiesības. Pārāk mazs, un jūs izlaižat krusteniskās atsauces, kurām ir nozīme. Pārāk liels, un jūs atkāpjaties uz blīvu.
- Neatbilstība apmācībā pret secinājumiem. Ja jūsu modelis ir apmācīts blīvi un jūs to izmantojat sparse attention secinājumu laikā, sagaidiet kvalitātes novirzes. DSA spēcīgākie rezultāti parādās, kad sparse attention ir daļa no apmācības diētas, nevis tikai pasniegšanas laika garnējums.
- Gara astes dīvainības. Sparse attention modeļi dažreiz neizdodas izpildīt neatliekamu atzvanīšanu 30K tokenu vēlāk. Labi hibrīdi nodrošinās periodiskus globālos vai apgūtos enkurus.
Ja tas viss izklausās pēc laba indeksa izveides grāmatai, tāpēc, ka tā arī ir. Pārāk īss, un jūs neko nevarat atrast; pārāk garš, un tā atkal ir tikai grāmata.
Kā DSA, iespējams, izvēlas, ko paturēt
Sīkāka informācija atšķiras atkarībā no ieviešanas, bet spēles grāmata izskatās šādi:
- Vietējais logs: Saglabājiet kaimiņus slīdošā logā — lielākā daļa valodas struktūras ir lokāla. 2) Periodiski/globāli tokeni: Ievietojiet regulārus “bākas”, kas vienmēr savienojas globāli. 3) Spilgtuma vērtēšana: Izmantojiet vieglus signālus — no iepriekšējā slāņa aktivizācijām, kešatmiņā saglabātas nozīmes vai tuvinājumiem, piemēram, top-k līdzības —, lai atlasītu papildu attālinātus tokenus. 4) Kompakta uzmanība: Izmantojiet uzmanību tikai pār saglabātās kopas apvienību. 5) Atkārtojiet katram slānim, ļaujot dažādām galvām dot priekšroku dažādām struktūrām.
Tā nav ortodoksija; tā ir vienkārši vismazāk pārsteidzošā lieta, kas varētu darboties. Un acīmredzot tā arī ir, ņemot vērā operatīvo atbalstu, kas nonāk mūsdienu secinājumu stekos.
DSA pret sadalīšanu pret izguvi: Izvēlieties savu indi
- Naiva sadalīšana: Ātri, bet dumji — konteksta robežas kļūst par klintīm. Labi caurlaidspējai, slikti jebkam smalkam.
- Paaugstināta izguves ģenerēšana: Gudrāka, bet trausla — atkarīga no tā, vai izgūšanas rīks atceras, kas ģeneratoram būs vajadzīgs vēlāk.
- DSA stila sparse attention: Saglabā visu pavedienu kontekstā, koncentrējot aprēķinus tur, kur tas ir svarīgi. Tas neaizstāj izguvi; tas padara izguvi mazāk par kruķi.
Godīgs risinājums ir maisījums: izguve, lai ievilktu atbilstošus dokumentus, sparse attention, lai spriestu par garām secībām, neizkausējot. Jūs varat darīt abus, neienīstot savu mākoņa rēķinu.
Kvalitāte: Vai tas joprojām saprot?
Miljona dolāru jautājums ir, vai sparse attention klusi nomet nozīmi starp teikumiem. Agrīni ziņojumi par DeepSeek modeļiem liecina, ka kvalitāte saglabājas vai uzlabojas garā kontekstā, jo modelis netērē varbūtības masu bezjēdzīgiem pāru rezultātiem. Triks ir noregulēt k un globālo struktūru tā, lai modelim būtu uzticams pamats visā uzvednē. Un atkal, apmācība ar sparse attention cilpā ir svarīga — modeļi pielāgojas. Tas ir kā mācīties braukt ar manuālo pārnesumkārbu; kad esat ieguvis ritmu, jums nav žēl par automātisko.
Izvietošanas realitāte: Kodoli, kešatmiņas, plānotāji
vLLM atbalsta piezīme ir vērts izcelt: DSA nav tikai papīra triks; tiek veikts reāls darbs kodola atbalsta un plānošanas jomā, lai tas neapturētu GPU ar izkaisītu-savāc teātri. Bloku sparse attention kodoli, sapludinātas darbības un rūpīgs KV kešatmiņas izkārtojums padara vai sabojā šīs lietas. Sliktākie sparse attention rezultāti rodas no pilnīgi saprātīgām idejām, kas saduras ar atmiņas joslas platumu un palaišanas virsizdevumiem. Kad tie ir apstrādāti, sparse attention dzied.
Kur DSA spīd
- Gara konteksta jautājumi un atbildes par strukturētiem dokumentiem. Vietējais + bākas maisījums izseko sadaļas un krusteniskās atsauces, neappludinot uzmanību.
- Koda bāzes spriešana. Vietējie logi uztver faila iekšējo kontekstu; periodiski/globāli savienojumi pārvietojas starp failiem, funkciju izsaukumiem un importēšanu.
- Aģenti ar piezīmēm. Sparse attention ļauj aģentam saglabāt garu darba atmiņu, nepasliktinoties līdz bezjēdzībām pēc piektās lappuses.
Kur DSA (vēl) nav
- Sīkas uzvednes. Blīva uzmanība ir labi; sparse attention virsizdevumi var neatmaksāties.
- Ļoti savstarpēji saistīta dzeja vai mīklu uzvednes, kurām nepieciešami adatas-siena kaudzes lēcieni bez acīmredzamiem strukturāliem pavedieniem. Jūs joprojām varat noregulēt k, bet metodei patīk modeļi vairāk nekā mīklas.
Šeit ir jebkuras no šīm metodēm pārbaude: vai tās uzlabo rīkus, nepārvēršot lietotājus par neapmaksātiem QA inženieriem? Manos izmēģinājumos rīki, kas labi integrē sparse attention — jo īpaši dokumentu un koda tērzēšanai —, šķiet mazāk temperamentīgi. Sider.AI šeit patiešām spēlē: kad jūs ielīmējat 80 lappušu specifikācijas vai brienat cauri repo, spēja uzturēt garu, saskaņotu pavedienu, neapstājoties vai nehalucinējot par 47. lappusi, ir svarīga. Mārketings nelielās par “smalkgraudainu sparse attention”, un tas ir labi. Lietotājiem rūp, lai tas būtu atsaucīgs, saglabātu kontekstu pareizu un nemaksātu kā nedēļas nogale Lasvegasā. Ja jūs strādājat ar lielām, nekārtīgām ievadēm, šī uzmanības triku klase ir tieši tāda veida slēpta izmaiņa, kas parādās kā mazāk kārpu un ātrākas atbildes. Praktiski norādījumi: Ja jūs nolemjat, vai izmantot DSA
- Jūsu konteksts regulāri ir >32K tokenu: jā, novērtējiet to.
- Jums pieder jūsu izvietošanas steks (vLLM, Triton kodoli, KV kešatmiņas regulēšana): jā, jo īpaši.
- Jūs esat iestrēdzis ar blīvi apmācītiem svariem un nevarat pārmācīt: pārbaudiet rūpīgi; apsveriet daļēju sparse attention vai galvai specifisku sparse attention.
- Jutīgas pret latentumu, augstas QPS darba slodzes: šeit ir svarīga līknes liekšana. Izmēriet p95 un p99.
Un, lūdzu, visu GPU lietu dēļ, veiciet etalonu ar reālām uzvednēm, nevis sintētisku lorem ipsum. Sparse attention metodes dzīvo vai mirst reālistiskā atbilstības sadalījumā.
Meta-punkts: Sparse attention kā laba gaume
Tam ir sava estētika. Modeļi, kas vienlīdz pievērš uzmanību visam, ir kā sanāksmes, kurās visi runā. Izskatās demokrātiski, neko neizdodas paveikt. DSA jēga ir redakcionāla: koncentrējieties uz interesantākajām daļām, uzturiet pamatu un saglabājiet budžetu. Ja vēlaties mācību stundu, kas ir plašāka par mašīnmācīšanos, lūk, tā ir. Labas sistēmas nedara visu. Tās dara pareizās lietas, ātri.
Neizbēgamā nākotne: Apmācīt sparse attention, apkalpot sparse attention
Mēs redzēsim vairāk modeļu, kas apmācīti no gala līdz galam ar sparse attention modeļiem, kas ir iekļauti. Tur rodas pēdējie 10–15% kvalitātes un stabilitātes: ļaujot modeļa induktīvajiem aizspriedumiem saskaņoties ar apkalpošanas ceļu. Ja jūs apkalpojat sparse attention, bet apmācāt blīvi, jūs lūdzat modeli pārslēgt pārnesumus uz šosejas. Tas var darboties, bet nebrīnieties, kad tas raustās.
Tikmēr ietvari padarīs sparse attention modeļus saliekamus: vietējie logi + periodiski globālie + apgūtie enkuri + izguves tokeni. Pēdējais elements — cilpas aizvēršana starp izgūšanas spilgtumu un uzmanības spilgtumu — šķiet kā nākamais acīmredzamais solis. Kad tas, ko jūs izgūstat, informē to, kam jūs pievēršat uzmanību, jūs pārtraucat ping-pong starp divām daļēji aklām sistēmām.
Tātad, kā DSA darbojas? Īsā atbilde
- Tas izvēlas kompaktu, iespējams, atbilstošu tokenu kopu katram tokenam — galvenokārt vietējos, dažus globālos, dažus gudrus izvēles.
- Tas izmanto uzmanību tikai pār šo kopu, samazinot aprēķinu no kvadrātiskā līdz aptuveni lineārajam konteksta garumā.
- Tas paļaujas uz rūpīgiem kodoliem un kešatmiņas izkārtojumu, lai teorētiskie ietaupījumi parādītos kā reālas latentuma uzvaras.
- Tas saglabā kvalitāti, saglabājot struktūru un pietiekamu globālu savienojamību, lai liela attāluma atsauces netiktu zaudētas.
Tas arī viss. Nekādas vīraka, nekādu burvestību. Vienkārši uzspiesta laba gaume tam, kam pievērst uzmanību.
Noslēguma pavērsiens (jo vienmēr ir viens)
Katram AI trikam galu galā pienāk vilšanās brīdis. Sparse attention palaidīs garām kaut ko svarīgu, iespējams, uzvednē, ko izstrādājis gudrs kritiķis, kurš uzstāj, ka modelim ir jāsavieno trīs panti ar trīsdesmit septiņiem pantiem starp valodām, žonglējot ar funkcijas parakstu. Labi. Bet lielākā daļa reālā darba nav dzejas/etaloni — tas ir grūts darbs ar tekstu, kodu un faktiem. Šajā gadījumā DSA nav tikai jauka ideja. Tā ir atšķirība starp modeli, kas izliekas, ka lasa jūsu kontekstu, un modeli, kas to faktiski var.
Un, ja jūs to varat izdarīt, neizdedzinot caurumu caur mākoņa budžetu? Tas nav triks. Tas ir progress.
BUJ
Q1: Kā DeepSeek Sparse Attention (DSA) darbojas vienkāršā valodā?
DSA sašaurina uzmanību līdz tokeniem, kuriem ir nozīme — galvenokārt tuvumā esošam tekstam, dažiem globāliem enkuriem, kā arī īsam augsta signāla izvēļu sarakstam. Tā vietā, lai veiktu O(L²) salīdzinājumus, tas veic O(Lk), saglabājot kvalitāti, saglabājot struktūru, vienlaikus samazinot aprēķinus.
Q2: Vai DSA ir labāks par sadalīšanu vai izguvi garam kontekstam?
DSA saglabā visu vienā pavedienā, vienlaikus koncentrējot aprēķinus tur, kur tas ir svarīgi; sadalīšana rada klintis, un izguve var būt aizmāršīga. Labākie iestatījumi apvieno izguvi, lai ielādētu, ar DSA, lai spriestu par garu kontekstu bez kvadrātiskā nodokļa.
Q3: Vai DSA pasliktinās modeļa kvalitāti salīdzinājumā ar blīvu uzmanību?
Ja apmācāt un apkalpojat, ņemot vērā sparse attention (un iestatāt k saprātīgi), kvalitāte saglabājas — bieži vien labāk garam kontekstam, jo modelis neslīkst zemas vērtības pāros. Apkalpojiet sparse attention ar blīvi apmācītiem svariem var novirzīties, tāpēc veiciet etalonu ar reālām uzvednēm.
Q4: Kādas darba slodzes visvairāk gūst labumu no DSA?
Gara konteksta dokumentu jautājumi un atbildes, koda bāzes navigācija un aģentu piezīmes. Jebkurā vietā, kur secības garums pieaug un blīva uzmanība pārvēršas latentumā, atmiņas spiedienā un pieaugošās izmaksās.
Q5: Vai vLLM atbalsta DSA izvietošanai?
Jā — nesen publicētie ieraksti liecina, ka vLLM integrē atbalstu DeepSeek smalkgraudainajai sparse attention, ar kodola un plānotāja darbu, lai padarītu to praktisku ražošanas cauruļvados.
