Jambo kuhusu mifumo ya umakinifu ya "kimapinduzi" ni kwamba kila mtu huinamisha kichwa kana kwamba wanaangalia mchawi, kisha kimyakimya huomba kwamba hakuna mtu atakayewaomba waelezee ujanja huo. DeepSeek Sparse Attention (DSA) ni moja ya mbinu hizo—akili, haraka, na, ukiangalia kwa makini maelezo, inaeleweka bila kuhangaika na kurasa mia za hesabu. Ahadi: weka akili, ondoa ushuru wa kompyuta. Ukweli: inategemea, lakini wakati huu biashara inaonekana kuwa na akili ya kuburudisha.
Tupunguze: DSA ni njia ya miundo mikubwa ya lugha kuzingatia tu vitu muhimu. Siyo kiasi fulani. Siyo "labda inafaa." Ni mpango mzuri wa umakinifu adimu ambao hupunguza mlipuko wa quadratic unaopata kutoka kwa umakinifu kamili—bila kukata tawi ambalo mfumo umesimama. Ikiwa umakinifu wa mfumo wa zamani ulikuwa chumba ambapo kila neno lazima lianzishe mawasiliano ya macho na kila neno lingine, DSA huigeuza kuwa sherehe ambapo watu wa ndani hustawi: njia za moja kwa moja, safari chache za mazungumzo madogo yasiyo na maana, na kelele kidogo..
DeepSeek Sparse Attention ni Nini Hasa?
DSA ni mfumo adimu wa umakinifu ambao hupunguza ugumu wa kimhesabu wa umakinifu wa kibinafsi kutoka O(L²) hadi O(Lk), ambapo L ni urefu wa mfuatano na k ni idadi ya miunganisho "iliyohifadhiwa" kwa kila tokeni—majirani waliochaguliwa, labda wanaofaa.. Hiyo ndiyo hoja katika mstari mmoja. Hesabu kidogo, akili zaidi: badala ya kila tokeni kujilinganisha na kila tokeni nyingine, DSA huchagua kikundi kidogo—majirani, vichwa, madirisha, "nanga," chochote ambacho kina mantiki zaidi kwa mfumo—ili usipoteze muda kwa upuuzi.
Ikiwa unafikiri hii inasikika kuwa ya kawaida, ndivyo ilivyo: umakinifu adimu si mpya. Tumekuwa na Longformer, BigBird, kernels adimu za block, na mchanganyiko kadhaa wa "mitaa + kimataifa". Tatizo la kawaida ni kwamba mifumo adimu ama inavujisha kumbukumbu (hukosa sindano kwenye haystack), au ni shida sana kutekeleza kwa ufanisi kwamba chochote unachookoa kinadharia huonekana tena kama gharama ya kernel. Madai ya DSA ya umaarufu ni mawili: kwanza, muundo wa sparsity ni mzuri zaidi na unaobadilika kuliko sparsity ya block ya bustani; pili, imetekelezwa mwisho hadi mwisho kwa njia ambayo inafanya kazi kweli kwenye mrundikano wa inference halisi—vLLM imejumuishwa..
Akili: Indexer ya Umeme, Siyo Mashine ya Kukata Nyasi
Mlinganisho muhimu zaidi niliyoyaona: DSA hufanya kama indexer ya umeme. Haikati shamba lote; inaelekea kwa kile ambacho ni muhimu—kama mhariri mzuri ambaye huvuka aya tatu na kuweka sentensi inayoimba. Mfumo huhifadhi seti ndogo ya miunganisho ya ishara ya juu kwa kila tokeni—fikiria juu-k kwa bao fulani la umuhimu—pamoja na uti wa mgongo mwembamba wa muundo (madirisha ya ndani, tokeni za kimataifa za mara kwa mara) ili mshikamano wa muda mrefu usigeuke kuwa mushi..
Wahandisi wanajali sehemu baada ya mlinganisho: "umuhimu" unamaanisha nini kiutendaji? Maandishi tofauti ya DSA yanadokeza heuristics ambazo huchagua funguo za mgombea kwa ukaribu na umuhimu wa awali, ikifuatiwa na umakinifu thabiti kati ya wagombea hao. Siyo uchawi; ni triage. Unawaweka majirani dhahiri (muktadha wa ndani karibu kila wakati ni muhimu kwa lugha), nyunyiza katika "alama muhimu" za kimataifa, na uelekeze umakinifu kwa tokeni za nje ya dirisha zinazoahidi. Athari halisi: unaleta nafasi ya utaftaji chini kwa ukubwa bila kulemaza kumbukumbu. Ikifanywa kwa usahihi, hii inahisi kidogo kama kupogoa na zaidi kama tabia njema.
Hesabu, Toleo la Minimalist
- Umakinifu kamili wa kibinafsi: O(L²d), ambapo d ni mwelekeo wa kichwa.
- DSA: O(Lkd). Kwa k iliyowekwa, hiyo ni linear-ish katika L. Hii ni muhimu kwa muktadha mrefu. Katika tokeni 128K, bili yako ya GPU inakushukuru.
- Mfumo unadumisha seti ya mgombea inayobadilika kwa kila tokeni. Unalipia uteuzi wa mgombea pamoja na umakinifu halisi kati yao. Ikiwa uteuzi wa mgombea umeandikwa na cache-aware, unashinda; ikiwa sivyo, unabonyeza puto.
Hiyo ndiyo mzozo katika mbinu zote adimu: punguza asymptotics, lakini usitambulishe tena katika harakati zako za data na gharama ya uzinduzi wa kernel. Utekelezaji karibu na DSA unasisitiza usaidizi wa kiwango cha kernel na ujumuishaji wa kipanya, na machapisho ya hivi majuzi yanaonyesha usaidizi wa vLLM ukifika haswa ili kufanya hii iwe halisi katika mipangilio ya upelekaji..
Kwa Nini DSA Ni Muhimu Sasa?
Kwa sababu muktadha mrefu ndio vita mpya ya ukubwa wa skrini. Kila mtu anataka tokeni 200K na zaidi—hati, misingi ya msimbo, PDFs ukubwa wa dhamiri yako. Umakinifu wa Quadratic katika urefu huo ni mwanzo usiofaa kwa latency, throughput, na gharama. Unaweza kuigiza na chunking na upataji wa akili, lakini hiyo ni kama kufunga bookshelf kwenye gari lako kwa sababu shina lako linaendelea kujaa. Hoja ya DSA ni rahisi: fanya hatua halisi ya umakinifu isigharimu sana.
Faida ya upande ni utulivu. Umakinifu kamili juu ya mifuatano mirefu sana unaweza kupata kugusa nambari na kelele ya kumbukumbu. Umakinifu adimu hupunguza seti ya kufanya kazi na hupunguza uwezekano wa mfumo "kusahau" kwa kuzama katika alama dhaifu za jozi. Unaweka uti wa mgongo wa muundo na kipande kidogo cha adaptivity juu. Ni maelewano ya vitendo ambayo yanahisi, kwa mara nyingine, kama uamuzi wa uhandisi badala ya onyesho la karatasi.
DSA Inafaa Wapi Katika Zoo Adimu
- Mifumo iliyowekwa (madirisha ya ndani, dilations): Haraka, lakini brittle. Hukosa marejeleo ya mbali isipokuwa stat yako ya bahati imekuzwa.
- Tokeni za kimataifa: Huongeza nanga. Bora, lakini hand-wavy. Huwezi kupiga "CLS" kwenye kila kitu na kuiita kumbukumbu.
- Uelekezaji kupitia sera zilizojifunza: Uwezekano bora, fujo za uendeshaji. Ugumu wa mafunzo na inference brittle.
- Mseto mzuri wa DSA: Simamia seti thabiti ya mgombea kwa kila tokeni ambayo inachanganya eneo, globals zilizopangwa, na picks za ishara ya juu. Jambo sio kuwa mwerevu—ni kuwa mzuri vya kutosha kwamba latency yako na ubora wote huongezeka.
Utendaji: Refund ya Ushuru ya O(L²)
Ufikiaji hadi sasa unadai kupunguzwa kwa gharama kubwa—“kupunguza nusu” gharama huonekana katika vipande visivyo na pumzi—lakini jambo sio nambari halisi, ni kwamba curve ya kuongeza inarudi nyuma katika uwezekano wa matumizi ya muda mrefu na concurrency ya juu.. Ikiwa mizigo yako ya kazi ni:
- RAG na gumzo la hati juu ya kurasa 100+ ,
- Urambazaji wa msimbo wa faili nyingi,
- Mawakala wanaotumia zana ambao huweka scratchpads ndefu,
…DSA inapunguza hesabu ya kila tokeni na kumbukumbu. Unaweza kushinikiza muktadha mahali ambapo ni muhimu badala ya kuandaa gwaride la hacks za windowed. Usaidizi wa mapema wa vLLM unaonyesha kuwa hii sio bench-bling tu—inaendeshwa ambapo watu hupeleka mifumo..
Tahadhari (a.k.a. Kwa Nini Hakuna Mtu Anapaswa Kutangaza Ushindi Siku ya Jumanne)
- Uteuzi wa mgombea sio bure. Ikiwa utaratibu wa uteuzi unasafiri juu ya mistari ya cache au kukugonga kwenye CPU-GPU ping-pong, ushindi wako wa sparsity huvukiza.
- k ni bajeti, sio haki ya kuzaliwa. Ndogo sana na unaacha marejeleo ambayo yana maana. Kubwa sana na unarudi nyuma kwa dense.
- Mafunzo dhidi ya kutolingana kwa inference. Ikiwa mfumo wako umefunzwa dense na unaendesha adimu kwa inference, tarajia mabadiliko ya ubora. Matokeo yenye nguvu zaidi ya DSA yanaonekana wakati sparsity ni sehemu ya lishe ya mafunzo, sio mapambo ya wakati wa kutumikia tu.
- Ugeni wa mkia mrefu. Mifumo adimu wakati mwingine hu whiff kwenye callback ya nje ya mahali popote tokeni 30K baadaye. Mseto mzuri hedge na globals za mara kwa mara au nanga zilizojifunza.
Ikiwa hii yote inasikika kama kufanya index nzuri kwa kitabu, hiyo ni kwa sababu ni. Mfupi sana na huwezi kupata chochote; mrefu sana na ni kitabu tena.
Jinsi DSA Inaweza Kuchagua Kile Cha Kuweka
Maelezo yanatofautiana na utekelezaji, lakini kitabu cha kucheza kinaonekana kama:
- Dirisha la ndani: Weka majirani ndani ya dirisha la sliding—muundo mwingi wa lugha ni wa ndani. 2) Tokeni za mara kwa mara/kimataifa: Ingiza "beacons" za kawaida ambazo huunganisha kila wakati ulimwenguni. 3) Bao la salience: Tumia ishara nyepesi—kutoka kwa uanzishaji wa safu ya awali, umuhimu uliowekwa kwenye akiba, au makadirio kama vile kufanana kwa juu-k—kuchagua tokeni za ziada za mbali. 4) Umakinifu thabiti: Endesha umakinifu tu juu ya umoja wa seti iliyowekwa. 5) Rudia kwa kila safu, kuruhusu vichwa tofauti kupendelea miundo tofauti.
Hii sio orthodoxy; ni jambo lisiloshangaza ambalo linaweza kufanya kazi. Na inaonekana inafanya, kutokana na usaidizi wa uendeshaji unaofika katika mrundikano wa inference wa kisasa..
DSA dhidi ya Chunking dhidi ya Upataji: Chagua Sumu Yako
- Chunking ya naive: Haraka, lakini bubu—mipaka ya muktadha inakuwa maporomoko. Nzuri kwa throughput, mbaya kwa kitu chochote cha hila.
- Uzazi ulioongezwa na upataji: Mwerevu, lakini brittle—inategemea mkumbushaji kukumbuka kile ambacho jenereta itahitaji baadaye.
- Umakinifu adimu wa mtindo wa DSA: Huweka uzi mzima katika muktadha, na hesabu iliyoangaziwa pale inapohitajika. Haibadilishi upataji; inafanya upataji kuwa tegemezi kidogo.
Suluhisho la uaminifu ni mchanganyiko: upataji wa kuvuta hati zinazofaa, umakinifu adimu wa kutoa sababu juu ya mifuatano mirefu bila kuyeyuka. Unaweza kufanya yote mawili bila kuchukia bili yako ya wingu.
Ubora: Bado Unaelewa?
Swali la mamilioni ya dola ni ikiwa umakinifu adimu kimyakimya huacha maana kati ya sentensi. Ripoti za mapema za mifumo ya DeepSeek zinaonyesha kuwa ubora unashikilia au unaboresha katika muktadha mrefu kwa sababu mfumo haupotezi wingi wa uwezekano kwenye alama za jozi zisizo na maana. Ujanja ni tuning k na muundo wa kimataifa ili mfumo uwe na uti wa mgongo wa kuaminika kupitia haraka. Na tena, mafunzo na sparsity katika kitanzi ni muhimu—mifumo hubadilika. Ni kama kujifunza kuendesha na maambukizi ya mwongozo; mara tu unapopata rhythm, hukosi auto.
Ukweli wa Upelekaji: Kernels, Caches, Schedulers
Kumbuka ya usaidizi ya vLLM inafaa kuita: DSA sio ujanja wa karatasi tu; kuna kazi halisi inayoenda katika usaidizi wa kernel na ratiba ili isisimamishe GPU na theatrics za kutawanya-kukusanya.. Kernels adimu za block, ops fused, na mpangilio wa KV-cache makini hufanya au kuvunja vitu hivi. Matokeo mabaya zaidi katika umakinifu adimu hutoka kwa mawazo mazuri kabisa yanayogongana na bandwidth ya kumbukumbu na gharama ya uzinduzi. Wakati hizo zinashughulikiwa, sparsity huimba.
DSA Inang'aa Wapi
- Swali na Jibu la muktadha mrefu juu ya hati zilizopangwa. Mchanganyiko wa mitaa + beacon hufuatilia sehemu na marejeleo bila mafuriko ya umakinifu.
- Sababu ya codebase. Madirisha ya ndani hunasa muktadha wa ndani ya faili; viungo vya mara kwa mara/kimataifa hupanda kwenye faili, simu za kazi, na uagizaji.
- Mawakala wenye scratchpads. Umakinifu adimu huruhusu wakala kuweka kumbukumbu ndefu ya kufanya kazi bila kuzorota hadi upuuzi baada ya ukurasa wa tano.
DSA Haifanyi Wapi (Bado)
- Haraka ndogo. Umakinifu mnene ni mzuri; gharama ya adimu inaweza isisitishe.
- Ushairi ulioingiliana sana au haraka za puzzle ambazo zinahitaji kuruka kwa sindano-katika-haystack bila cues dhahiri za kimuundo. Bado unaweza tuning k, lakini njia inapenda mifumo zaidi kuliko vitendawili.
Hapa kuna jaribio la mbinu yoyote kati ya hizi: je, zinafanya zana kuwa bora bila kuwageuza watumiaji kuwa wahandisi wa QA wasiolipwa? Katika mizunguko yangu, zana zinazounganisha umakinifu adimu vizuri—haswa kwa gumzo la hati na msimbo—zinahisi kuwa hazina hasira. Sider.AI inacheza hapa: unapobandika specs za kurasa 80 au unapita kwenye repo, uwezo wa kuweka uzi mrefu, thabiti bila kusimama au hallucinating kuhusu ukurasa wa 47 ni muhimu. Uuzaji haujivunia "sparsity nzuri," na hiyo ni sawa. Watumiaji wanajali kwamba inabaki msikivu, huweka muktadha sawa, na haigharimu kama wikendi huko Vegas. Ikiwa unafanya kazi na ingizo kubwa, chafu, darasa hili la ujanja wa umakinifu ni aina haswa ya mabadiliko ya chini ya kofia ambayo huonekana kama warts chache na majibu ya haraka. Mwongozo wa Vitendo: Ikiwa Unaamua Ikiwa Utumie DSA
- Muktadha wako mara kwa mara ni >tokeni 32K: ndiyo, tathmini.
- Unamiliki mrundikano wako wa upelekaji (vLLM, Triton kernels, tuning ya KV-cache): ndiyo, haswa.
- Umekwama na uzani uliyofunzwa dense na huwezi kufunza tena: jaribu kwa uangalifu; zingatia sparsity ya sehemu au sparsity maalum ya kichwa.
- Latency-sensitive, mizigo ya kazi ya juu-QPS: hapa ndipo curve bending ni muhimu. Pima p95 na p99.
Na tafadhali, kwa upendo wa vitu vyote vya GPU, benchmark na haraka halisi, sio lorem ipsum ya synthetic. Njia adimu huishi au hufa kwa usambazaji wa kweli wa umuhimu.
Meta-Point: Sparsity kama Ladha Nzuri
Kuna aesthetic kwa hii. Mifumo ambayo huhudhuria kila kitu sawa ni kama mikutano ambapo kila mtu huzungumza. Inaonekana kidemokrasia, haitimizi chochote. Hisia ya DSA ni ya uhariri: zingatia sehemu za kupendeza, dumisha uti wa mgongo, na uweke bajeti. Ikiwa unataka somo pana kuliko kujifunza kwa mashine, hapo liko. Mifumo mzuri haifanyi kila kitu. Wanafanya mambo sahihi, haraka.
Wakati Ujao Usioepukika: Funza Adimu, Tumikia Adimu
Tutaona mifumo zaidi iliyofunzwa mwisho hadi mwisho na mifumo adimu iliyooka ndani. Hapo ndipo 10-15% ya mwisho ya ubora na utulivu hutoka: kuruhusu upendeleo wa inductive wa mfumo kuendana na njia ya kutumikia. Ikiwa unatumikia adimu lakini unazoeza dense, unaomba mfumo kubadili gia kwenye barabara kuu. Inaweza kufanya kazi, lakini usishtuke wakati inapotoshwa.
Wakati huo huo, mifumo itafanya mifumo adimu kuwa composable: madirisha ya ndani + globals za mara kwa mara + nanga zilizojifunza + tokeni zinazojua upataji. Sehemu ya mwisho—kufunga kitanzi kati ya salience ya mkumbushaji na salience ya umakinifu—inahisi kama hatua inayofuata dhahiri. Wakati kile unachopata kinaarifu kile unachohudhuria, unaacha ping-ponging kati ya mifumo miwili isiyoona nusu.
Kwa Hiyo DSA Inafanya Kazi Vipi? Jibu Fupi
- Huchagua seti thabiti ya tokeni zinazowezekana kwa kila tokeni—wakazi wengi, globals zingine, picks zingine nzuri.
- Inaendesha umakinifu tu juu ya seti hiyo, ikipunguza hesabu kutoka quadratic hadi takriban linear katika urefu wa muktadha.
- Inategemea kernels makini na mpangilio wa cache ili akiba ya kinadharia ionekane kama ushindi halisi wa latency.
- Inashikilia ubora kwa kuhifadhi muundo na muunganisho wa kimataifa wa kutosha kwamba marejeleo ya muda mrefu hayapotei.
Hiyo ndiyo. Hakuna uvumba, hakuna incantations. Ladha nzuri tu iliyotekelezwa katika kile cha kuhudhuria.
Mwisho wa Twist (Kwa sababu Kila Wakati Kuna Moja)
Kila ujanja wa AI hatimaye una wakati wake wa kukata tamaa. Umakinifu adimu utakosa kitu muhimu, labda katika haraka iliyoandaliwa na mkosoaji mwerevu ambaye anasisitiza kwamba mfumo unapaswa kuunganisha stanza tatu na stanza thelathini na saba katika lugha wakati wa juggling saini ya kazi. Sawa. Lakini kazi nyingi halisi sio ushairi-slash-benchmarks—inazunguka kupitia maandishi, msimbo, na ukweli. Kwa hilo, DSA sio wazo nzuri tu. Ni tofauti kati ya mfumo ambao unajifanya kusoma muktadha wako na mmoja ambao unaweza kweli.
Na ikiwa unaweza kufanya hivyo bila kuchoma shimo kupitia bajeti ya wingu? Hiyo sio ujanja. Hiyo ni maendeleo..
Maswali Yanayoulizwa Mara kwa Mara
Swali la 1: DeepSeek Sparse Attention (DSA) inafanya kazi vipi kwa Kiingereza wazi?
DSA inapunguza umakinifu kwa tokeni ambazo ni muhimu—maandishi mengi ya karibu, nanga chache za kimataifa, pamoja na orodha fupi ya picks za ishara ya juu. Badala ya kulinganisha O(L²), inaendesha O(Lk), kuweka ubora kwa kuhifadhi muundo wakati wa kukata hesabu.
Swali la 2: Je, DSA ni bora kuliko chunking au upataji kwa muktadha mrefu?
DSA huweka kila kitu kwenye uzi mmoja huku ikizingatia hesabu pale inapohitajika; chunking huunda maporomoko na upataji unaweza kuwa umesahau. Setups bora huchanganya upataji wa kuchota na DSA kwa kutoa sababu katika muktadha mrefu bila ushuru wa quadratic.
Swali la 3: Je, DSA itaumiza ubora wa mfumo ikilinganishwa na umakinifu mnene?
Ikiwa unafunza na kutumikia na sparsity akilini (na kuweka k sanely), ubora unashikilia—mara nyingi bora kwa muktadha mrefu kwa sababu mfumo hauzami katika jozi za thamani ya chini. Kutumikia-adimu kwenye uzani uliyofunzwa dense kunaweza kuteleza, kwa hivyo benchmark na haraka halisi.
Swali la 4: Ni mizigo gani ya kazi inanufaika zaidi kutoka kwa DSA?
Swali na Jibu la hati ya muktadha mrefu, urambazaji wa codebase, na scratchpads za wakala. Mahali popote urefu wa mfuatano unapoongezeka na umakinifu mnene hugeuka kuwa latency, shinikizo la kumbukumbu, na gharama zinazoongezeka.
Swali la 5: Je, vLLM inasaidia DSA kwa upelekaji?
Ndiyo—machapisho ya hivi majuzi yanaonyesha vLLM ikiunganisha usaidizi kwa umakinifu adimu mzuri wa DeepSeek, na kernel na kazi ya ratiba ili kuifanya iwezekane katika mabomba ya uzalishaji.
