“Devrim niteliğindeki” dikkat mekanizmaları hakkında söylenecek şey, herkesin bir sihirbazı izliyormuş gibi başını sallaması ve sonra kimsenin numarayı açıklamasını istememeyi ummasıdır. DeepSeek Sparse Attention (DSA) da bu numaralardan biri—akıllıca, hızlı ve detaylara dikkatlice bakarsanız, yüzlerce sayfa matematik okumadan aslında anlaşılabilir. Vaat: zekayı koru, işlem vergilerini at. Gerçek: duruma göre değişir, ancak bu sefer ödünleşmeler ferahlatıcı derecede mantıklı görünüyor.
Hemen konuya girelim: DSA, büyük dil modellerinin yalnızca önemli şeylere dikkat etmesinin bir yoludur. Az çok değil. “Belki alakalıdır” da değil. Tam kendi kendine dikkatten elde ettiğiniz ikinci dereceden patlamayı, modelin üzerinde durduğu dalı kesmeden budayan, hassas taneli seyrek bir dikkat şemasıdır. Eski modelin dikkati, her kelimenin diğer her kelimeyle göz teması kurması gereken bir oda idiyse, DSA onu içe dönüklerin geliştiği bir partiye dönüştürür: doğrudan rotalar, daha az anlamsız laf kalabalığı ve çok daha az gürültü.
DeepSeek Sparse Attention Gerçekte Nedir?
DSA, kendi kendine dikkatin hesaplama karmaşıklığını O(L²) 'den O(Lk)'ye düşüren seyrek bir dikkat mekanizmasıdır; burada L, dizi uzunluğu ve k, belirteç başına “tutulan” bağlantı sayısıdır—seçilen, muhtemelen ilgili komşular. Tek satırda özet bu. Daha az matematik, daha fazla mantık: her belirtecin kendisini diğer her belirteçle karşılaştırması yerine, DSA bir alt küme seçer—komşular, başlıklar, pencereler, “çapalar”, model için en mantıklı olan sezgisel veya öğrenilmiş politika ne olursa olsun—böylece boş şeylere zaman harcamazsınız.
Bunun tanıdık geldiğini düşünüyorsanız, haklısınız: seyrek dikkat yeni değil. Longformer, BigBird, blok-seyrek çekirdekler ve bir düzine “yerel + global” hibritimiz oldu. Her zamanki sorun, seyrek kalıpların ya hatırlamayı sızdırması (samanlıkta iğne aramayı kaçırırlar) ya da verimli bir şekilde uygulamak o kadar zor ki, teorik olarak tasarruf ettiğiniz her şey çekirdek yükü olarak yeniden ortaya çıkıyor. DSA'nın ününün iki nedeni var: birincisi, seyreklik deseni, bahçe tipi blok seyreklikten daha hassas taneli ve uyarlanabilir; ikincisi, gerçek çıkarım yığınlarında gerçekten işe yarayacak şekilde uçtan uca uygulandı—vLLM dahil.
Sezgi: Çim Biçme Makinesi Değil, Yıldırım İndeksleyici
Gördüğüm en yardımcı analoji: DSA bir yıldırım indeksleyicisi gibi davranır. Tüm alanı biçmez; önemli olan şeye atlar—üç paragrafı çizen ve şarkı söyleyen cümleyi tutan iyi bir editör gibi. Sistem, belirteç başına küçük bir yüksek sinyal bağlantı kümesini korur—bir tür alaka düzeyi puanlamasına göre ilk k'yı düşünün—artı uzun vadeli tutarlılığın lapa dönmemesi için ince bir yapı omurgası (yerel pencereler, periyodik global belirteçler).
Mühendisler analojiden sonraki kısmı önemser: “alaka düzeyi” operasyonel olarak ne anlama geliyor? Farklı DSA yazıları, aday anahtarları yakınlık ve öncelikli öneme göre seçen ve ardından bu adaylar arasında kompakt dikkati izleyen sezgisel yöntemlere işaret ediyor. Bu sihir değil; bu triyaj. Bariz komşuları tutarsınız (yerel bağlam dil için neredeyse her zaman yararlıdır), küresel “işaretler” serpiştirirsiniz ve dikkati pencere dışındaki umut verici belirteçlere seçici olarak yönlendirirsiniz. Net etki: arama alanını hatırlamayı sakatlamadan boyuta indirirsiniz. Doğru yapıldığında, bu budama gibi değil, daha çok nezaket gibi hissettirir.
Matematik, Minimalist Sürüm
- Tam kendi kendine dikkat: O(L²d), burada d başlık boyutudur.
- DSA: O(Lkd). Sabit k için, bu L'de doğrusal gibidir. Bu, uzun bağlamlar için önemlidir. 128 bin belirteçte, GPU faturanız size teşekkür edecektir.
- Model, belirteç başına dinamik bir aday kümesi tutar. Aday seçimi ve bunlar arasındaki gerçek dikkat için ödeme yaparsınız. Aday seçimi vektörize edilmişse ve önbellek duyarlıysa, kazanırsınız; değilse, bir balonu sıkıyorsunuz demektir.
Tüm seyrek yöntemlerdeki gerilim budur: asimptotikleri azaltın, ancak veri hareketinizde ve çekirdek başlatma yükünüzde yeniden tanıtmayın. DSA etrafındaki uygulamalar, çekirdek düzeyinde desteği ve zamanlayıcı entegrasyonunu vurgular ve son gönderiler, bunun dağıtım ayarlarında gerçek olmasını sağlamak için tam olarak vLLM desteğinin geldiğini gösteriyor.
DSA Şimdi Neden Önemli?
Çünkü uzun bağlam yeni ekran boyutu savaşıdır. Herkes 200 bin ve üzeri belirteç istiyor—senaryolar, kod tabanları, vicdanınız büyüklüğündeki PDF'ler. Bu uzunluklardaki ikinci dereceden dikkat, gecikme süresi, verimlilik ve maliyet için bir başlangıç değildir. Akıllı parçalama ve alma ile taklit edebilirsiniz, ancak bu, bagajınız dolmaya devam ettiği için arabanıza bir kitaplık takmak gibidir. DSA'nın argümanı daha basittir: gerçek dikkat adımını aptalca pahalı hale getirmeyin.
Yan faydası kararlılıktır. Çok uzun diziler üzerindeki tam dikkat sayısal olarak hassas ve bellek gürültülü olabilir. Seyrek dikkat, çalışma kümesini küçültür ve modelin zayıf çiftli puanlara boğularak “unutma” olasılığını azaltır. Yapının bir omurgasını ve üstte küçük bir uyarlanabilirlik dilimini korursunuz. Bir kereliğine, kağıt demosu yerine bir mühendislik kararı gibi hissettiren pratik bir uzlaşmadır.
DSA'nın Seyrek Hayvanat Bahçesindeki Yeri
- Sabit desenler (yerel pencereler, genişlemeler): Hızlı, ancak kırılgan. Şans istatistiğiniz en üst düzeye çıkarılmadıkça, uzun menzilli çapraz referansları kaçırır.
- Global belirteçler: Çapalar ekler. Daha iyi, ancak belirsiz. Her şeyin üzerine bir “CLS” yapıştırıp hatırlama diyemezsiniz.
- Öğrenilmiş politikalar aracılığıyla yönlendirme: Potansiyel olarak ideal, operasyonel olarak karmaşık. Eğitim karmaşıklıkları ve kırılgan çıkarım.
- DSA'nın hassas taneli hibriti: Yerelliği, yapılandırılmış küreselleri ve yüksek sinyal seçimlerini karıştıran belirteç başına kompakt bir aday kümesi düzenleyin. Amaç zeki olmak değil—gecikme sürenizin ve kalitenizin her ikisinin de ölçeklenmesi için sürekli olarak yeterince iyi olmaktır.
Performans: O(L²) Vergi İadesi
Şimdiye kadarki kapsama, önemli maliyet indirimleri olduğunu iddia ediyor—“yarıya indirme” maliyetleri nefes kesen parçalarda ortaya çıkıyor—ancak önemli olan tam sayı değil, ölçekleme eğrisinin daha uzun istemler ve daha yüksek eşzamanlılık için uygulanabilirliğe geri dönmesidir.
- RAG ve 100+ sayfalık belge sohbeti,
- Çoklu dosya kodu navigasyonu,
- Uzun karalama defterleri tutan araç kullanan aracılar,
…DSA belirteç başına işlem ve bellek kullanımını azaltır. Bağlamı, pencereleme hileleri geçidi düzenlemek yerine gerçekten yararlı olduğu yere itebilirsiniz. Erken vLLM desteği, bunun sadece tezgah süsü olmadığını—insanların modelleri dağıttığı yerde çalıştığını gösteriyor.
Uyarılar (diğer adıyla Salı günü Kimse Neden Zafer İlan Etmemeli)
- Aday seçimi ücretsiz değildir. Seçim rutini önbellek satırlarında takılırsa veya sizi CPU-GPU ping-pong'una atarsa, seyreklik kazançlarınız buharlaşır.
- k bir bütçedir, doğum hakkı değil. Çok küçük ve önemli çapraz referansları düşürürsünüz. Çok büyük ve tekrar yoğunluğa geri dönersiniz.
- Eğitim ile çıkarım uyuşmazlığı. Modeliniz yoğun olarak eğitilmişse ve çıkarımda seyrek çalıştırırsanız, kalite kayması bekleyin. DSA'nın en güçlü sonuçları, seyreklik sadece servis zamanı garnitürü değil, eğitim diyetinin bir parçası olduğunda ortaya çıkar.
- Uzun kuyruklu gariplik. Seyrek desenler bazen 30 bin belirteç sonra aniden ortaya çıkan geri aramayı ıskalar. İyi hibritler, periyodik küreseller veya öğrenilmiş çapalarla riskten korunur.
Bütün bunlar bir kitap için iyi bir indeks yapmak gibi geliyorsa, nedeni budur. Çok kısa ve hiçbir şey bulamazsınız; çok uzun ve sadece tekrar kitap olur.
DSA'nın Neyi Tutmayı Nasıl Seçtiği Muhtemel
Ayrıntılar uygulamaya göre değişir, ancak oyun kitabı şuna benzer:
- Yerel pencere: Kayar bir pencere içindeki komşuları tutun—dil yapısının çoğu yereldir. 2) Periyodik/küresel belirteçler: Her zaman küresel olarak bağlanan düzenli “işaretler” ekleyin. 3) Belirginlik puanlaması: Ek uzak belirteçleri seçmek için önceki katman aktivasyonlarından, önbelleğe alınmış önemden veya en iyi-k benzerliği gibi yaklaşımlardan elde edilen hafif sinyaller kullanın. 4) Kompakt dikkat: Dikkati yalnızca tutulan kümenin birliği üzerinde çalıştırın. 5) Katman başına tekrarlayın, farklı başlıkların farklı yapıları tercih etmesine izin verin.
Bu ortodoksi değil; sadece işe yarayabilecek en az şaşırtıcı şey. Ve görünüşe göre, modern çıkarım yığınlarına inen operasyonel destek göz önüne alındığında, işe yarıyor.
DSA ve Parçalama ve Alma: Zehrinizi Seçin
- Naif parçalama: Hızlı, ancak aptalca—bağlam sınırları uçurum haline gelir. Verimlilik için iyi, ince şeyler için kötü.
- Alma ile güçlendirilmiş oluşturma: Daha akıllıca, ancak kırılgan—alıcının oluşturucunun daha sonra neye ihtiyaç duyacağını hatırlamasına bağlıdır.
- DSA tarzı seyrek dikkat: Tüm ileti dizisini bağlam içinde tutar, işlem gücü sayılan yere odaklanır. Almanın yerini almaz; almayı daha az dayanak haline getirir.
Dürüst çözüm bir karışımdır: ilgili belgeleri çekmek için alma, erimeden uzun diziler üzerinde akıl yürütmek için seyrek dikkat. Bulut faturanızdan nefret etmeden her ikisini de yapabilirsiniz.
Kalite: Hala Anlıyor mu?
Milyon dolarlık soru, seyrek dikkatin cümleler arasındaki anlamı sessizce düşürüp düşürmediğidir. DeepSeek modelleri için ilk raporlar, uzun bağlamda kalitenin korunduğunu veya iyileştiğini gösteriyor, çünkü model anlamsız çiftli puanlara olasılık kütlesi harcamıyor. İşin püf noktası, k'yı ve küresel yapıyı, modelin istem boyunca güvenilir bir omurgaya sahip olacak şekilde ayarlamaktır. Ve yine, döngüde seyreklikle eğitim önemlidir—modeller uyum sağlar. Bu, manuel şanzımanla araba kullanmayı öğrenmek gibidir; ritmi yakaladığınızda, otomatiği özlemezsiniz.
Dağıtım Gerçekliği: Çekirdekler, Önbellekler, Zamanlayıcılar
vLLM destek notu belirtmeye değer: DSA sadece bir kağıt numarası değil; saçma sapan dağıtımlarla GPU'yu durdurmaması için çekirdek desteğine ve zamanlamaya gerçek bir çalışma gidiyor. Blok-seyrek çekirdekler, kaynaşmış işlemler ve dikkatli KV önbellek düzeni bunu yapar veya bozar. Seyrek dikkattaki en kötü sonuçlar, mükemmel mantıklı fikirlerin bellek bant genişliği ve başlatma yükü ile çarpışmasından kaynaklanır. Bunlar ele alındığında, seyreklik şarkı söyler.
DSA'nın Parladığı Yerler
- Yapılandırılmış belgeler üzerinde uzun bağlam Q&A. Yerel + işaret karışımı, dikkati taşmadan bölümleri ve çapraz referansları izler.
- Kod tabanı akıl yürütme. Yerel pencereler dosya içi bağlamı yakalar; periyodik/küresel bağlantılar dosyalar, fonksiyon çağrıları ve içe aktarmalar arasında ilerler.
- Karalama defterleri olan aracılar. Seyrek dikkat, aracının beşinci sayfadan sonra saçmalığa düşmeden uzun bir çalışma belleği tutmasına izin verir.
DSA'nın (Henüz) Olmadığı Yerler
- Küçük istemler. Yoğun dikkat iyidir; seyrek yük amortize edilemeyebilir.
- Açık yapısal ipuçları olmadan samanlıkta iğne sıçramaları gerektiren son derece karışık şiir veya bulmaca istemleri. Hala k'yı ayarlayabilirsiniz, ancak yöntem bilmecelerden çok desenleri sever.
İşte bu tekniklerin herhangi biri için test: kullanıcıları ücretsiz QA mühendislerine dönüştürmeden araçları daha iyi hale getiriyorlar mı? Benim çalışmalarımda, seyrek dikkati iyi entegre eden araçlar—özellikle belge ve kod sohbeti için—daha az kaprisli hissediyor. Sider.AI aslında burada rol oynuyor: 80 sayfalık spesifikasyonları yapıştırdığınızda veya bir depoyu incelediğinizde, 47. sayfa hakkında duraksamadan veya halüsinasyon görmeden uzun, tutarlı bir ileti dizisi tutma yeteneği önemlidir. Pazarlama “hassas taneli seyreklik” hakkında övünmüyor ve bu iyi. Kullanıcılar duyarlı kalmasına, bağlamı düz tutmasına ve Vegas'ta bir hafta sonu gibi maliyeti olmamasına önem veriyor. Büyük, karmaşık girişlerle çalışıyorsanız, bu dikkat hilesi sınıfı, daha az kusur ve daha hızlı yanıt olarak ortaya çıkan tam olarak türden bir gizli değişikliktir. Pratik Rehberlik: DSA Kullanıp Kullanmamaya Karar Veriyorsanız
- Bağlamınız rutin olarak >32 bin belirteç: evet, değerlendirin.
- Dağıtım yığınızın sahibisiniz (vLLM, Triton çekirdekleri, KV önbellek ayarlaması): evet, özellikle.
- Yoğun eğitilmiş ağırlıklarla sıkışıp kaldınız ve yeniden eğitemiyorsunuz: dikkatlice test edin; kısmi seyreklik veya başlığa özel seyreklik düşünün.
- Gecikmeye duyarlı, yüksek QPS iş yükleri: eğrinin büküldüğü yer burasıdır. P95 ve p99'u ölçün.
Ve lütfen, GPU'daki her şeyin aşkına, sentetik lorem ipsum ile değil, gerçek istemlerle kıyaslama yapın. Seyrek yöntemler, gerçekçi alaka düzeyi dağılımları üzerinde yaşar veya ölür.
Meta-Nokta: İyi Bir Tat Olarak Seyreklik
Bunun bir estetiği var. Her şeye eşit derecede dikkat eden modeller, herkesin konuştuğu toplantılar gibidir. Demokratik görünüyor, hiçbir şey başarmıyor. DSA'nın duyarlılığı editoryaldir: ilginç kısımlara odaklanın, bir omurga koruyun ve bir bütçe tutun. Makine öğreniminden daha geniş bir ders istiyorsanız, işte orada. İyi sistemler her şeyi yapmaz. Doğru şeyleri hızlı bir şekilde yaparlar.
Kaçınılmaz Gelecek: Seyrek Eğit, Seyrek Hizmet Et
Seyrek desenlerle uçtan uca eğitilmiş daha fazla model göreceğiz. Kalite ve kararlılığın son %10-15'i buradan geliyor: modelin endüktif önyargılarının hizmet verme yoluyla hizalanmasına izin vermek. Seyrek hizmet ederseniz, ancak yoğun eğitirseniz, modelden otoyolda vites değiştirmesini istiyorsunuz. İşe yarayabilir, ancak sarsıldığında şaşırmayın.
Bu arada, çerçeveler seyrek desenleri oluşturulabilir hale getirecek: yerel pencereler + periyodik küreseller + öğrenilmiş çapalar + alma duyarlı belirteçler. Alıcı belirginliği ve dikkat belirginliği arasındaki döngüyü kapatan son kısım, bir sonraki bariz adım gibi geliyor. Ne aldığınız neye dikkat ettiğinizi bildirdiğinde, iki yarı kör sistem arasında ping-pong oynamayı bırakırsınız.
Peki DSA Nasıl Çalışır? Kısa Cevap
- Her belirteç için olası ilgili belirteçlerden oluşan kompakt bir küme seçer—çoğunlukla yereller, bazı küreseller, bazı akıllı seçimler.
- Dikkati yalnızca bu küme üzerinde çalıştırır ve işlemi ikinci dereceden bağlam uzunluğunda kabaca doğrusal olana düşürür.
- Teorik tasarrufların gerçek gecikme kazançları olarak ortaya çıkması için dikkatli çekirdeklere ve önbellek düzenine güvenir.
- Yapıyı ve uzun menzilli referansların kaybolmaması için yeterli küresel bağlantıyı koruyarak kaliteyi korur.
Hepsi bu. Tütsü yok, büyüler yok. Sadece neye dikkat edeceğiniz konusunda zorunlu iyi bir tat.
Sürpriz Son (Çünkü Her Zaman Bir Tane Vardır)
Her AI hilesinin sonunda hayal kırıklığı anı olur. Seyrek dikkat, muhtemelen modelin üç dizeyi dize otuz yediye diller arasında bağlaması ve aynı zamanda bir fonksiyon imzasını jonglörlük yapması gerektiğini söyleyen akıllı bir eleştirmen tarafından hazırlanmış bir istemde önemli bir şeyi kaçıracaktır. İyi. Ancak çoğu gerçek iş şiir-kesme-kıyaslamalar değil—metin, kod ve gerçekler üzerinde çalışmaktır. Bunun için DSA sadece hoş bir fikir değil. Bağlamınızı okuyormuş gibi yapan bir model ile aslında okuyabilen bir model arasındaki farktır.
Ve bunu bulut bütçesinde bir delik açmadan yapabilirseniz? Bu bir hile değil. Bu ilerlemedir.
SSS
S1: DeepSeek Sparse Attention (DSA) sade İngilizce ile nasıl çalışır?
DSA, dikkati önemli olan belirteçlere daraltır—çoğunlukla yakındaki metin, birkaç küresel çapa ve kısa bir yüksek sinyal seçimi listesi. O(L²) karşılaştırmaları yerine, O(Lk) çalıştırır ve işlemeyi keserken yapıyı koruyarak kaliteyi korur.
S2: DSA, uzun bağlam için parçalama veya almadan daha mı iyidir?
DSA, işlemeyi sayılan yere odaklarken her şeyi tek bir ileti dizisinde tutar; parçalama uçurumlar yaratır ve alma unutkan olabilir. En iyi kurulumlar, ikinci dereceden vergi olmadan uzun bağlam boyunca akıl yürütmek için DSA ile getirme için almayı karıştırır.
S3: DSA, yoğun dikkatle karşılaştırıldığında model kalitesine zarar verir mi?
Seyrekliği akılda tutarak eğitir ve hizmet ederseniz (ve k'yı mantıklı bir şekilde ayarlarsanız), kalite korunur—genellikle uzun bağlamlar için daha iyidir, çünkü model düşük değerli çiftlere boğulmaz. Yoğun eğitilmiş ağırlıklarda seyrek hizmet etmek kayabilir, bu nedenle gerçek istemlerle kıyaslama yapın.
S4: Hangi iş yükleri DSA'dan en çok faydalanır?
Uzun bağlamlı belge Q&A, kod tabanı navigasyonu ve aracı karalama defterleri. Dizi uzunluğunun balon gibi şiştiği ve yoğun dikkatin gecikmeye, bellek basıncına ve artan maliyetlere dönüştüğü her yerde.
S5: vLLM, dağıtım için DSA'yı destekliyor mu?
Evet—son gönderiler, üretim hatlarında pratik hale getirmek için çekirdek ve zamanlayıcı çalışmasıyla birlikte DeepSeek'in hassas taneli seyrek dikkatini entegre eden vLLM'yi gösteriyor.
