What is DeepSeek Sparse Attention (DSA) in simple terms?

DSA is a content-aware sparse attention method that lets a model focus on the most relevant tokens instead of attending to everything. This reduces compute and memory while preserving important long-range context.

How does DSA differ from regular attention?

Regular attention is dense and quadratic in sequence length. DSA prunes the attention graph using a fast pre-selector (often called a lightning indexer), so the model computes attention only over high-value spans.

Why is DSA good for long-context tasks?

As context grows, dense attention becomes prohibitively expensive. DSA cuts cost and latency by keeping attention sparse yet targeted, which makes long documents and multi-file inputs more manageable.

Does DSA hurt model quality?

Not necessarily. If the pre-attention selection is strong, DSA preserves the most important dependencies and can maintain task quality while improving efficiency. Careful tuning is still important.

Can I use DSA with retrieval-augmented generation (RAG)?

Yes. Pairing DSA with robust retrieval and reranking often yields faster, more focused answers on long or multi-document queries because the model attends to the most relevant chunks first.

DeepSeek Sparse Attention (DSA) என்றால் என்ன? ஒரு தெளிவான, நவீன விளக்கம்

அறிமுகம்: DSA இப்போது ஏன் முக்கியம் பெரும்பாலான பெரிய மொழி மாதிரிகள் நீண்ட சூழலில் திணறுகின்றன, ஏனெனில் நிலையான சுய-கவனம் இருபடியளவில் அளவிடப்படுகிறது. அவற்றை நீண்ட ஆவணங்களுடன் ஊட்டினால், செலவுகள் வானளாவ உயரும், அதே நேரத்தில் தாமதம் அதிகரிக்கும். DeepSeek Sparse Attention (DSA) ஒரு சிறந்த தானியங்கி கவனத் திட்டத்துடன் இதை நேரடியாகத் தாக்குகிறது, இது உண்மையில் முக்கியமானவற்றில் மாதிரியை கவனம் செலுத்துகிறது, கணக்கீடு மற்றும் நினைவக மேல்நிலை இரண்டையும் குறைக்கிறது, அதே நேரத்தில் நீண்ட வரிசைகளுக்குத் தூள்விளைச்சலை மேம்படுத்துகிறது.

இந்த விளக்கத்தில், DSA என்றால் என்ன, பழைய சிறிய கவன முறைகளிலிருந்து இது ஏன் வேறுபட்டது, தரம் குறையாமல் இது எவ்வாறு திறனை அடைகிறது, மேலும் இது நிஜ உலக பணிப்பாய்வுகளில் எங்கு பிரகாசிக்கிறது என்பதை நாங்கள் அவிழ்த்து விடுவோம்.

DeepSeek Sparse Attention (DSA) என்றால் என்ன?

முக்கிய யோசனை: DSA முழு அடர்த்தியான கவனத்தை ஒரு தேர்ந்தெடுக்கப்பட்ட, சிறந்த தானியங்கி சிறிய முறையுடன் மாற்றுகிறது. ஒவ்வொரு டோக்கனும் மற்ற ஒவ்வொரு டோக்கனையும் கவனிப்பதற்கு பதிலாக, DSA ஒரு சிறிய, அதிக மதிப்புள்ள துணைக்குழுவைத் தேர்வு செய்கிறது - வேகமான, உள்ளடக்கம் சார்ந்த முன்-தேர்வு பொறிமுறையால் வழிநடத்தப்படுகிறது, இது பெரும்பாலும் "மின்னல் குறியீட்டு காட்டி" என்று விவரிக்கப்படுகிறது. இது குறைந்த செலவில் நீண்ட-சூழல் செயலாக்கத்தை செயல்படுத்துகிறது, அதே நேரத்தில் மிக முக்கியமான டோக்கன்களின் துல்லியத்தைப் பாதுகாக்கிறது.

இது ஏன் வேறுபட்டது: பாரம்பரிய சிறிய முறைகள் (எ.கா., நிலையான சாளரங்கள், தொகுதிகள் அல்லது உலகளாவிய டோக்கன்கள்) பெரும்பாலும் கண்டிப்பான வடிவங்களை நம்பியுள்ளன. DSA உள்ளடக்கம் சார்ந்த தேர்வுக்கு முக்கியத்துவம் அளிக்கிறது, அருகிலுள்ள துண்டுகளுக்கு பதிலாக முக்கிய இடைவெளிகளுக்கு கவனத்தை மாறும் வகையில் அனுப்புகிறது, இது பல்வேறு பணிகளுக்கு மிகவும் தகவமைப்பு செய்கிறது.

DSA சரிசெய்யும் தடை

அடர்த்தியான கவன சிக்கலானது: வரிசை நீளத்தில் O(n²), இது சூழல்கள் வளரும்போது நினைவகம் மற்றும் கணக்கீட்டை அதிகரிக்கிறது.

நீண்ட-சூழல் விரக்தி: சில ஆயிரம் டோக்கன்களுக்கு அப்பால், அனுமானம் மெதுவாகிறது மற்றும் செலவுகள் அதிகரிக்கின்றன; மாதிரிகள் எல்லாவற்றிற்கும் "கவனம் செலுத்துவதால்" மீட்டெடுப்பு சத்தமாக மாறும்.

DSA இன் சரிசெய்தல்: குறைந்த தகவலறிந்த கவன விளிம்புகளை நீக்குவதன் மூலமும், மிகவும் பொருத்தமானவற்றை உயர்த்துவதன் மூலமும், பெரிய சூழல்களுக்கு சிறந்த தாமதம் மற்றும் செலவை வழங்கும் போது DSA துல்லியத்தைப் பாதுகாக்க முயல்கிறது.

DSA எவ்வாறு செயல்படுகிறது (கருத்தியல்)

கவனத்திற்கு முந்தைய வடிகட்டுதல் ("மின்னல் குறியீட்டு காட்டி"):

உள்ளடக்க சமிக்ஞைகளின் அடிப்படையில் வேட்பாளர் முக்கிய-மதிப்பு பகுதிகளை விரைவாக மதிப்பிடுகிறது, தற்போதைய டோக்கனை பாதிக்கும் சாத்தியமுள்ள சில இடைவெளிகளைத் தேர்வு செய்கிறது. இதை முழு கவனத்தை விட மிகவும் மலிவான முதல்-பாஸ் டிரியேஜ் என்று நினைத்துப் பாருங்கள்.

சிறந்த தானியங்கி சிறிய கவனம்:

முழு வரிசைக்கும் பதிலாக, பட்டியலிடப்பட்ட இடைவெளிகளில் மட்டுமே மாதிரி சரியான கவனத்தை கணக்கிடுகிறது. இது கணக்கீட்டைக் குறைக்கிறது, அதே நேரத்தில் அது எண்ணிக்கையில் துல்லியமாக உள்ளது.

திறமையான தொகுதி மற்றும் நினைவகம்:

உண்மையான வேகத்தை வழங்குவதற்காக, இயக்க நேரம் பக்க கவனத்துடன்/KV தற்காலிக சேமிப்பு உத்திகளுடன் ஒருங்கிணைக்கிறது, ஆனால் சிறிய, உள்ளடக்கம் சார்ந்த தேர்வு புதிய திட்டமிடல் சவால்களை அறிமுகப்படுத்துகிறது. தொடர்ச்சியான தொகுதி மற்றும் தற்காலிக சேமிப்பு பக்கத்தை DSA எவ்வாறு சிக்கலாக்குகிறது, மேலும் தூள்விளைச்சலை பராமரிக்க இயக்க நேரங்கள் எவ்வாறு மாற்றியமைக்கின்றன என்பதைப் பொறியாளர்கள் ஆவணப்படுத்தியுள்ளனர்.

DSA என்ன இல்லை

இது நிலையான உள்ளூர் கவனம் மட்டுமல்ல: DSA டோக்கன்களை ஒரு உள்ளூர் சாளரத்திற்கு மட்டுப்படுத்தாது. நீண்ட தூர, உள்ளடக்கம் தொடர்பான சார்புகளை அவை முக்கியமாக இருக்கும்போது மேற்பரப்பிற்கு வடிவமைக்கப்பட்டுள்ளது.

இது இயல்பாக இழப்பு அணுகுமுறை அல்ல: இலக்கு சீரற்ற கைவிடுதல் அல்ல; இது இலக்கு சிறியது. முன்-தேர்வாளர் வலுவாக இருக்கும்போது, மாதிரி முக்கியமான சார்புகளில் தரத்தை பராமரிக்கிறது.

DSA ஏன் கவனம் பெறுகிறது

செலவு மற்றும் வேகம்: DeepSeek மாதிரி வெளியீடுகளைச் சுற்றியுள்ள அறிக்கைகள் குறைந்த அனுமான செலவுகளை எடுத்துக்காட்டுகின்றன (பெரும்பாலும் ~50% குறைப்பு வரை வடிவமைக்கப்படுகிறது) மற்றும் நீண்ட-சூழல் காட்சிகளில் DSA-இயக்கப்பட்ட வகைகளுடன் அதிக தூள்விளைச்சல்.

நீண்ட-சூழல் பயன்பாடு: அரட்டை, {RAG}, குறியீட்டு உதவி மற்றும் பகுப்பாய்வு பயன்பாட்டு நிகழ்வுகளுக்கு பத்து அல்லது நூற்றுக்கணக்கான பக்கங்களை செயலாக்குவதை DSA பெருகிய முறையில் சாத்தியமாக்குகிறது.

DSA எங்கு அதிகம் உதவுகிறது

மீட்டெடுப்பு-பெருகிய உருவாக்கம் ({RAG}): மாதிரி மீட்டெடுக்கப்பட்ட அனைத்து துண்டுகளிலும் மூழ்கிவிடுவதை விட தலைப்புக்கு பொருத்தமான பத்திகளில் கவனம் செலுத்த முடியும்.

குறியீட்டு உதவி மற்றும் களஞ்சிய {Q&A}: இது இருபடி வெடிப்புகள் இல்லாமல் ஒரு பெரிய குறியீட்டுத் தளத்தில் சரியான கோப்புகள் மற்றும் செயல்பாடுகளில் கலந்து கொள்ள முடியும்.

சட்டம், ஆராய்ச்சி மற்றும் நிதி ஆவணங்கள்: நீண்ட ஒப்பந்தங்கள், தாக்கல் அல்லது இலக்கிய மதிப்புரைகளை வடிகட்டும்போது DSA பதிலளிக்கும் திறனை மேம்படுத்துகிறது.

பல-ஆவண பகுப்பாய்வு: முக்கிய உண்மைகள் மற்றும் கூற்றுக்களில் இலக்கு கவனத்திலிருந்து பல ஆதாரங்களை சுருக்கமாகவோ அல்லது ஒப்பிடுவதோ பயனளிக்கிறது.

வர்த்தகங்கள் மற்றும் செயலாக்கக் கருத்துகள்

தேர்வு தரம் முக்கியமானது: முன்-கவன வடிகட்டி முக்கியமான இடைவெளிகளை தவறவிட்டால், தரம் குறையக்கூடும். நல்ல ஹியூரிஸ்டிக்ஸ், மீட்டெடுப்பு சமிக்ஞைகள் அல்லது கற்றல் மதிப்பெண் அவசியம்.

இயக்க நேர சிக்கலானது: உள்ளடக்கம் சார்ந்த சிறிய தன்மை தொகுதி, திட்டமிடல் மற்றும் {KV} தற்காலிக சேமிப்பு நிர்வாகத்தை சிக்கலாக்குகிறது. உற்பத்தி தர அமைப்புகள் சிறிய குறியீடுகளை பக்க கவனத்துடன் மற்றும் தொடர்ச்சியான தொகுதியுடன் சமரசம் செய்ய வேண்டும்.

மதிப்பீட்டு நுணுக்கம்: DSA இன் பலத்தை வெளிப்படுத்த, குறுகிய-சூழல் பணிகளை மட்டுமல்ல, நீண்ட தூர சார்புகளையும் தரப்படுத்த வேண்டும்.

DSA vs. பாரம்பரிய சிறிய முறைகள்

நிலையான சாளரம்/தொகுதி சிறியது: எளிமையானது மற்றும் வேகமானது, ஆனால் நீண்ட தூர இணைப்புகளை தவறவிடலாம். DSA அந்த இணைப்புகளை மாறும் வகையில் மீட்டெடுக்க முயல்கிறது.

உலகளாவிய டோக்கன்கள்: உதவியாக இருக்கும், ஆனால் நிலையானது. DSA தற்போதைய உள்ளடக்கத்தால் வழிநடத்தப்படும் "மாறும் உலகளாவிய" போல செயல்பட முடியும்.

கற்ற சிறியது: சில முறைகள் பயிற்சியின் போது வடிவங்களைக் கற்றுக்கொள்கின்றன. டோக்கன் மூலம் தேர்வுகளைப் புதுப்பிக்க DSA வேகமான இயக்க நேர குறியீட்டு காட்டியில் சாய்ந்துள்ளது.

DSA இலிருந்து நீங்கள் பயனடையலாம் என்பதற்கான அறிகுறிகள்

நீங்கள் வழக்கமாக >16k டோக்கன்கள் சூழல்களுடன் செயல்படுகிறீர்கள்.

தாமதம் மற்றும் {GPU} நினைவகம் அளவில் தடைகளாக மாறும்.

நீண்ட பொருட்களில் முக்கியமான பத்திகளின் துல்லியமான நினைவுகூரலைப் பற்றி நீங்கள் கவலைப்படுகிறீர்கள்.

உங்கள் பணிச்சுமைகள் வெடிக்கும் மற்றும் ஒவ்வொரு {GPU} க்கும் சிறந்த தூள்விளைச்சலிலிருந்து பயனடைகின்றன.

ஒரு அடுக்கில் DSA ஐப் பயன்படுத்துவதற்கான நடைமுறை உதவிக்குறிப்புகள்

வலுவான மீட்டெடுப்புடன் இணைக்கவும்: உயர்தர ஆவணத் துண்டுகள் மற்றும் மறுசீரமைத்தல் முன்-தேர்வாளரின் விருப்பங்களை மேம்படுத்துகின்றன.

இறுதி-க்கு-இறுதியை அளவிடவும்: செயற்கை தரப்படுத்திகள் மட்டுமல்லாமல், யதார்த்தமான நீண்ட-சூழல் பணிகளில் டோக்கன் தாமதம், தூள்விளைச்சல் மற்றும் பதில் தரம் ஆகியவற்றைக் கண்காணிக்கவும்.

வரம்புகளைச் சரிசெய்யவும்: உங்கள் களத்திற்கான தரம் மற்றும் வேகம் ஆகியவற்றை சமப்படுத்த சிறிய அளவுகள் மற்றும் மேல்-கே தேர்வுகளைச் சரிசெய்யவும்.

உங்கள் இயக்க நேரத்துடன் சீரமைக்கவும்: உங்கள் சேவை அடுக்கு சிறிய குறியீடுகள், பக்க {KV} தற்காலிக சேமிப்புகள் மற்றும் தொடர்ச்சியான தொகுதிகளை பின்னடைவுகள் இல்லாமல் கையாளுகிறது என்பதை உறுதிப்படுத்தவும்.

DSA எங்கு காண்பிக்கப்படுகிறது சமீபத்திய DeepSeek வெளியீடுகளின் பாதுகாப்பு DSA ஐ ஒரு தலைப்பு புதுமையாக அடிக்கடி அழைக்கிறது - மிக முக்கியமான டோக்கன்கள் மற்றும் இடைவெளிகளுக்கு முன்னுரிமை அளிக்கும் "மின்னல் குறியீட்டு காட்டி" உடன் "சிறந்த தானியங்கி சிறிய கவனம்" என்று விவரிக்கப்படுகிறது. வரிசைப்படுத்தல்களைச் சுற்றியுள்ள வர்ணனை நிறுவன அமைப்புகளில் செலவு குறைப்பு மற்றும் சிறந்த நீண்ட-சூழல் செயல்திறனைக் குறிப்பிடுகிறது.

விரைவான மறுபரிசீலனை

DeepSeek Sparse Attention (DSA) என்பது ஒவ்வொரு டோக்கனுக்கும் மிகவும் பொருத்தமான இடைவெளிகளைத் தேர்ந்தெடுக்கும் உள்ளடக்கம் சார்ந்த சிறிய கவன பொறிமுறையாகும், இது கணக்கீடு மற்றும் நினைவக மேல்நிலையைக் குறைக்கிறது.

இது முக்கியமான சார்புகளை தியாகம் செய்யாமல் நீண்ட-சூழல் திறனுக்காக வடிவமைக்கப்பட்டுள்ளது.

உண்மையான தாக்கத்தில் குறைந்த செலவுகள், வேகமான அனுமானம் மற்றும் பெரிய உள்ளீடுகளுடன் சிறந்த அளவிடுதல் ஆகியவை அடங்கும், குறிப்பாக {RAG}, குறியீடு மற்றும் ஆவணம் நிறைந்த பயன்பாட்டு நிகழ்வுகளில்.

சமீபத்தில்: நீங்கள் நீண்ட {PDF} கள், பல கோப்பு குறியீட்டு தளங்கள் அல்லது பெரிய அறிவு களஞ்சியங்களுடன் பணிபுரிந்தால், வேகமான, நீண்ட-சூழல் பகுப்பாய்வை ஆதரிக்கும் AI உதவியாளர் DSA இன் நன்மைகளை உறுதியானதாக மாற்ற முடியும் - வேகமான பதில்கள், கவனம் செலுத்தும் பகுத்தறிவு மற்றும் குறைந்த கணக்கீட்டு கட்டணங்கள்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

Q1:DeepSeek Sparse Attention (DSA) என்றால் என்ன எளிய சொற்களில்? DSA என்பது உள்ளடக்கத்தை உணர்ந்த சிறிய கவன முறை ஆகும், இது ஒரு மாதிரி எல்லாவற்றிலும் கலந்துகொள்வதற்கு பதிலாக மிகவும் பொருத்தமான டோக்கன்களில் கவனம் செலுத்த அனுமதிக்கிறது. இது முக்கியமான நீண்ட தூர சூழலைப் பாதுகாக்கும் போது கணக்கீடு மற்றும் நினைவகத்தைக் குறைக்கிறது.

Q2:DSA வழக்கமான கவனத்திலிருந்து எவ்வாறு வேறுபடுகிறது? வழக்கமான கவனம் அடர்த்தியானது மற்றும் வரிசை நீளத்தில் இருபடி உள்ளது. DSA ஒரு வேகமான முன்-தேர்வைப் பயன்படுத்தி கவன வரைபடத்தை நீக்குகிறது (பெரும்பாலும் மின்னல் குறியீட்டு காட்டி என்று அழைக்கப்படுகிறது), எனவே மாதிரி அதிக மதிப்புள்ள இடைவெளிகளில் மட்டுமே கவனத்தை கணக்கிடுகிறது.

Q3:நீண்ட-சூழல் பணிகளுக்கு DSA ஏன் நல்லது? சூழல் வளரும்போது, அடர்த்தியான கவனம் அதிக செலவு பிடிக்கும். DSA கவனத்தை சிறியதாக வைத்திருப்பதன் மூலம் செலவு மற்றும் தாமதத்தை குறைக்கிறது, ஆனால் இலக்கு வைக்கப்பட்டுள்ளது, இது நீண்ட ஆவணங்களையும் பல கோப்பு உள்ளீடுகளையும் நிர்வகிக்க உதவுகிறது.

Q4:DSA மாதிரி தரத்தை காயப்படுத்துமா? அவசியமில்லை. முன்-கவனத் தேர்வு வலுவாக இருந்தால், DSA மிக முக்கியமான சார்புகளைப் பாதுகாக்கிறது மற்றும் திறனை மேம்படுத்தும் போது பணி தரத்தை பராமரிக்க முடியும். கவனமாக சரிசெய்வது இன்னும் முக்கியம்.

Q5:மீட்டெடுப்பு-பெருகிய உற்பத்தியுடன் (RAG) நான் DSA ஐப் பயன்படுத்தலாமா? ஆம். வலுவான மீட்டெடுப்பு மற்றும் மறுசீரமைப்புடன் DSA ஐ இணைப்பது பெரும்பாலும் வேகமான, மேலும் கவனம் செலுத்தும் பதில்களை நீண்ட அல்லது பல ஆவண வினவல்களில் தருகிறது, ஏனெனில் மாதிரி முதலில் மிகவும் பொருத்தமான துண்டுகளில் கலந்துகொள்கிறது.