What is DeepSeek‑OCR and why use it to compress chat histories for LLMs?

DeepSeek‑OCR enables Context Optical Compression—encoding large text spans as visual tokens that VLMs can process efficiently. This can shrink token budgets and preserve structure better than text‑only summarization while maintaining high fidelity for long contexts.

How does visual token compression compare to text summarization?

Visual token compression often achieves higher effective compression while retaining layout and exact phrasing, which helps with quotations, code, and error strings. Summarization is faster and simpler but can omit rare details or introduce abstraction errors.

Can I mix DeepSeek‑OCR with RAG for logs and chats?

Yes. Use text summaries for fast recall and attach OCR‑validated visual cards for depth. A two‑stage retriever can fetch abstracts first, then the most relevant cards, balancing precision and context coverage.

What layouts work best for OCR‑compressed context cards?

Use clean HTML/CSS with a title bar, two‑column content, monospace blocks for code, and clear bullets for highlights. Keep 200–400 words per card, 11–12 pt fonts or larger, and validate readability with an OCR round‑trip.

How do I measure whether compression is losing important information?

Track Fidelity@K against a gold set of facts, evidence coverage via line‑number citations, and latency/cost metrics. Target ≥95% fact retention and ensure most answers cite a card line or anchor ID.

آموزش DeepSeek-OCR: فشرده‌سازی تاریخچه چت، لاگ‌ها و داده‌ها برای LLMها

مقدمه: چرا فشرده‌سازی اکنون یک ابرقدرت برای LLMها است اگر تا به حال سعی کرده‌اید گزارش‌های چت یک هفته‌ای، تله‌متری یا ردیابی برنامه‌های چند سیستمی را در یک اعلان جای دهید، با سقف سخت پنجره‌های متن مواجه شده‌اید. روش معمول—خلاصه‌سازی، هرس کردن، تکه‌تکه کردن—فقط تا جایی پیش می‌رود که قبل از اینکه افت سیگنال به وجود آید. DeepSeek‑OCR یک پیچش چشمگیر را معرفی می‌کند: فشرده‌سازی متن به توکن‌های بصری با استفاده از یک خط لوله OCR‑VLM برای کوچک کردن چشمگیر متن بدون دور انداختن معنا. گزارش‌های اولیه جامعه به راندمان فشرده‌سازی مرتبه بزرگی با استفاده از توکن‌های بصری به جای توکن‌های متنی خام اشاره می‌کنند، یک پارادایم که برخی از تحلیل‌ها آن را "فشرده‌سازی نوری متن" و "هزاران توکن متنی به چند صد توکن بصری" برای گردش‌های کاری با متن طولانی توصیف می‌کنند.

در این آموزش عملی و گام به گام DeepSeek‑OCR، شما یاد خواهید گرفت که چگونه تاریخچه چت، گزارش‌ها و داده‌ها را برای LLMها فشرده کنید در حالی که دقت بازیابی را حفظ می‌کنید—به علاوه چگونه فشرده‌سازی مبتنی بر OCR را با خلاصه‌سازی، تکه‌تکه کردن سلسله مراتبی و RAG برای اعلان قدرتمند و با تأخیر کم ترکیب کنید.

این راهنما برای چه کسانی است

سازندگان کمک‌خلبان‌های هوش مصنوعی که باید چت‌های طولانی و مسیرهای فعالیت را وارد کنند

مهندسان داده که گزارش‌ها، ردیابی‌ها و متریک‌ها را برای استدلال LLM دستکاری می‌کنند

محققانی که نمونه‌سازی گردش‌های کاری با متن فوق‌العاده طولانی را با بودجه محدود انجام می‌دهند

جمله‌ای جذاب در یک جمله: اگر بتوانید متن گسترده را به بازنمایی‌های بصری فشرده تبدیل کنید که LLMها بتوانند آن را بخوانند، بدون قربانی کردن نشانه‌های استدلال، بودجه متن را پس می‌گیرید.

فشرده‌سازی DeepSeek‑OCR چیست؟ ایده اصلی

فشرده‌سازی توکن بصری: بازه‌های متنی متراکم را به جاسازی‌های بصری با اطلاعات بالا تبدیل کنید. توکن‌های بصری می‌توانند ارزان‌تر و فشرده‌تر از توکن‌های متنی معادل باشند.

فشرده‌سازی نوری متن: از OCR/VLM برای رمزگذاری متن بزرگ به عنوان تصاویر یا طرح‌بندی‌های بصری ساختاریافته استفاده کنید، در حالی که ساختار معنایی را حفظ می‌کنید و تعداد توکن‌ها را به شدت کاهش می‌دهید.

گردش‌های کاری با متن طولانی: هزاران توکن را به صدها توکن بصری فشرده کنید، و مجموعه‌های کاری بزرگ‌تری را برای برنامه‌ریزی، استفاده از ابزار یا استدلال چند چرخشی فعال کنید.

چه زمانی از آن استفاده کنیم

تاریخچه چت با عبارات تکراری یا ساختار قابل پیش‌بینی

گزارش‌های سیستم، ردیابی‌ها، خروجی‌های ساخت یا تخلیه‌های تحلیلی

تصاویر فوری مستندات، داشبوردها یا گزارش‌های نیمه‌ساختاری

آنچه در این آموزش خواهید ساخت شما یک خط لوله را پیاده‌سازی خواهید کرد تا:

داده‌های چت/گزارش را عادی‌سازی و بخش‌بندی کنید.

استراتژی‌های فشرده‌سازی را انتخاب کنید (OCR‑visual، خلاصه‌سازی متنی یا ترکیبی).

بازنمایی‌های بصری فشرده را از طریق DeepSeek‑OCR تولید کنید.

با فراداده برای بازیابی ایندکس کنید.

با یک اعلان RAG ترکیبی که هم متن و هم تصاویر را می‌پذیرد، پرس‌وجو کنید.

دقت و هزینه را ارزیابی کنید.

بخش 1 — آماده‌سازی داده‌ها: تاریخچه‌های آشفته را برای مدل مناسب کنید

نرمال‌سازی مُهر زمانی و نقش‌ها: به عنوان مثال، {timestamp: [datetime], role: [enum]}

معایب: نیاز به پشتیبانی VLM دارد. نیاز به رندرینگ و ورودی/خروجی تصویر دارد.

چه زمانی استفاده کنیم: زمانی که به دقت متن طولانی، نمودارها/جداول یا حفظ عبارات دقیق نیاز دارید.

ترکیبی (توصیه می‌شود)

خلاصه متنی "اسکلتی" را برای لنگر انداختن نگه دارید + کارت‌های بصری فشرده‌شده را برای عمق متصل کنید.

این کار دقت بازیابی (متن) و فراخوانی/دقت (دید) را متعادل می‌کند.

بخش 3 — ساخت کارت‌های متن بصری با DeepSeek‑OCR هدف: تبدیل بازه‌های متنی 5–20 کیلوبایتی به تصاویر 512–1024 پیکسلی که برای خواندن OCR/VLM بهینه شده‌اند.

پیشنهادات قالب

نوار عنوان: شناسه جلسه، محدوده زمانی، برچسب موضوع.

طرح‌بندی دو ستونی: ستون سمت چپ برای چرخش‌ها/گزارش‌های کلیدی. ستون سمت راست برای نکات برجسته (خطاها، تصمیمات، دستورات، متریک‌ها).

بلوک‌های تک فاصله برای خطوط کد/گزارش. خلاصه‌های نقطه‌ای برای متن.

تم سازگار با کنتراست. از فونت‌های کوچک (<11–12 pt در مقیاس 1x) خودداری کنید.

نکات رندرینگ

از HTML/CSS برای تولید کارت‌های تمیز و سازگار استفاده کنید (به عنوان مثال، تصاویر فوری Puppeteer/Playwright).

شامل لنگرهای پایدار (شماره خطوط، شناسه‌ها) برای ارجاع به موارد خاص در اعلان‌ها باشید.

محدود کردن به حدود 200–400 کلمه در هر کارت. یک پشته از کارت‌ها در هر جلسه ایجاد کنید.

گذر DeepSeek‑OCR

DeepSeek‑OCR را اجرا کنید تا از دقت رفت و برگشت اطمینان حاصل شود: کارت → متن OCR. این کار مجدداً بررسی می‌کند که طرح‌بندی و فونت‌های شما به طور دقیق رمزگشایی می‌شوند.

اگر متن OCR واگرا شد، فونت‌ها، فاصله را تنظیم کنید یا کد متراکم را به چندین کارت تقسیم کنید.

چرا این کار می‌کند نوشته‌های انجمن و اشخاص ثالث به دستاوردهای معناداری در راندمان هنگام فشرده‌سازی متن به توکن‌های بصری در حین حفظ قابلیت خواندن اشاره می‌کنند.

بخش 4 — لایه‌های خلاصه‌سازی: اسکلت را نگه دارید، ماهیچه‌ها را ذخیره کنید خلاصه‌های لایه‌ای را پیاده‌سازی کنید تا بتوانید وضوح را فقط در صورت نیاز افزایش دهید.

L0: برچسب‌های خط/چرخش اتمی — نقش، مُهر زمانی، نوع (خطا، یادداشت، کد)، جاسازی.

L1: خلاصه کوچک (1–2 جمله) برای هر 20–40 چرخش یا 2–5 دقیقه گزارش.

L2: چکیده جلسه (5–8 نقطه) با تصمیمات، مسدودکننده‌ها، نتایج و پیوندها به کارت‌های بصری.

L3: رشته‌ای از رشته‌ها — جمع‌بندی‌های هفتگی یا در سطح پروژه.

اکتشافات عملی

همیشه لنگرهای عینی را وارد کنید: کدهای خطا، شناسه‌های SQL، شناسه‌های ردیابی، SHAs commit.

قبل از خلاصه‌های انتزاعی از خلاصه‌های استخراجی استفاده کنید. سپس با انتزاعی برای خوانایی بیشتر اصلاح کنید.

یک نقطه "چه چیزی از جلسه آخر تغییر کرده است" اضافه کنید تا سرعت اعلان catch‑up افزایش یابد.

بخش 5 — نمایه سازی و بازیابی برای RAG ترکیبی طرحواره فراداده

doc_id، session_id، time_range، roles، topic labels

importance score، error severity، component/service

links: {L0, L1, visual cards}

فشرده‌سازی مبتنی بر OCR را با خلاصه‌های لایه‌ای و RAG برای دقت و عمق ترکیب کنید.

طرح‌بندی‌ها، فونت‌ها و نمایه سازی را برای حفظ دقت بالا و تأخیر کم بهینه کنید.

با کارت‌های فشرده‌شده به عنوان شواهد درجه یک رفتار کنید و آنها را در اعلان‌ها ذکر کنید.

مراحل بعدی

نمونه اولیه خط لوله حداقل را در یک پروژه چت یا مجموعه داده گزارش ایجاد کنید.

تست A/B فشرده‌سازی فقط متنی در مقابل ترکیبی را برای 10 پرس و جوی معمولی انجام دهید.

طراحی کارت، ترکیب بازیابنده و بودجه‌ها را بر اساس معیارهای دقت تنظیم کنید.

با ذخیره سازی، ACLها و نظارت، مقیاس را به گردش‌های کاری تیمی برسانید.

سوالات متداول

Q1: DeepSeek‑OCR چیست و چرا از آن برای فشرده‌سازی تاریخچه چت برای LLMها استفاده می‌شود؟ DeepSeek‑OCR فشرده‌سازی نوری متن را فعال می‌کند—رمزگذاری بازه‌های متنی بزرگ به عنوان توکن‌های بصری که VLMها می‌توانند به طور موثر پردازش کنند. این می‌تواند بودجه توکن را کاهش دهد و ساختار را بهتر از خلاصه‌سازی فقط متنی حفظ کند در حالی که دقت بالایی را برای زمینه‌های طولانی حفظ می‌کند.

Q2: فشرده‌سازی توکن بصری در مقایسه با خلاصه‌سازی متن چگونه است؟ فشرده‌سازی توکن بصری اغلب به فشرده‌سازی موثرتری دست می‌یابد در حالی که طرح‌بندی و عبارات دقیق را حفظ می‌کند، که به نقل قول‌ها، کدها و رشته‌های خطا کمک می‌کند. خلاصه‌سازی سریع‌تر و ساده‌تر است اما می‌تواند جزئیات نادر را حذف کند یا خطاهای انتزاعی را معرفی کند.

Q3: آیا می‌توانم DeepSeek‑OCR را با RAG برای گزارش‌ها و چت‌ها ترکیب کنم؟ بله. از خلاصه‌های متنی برای فراخوانی سریع استفاده کنید و کارت‌های بصری تأیید شده توسط OCR را برای عمق وصل کنید. یک بازیابنده دو مرحله‌ای می‌تواند ابتدا چکیده‌ها و سپس مرتبط‌ترین کارت‌ها را واکشی کند و دقت و پوشش متن را متعادل کند.

Q4: چه طرح‌بندی‌هایی برای کارت‌های متنی فشرده شده با OCR بهترین کارایی را دارند؟ از HTML/CSS تمیز با نوار عنوان، محتوای دو ستونی، بلوک‌های تک فاصله برای کد و نقاط واضح برای نکات برجسته استفاده کنید. 200–400 کلمه در هر کارت، فونت‌های 11–12 pt یا بزرگتر را نگه دارید و خوانایی را با یک رفت و برگشت OCR اعتبارسنجی کنید.

Q5: چگونه اندازه‌گیری کنم که آیا فشرده‌سازی اطلاعات مهم را از دست می‌دهد؟ Fidelity@K را در برابر مجموعه طلایی از حقایق، پوشش شواهد از طریق استناد به شماره خط، و معیارهای تأخیر/هزینه پیگیری کنید. هدف ≥95٪ حفظ واقعیت است و اطمینان حاصل کنید که اکثر پاسخ‌ها به یک خط کارت یا شناسه لنگر استناد می‌کنند.