ಪರಿಚಯ: LLM ಗಳಿಗೆ ಕಂಪ್ರೆಷನ್ ಈಗ ಏಕೆ ಸೂಪರ್ ಪವರ್ ಆಗಿದೆ
ನೀವು ವಾರದ ಚಾಟ್ ಲಾಗ್ಗಳು, ಟೆಲಿಮೆಟ್ರಿ ಅಥವಾ ಬಹು-ಸಿಸ್ಟಮ್ ಆ್ಯಪ್ ಟ್ರೇಸ್ಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ತುಂಬಲು ಪ್ರಯತ್ನಿಸಿದರೆ, ನಿಮಗೆ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳ ಕಠಿಣ ಮಿತಿಯನ್ನು ಅನುಭವವಾಗಿರಬಹುದು. ಸಾರಾಂಶಿಸುವುದು, ಕತ್ತರಿಸುವುದು, ಭಾಗಗಳನ್ನಾಗಿ ಮಾಡುವುದು - ಇವುಗಳಿಂದ ಸ್ವಲ್ಪ ದೂರದವರೆಗೆ ಮಾತ್ರ ಸಹಾಯವಾಗುತ್ತದೆ. DeepSeek-OCR ಒಂದು ಗಮನಾರ್ಹ ತಿರುವನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ: ಅರ್ಥವನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ಕಾಂಟೆಕ್ಸ್ಟ್ ಅನ್ನು ನಾಟಕೀಯವಾಗಿ ಕುಗ್ಗಿಸಲು OCR-VLM ಪೈಪ್ಲೈನ್ ಅನ್ನು ಬಳಸಿ ಪಠ್ಯವನ್ನು ದೃಷ್ಟಿ ಟೋಕನ್ಗಳಾಗಿ ಕುಗ್ಗಿಸಿ. ಸಮುದಾಯದ ಆರಂಭಿಕ ವರದಿಗಳು ಕಚ್ಚಾ ಪಠ್ಯ ಟೋಕನ್ಗಳ ಬದಲಿಗೆ ದೃಶ್ಯ ಟೋಕನ್ಗಳನ್ನು ಬಳಸಿಕೊಳ್ಳುವ ಮೂಲಕ ಪ್ರಮಾಣದ ದಕ್ಷತೆಯ ಕ್ರಮವನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತವೆ, ಕೆಲವು ವಿಶ್ಲೇಷಣೆಗಳು "ಕಾಂಟೆಕ್ಸ್ಟ್ ಆಪ್ಟಿಕಲ್ ಕಂಪ್ರೆಷನ್" ಮತ್ತು ದೀರ್ಘ-ಸಂದರ್ಭದ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗೆ "ಸಾವಿರಾರು ಪಠ್ಯ ಟೋಕನ್ಗಳನ್ನು ಕೆಲವು ನೂರು ದೃಷ್ಟಿ ಟೋಕನ್ಗಳಾಗಿ ಪರಿವರ್ತಿಸುವುದು" ಎಂದು ವಿವರಿಸುತ್ತದೆ.
ಈ ಪ್ರಾಯೋಗಿಕ, ಹಂತ-ಹಂತದ DeepSeek-OCR ಟ್ಯುಟೋರಿಯಲ್ನಲ್ಲಿ, ರಿಟ್ರೈವಲ್ ನಿಖರತೆಯನ್ನು ಉಳಿಸಿಕೊಂಡು LLM ಗಳಿಗಾಗಿ ಚಾಟ್ ಹಿಸ್ಟರಿಗಳು, ಲಾಗ್ಗಳು ಮತ್ತು ಡೇಟಾವನ್ನು ಹೇಗೆ ಕಂಪ್ರೆಸ್ ಮಾಡುವುದು ಎಂದು ನೀವು ಕಲಿಯುವಿರಿ-ಜೊತೆಗೆ OCR-ಆಧಾರಿತ ಕಂಪ್ರೆಷನ್ ಅನ್ನು ಸಾರಾಂಶಿಸುವುದು, ಹೈರಾರ್ಕಿಕಲ್ ಚಂಕಿಂಗ್ ಮತ್ತು RAG ನೊಂದಿಗೆ ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ ಎಂಬುದನ್ನು ತಿಳಿಯಿರಿ.
ಈ ಮಾರ್ಗದರ್ಶಿ ಯಾರಿಗೆ?
- ದೀರ್ಘ ಚಾಟ್ಗಳು ಮತ್ತು ಚಟುವಟಿಕೆ ಟ್ರೇಲ್ಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬೇಕಾದ AI ಕೋಪೈಲಟ್ಗಳ ನಿರ್ಮಾತೃಗಳು
- LLM ತಾರ್ಕಿಕತೆಗಾಗಿ ಲಾಗ್ಗಳು, ಟ್ರೇಸ್ಗಳು ಮತ್ತು ಮೆಟ್ರಿಕ್ಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಡೇಟಾ ಇಂಜಿನಿಯರ್ಗಳು
- ಕಡಿಮೆ ಬಜೆಟ್ನಲ್ಲಿ ಅಲ್ಟ್ರಾ-ಲಾಂಗ್ ಕಾಂಟೆಕ್ಸ್ಟ್ ವರ್ಕ್ಫ್ಲೋಗಳನ್ನು ಮೂಲಮಾದರಿಯಾಗಿಸುವ ಸಂಶೋಧಕರು
ಒಂದು ವಾಕ್ಯದಲ್ಲಿ ಹುಕ್: LLM ಗಳು ಓದಬಲ್ಲ ಕಾಂಪ್ಯಾಕ್ಟ್ ದೃಶ್ಯ ನಿರೂಪಣೆಗಳಾಗಿ ವಿಸ್ತಾರವಾದ ಪಠ್ಯವನ್ನು ನೀವು ಪರಿವರ್ತಿಸಿದರೆ, ತಾರ್ಕಿಕತೆಯ ಸುಳಿವುಗಳನ್ನು ತ್ಯಾಗ ಮಾಡದೆ ನೀವು ಕಾಂಟೆಕ್ಸ್ಟ್ ಬಜೆಟ್ ಅನ್ನು ಮರಳಿ ಪಡೆಯುತ್ತೀರಿ.
DeepSeek-OCR ಕಂಪ್ರೆಷನ್ ಎಂದರೇನು? ಪ್ರಮುಖ ಕಲ್ಪನೆ
- ದೃಷ್ಟಿ ಟೋಕನ್ ಕಂಪ್ರೆಷನ್: ದಟ್ಟವಾದ ಪಠ್ಯ ಸ್ಪ್ಯಾನ್ಗಳನ್ನು ಹೆಚ್ಚಿನ-ಮಾಹಿತಿ ದೃಶ್ಯ ಎಂಬೆಡಿಂಗ್ಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ; ದೃಷ್ಟಿ ಟೋಕನ್ಗಳು ಸಮಾನ ಪಠ್ಯ ಟೋಕನ್ಗಳಿಗಿಂತ ಅಗ್ಗವಾಗಿರಬಹುದು ಮತ್ತು ಹೆಚ್ಚು ಕಾಂಪ್ಯಾಕ್ಟ್ ಆಗಿರಬಹುದು.
- ಕಾಂಟೆಕ್ಸ್ಟ್ ಆಪ್ಟಿಕಲ್ ಕಂಪ್ರೆಷನ್: ದೊಡ್ಡ ಪಠ್ಯದ ಕಾಂಟೆಕ್ಸ್ಟ್ ಅನ್ನು ಚಿತ್ರಗಳು ಅಥವಾ ದೃಷ್ಟಿ ರಚನೆಯ ವಿನ್ಯಾಸಗಳಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡಲು OCR/VLM ಬಳಸಿ, ಟೋಕನ್ ಎಣಿಕೆಗಳನ್ನು ಕಡಿತಗೊಳಿಸುವಾಗ ಸೆಮ್ಯಾಂಟಿಕ್ ರಚನೆಯನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ.
- ದೀರ್ಘ-ಸಂದರ್ಭದ ಕಾರ್ಯಪ್ರವಾಹಗಳು: ಸಾವಿರಾರು ಟೋಕನ್ಗಳನ್ನು ನೂರಾರು ದೃಷ್ಟಿ ಟೋಕನ್ಗಳಾಗಿ ಕಂಪ್ರೆಸ್ ಮಾಡಿ, ಯೋಜನೆ, ಟೂಲ್ ಬಳಕೆ ಅಥವಾ ಬಹು-ಹಂತದ ತಾರ್ಕಿಕತೆಗಾಗಿ ದೊಡ್ಡ ವರ್ಕಿಂಗ್ ಸೆಟ್ಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ.
ಇದನ್ನು ಯಾವಾಗ ಬಳಸಬೇಕು
- ಪುನರಾವರ್ತಿತ ಪದಗುಚ್ಛಗಳು ಅಥವಾ ಊಹಿಸಬಹುದಾದ ರಚನೆಯನ್ನು ಹೊಂದಿರುವ ಚಾಟ್ ಹಿಸ್ಟರಿಗಳು
- ಸಿಸ್ಟಮ್ ಲಾಗ್ಗಳು, ಟ್ರೇಸ್ಗಳು, ಬಿಲ್ಡ್ ಔಟ್ಪುಟ್ಗಳು ಅಥವಾ ಅನಾಲಿಟಿಕ್ಸ್ ಡಂಪ್ಗಳು
- ದಾಖಲೆ ಸ್ನ್ಯಾಪ್ಶಾಟ್ಗಳು, ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳು ಅಥವಾ ಅರೆ-ರಚನಾತ್ಮಕ ವರದಿಗಳು
ಈ ಟ್ಯುಟೋರಿಯಲ್ನಲ್ಲಿ ನೀವು ಏನನ್ನು ನಿರ್ಮಿಸುತ್ತೀರಿ
ನೀವು ಈ ಕೆಳಗಿನವುಗಳಿಗೆ ಪೈಪ್ಲೈನ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತೀರಿ:
- ಚಾಟ್/ಲಾಗ್ ಡೇಟಾವನ್ನು ಸಾಮಾನ್ಯೀಕರಿಸಿ ಮತ್ತು ವಿಭಾಗಿಸಿ.
- ಕಂಪ್ರೆಷನ್ ತಂತ್ರಗಳನ್ನು ಆರಿಸಿ (OCR-ದೃಶ್ಯ, ಪಠ್ಯ ಸಾರಾಂಶ, ಅಥವಾ ಹೈಬ್ರಿಡ್).
- DeepSeek-OCR ಮೂಲಕ ಕಾಂಪ್ಯಾಕ್ಟ್ ದೃಶ್ಯ ನಿರೂಪಣೆಗಳನ್ನು ರಚಿಸಿ.
- ರಿಟ್ರೈವಲ್ಗಾಗಿ ಮೆಟಾಡೇಟಾದೊಂದಿಗೆ ಇಂಡೆಕ್ಸ್ ಮಾಡಿ.
- ಪಠ್ಯ ಮತ್ತು ಚಿತ್ರಗಳನ್ನು ಸ್ವೀಕರಿಸುವ ಹೈಬ್ರಿಡ್ RAG ಪ್ರಾಂಪ್ಟ್ನೊಂದಿಗೆ ಪ್ರಶ್ನಿಸಿ.
- ನಿಷ್ಠೆ ಮತ್ತು ವೆಚ್ಚವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ.
ವಿಭಾಗ 1 — ಡೇಟಾ ತಯಾರಿ: ಅವ್ಯವಸ್ಥಿತ ಇತಿಹಾಸಗಳನ್ನು ಮಾದರಿ-ಸ್ನೇಹಿಯಾಗಿ ಮಾಡಿ
- ಸಮಯಸ್ಟ್ಯಾಂಪ್ಗಳು ಮತ್ತು ಪಾತ್ರಗಳನ್ನು ಸಾಮಾನ್ಯೀಕರಿಸಿ: ಉದಾಹರಣೆಗೆ, {timestamp}{role}: {message}.
- ಕಾನ್ಸ್: VLM ಬೆಂಬಲದ ಅಗತ್ಯವಿದೆ; ರೆಂಡರಿಂಗ್ ಮತ್ತು ಇಮೇಜ್ I/O ಅಗತ್ಯವಿದೆ.
- ಯಾವಾಗ ಬಳಸಬೇಕು: ನಿಮಗೆ ದೀರ್ಘ ಕಾಂಟೆಕ್ಸ್ಟ್ ನಿಷ್ಠೆ, ರೇಖಾಚಿತ್ರಗಳು/ಟೇಬಲ್ಗಳು ಅಥವಾ ನಿಖರವಾದ ಪದಗುಚ್ಛ ಧಾರಣ ಅಗತ್ಯವಿದ್ದಾಗ.
- ಹೈಬ್ರಿಡ್ (ಶಿಫಾರಸು ಮಾಡಲಾಗಿದೆ)
- ಆಂಕರಿಂಗ್ಗಾಗಿ “ಸ್ಕೆಲಿಟಲ್” ಪಠ್ಯ ಸಾರಾಂಶವನ್ನು ಇರಿಸಿ + ಆಳಕ್ಕಾಗಿ ಸಂಕುಚಿತ ದೃಶ್ಯ ಕಾರ್ಡ್ಗಳನ್ನು ಲಗತ್ತಿಸಿ.
- ಇದು ರಿಟ್ರೈವಲ್ ನಿಖರತೆ (ಪಠ್ಯ) ಮತ್ತು ಮರುಪಡೆಯುವಿಕೆ/ನಿಷ್ಠೆ (ದೃಷ್ಟಿ) ನಡುವೆ ಸಮತೋಲನವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುತ್ತದೆ.
ವಿಭಾಗ 3 — DeepSeek-OCR ನೊಂದಿಗೆ ದೃಶ್ಯ ಕಾಂಟೆಕ್ಸ್ಟ್ ಕಾರ್ಡ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದು
ಗುರಿ: OCR/VLM ಓದುವಿಕೆಗಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾದ 5–20 KB ಪಠ್ಯ ಸ್ಪ್ಯಾನ್ಗಳನ್ನು 512–1024 px ಚಿತ್ರಗಳಾಗಿ ಪರಿವರ್ತಿಸಿ.
ಟೆಂಪ್ಲೇಟ್ ಸಲಹೆಗಳು
- ಶೀರ್ಷಿಕೆ ಪಟ್ಟಿ: ಸೆಷನ್ ID, ಸಮಯದ ವ್ಯಾಪ್ತಿ, ವಿಷಯ ಲೇಬಲ್.
- ಎರಡು-ಕಾಲಮ್ ವಿನ್ಯಾಸ: ಪ್ರಮುಖ ತಿರುವುಗಳು/ಲಾಗ್ಗಳಿಗಾಗಿ ಎಡ ಕಾಲಮ್; ಮುಖ್ಯಾಂಶಗಳಿಗಾಗಿ ಬಲ ಕಾಲಮ್ (ದೋಷಗಳು, ನಿರ್ಧಾರಗಳು, ಆಜ್ಞೆಗಳು, ಮೆಟ್ರಿಕ್ಗಳು).
- ಕೋಡ್/ಲಾಗ್ ಲೈನ್ಗಳಿಗಾಗಿ ಮೊನೊಸ್ಪೇಸ್ ಬ್ಲಾಕ್ಗಳು; ಕಾಂಟೆಕ್ಸ್ಟ್ಗಾಗಿ ಬುಲೆಟ್ ಸಾರಾಂಶಗಳು.
- ಕಾಂಟ್ರಾಸ್ಟ್-ಸ್ನೇಹಿ ಥೀಮ್; ಸಣ್ಣ ಫಾಂಟ್ಗಳನ್ನು ತಪ್ಪಿಸಿ (<1x ಸ್ಕೇಲ್ನಲ್ಲಿ 11–12 ಪಾಯಿಂಟ್).
ರೆಂಡರಿಂಗ್ ಸಲಹೆಗಳು
- ಸ್ವಚ್ಛವಾದ, ಸ್ಥಿರವಾದ ಕಾರ್ಡ್ಗಳನ್ನು ಉತ್ಪಾದಿಸಲು HTML/CSS ಬಳಸಿ (ಉದಾ., Puppeteer/Playwright ಸ್ಕ್ರೀನ್ಶಾಟ್ಗಳು).
- ಪ್ರಾಂಪ್ಟ್ಗಳಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಐಟಂಗಳನ್ನು ಉಲ್ಲೇಖಿಸಲು ಸ್ಥಿರವಾದ ಆಂಕರ್ಗಳನ್ನು (ಲೈನ್ ಸಂಖ್ಯೆಗಳು, ID ಗಳು) ಸೇರಿಸಿ.
- ಪ್ರತಿ ಕಾರ್ಡ್ಗೆ ~200–400 ಪದಗಳಿಗೆ ಸೀಮಿತಗೊಳಿಸಿ; ಪ್ರತಿ ಸೆಷನ್ಗೆ ಕಾರ್ಡ್ಗಳ ಸ್ಟಾಕ್ ಅನ್ನು ರಚಿಸಿ.
DeepSeek-OCR ಪಾಸ್
- ರೌಂಡ್-ಟ್ರಿಪ್ ನಿಷ್ಠೆಯನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು DeepSeek-OCR ಅನ್ನು ರನ್ ಮಾಡಿ: ಕಾರ್ಡ್ → OCR ಪಠ್ಯ. ನಿಮ್ಮ ವಿನ್ಯಾಸ ಮತ್ತು ಫಾಂಟ್ಗಳು ನಿಖರವಾಗಿ ಡಿಕೋಡ್ ಆಗುತ್ತಿವೆಯೇ ಎಂದು ಇದು ಎರಡು ಬಾರಿ ಪರಿಶೀಲಿಸುತ್ತದೆ.
- OCR ಪಠ್ಯವು ಬೇರೆಯಾಗಿದ್ದರೆ, ಫಾಂಟ್ಗಳು, ಸ್ಪೇಸಿಂಗ್ ಅನ್ನು ಹೊಂದಿಸಿ ಅಥವಾ ದಟ್ಟವಾದ ಕೋಡ್ ಅನ್ನು ಬಹು ಕಾರ್ಡ್ಗಳಾಗಿ ವಿಭಜಿಸಿ.
ಇದು ಏಕೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ
ಪಠ್ಯದ ಕಾಂಟೆಕ್ಸ್ಟ್ ಅನ್ನು ದೃಷ್ಟಿ ಟೋಕನ್ಗಳಾಗಿ ಸಂಕುಚಿತಗೊಳಿಸುವಾಗ ಓದಲು ಸಾಧ್ಯವಾಗುವಂತೆ ಇಟ್ಟುಕೊಳ್ಳುವುದರಿಂದ ಸಮುದಾಯ ಮತ್ತು ತೃತೀಯ ವ್ಯಕ್ತಿಗಳ ಬರಹಗಳು ಅರ್ಥಪೂರ್ಣ ದಕ್ಷತೆಯ ಲಾಭವನ್ನು ತೋರಿಸುತ್ತವೆ.
ವಿಭಾಗ 4 — ಸಾರಾಂಶ ಲೇಯರ್ಗಳು: ಅಸ್ಥಿಪಂಜರವನ್ನು ಇರಿಸಿ, ಸ್ನಾಯುಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ
ಲೇಯರ್ಡ್ ಸಾರಾಂಶಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿ ಇದರಿಂದ ನಿಮಗೆ ಅಗತ್ಯವಿರುವಾಗ ಮಾತ್ರ ರೆಸಲ್ಯೂಶನ್ ಅನ್ನು ಹೆಚ್ಚಿಸಬಹುದು.
- L0: ಪರಮಾಣು ಲೈನ್/ಟರ್ನ್ ಟ್ಯಾಗ್ಗಳು — ರೋಲ್, ಸಮಯಸ್ಟ್ಯಾಂಪ್, ಪ್ರಕಾರ (ದೋಷ, ಟಿಪ್ಪಣಿ, ಕೋಡ್), ಎಂಬೆಡಿಂಗ್.
- L1: ಪ್ರತಿ 20–40 ತಿರುವುಗಳಿಗೆ ಅಥವಾ 2–5 ನಿಮಿಷಗಳ ಲಾಗ್ಗಳಿಗೆ ಮೈಕ್ರೋ-ಸಾರಾಂಶ (1–2 ವಾಕ್ಯಗಳು).
- L2: ನಿರ್ಧಾರಗಳು, ಬ್ಲಾಕರ್ಗಳು, ಫಲಿತಾಂಶಗಳು ಮತ್ತು ದೃಶ್ಯ ಕಾರ್ಡ್ಗಳಿಗೆ ಲಿಂಕ್ಗಳೊಂದಿಗೆ ಸೆಷನ್ ಅಮೂರ್ತ (5–8 ಬುಲೆಟ್ಗಳು).
- L3: ಥ್ರೆಡ್-ಆಫ್-ಥ್ರೆಡ್ಸ್ — ವಾರಕ್ಕೊಮ್ಮೆ ಅಥವಾ ಪ್ರಾಜೆಕ್ಟ್-ಮಟ್ಟದ ರೋಲ್ಅಪ್ಗಳು.
ಪ್ರಾಯೋಗಿಕ ಅನುಭವಗಳು
- ಯಾವಾಗಲೂ ವೆರ್ಬೇಟಿಮ್ ಆಂಕರ್ಗಳನ್ನು ಸೇರಿಸಿ: ದೋಷ ಕೋಡ್ಗಳು, SQL ID ಗಳು, ಟ್ರೇಸ್ ID ಗಳು, ಕಮಿಟ್ SHA ಗಳು.
- ಅಮೂರ್ತ ಸಾರಾಂಶಗಳ ಮೊದಲು ಎಕ್ಸ್ಟ್ರಾಕ್ಟಿವ್ ಸಾರಾಂಶಗಳನ್ನು ಬಳಸಿ; ನಂತರ ಓದಲು ಸುಲಭವಾಗುವಂತೆ ಅಮೂರ್ತದೊಂದಿಗೆ ರಿಫೈನ್ ಮಾಡಿ.
- ಕ್ಯಾಚ್-ಅಪ್ ಪ್ರಾಂಪ್ಟಿಂಗ್ ಅನ್ನು ವೇಗಗೊಳಿಸಲು “ಕೊನೆಯ ಸೆಷನ್ನಿಂದ ಏನು ಬದಲಾಗಿದೆ” ಎಂಬುದನ್ನು ಬುಲೆಟ್ಗೆ ಸೇರಿಸಿ.
ವಿಭಾಗ 5 — ಹೈಬ್ರಿಡ್ RAG ಗಾಗಿ ಇಂಡೆಕ್ಸಿಂಗ್ ಮತ್ತು ರಿಟ್ರೈವಲ್
ಮೆಟಾಡೇಟಾ ಸ್ಕೀಮಾ
- doc_id, session_id, time_range, roles, topic labels
- importance score, error severity, component/service
- links: {card_id}, {summary_id}, {trace_id}
- ನಿಖರತೆ ಮತ್ತು ಆಳಕ್ಕಾಗಿ ಲೇಯರ್ಡ್ ಸಾರಾಂಶಗಳು ಮತ್ತು RAG ನೊಂದಿಗೆ OCR-ಆಧಾರಿತ ಕಂಪ್ರೆಷನ್ ಅನ್ನು ಸಂಯೋಜಿಸಿ.
- ನಿಷ್ಠೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ಮತ್ತು ಲೇಟೆನ್ಸಿಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಲೇಔಟ್ಗಳು, ಫಾಂಟ್ಗಳು ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ ಅನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ.
- ಸಂಕುಚಿತ ಕಾರ್ಡ್ಗಳನ್ನು ಪ್ರಥಮ ದರ್ಜೆಯ ಪುರಾವೆಯಾಗಿ ಪರಿಗಣಿಸಿ ಮತ್ತು ಅವುಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್ಗಳಲ್ಲಿ ಉಲ್ಲೇಖಿಸಿ.
ಮುಂದಿನ ಕ್ರಮಗಳು
- ಒಂದು ಚಾಟ್ ಪ್ರಾಜೆಕ್ಟ್ ಅಥವಾ ಲಾಗ್ ಡೇಟಾಸೆಟ್ನಲ್ಲಿ ಕನಿಷ್ಠ ಪೈಪ್ಲೈನ್ ಅನ್ನು ಮೂಲಮಾದರಿಯಾಗಿಸಿ.
- 10 ವಿಶಿಷ್ಟ ಪ್ರಶ್ನೆಗಳಿಗಾಗಿ ಪಠ್ಯ-ಮಾತ್ರ ಮತ್ತು ಹೈಬ್ರಿಡ್ ಕಂಪ್ರೆಷನ್ ಅನ್ನು A/B ಪರೀಕ್ಷಿಸಿ.
- ನಿಷ್ಠೆ ಮೆಟ್ರಿಕ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಕಾರ್ಡ್ ವಿನ್ಯಾಸ, ರಿಟ್ರೈವರ್ ಮಿಕ್ಸ್ ಮತ್ತು ಬಜೆಟ್ಗಳನ್ನು ಟ್ಯೂನ್ ಮಾಡಿ.
- ಕ್ಯಾಶಿಂಗ್, ACL ಗಳು ಮತ್ತು ಮಾನಿಟರಿಂಗ್ನೊಂದಿಗೆ ತಂಡದ ವರ್ಕ್ಫ್ಲೋಗಳಿಗೆ ಸ್ಕೇಲ್ ಮಾಡಿ.
FAQ
Q1: DeepSeek-OCR ಎಂದರೇನು ಮತ್ತು LLM ಗಳಿಗಾಗಿ ಚಾಟ್ ಹಿಸ್ಟರಿಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಲು ಅದನ್ನು ಏಕೆ ಬಳಸಬೇಕು?
DeepSeek-OCR ಕಾಂಟೆಕ್ಸ್ಟ್ ಆಪ್ಟಿಕಲ್ ಕಂಪ್ರೆಷನ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ - ದೊಡ್ಡ ಪಠ್ಯ ಸ್ಪ್ಯಾನ್ಗಳನ್ನು ದೃಶ್ಯ ಟೋಕನ್ಗಳಾಗಿ ಎನ್ಕೋಡ್ ಮಾಡುವುದು, ಅದನ್ನು VLM ಗಳು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು. ಇದು ಟೋಕನ್ ಬಜೆಟ್ಗಳನ್ನು ಕುಗ್ಗಿಸಬಹುದು ಮತ್ತು ದೀರ್ಘ ಸಂದರ್ಭಗಳಿಗೆ ಹೆಚ್ಚಿನ ನಿಷ್ಠೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವಾಗ ಪಠ್ಯ-ಮಾತ್ರ ಸಾರಾಂಶಕ್ಕಿಂತ ಉತ್ತಮವಾಗಿ ರಚನೆಯನ್ನು ಸಂರಕ್ಷಿಸಬಹುದು.
Q2: ದೃಶ್ಯ ಟೋಕನ್ ಕಂಪ್ರೆಷನ್ ಪಠ್ಯ ಸಾರಾಂಶಕ್ಕೆ ಹೇಗೆ ಹೋಲಿಸುತ್ತದೆ?
ದೃಶ್ಯ ಟೋಕನ್ ಕಂಪ್ರೆಷನ್ ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚಿನ ಪರಿಣಾಮಕಾರಿ ಸಂಕೋಚನವನ್ನು ಸಾಧಿಸುತ್ತದೆ, ಲೇಔಟ್ ಮತ್ತು ನಿಖರವಾದ ಪದಗುಚ್ಛವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ, ಇದು ಉದ್ಧರಣಗಳು, ಕೋಡ್ ಮತ್ತು ದೋಷ ಸ್ಟ್ರಿಂಗ್ಗಳೊಂದಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಸಾರಾಂಶವು ವೇಗವಾಗಿ ಮತ್ತು ಸರಳವಾಗಿದೆ ಆದರೆ ಅಪರೂಪದ ವಿವರಗಳನ್ನು ಬಿಟ್ಟುಬಿಡಬಹುದು ಅಥವಾ ಅಮೂರ್ತ ದೋಷಗಳನ್ನು ಪರಿಚಯಿಸಬಹುದು.
Q3: ನಾನು ಲಾಗ್ಗಳು ಮತ್ತು ಚಾಟ್ಗಳಿಗಾಗಿ RAG ನೊಂದಿಗೆ DeepSeek-OCR ಅನ್ನು ಮಿಶ್ರಣ ಮಾಡಬಹುದೇ?
ಹೌದು. ವೇಗದ ಮರುಪಡೆಯುವಿಕೆಗಾಗಿ ಪಠ್ಯ ಸಾರಾಂಶಗಳನ್ನು ಬಳಸಿ ಮತ್ತು ಆಳಕ್ಕಾಗಿ OCR-ಮೌಲ್ಯೀಕರಿಸಿದ ದೃಶ್ಯ ಕಾರ್ಡ್ಗಳನ್ನು ಲಗತ್ತಿಸಿ. ಎರಡು-ಹಂತದ ರಿಟ್ರೈವರ್ ಮೊದಲು ಅಮೂರ್ತಗಳನ್ನು ಪಡೆಯಬಹುದು, ನಂತರ ಹೆಚ್ಚು ಸಂಬಂಧಿತ ಕಾರ್ಡ್ಗಳನ್ನು ಪಡೆದುಕೊಳ್ಳಬಹುದು, ನಿಖರತೆ ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ಕವರೇಜ್ ಅನ್ನು ಸಮತೋಲನಗೊಳಿಸುತ್ತದೆ.
Q4: OCR-ಸಂಕುಚಿತ ಕಾಂಟೆಕ್ಸ್ಟ್ ಕಾರ್ಡ್ಗಳಿಗೆ ಯಾವ ಲೇಔಟ್ಗಳು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ?
ಶೀರ್ಷಿಕೆ ಪಟ್ಟಿ, ಎರಡು-ಕಾಲಮ್ ವಿಷಯ, ಕೋಡ್ಗಾಗಿ ಮೊನೊಸ್ಪೇಸ್ ಬ್ಲಾಕ್ಗಳು ಮತ್ತು ಮುಖ್ಯಾಂಶಗಳಿಗಾಗಿ ಸ್ಪಷ್ಟ ಬುಲೆಟ್ಗಳೊಂದಿಗೆ ಸ್ವಚ್ಛವಾದ HTML/CSS ಅನ್ನು ಬಳಸಿ. ಪ್ರತಿ ಕಾರ್ಡ್ಗೆ 200–400 ಪದಗಳನ್ನು, 11–12 ಪಾಯಿಂಟ್ ಫಾಂಟ್ಗಳು ಅಥವಾ ದೊಡ್ಡದನ್ನು ಇರಿಸಿ ಮತ್ತು OCR ರೌಂಡ್-ಟ್ರಿಪ್ನೊಂದಿಗೆ ಓದಲು ಸಾಧ್ಯವಾಗುವುದನ್ನು ಮೌಲ್ಯೀಕರಿಸಿ.
Q5: ಸಂಕೋಚನವು ಪ್ರಮುಖ ಮಾಹಿತಿಯನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತಿದೆಯೇ ಎಂದು ನಾನು ಹೇಗೆ ಅಳೆಯುವುದು?
ಸತ್ಯಗಳ ಸುವರ್ಣ ಸೆಟ್ ವಿರುದ್ಧ ನಿಷ್ಠೆ@K ಅನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ, ಲೈನ್-ನಂಬರ್ ಉಲ್ಲೇಖಗಳ ಮೂಲಕ ಪುರಾವೆ ಕವರೇಜ್ ಮತ್ತು ಲೇಟೆನ್ಸಿ/ವೆಚ್ಚ ಮೆಟ್ರಿಕ್ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ≥95% ಸತ್ಯ ಧಾರಣವನ್ನು ಗುರಿಯಾಗಿಸಿ ಮತ್ತು ಹೆಚ್ಚಿನ ಉತ್ತರಗಳು ಕಾರ್ಡ್ ಲೈನ್ ಅಥವಾ ಆಂಕರ್ ID ಅನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತವೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ.
