Revolusi senyap: menukarkan teks menjadi piksel untuk menjimatkan token
Berikut adalah kebenaran yang berlawanan dengan intuisi: memaparkan teks sebagai imej boleh menjadikan model bahasa lebih murah dan pantas. DeepSeek‑OCR mempopularkan saluran "teks sebagai imej" yang mendakwa pengurangan kos token sehingga 10× berbanding persediaan OCR + LLM konvensional. Jika itu kedengaran seperti ke belakang—mengapa menambah penglihatan komputer pada masalah bahasa?—anda berada tepat di tempat penjelasan ini bermula.
Dalam penerokaan mendalam ini, kami membongkar cara pendekatan "teks sebagai imej" berfungsi, mengapa ia mengurangkan kiraan token, dan bila ia mengatasi OCR klasik. Kami juga akan melihat kes-kes pinggir, pertukaran ketepatan, dan cara praktikal untuk menggunakannya dalam pengeluaran.
Pengenalan ringkas: apakah pendekatan “teks sebagai imej”?
- Saluran tradisional: OCR (mengekstrak teks) → kelompokkan ke dalam token → hantar ke LLM → bayar setiap token.
- Pendekatan DeepSeek‑OCR: kekalkan kandungan sebagai imej (atau reka letak mesra penglihatan) → gunakan pengekod penglihatan + LLM → bayar setiap tampalan/token ciri visual → nyahkod secara terpilih.
Daripada mengembangkan halaman menjadi ribuan token subperkataan, model menggunakan grid padat tampalan visual. Setiap tampalan mengekod lebih banyak maklumat daripada token subperkataan—terutamanya untuk reka letak padat (jadual, resit, borang, PDF). Kecekapan pengekodan itulah sebab utama pendekatan "teks sebagai imej" DeepSeek‑OCR mengurangkan kos token sehingga 10×.
Mengapa kos token meningkat dalam aliran kerja OCR + LLM
- Ruang putih dan 'boilerplate' berlebihan: OCR mengekstrak setiap aksara. Pengelompokan mengembangkannya menjadi banyak token subperkataan.
- Overhead reka letak: Tajuk, pengaki, nombor halaman, dan teks undang-undang yang berulang semuanya meningkatkan kiraan token.
- Kehilangan pemformatan: Jadual menjadi urutan yang berjela-jela. Jadual 10×10 berstruktur boleh meledak menjadi ribuan token.
- Tetingkap konteks: Dokumen panjang memerlukan tetingkap gelongsor atau saluran pengambilan, menghantar semula konteks berulang kali.
Sebaliknya, pengekod visual memproses halaman sebagai set tampalan tetap (cth., 768–2,048 token setiap halaman) tanpa bergantung pada kiraan aksara mentah. Itulah kemenangan kecekapan asas di sebalik reka bentuk DeepSeek‑OCR.
Bagaimana DeepSeek‑OCR mencapai penjimatan sehingga 10×
Anggap timbunan "teks sebagai imej" sebagai empat lapisan:
- Token visual dan bukannya token subperkataan
- Halaman PDF menjadi N tampalan visual (cth., 14×14 = 196 tampalan setiap rantau; atau halaman berjubin pada ~1–2k token).
- Setiap tampalan membawa pembayang semantik (bentuk glif, hubungan spatial, isyarat fon) yang boleh ditaakul oleh model bahasa-penglihatan.
- Penaakulan sedar reka letak
- Model “melihat” struktur dokumen—jadual, tajuk, petikan—tanpa menciptanya semula sebagai perihalan tekstual yang panjang.
- Untuk pengambilan, ia boleh memilih rantau yang berkaitan dan bukannya menstrim keseluruhan halaman.
- Penyahkodan jarang (menjana kurang)
- Daripada mengeluarkan keseluruhan teks dokumen, model boleh mengekstrak hanya apa yang diperlukan: medan, jadual, ringkasan.
- Kurang penjanaan = token output yang lebih rendah.
- Mampatan melalui penggunaan semula tampalan
- Elemen yang berulang (logo, tajuk) muncul sebagai token visual yang serupa dari halaman ke halaman, membolehkan perhatian dan penyimpanan cache yang lebih cekap.
Secara agregat, pilihan ini menerangkan mengapa pendekatan "teks sebagai imej" DeepSeek‑OCR mengurangkan kos token sehingga 10× dalam borang, invois, PDF saintifik dan kontrak panjang.
Tunjukkan pengiraan kepada saya: perbandingan kos anggaran
Senario: Kontrak 20 halaman, ~7,500 perkataan (~10,000–12,000 token subperkataan selepas OCR + pemformatan).
- Token input setiap kelompok: 8,000+ (memerlukan pemisahan, konteks berulang)
- Token output (ringkasan, pengekstrakan): 500–1,000
- Jumlah kos: Tinggi, serta kependaman daripada pengelompokan dan pertanyaan semula
- DeepSeek‑OCR “teks sebagai imej”
- Token visual setiap halaman: ~1,000–2,000 (selalunya kurang dengan pemasangan jubin/pengecilan saiz)
- Pertanyaan rantau yang disasarkan: 10–30% daripada dokumen pada satu masa
- Output: 200–500 token setiap tugas (penyahkodan terfokus)
- Jumlah kos: Selalunya sebahagian kecil daripada yang di atas, dengan kurang penghantaran semula
Apabila diskalakan merentas beratus-ratus dokumen, penjimatan kumulatif menghampiri tajuk utama “sehingga 10×” dalam kos dan kependaman—terutamanya untuk kandungan yang berulang dan sarat reka letak.
Di mana “teks sebagai imej” menyerlah berbanding OCR klasik
- Reka letak padat: jadual, resit, invois, label penghantaran, borang perubatan
- Berbilang bahasa atau skrip campuran: Notasi Cina + Inggeris + matematik, di mana pemecahan OCR meningkatkan token
- Imbasan bising: setem, tera air, halaman yang condong—model penglihatan menaakul hingar dengan lebih baik daripada saluran OCR yang rapuh
- Pengekstrakan berstruktur: menarik medan tertentu, item baris atau sel jadual
- QA kontekstual: “Fasal manakah yang meliputi penamatan?” merentas halaman tanpa menghantar semula semua teks
Apabila OCR klasik masih menang
- Eksport teks penuh dengan kesetiaan yang sempurna: Anda memerlukan teks yang bersih dan boleh disalin untuk carian/indeks.
- Peranti sumber rendah yang ekstrem: Jika anda tidak boleh menjalankan pengekod penglihatan atau VLM yang besar, OCR mudah mungkin lebih murah secara tempatan.
- Aliran kerja kebolehcapaian: Pembaca skrin memerlukan output teks semantik; aliran imej sahaja tidak mencukupi melainkan anda menambah langkah eksport teks.
Petua pro: Hibridisasikan. Gunakan “teks sebagai imej” untuk penaakulan dan pengekstrakan medan. Kembali kepada OCR untuk arkib boleh cari akhir atau lapisan kebolehcapaian.
Corak seni bina: pelan tindakan praktikal
Gunakan corak modular ini untuk menerima pakai prinsip DeepSeek‑OCR tanpa membina semula timbunan anda:
- Terima PDF, TIFF, imbasan; normalkan resolusi (cth., 144–192 DPI)
- Jubin halaman panjang untuk memastikan kiraan tampalan terikat
- Jalankan pengekod penglihatan untuk mencipta pembenaman padat setiap jubin/halaman
- Cache pembenaman untuk pertanyaan berulang (melunaskan kos)
- Gunakan pengesanan reka letak untuk memilih rantau calon (tajuk, jadual, blok tandatangan)
- Gunakan carian vektor ke atas pembenaman visual atau pengesan ringan
- Geser VLM dengan hanya rantau yang dipilih + geseran tugas
- Gunakan penyahkodan terhad (skema JSON) untuk output berstruktur
- Normalkan medan (tarikh, jumlah, mata wang)
- Lulus OCR pilihan untuk rentetan teks yang tepat apabila diperlukan
Saluran ini memastikan token visual rendah, menyempitkan fokus model dan mengurangkan panjang penjanaan—tiga tuas yang bergabung untuk penjimatan besar.
Ketepatan, kebolehpercayaan dan kes pinggir
- Teks halus pada DPI rendah: Fon kecil boleh salah dibaca. Gunakan pemasangan jubin adaptif atau DPI yang lebih tinggi untuk rantau teks kecil yang disyaki.
- Tulisan tangan: Model penglihatan membantu, tetapi penalaan halus khusus medan atau pengecam tulisan tangan khusus mungkin masih diperlukan.
- Blok matematik dan kod: Konteks visual membantu mengekalkan struktur, tetapi pertimbangkan OCR terpilih untuk kesetiaan sintaks yang tepat.
- Jadual dengan sel yang digabungkan: Perhatian reka letak biasanya membantu, tetapi peraturan pasca boleh meningkatkan kebolehpercayaan (cth., inferens tajuk, semakan pembatas).
Petua penanda aras: Nilaikan pada tahap tugas (F1 peringkat medan, ketepatan jadual, padanan tepat QA) dan bukannya kadar ralat aksara mentah.
Tuas kos yang anda kawal
- Pensampelan bawah: DPI yang lebih rendah mengurangkan token visual; uji ambang yang memastikan ketepatan utuh.
- Pagar rantau: Jangan sesekali menghantar halaman penuh jika anda hanya memerlukan fasal atau jadual.
- Kekangan output: Skema JSON atau corak regex mengurangkan penjanaan berjela-jela.
- Caching: Gunakan semula pembenaman visual untuk dokumen yang sama merentas berbilang soalan.
- Ketepatan/pengkuantuman campuran: Jika anda mengehos sendiri, FP16/INT8 boleh mengurangkan pengiraan dan kependaman.
Contoh pelaksanaan (senario)
- Pengekstrakan item baris invois
- Hantar hanya blok item baris dan kotak vendor sebagai imej
- Hadkan output kepada skema JSON (tarikh, vendor, mata wang, item[])
- OCR sandaran pilihan untuk ID invois untuk menjamin padanan rentetan yang tepat
- Benamkan setiap halaman secara visual sekali; simpan dalam DB vektor
- Dapatkan semula 1–3 rantau yang berkaitan dengan pertanyaan (“penamatan,” “penugasan,” “undang-undang pentadbiran”)
- Minta VLM memetik indeks rantau dan meringkaskan fasal dalam ≤120 token
- Fokus pada tajuk, abstrak, angka dan rantau kesimpulan
- Jana ringkasan awam dan senarai semak kaedah; elakkan menghantar bahagian rujukan
Corak ini meminimumkan token input dan output sambil mengekalkan ketepatan di tempat yang penting.
Mengapa sehingga 10× dan bukan sentiasa 10×?
Penjimatan token bergantung pada:
- Ketumpatan dokumen: Reka letak yang lebih berat mendapat manfaat yang lebih besar
- Skop tugas: Pengekstrakan yang disasarkan mengalahkan penjanaan semula teks penuh
- Harga model: Harga input penglihatan berbanding harga input teks berbeza mengikut pembekal
- Pra-/pasca-pemprosesan: Pemilihan rantau yang baik dan penyahkodan terhad meningkatkan keuntungan
Jangkakan 2–4× secara umum + peningkatan kepada ~10× pada aliran kerja yang kompleks, berbilang halaman dan sarat reka letak.
Salah tanggapan biasa
- “Imej lebih berat daripada teks, jadi ini mesti menelan belanja lebih.”
- Dalam pengebilan LLM, kos menjejaki token model, bukan saiz fail mentah. Tampalan visual selalunya menggantikan beribu-ribu token subperkataan.
- “OCR sudah diselesaikan, jadi mengapa menyukarkannya?”
- OCR bergelut dengan semantik reka letak, jadual, setem dan hingar berbilang bahasa. Model bahasa-penglihatan menaakul struktur secara langsung.
- “Anda tidak boleh mendapatkan teks yang tepat daripada imej.”
- Benar untuk rentetan sempurna piksel. Itulah sebabnya banyak pasukan menggandingkan pendekatan dengan OCR terpilih hanya apabila ketepatan diperlukan.
Nota peralatan dan penyepaduan
- Lapisan pengambilan: Gunakan pengesan reka letak (gaya DocLayNet), atau latih model cadangan rantau ringan untuk borang/jadual.
- Penyahkodan terhad skema: Kekangan gaya Skema JSON atau Pydantic mengurangkan kelantangan dan ralat.
- Abah-abah penilaian: Ukur masa untuk menjawab, kos setiap dokumen dan ketepatan peringkat medan—bukan hanya kiraan token.
- Privasi: Untuk dokumen sensitif, pertimbangkan VLM di premis dan pastikan storan pembenaman visual yang disulitkan.
Perlu diingatkan: Jika anda meneroka aliran kerja berbilang mod, Sider.AI boleh menyelaraskan eksperimen. Anda boleh mengulangi geseran untuk input teks dan imej, membandingkan kos/kependaman merentas model bersebelahan dan menjana kelompok penilaian secara automatik. Itu memudahkan untuk mengesahkan sama ada pendekatan "teks sebagai imej" DeepSeek‑OCR sebenarnya mengurangkan kos token anda sehingga 10× pada data anda sendiri sebelum anda komited kepada penghijrahan. Pelan tindakan: pandu dalam seminggu
- Hari 1–2: Instrumenkan saluran OCR + LLM semasa anda. Log token input/output, kependaman dan ketepatan setiap tugas.
- Hari 3: Tambah langkah pembenaman visual dan pengambilan rantau. Cache pembenaman setiap halaman.
- Hari 4: Tukar panggilan LLM anda kepada VLM untuk rantau yang disasarkan. Hadkan output.
- Hari 5: Jalankan perbandingan A/B pada 100–500 dokumen. Jejaki delta kos, ketepatan dan mod ralat.
- Hari 6–7: Tala DPI, pemasangan jubin dan pagar rantau; tambah sandaran OCR terpilih.
Jika nombor sepadan dengan jangkaan, kembangkan kepada pelancaran penuh; jika tidak, fokus pada pemilihan rantau yang lebih baik dan penyahkodan yang lebih ketat untuk merealisasikan penjimatan.
Perkara penting
- Pendekatan “teks sebagai imej” DeepSeek‑OCR mengurangkan kos token sehingga 10× dengan menggantikan token teks berjela-jela dengan tampalan visual padat, menggunakan pengambilan peringkat rantau dan meminimumkan penjanaan.
- Ia cemerlang pada dokumen padat, bersepah atau berbilang bahasa dan tugas pengekstrakan berstruktur.
- Strategi hibrid—penglihatan untuk penaakulan, OCR terpilih untuk rentetan yang tepat—selalunya memberikan nisbah ketepatan-kepada-kos yang terbaik.
- Pengukuran yang rapi dan kekangan output yang ketat ialah laluan terpantas kepada penjimatan dunia sebenar.
Tinjauan ke hadapan: ramalan masa depan ringkas
Apabila LLM berbilang mod matang, jangkakan pemahaman dokumen akan menumpu pada penaakulan pertama penglihatan dengan pemulihan teks atas permintaan. Kita akan melihat lebih banyak pralatihan sedar reka letak, token visual yang lebih murah dan output terhad JSON standard. Bagi pasukan yang bergelut dengan kos LLM hari ini, penukaran kepada “teks sebagai imej” boleh menjadi tuas paling berkesan—terutamanya pada skala.
Soalan Lazim
S1: Apakah pendekatan “teks sebagai imej” DeepSeek‑OCR dalam istilah mudah?
Daripada menukar halaman kepada rentetan panjang dengan OCR, DeepSeek‑OCR mengekalkan kandungan sebagai imej dan menggunakan model bahasa-penglihatan untuk menaakul reka letak. Ini mengurangkan token input dan selalunya mengurangkan kos sehingga 10×.
S2: Bagaimanakah “teks sebagai imej” mengurangkan kos token berbanding OCR?
Token visual (tampalan) meringkaskan rantau teks dan reka letak yang besar, menggantikan beribu-ribu token subperkataan. Pengambilan peringkat rantau dan penyahkodan terhad seterusnya mengurangkan token input dan output.
S3: Adakah DeepSeek‑OCR lebih tepat daripada OCR tradisional?
Untuk pemahaman reka letak dan pengekstrakan yang disasarkan, ia selalunya berprestasi lebih baik kerana ia menaakul struktur. Untuk teks yang tepat dan sempurna aksara, menggandingkannya dengan OCR terpilih boleh menghasilkan ketepatan tertinggi.
S4: Bilakah saya harus memilih OCR klasik berbanding saluran “teks sebagai imej”?
Gunakan OCR klasik jika anda memerlukan teks penuh yang boleh disalin untuk carian atau kebolehcapaian. Untuk pengekstrakan, ringkasan dan QA yang cekap kos pada PDF yang kompleks, pendekatan "teks sebagai imej" biasanya lebih baik.
S5: Bagaimanakah saya boleh memandu DeepSeek‑OCR untuk mengesahkan penjimatan sehingga 10×?
Tanda aras saluran OCR + LLM semasa anda pada dokumen perwakilan, kemudian tukar dalam model bahasa-penglihatan dengan pagar rantau dan output terhad skema. Bandingkan kiraan token, kependaman dan ketepatan tugas bersebelahan.
