Pri "dolgem kontekstu UI" je tako, da vsi prisegajo nanj – dokler jih ne vprašate podrobnega vprašanja o strani 47. Potem pa ima naenkrat spomin zlate ribice s poškodbo glave. pristane nekje vmes s preprosto, a resnično trditvijo: stisnite, kar je pomembno, ohranite strukturo in ne zažigajte žetonov, kot da je leto 2023. Obljuba ni "OCR, vendar boljši." Je OCR, ki spoštuje postavitev in noče napihovati vašega okna konteksta z nepotrebnim šumom.
In ja, to je natanko tisto, kar večina tako imenovanih cevovodov z dolgim kontekstom dela narobe. V model mečejo surovo besedilo in mislijo, da so opravili svoje. Dan se takoj konča v halucinacijah.
Poglobimo se v to, kako integrirati v resničen cevovod z dolgim kontekstom – takšen, ki se dejansko razširi, plača račun za računalništvo brez solz in se ne sesuje, ko ima PDF tabele, opombe ali, bog ne daj, pravne dokaze.
Zakaj je drugačen (in uporaben)
- Postavitev so podatki: Dolgi dokumenti niso samo besedilo; so prostorski argumenti. Naslovi, stolpci, tabele, napisi slik – vse to je pomen. si prizadeva ohraniti to strukturo kot prvovrstnega državljana, kar je točno tisto, kar modeli z dolgim kontekstom potrebujejo za razmišljanje po stotinah strani, ne da bi izgubili rdečo nit.
- Stiskanje brez lobotomije: Bistvo ni v tem, da bi vse stlačili v okno 8K. Bistvo je ohraniti signal – gost, strukturiran, navigabilen – in poceniti ostalo.
- Dobro se razume z nadaljnjimi koraki: RAG, povzemanje, transformatorji z dolgim kontekstom, celo agenti. Boljša kot je vaša plast OCR, manj se morajo vaše plasti za pridobivanje in sklepanje opravičevati zanjo.
Kaj gradite: Cevovod z dolgim kontekstom s hrbtenico
Mislite na cevovod kot na pet delov, od katerih vsak dobro opravlja eno nalogo:
- Vrste vnosa: PDF-ji (digitalno ustvarjeni in skenirani), slike, TIFF-i iz skenerjev, neurejeni pisarniški izvozi.
- Predobdelava: Odpravljanje popačenj, odstranjevanje šuma, binarizacija, če je potrebno, in dosledno razdeljevanje strani. Ohranjanje metapodatkov na strani – številke strani, izvorna datoteka, sidra razdelkov.
- Ciljna izhodna oblika: Slike ali platna strani v predvidljivi obliki (PNG ali JPEG) s stabilno DPI.
- Zaženite na vsaki strani, da izvlečete:
- Razpone besedila z omejitvenimi okvirji (x, y, širina, višina)
- Vrste blokov: naslovi, odstavki, seznami, tabele, slike, opombe
- Vrstni red branja in hierarhična struktura (drevo dokumenta)
- Ohranite tako surovo besedilo kot tudi funkcije postavitve. Če lahko izvozi zemljevid na ravni žetonov, ga ohranite. Tabele morajo biti strukturirane (CSV/HTML) in tudi povezane nazaj s svojimi koordinatami.
- Stiskanje, ki upošteva postavitev
- Trik: stisnite po pomembnosti bloka, ne pa po naivnem krajšanju žetonov.
- Hevristike, ki dejansko delujejo:
- Naslovi in povzetki razdelkov: ohranite dobesedno.
- Odstavki: izbor na ravni stavkov z uporabo lahkega razvrščevalnika (BM25/ColBERT-style ali majhen lokalni kodirnik).
- Tabele: ohranite glave in zgornje-k statistično različne vrstice; ohranite numerične stolpce popolnoma nedotaknjene; shranite celotno tabelo izven pasu.
- Napisi in opombe: ohranite; nizki žetoni, visok pomen.
- Kompakten narativni kontekst, ki se zaveda postavitve: 10–20 % prvotnih žetonov, koherenten, navigabilen.
- Stranski indeks: kazalci iz stisnjenih razponov na bloke polne zvestobe.
- Pridobivanje in usmerjanje (RAG, narejen kot odrasel)
- Gosti vektorji za semantično iskanje po stavkih/odstavkih.
- Redki (BM25) za natančno iskanje – kode, citati, identifikatorji.
- Indeks, ki se zaveda tabele: vdelave na vrstico in na celico za numerična vprašanja.
- Vprašanja, ki vsebujejo veliko ključnih besed → najprej redko, ponovno razvrstite z gosto.
- Analitična vprašanja ali vprašanja "zakaj" → najprej gosto, ponovno razvrstite z redkimi sidri.
- Poizvedbe tabele/matematike → neposredno indeks tabele, z izvorom vrstice/stolpca.
- Sklepanje z dolgim kontekstom
- LLM z dolgim kontekstom za celostne pozive (dokumenti politike, RFP-ji, raziskovalni članki).
- Postopni agent za klicanje orodij za večstopenjske naloge: pridobi → analiziraj → preveri → citiraj.
- Nikoli ne pošljite celotne kompaktne pripovedi v model. Sestavite kontekst tik pred uporabo: zgornji razdelki po namenu, ustrezne tabele in bližnji odstavki. Šivajte z drobtinicami (imena razdelkov, sklicevanja na strani, ID-ji slik).
Kaj pride ven: Odgovori s potrdili. Vsaka trditev se poveže nazaj z ID-jem bloka, številko strani in obsegom koordinat, ki jih lahko poudarite v izvirnem PDF-ju. Tako pridobite zaupanje.
Praktični načrt: Od surovih PDF-jev do odgovorov z dolgim kontekstom
Faza 1: Sprejem dokumenta
- Preverite datoteko: če je zaščitena z geslom ali poškodovana, hitro ne uspe.
- Upodobite v slike strani pri fiksni DPI (300 je v redu; 200 za hitrost).
- Ohranite zgoščenke na ravni strani, da lahko predpomnite OCR.
Faza 2: Prehod
- Serijske strani za pretočnost GPU.
- Izvlecite bloke in vrstni red branja. Normalizirajte koordinate v dosleden prostor strani.
- JSON: seznam blokov z vrsto, besedilom, bbox, stranjo.
- Tabele kot CSV/HTML plus zemljevid bbox za vsako celico.
- Izbirna sešita oznaka z namigi za postavitev (## za naslove, :::table za tabele itd.).
Faza 3: Čiščenje po OCR
- Združite besede s pomišljajem čez prelome vrstic.
- Razrešite stolpce: če ima stran dva stolpca, zagotovite, da vrstni red branja spoštuje stolpce.
- Zaznajte naslove prek hevristik pisave/velikosti, če niso na voljo; zgradite drevo TOC.
- Odstranite podvojene ponavljajoče se glave/noge (pogoste v skeniranih pogodbah).
Faza 4: Stiskanje s strukturo
- Razdelite odstavke na stavke. Ocenite stavke s poceni razvrščevalnikom, usposobljenim za vaše področje.
- Ohranite stavke z visokim rezultatom; vedno ohranite prvi stavek pod vsakim naslovom.
- Za tabele: ohranite vrstico glave + zgornje-k vrstice po varianci/pomembnosti in sklic na celotno tabelo.
- Ustvarite kompaktno pripoved in stranski indeks, ki povezuje vsak ohranjen stavek z izvirnikom.
Faza 5: Indeksiranje
- Goste vdelave za stavke (po potrebi uporabite močan večjezični model).
- Redki indeks nad celotnim korpusom (naslov, naslovi, kode, citati, identifikatorji, enote).
- Vdelave tabele na ravni vrstice in celice; ohranite numerično statistiko (min, max, povprečje) za hitre filtre.
- Shranite izvor: doc_id, stran, bbox, block_id.
Faza 6: Usmerjanje poizvedb in pridobivanje
- Razvrstite namen poizvedbe: iskanje vs analiza vs matematična tabela vs primerjava.
- Zaženite ustrezen recept za pridobivanje:
- Iskanje: redko → ponovno razvrščanje gosto.
- Analiza: gosto → sosedi razdelka.
- Matematika tabele: indeks tabele + filtri vrstic; priložite bližnje besedilo za kontekst.
- 3–6 pridobljenih odlomkov (z naslovi in sklicevanji na strani)
- Po potrebi 1–2 majhni tabeli ali izračunana statistika
- Ohranite pozive pod točkami optimalnega delovanja, specifičnimi za model. Dolg kontekst ni neskončen kontekst.
Faza 7: Sinteza odgovorov s citati
- Zahtevajte strukturirano izhodno obliko: razdeljen odgovor in inline citate, kot je [Doc §2.3, str. 47, tbl A].
- Za zapletene trditve sprožite preverjanje: ponovno pridobite natančne razpone, ponovno zastavite ciljno vprašanje, uskladite konflikte.
- Vrniti odgovor s sledjo izvora, na katero lahko uporabniki kliknejo.
Opombe o zmogljivosti, ki prihranijo pravi denar
- Ne stavite na GPU: OCR je vezan na I/O in GPU v nenavadnem izmenjevanju. Serijsko obdelujte po številu strani in normalizirajte velikosti slik, da povečate ponovno uporabo jedra.
- Agresivno predpomnjenje: če se izvorna dokumentacija ni spremenila, ne ponavljajte OCR. Zgoščite bitmapo strani vsebine, ne datoteke.
- Tabele so mine: povečujejo število žetonov in zmanjšujejo kakovost. Čisto jih izvlecite in jih hranite izven splošnega konteksta, razen če jih vprašanje potrebuje.
- Razdeljevanje ni religija: razdelite po postavitvi (naslovi, odstavki), ne po dolžini žetonov. Razdeljevanje po dolžini žetonov je način, kako izgubite argumentacijsko strukturo.
- Preverite pred povzemanjem: ne povzemajte dvoumne odlomke, dokler pridobivanje ne zoži konteksta; stisnili boste napačne stvari.
Obravnavanje napak: Neprivlačni deli, ki so pomembni
- Pokvarjeni PDF-ji: poskusite z nadomestnim rasterizacijo. Če je še vedno pokvarjeno, vrnite diagnostični artefakt. Tiha napaka je slabša od nobenega odgovora.
- Smeti skeniranja (kakovost faksa): poskusite z odstranjevanjem šuma/povečanjem kontrasta; če zaupanje pade pod prag, označite za pregled s strani človeka. Priznajte, česar ne veste.
- Nelatinične pisave: zagotovite, da model OCR podpira vaš nabor pisav; sicer preusmerite na specializirano različico OCR.
- Tabele, ki so videti kot umetnost: če zaznavanje tabele ne uspe, se ne pretvarjajte. Obravnavajte kot sliko z napisom in vrnite obvestilo "potrebna ročna ekstrakcija".
Podatkovni model: Hranite zemljevid z ozemljem
- vrsta: naslov/odstavek/seznam/tabela/slika/opomba
- besedilo (neobvezno), bbox, vrstni red, namigi za slog
- vrstice, stolpci, besedila celic, bbox-i celic, zastavice glave
- doc_id, stran, block_id, odmiki, bbox
Varnost in skladnost
- Ne nalagajte občutljivih PDF-jev v API-je tretjih oseb, razen če vaša politika ne določa drugače. Če morate, šifrirajte med prenosom in mirovanjem.
- Redigirajte PII v koraku OCR, če je mogoče – redigiranje omejitvenega okvirja je močnejše od naknadnega maskiranja nizov.
- Beležite pridobivanje in ustvarjanje odgovorov brez beleženja vsebine, kjer je to prepovedano. Hranite zgoščene vrednosti in ID-je, ne pa surovega besedila.
Izbire modelov z dolgim kontekstom (brez napihovanja)
- Če so vaša vprašanja večinoma "kje piše X", dajte prednost pridobivanju in citiranju pred samo dolžino konteksta. Kratek, natančen kontekst premaga 1M žetonsko halucinacijo.
- Če so vaši dokumenti pripovedni (raziskave, poročila), modeli z dolgim kontekstom pomagajo, vendar le, če jih vodi struktura razdelka.
- Poteki dela, ki vsebujejo veliko tabel, želijo razdeljene možgane: jezikovni model za prozo, lahek program za aritmetiko in filtriranje.
Različice in odstopanja
- OCR se izboljšuje; dokumenti se spreminjajo; vdelave odstopajo. Različicujte vse:
- Različica in konfiguracija mehanizma OCR
- Različica modela za vdelavo
- Ko se katera koli različica spremeni, ponovno indeksirajte inkrementalno. Hranite tako staro kot novo, dokler ne dokažete paritete.
Skica integracije za razvijalce
- Delavec 1: Zajem → upodabljanje strani → čakalna vrsta.
- Delavec 2 (GPU): na stran → strukturiran JSON → tabele.
- Delavec 3: Čiščenje + drevo postavitve → stiskanje.
- Delavec 4: Izgradnja indeksa (gost + redek + tabele) → objava.
- Storitev: Usmerjevalnik poizvedb → pridobivanje → sestavljanje pozivov → LLM → preverjanje → odziv.
- Shranjevanje: Shramba predmetov za slike strani in stranske avtomobile; DB za bloke in izvor; vektorski in redki indeksi.
Beseda o orodjih, ki ne delajo nereda
Najmanj vpadljiv del pogosto naredi cevovod. Tesen OCR, ki spoštuje postavitev, indeks, ki lahko reče "Ne vem," in graditelj pozivov, ki noče preobremeniti. To je to. Če želite to pritrditi v praktični potek dela – recimo, povzemanje pogodb, prečesavanje 300-stranskih RFI-jev ali revidiranje priročnikov SOP – dejansko deluje kot lepilna plast med OCR, pridobivanjem in pozivanjem z dolgim kontekstom, še posebej, če ga obravnavate kot discipliniranega vodjo del, ne pa kot čarovnika. Uporabite ga za orkestriranje: naloge zajema, politike razdeljevanja, izbiro modelov in zanko "preveri, preden zaupaš". Zasluži si svoje mesto, ko morate te naloge razširiti med ekipami in ohraniti rezultate ponovljive.
Težave, na katere boste naleteli do petka
- Prekomerno stiskanje: preveč ste izrezali in odgovori izgubijo nianso. Spremljajte metrike dolžine/pokritosti odgovorov; dodajte nadomestno možnost za pridobivanje celotnega bloka, ko zaupanje pade.
- Prekomerno pridobivanje: v poziv povlečete 60 delov in presegate kontekst. Omejite ga in se nagibajte k bližini (sosednji razdelki so zlati).
- Iluzije tabele: model prepričljivo navaja številko – vendar iz napačne vrstice. Vedno združite izrezke tabele s ključem vrstice v pozivu.
- Podvojene strani: poteki dela skeniranja radi ponavljajo. Zgoščene strani; odstranite podvojene na ravni strani, preden plačate OCR.
- Navzkrižni sklici in opombe: vsebujejo pravno pomembne zadržke. Nikoli ne izpuščajte opomb v dokumentih politike/pravnih dokumentih; hranite jih v pasu z nizkimi žetoni.
Merila kakovosti, ki ne lažejo
- Natančnost citiranja Top-k: ali citirani blok dejansko podpira trditev?
- Natančnost celice tabele: stopnja pravilnih sklicevanj na celice v številskih odgovorih.
- Zvestoba stiskanja: prekrivanje v slogu ROUGE/LFQA med stisnjeno pripovedjo in izvirnikom na razdelek.
- Latenca poizvedbe pod obremenitvijo: P95 od konca do konca, ne samo čas LLM.
- Ocena zaupanja ljudi: ali uporabniki sprejmejo ali zavrnejo odgovore na prvi pogled? To je edina metrika, ki napoveduje sprejetje.
Minimalni delovni primer (konceptualni)
- Vhod: 180-stranska specifikacija nabave s prilogami in petimi zapletenimi tabelami.
- Zaženete ; oddaja strukturirane bloke s polji in zvesto TOC.
- Stiskanje ohrani vse naslove, prve stavke in bistvene vrstice iz tabel. Stranska stran kaže nazaj na vse.
- Uporabnik vpraša: "Kateri razdelek določa trajanje garancije za električne komponente?"
- Usmerjevalnik izbere redko → gosto.
- Pridobivanje vrne dva razdelka in eno prilogo.
- Poziv napaja naslov+odstavke z inline citati.
- Model odgovori: "Razdelek 4.2.1, str. 67: 'Električne komponente imajo minimalno 36-mesečno garancijo...'" s povezavo, ki poudari natančen razpon.
- Uporabnik vpraša: "Kolikšen je skupni proračun moči po omarah?"
- Usmerjevalnik izbere indeks tabele. Izvleče prave vrstice, sešteje dva stolpca s preprostim orodjem in citira tabelo B-3 s ključi vrstic. Brez halucinirane matematike.
Zakaj to deluje, ko drugi ne
Ker obravnava OCR, pridobivanje in sklepanje kot ločene naloge s pogodbo med njimi. vam daje strukturo; stiskanje ohranja pomen; pridobivanje pridobi pravilne dokaze; model z dolgim kontekstom to poveže brez utapljanja v polnilu. Industrijski standard je, da vse stlačite v večje okno in molite. Molitev ni strategija.
Če boste bližnjice, te izrežite zadnje
- Ekstrakcija tabele: če tukaj varčujete, vsak nadaljnji korak podeduje nered.
- Vodovodne instalacije izvora: uporabniki odpustijo počasnost in celo občasne napačne odgovore; ne odpustijo pa odgovorov, ki jih ne morejo preveriti.
- Predpomnjenje in zgoščevanje: vaš račun za oblak vam bo odpustil, če boste to naredili pravilno.
Dialektični del: Ali sploh potrebujete dolg kontekst?
Začinjena misel: včasih je dolg kontekst bergle za slabo pridobivanje. Če so vaša vprašanja ozka in natančna, vlagajte v boljše indeksiranje in manjše kontekste. Dolg kontekst zasije, ko vas vprašanje pozove, da sintetizirate po razdelkih – izjeme politike, navzkrižno sklicevanje klavzul, pregledi literature. Sicer plačujete za pozornost, ki je ne potrebujete.
In če resnično potrebujete razumevanje "preberite celo stvar"? Ne silite modela, da vse hrani v delovnem spominu. Stopnjujte ga: oris → pridobi → upraviči. Tudi ljudje to počnejo.
Povzetek: Prinesite potrdila ali se ne trudite
Integracija v cevovod z dolgim kontekstom ne pomeni čaščenja pri oltarju večjih oken. Gre za spoštovanje dokumentov kot prostorskih argumentov, stiskanje z okusom, pridobivanje z namenom in odgovarjanje s potrdili. Storite to in vaš cevovod se neha pretvarjati, da se spomni strani 47 – in začne to dokazovati.
, uporabljen pametno, to naredi praktično: orkestrirajte faze, ohranite pozive poštene in uveljavite disciplino, ki jo delo z dolgim kontekstom dejansko zahteva. Če se to sliši neprivlačno, dobro. Privlačen del so odgovori, ki jim lahko zaupate.
Pogosta vprašanja
prilega v tej nastavitvi?
Kot orkestracijska plast: načrtuje OCR, uveljavlja politike razdeljevanja in pridobivanja ter ohranja pozive disciplinirane. Mislite na vodjo del, ne na čarovnika – tisto, zaradi česar se vsi drugi deli pojavijo pravočasno in s potrdili.</a>
