Ievads: Kāpēc kompresija tagad ir LLM superspēja
Ja esat mēģinājis ietilpināt nedēļas garu tērzēšanas žurnālu, telemetrijas vai vairāku sistēmu lietotņu izsekošanas datus uzvednē, jūs esat saskāries ar konteksta logu grūti sasniedzamiem griestiem. Parastā pieeja — apkopot, apgriezt, sadalīt pa daļām — palīdz tikai līdz brīdim, kad sāk zust signāls. ievieš pārsteidzošu risinājumu: saspiest tekstu redzes žetonos, izmantojot cauruļvadu, lai krasi samazinātu kontekstu, nezaudējot jēgu. Sākotnējie ziņojumi no kopienas liecina par pasūtījuma lieluma kompresijas efektivitāti, izmantojot vizuālos žetonus, nevis neapstrādātus teksta žetonus, paradigmu, kuru daži analītiķi apraksta kā “Konteksta optisko kompresiju” un “tūkstošiem teksta žetonu pārvēršanu dažos simtos redzes žetonu” gariem konteksta darbplūsmām.
Šajā praktiskajā, soli pa solim pamācībā jūs uzzināsiet, kā saspiest tērzēšanas vēstures, žurnālus un datus , vienlaikus saglabājot precizitāti, kā arī to, kā apvienot balstītu kompresiju ar kopsavilkumu veidošanu, hierarhisku sadalīšanu pa daļām un jaudīgai, zemas latentuma uzvednei.
Kam šī rokasgrāmata ir paredzēta
- kopilotu veidotājiem, kuriem jāapstrādā garas tērzēšanas un aktivitāšu izsekošanas informācija
- Datu inženieriem, kuri cīnās ar žurnāliem, izsekošanas datiem un metriku spriešanai
- Pētniekiem, kuri prototipē īpaši garu kontekstu darbplūsmas ar ierobežotu budžetu
Īss ievads vienā teikumā: Ja jūs varat pārvērst plašu tekstu kompaktos vizuālos attēlojumos, kurus var lasīt, jūs atgūstat konteksta budžetu, nezaudējot spriešanas pamatprincipus.
Kas ir kompresija? Galvenā ideja
- Redzes žetonu kompresija: Pārvērš blīvus teksta laidumus augstas informācijas vizuālajās iegultnēs; redzes žetoni var būt lētāki un kompaktāki nekā līdzvērtīgi teksta žetoni.
- Konteksta optiskā kompresija: Izmantojiet , lai kodētu lielu teksta kontekstu kā attēlus vai vizuāli strukturētus izkārtojumus, saglabājot semantisko struktūru, vienlaikus samazinot žetonu skaitu.
- Gara konteksta darbplūsmas: Saspiest tūkstošiem žetonu simtos redzes žetonu, nodrošinot lielākus darba komplektus plānošanai, rīku izmantošanai vai vairāku gājienu spriešanai.
Kad to izmantot
- Tērzēšanas vēstures ar atkārtotiem formulējumiem vai paredzamu struktūru
- Sistēmas žurnāli, izsekošanas dati, būvējumu rezultāti vai analītikas izgāztuves
- Dokumentācijas momentuzņēmumi, informācijas paneļi vai daļēji strukturēti ziņojumi
Ko jūs izveidosiet šajā pamācībā
Jūs ieviesīsiet cauruļvadu, lai:
- Normalizētu un segmentētu tērzēšanas/žurnāla datus.
- Izvēlētos kompresijas stratēģijas ( vizuālā, tekstuālā apkopošana vai hibrīda).
- Ģenerētu kompaktus vizuālos attēlojumus, izmantojot .
- Indeksētu ar metadatiem izgūšanai.
- Vaicātu ar hibrīdu uzvedni, kas pieņem gan tekstu, gan attēlus.
- Novērtētu precizitāti un izmaksas.
1. sadaļa — Datu sagatavošana: Padarīt nekārtīgas vēstures modelim draudzīgas
- Normalizēt laika zīmogus un lomas: piemēram, {user: 'John', bot: 'ChatGPT'}.
- Mīnusi: nepieciešams atbalsts; nepieciešama renderēšana un attēlu ievade/izvade.
- Izmantot, kad: jums ir nepieciešama gara konteksta precizitāte, diagrammas/tabulas vai precīza formulējuma saglabāšana.
- Saglabāt “skeleta” teksta kopsavilkumu enkurošanai + pievienot saspiestas vizuālās kartītes dziļumam.
- Tas līdzsvaro izgūšanas precizitāti (teksts) un atsaukšanu/precizitāti (redze).
3. sadaļa — Vizuālā konteksta karšu veidošana ar
Mērķis: Pārveidot 5–20 KB teksta laidumus 512–1024 pikseļu attēlos, kas optimizēti lasīšanai.
Veidņu ieteikumi
- Virsrakstu josla: sesijas ID, laika diapazons, tēmas nosaukums.
- Divu kolonnu izkārtojums: kreisā kolonna galvenajiem gājieniem/žurnāliem; labā kolonna galvenajiem punktiem (kļūdas, lēmumi, komandas, metrika).
- Monotelpas bloki koda/žurnāla rindām; aizzīmju kopsavilkumi kontekstam.
- Kontrastam draudzīga tēma; izvairieties no sīkiem fontiem (<11–12 pt pie 1x mēroga).
Renderēšanas padomi
- Izmantojiet , lai izveidotu tīras, konsekventas kartītes (piemēram, ekrānšāviņi).
- Iekļaujiet stabilus enkurus (rindu numurus, ID), lai atsauktos uz konkrētām vienībām uzvednēs.
- Ierobežojiet līdz ~200–400 vārdiem katrā kartītē; izveidojiet karšu kopumu katrai sesijai.
caurlaide
- Palaidiet , lai nodrošinātu precizitāti: kartīte → teksts. Tas vēlreiz pārbauda, vai jūsu izkārtojums un fonti tiek precīzi atkodēti.
- Ja teksts atšķiras, pielāgojiet fontus, atstarpes vai sadaliet blīvu kodu vairākās kartītēs.
Kāpēc tas darbojas
Kopienas un trešo pušu raksti norāda uz ievērojamiem efektivitātes ieguvumiem, saspiežot teksta kontekstu redzes žetonos, vienlaikus saglabājot lasāmību.
4. sadaļa — Apkopojuma slāņi: Saglabājiet skeletu, uzkrājiet muskuļus
Ieviesiet slāņveida kopsavilkumus, lai jūs varētu palielināt izšķirtspēju tikai tad, kad tas ir nepieciešams.
- L0: Atomu rindu/gājienu tagi — loma, laika zīmogs, tips (kļūda, piezīme, kods), iegulšana.
- L1: Mikro kopsavilkums (1–2 teikumi) katriem 20–40 gājieniem vai 2–5 minūšu žurnāliem.
- L2: Sesijas anotācija (5–8 aizzīmes) ar lēmumiem, bloķētājiem, rezultātiem un saitēm uz vizuālajām kartītēm.
- L3: Diegs-no-diegiem — iknedēļas vai projekta līmeņa apkopojumi.
Praktiskā heuristika
- Vienmēr iekļaujiet burtiskus enkurus: kļūdu kodus, ID, izsekošanas ID, ievietošanas .
- Izmantojiet ekstraktīvus kopsavilkumus pirms abstraktīviem; pēc tam precizējiet ar abstraktīviem lasāmībai.
- Pievienojiet aizzīmi “kas ir mainījies kopš pēdējās sesijas”, lai paātrinātu iekļaušanas uzvedni.
5. sadaļa — Hibrīda indeksēšana un izgūšana
Metadatu shēma
- doc_id, session_id, time_range, roles, topic labels
- importance score, error severity, component/service
- links: {card_id: , summary_id: }.
- Apvienojiet balstītu kompresiju ar slāņveida kopsavilkumiem un precizitātei un dziļumam.
- Optimizējiet izkārtojumus, fontus un indeksēšanu, lai saglabātu augstu precizitāti un zemu latentumu.
- Izturieties pret saspiestām kartītēm kā pret pirmklasīgiem pierādījumiem un citējiet tās uzvednēs.
Nākamie soļi
- Prototipējiet minimālo cauruļvadu vienam tērzēšanas projektam vai žurnālu datu kopai.
- A/B tests tikai teksta un hibrīda kompresijai 10 tipiskiem vaicājumiem.
- Regulējiet karšu dizainu, izgūšanas miksu un budžetus, pamatojoties uz precizitātes metriku.
- Mērogojiet komandas darbplūsmām ar kešatmiņu, un uzraudzību.
BUJ
Q1: Kas ir un kāpēc to izmantot, lai saspiestu tērzēšanas vēstures ?
nodrošina konteksta optisko kompresiju — kodējot lielus teksta laidumus kā vizuālos žetonus, kurus var efektīvi apstrādāt. Tas var samazināt žetonu budžetus un saglabāt struktūru labāk nekā tikai teksta apkopošana, vienlaikus saglabājot augstu precizitāti gariem kontekstiem.
Q2: Kā vizuālo žetonu kompresija salīdzinās ar teksta apkopošanu?
Vizuālo žetonu kompresija bieži vien sasniedz augstāku efektīvu kompresiju, vienlaikus saglabājot izkārtojumu un precīzu formulējumu, kas palīdz ar citātiem, kodu un kļūdu virknēm. Apkopošana ir ātrāka un vienkāršāka, bet var izlaist retas detaļas vai ieviest abstrakcijas kļūdas.
Q3: Vai es varu apvienot ar žurnāliem un tērzēšanai?
Jā. Izmantojiet teksta kopsavilkumus ātrai atsaukšanai un pievienojiet validētas vizuālās kartītes dziļumam. Divu posmu izgūšanas ierīce var vispirms izgūt anotācijas, pēc tam visatbilstošākās kartītes, līdzsvarojot precizitāti un konteksta pārklājumu.
Q4: Kādi izkārtojumi vislabāk darbojas saspiestām konteksta kartītēm?
Izmantojiet tīru ar virsrakstu joslu, divu kolonnu saturu, monotelpas blokus kodam un skaidras aizzīmes galvenajiem punktiem. Saglabājiet 200–400 vārdus katrā kartītē, 11–12 pt fontus vai lielākus un validējiet lasāmību ar precizitāti.
Q5: Kā es varu izmērīt, vai kompresija zaudē svarīgu informāciju?
Izsekojiet Precizitāti@K pret faktu zelta kopumu, pierādījumu pārklājumu, izmantojot rindu numuru citātus, un latentuma/izmaksu metriku. Mērķējiet uz ≥95% faktu saglabāšanu un nodrošiniet, lai lielākā daļa atbilžu citētu kartītes rindu vai enkura ID.
