What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Kā izmantot RAGFlow: Praktisks ceļvedis uzticamu RAG lietotņu izveidei

Ja esat mēģinājis izveidot (RAG) sistēmu, jūs, iespējams, esat saskāries ar klasiskajiem sāpju punktiem: halucinācijām, nestabilu izguvi, lēniem un sarežģītu dokumentu pirmapstrādi. RAGFlow iejaucas kā darbplūsmas rīks, kas palīdz jums orķestrēt dokumentu ievadīšanu, sadalīšanu, vektorizāciju, izguvi un ģenerēšanu ar lielāku kontroli un novērojamību.

Šis ceļvedis izmanto praktisku un uz risinājumiem orientētu pieeju. Mēs iziesim cauri tīrai iestatīšanai, parādīsim, kā izmantot RAGFlow reāliem dokumentiem, un dalīsimies ar modeļiem, kas faktiski samazina halucinācijas un uzlabo atbilžu kvalitāti.

Kas ir RAGFlow un kāpēc to izmantot?

RAGFlow ir sistēma izveidei. Tipiskā RAG iestatījumā jūs:

Ievadāt dokumentus (PDF, tīmekļa lapas, slaidus, kodu utt.)

Sadalāt saturu izgūstamās vienībās

Ieguldat fragmentus vektoros semantiskai meklēšanai

Izgūstat top-k atbilstošus fragmentus jautājuma laikā

Ģenerējat pamatotu atbildi, izmantojot LLM

RAGFlow pievieno noteiktus noklusējumus, darbplūsmas blokus un drošības pasākumus, lai jūs varētu ātrāk atkārtot un piegādāt uzticamākas lietotnes. Tas ir īpaši noderīgi, ja vēlaties:

Konsekventu sadalīšanu un metadatus: Labāka izguve sākas ar labākiem fragmentiem.

Pievienojamus iegulšanas un LLM: Nomainiet OpenAI, lokālos modeļus vai uzņēmuma galapunktus.

Novērtējumus un drošības pasākumus: Izmēriet izguves kvalitāti un samaziniet halucinācijas.

Izvietojamus <i>pipeline</i>: Pārejiet no uz ražošanu ar mazāku pārrakstīšanu.

Ātrā palaišana: No nulles līdz strādājošam RAGFlow

Zemāk ir minimāla, darbplūsma, kuru varat pielāgot. Pat ja jūsu vide atšķiras, secība un drošības pasākumi ir pārnesami.

1) Sagatavojiet savu vidi

Izveidojiet .env ar savām atslēgām:

OPENAI_API_KEY (vai citu LLM pakalpojumu sniedzēju)

EMBEDDINGS_API_KEY (ja izmantojat atsevišķu pakalpojumu sniedzēju)

VECTOR_DB_URL (piemēram, Pinecone, Weaviate, Qdrant vai lokālu)

Iestatiet projekta direktoriju, piemēram, ragflow-project/ ar mapēm:

data/raw/ (avota faili)

data/processed/ (attīrīti fragmenti)

configs/ (YAML/JSON iestatījumiem)

eval/ (datu kopas un atskaites)

2) Ievadiet dokumentus ar tīriem metadatiem

Labi metadati = labāka izguve. Normalizējiet nosaukumus, autorus, datumus un avotus.

Konvertējiet PDF un slaidus tekstā ar robustu analizatoru

Saglabājiet struktūru: virsrakstus, sarakstus, koda blokus un tabulas

Pievienojiet metadatus katram fragmentam: source, section, page, timestamp, version

Padoms: Saglabājiet doc_id un chunk_id, lai atbalstītu citātus un atkārtotu ievadīšanu.

3) Izvēlieties fragmentēšanas stratēģiju, kas atbilst jūsu saturam

Fragmentēšana stipri ietekmē izguves kvalitāti un latentumu.

Stāstījuma dokumentiem: semantiskā fragmentēšana (sadalīšana pēc virsrakstiem/rindkopām)

Tehniskajiem dokumentiem: izmantojiet hibrīdo fragmentēšanu (semantiskā + fiksēts logs)

Koda gadījumā: sadaliet pēc funkcijas/klases ar mazu bīdāmu logu

Ieteicamie iestatījumi sākumam:

chunk_size: 600–1000

chunk_overlap: 50–100

max_depth: ierobežojiet ligzdotās sadaļas līdz 2–3 līmeņiem, lai izvairītos no fragmentācijas

4) Izvēlieties iegulšanu un vektoru krātuvi

Sāciet ar spēcīgu vispārēja mērķa iegulšanas modeli (piemēram, text-embedding-3-large vai modernu lokālu modeli). Ja privātums ir galvenais, apsveriet pašu mitinātu iegulšanu.

Izmantojiet vektoru DB, kas atbalsta:

Hibrīda meklēšanu (blīva + atslēgvārds)

Filtrus (metadatu ierobežojumi)

Batch upserts un indeksa metrika

Indeksa iestatījumi, ko testēt:

top_k = 5–10 sākotnējai izguvei

similarity_metric = cosine (vai dot noteiktiem modeļiem)

Iespējojiet maksimālu marginālu atbilstību (MMR), lai samazinātu dublēšanos

5) Izguves orķestrēšana

Implementējiet divu posmu izguves rīku:

Ātra kandidātu atsaukšana

Hibrīda meklēšana (BM25 + blīva)

Liels top_k (piemēram, 30–50)

Pārrindošana

Cross-encoder pārrindotājs vai LLM balstīta vērtēšana

Samaziniet līdz galīgajam top_k (piemēram, 5–8)

Pievienojiet metadatu filtrus: source:"handbook" AND section:"benefits" AND version:"v2", lai ierobežotu atbildes uz uzticamiem dokumentiem.

6) Pamatota ģenerēšana ar struktūru

Jūsu jāievieš citāti un atteikums, ja pierādījumi ir vāji.

Sistēmas piemērs:

Jūs esat uzmanīgs palīgs. Atbildiet TIKAI ar informāciju, kas pamatota ar sniegto kontekstu.
- Citējiet avotus iekļauti kā [doc_id:chunk_id].
- Ja konteksta nepietiek, sakiet "Sniegtajos dokumentos nav pietiekami daudz informācijas."
- Neizdomājiet faktus.

Lietotāja veidne:

Jautājums: {query}
Konteksts:
{top_chunks}
Instrukcijas:
- Vispirms sniedziet īsu atbildi, pēc tam sīkāku informāciju.
- Iekļaujiet citātus pēc katra faktu apgalvojuma.

7) Pievienojiet drošības pasākumus, lai samazinātu halucinācijas

Atbildamības pārbaude: Pirms ģenerēšanas pajautājiet mazam modelim: “Vai izgūtajos fragmentos ir tieši pierādījumi?” Ja nē, atgrieziet precizējošu jautājumu.

Citēt vai klusēt politika: Bloķējiet izvades, kurām trūkst citātu.

Toksicitātes/PII filtri uzņēmuma saturam.

8) Novērtēšana un nepārtraukta uzlabošana

Izveidojiet eval/ komplektu ar:

50–200 reāli lietotāju jautājumi

Pamatotas atbildes (vai uzticamas atsauces)

Paredzamie avoti (doc id), ja piemērojams

Mērīt:

Izguves trāpījumu līmenis (vai zelta avots parādās top-k?)

Atbildes uzticamība (citātu pamatoti apgalvojumi)

Latentums (p95 )

Izmaksas (par 100 vaicājumiem)

Atkārtojiet:

Fragmenta izmērs un pārklāšanās

Iegulšanas modeļa izvēle

Pārrindotājs pret augstāku top-k

struktūra un ierobežojumi

Pilns RAGFlow : Konfigurācijas piemērs

Zemāk ir konceptuāla konfigurācija, kuru varat pielāgot savai rīku ķēdei. Nomainiet pakalpojumu sniedzēju nosaukumus pēc vajadzības.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Kā izmantot RAGFlow dažādiem satura veidiem

Produktu rokasgrāmatas un ceļveži

Dodiet priekšroku semantiskai fragmentēšanai ar skaidrām sadaļu robežām

Pievienojiet versiju un spēkā stāšanās datumu, lai novērstu novecojušas atbildes

Izmantojiet stingrus filtrus: vienmēr pieprasiet version = latest

Zināšanu bāzes un FAQ

Izmantojiet mazākus fragmentus (400–600 ) precīzām atbildēm

Palieliniet kandidātu kopu un paļaujieties uz pārrindošanu, lai atrastu precīzu fragmentu

Automātiski ģenerējiet kanoniskus J/A pārus, lai palielinātu atsaukšanu, izmantojot leksisko meklēšanu

Inženierijas dokumenti un kods

Fragmentējiet pēc funkcijas/moduļa un iekļaujiet importa grafikus metadatos

Iespējojiet vecāku un bērnu izguvi: atgrieziet funkciju + tās docstring kontekstu

Izmantojiet kodu zinošu pārrindotāju, lai noteiktu atbilstošu simbolu prioritāti

Juridiskā atbilstība

Pieprasiet rindkopu līmeņa citātus

Pievienojiet atteikuma loģiku nepilnīgam kontekstam

Glabājiet regulatora apstiprinātu avotu zelta komplektu atsevišķā indeksā

modeļi, kas patiešām darbojas

Atbildiet, pēc tam citējiet: Īsa atbilde augšpusē; citāti iekļauti pēc katra apgalvojuma

Izguves ķēde: Lūdziet modelim vispirms apkopot katru fragmentu, pēc tam sintezēt

Vaicājuma pārrakstīšana: Paplašiniet lietotāju vaicājumus ar sinonīmiem un domēnu terminiem pirms izguves

Kontrastējoši <i>prompt</i>: “Paskaidrojiet, kāpēc variants A ir labāks par B, pamatojoties uz kontekstu.” Tas liek izmantot pierādījumus

Vaicājuma pārrakstīšanas soļa piemērs:

Oriģināls: "kāda ir mūsu PTO pārnešanas politika?"
Pārrakstīt: "apmaksāta brīvā laika pārnešanas politika; atvaļinājuma pārcelšana; maksimālās stundas; politikas versija jaunākā"

Novērojamība un atgriezeniskās saites cilpas

Reģistrējiet, kuri fragmenti tika izmantoti, to rezultāti un kuri tika ignorēti

Tveriet īkšķus uz augšu/uz leju ar īsu pamatojumu; ievadiet to atpakaļ izguves rīka regulēšanā

Pirms jebkādu modeļa izmaiņu izvietošanas katru nedēļu palaidiet regresijas testus savā eval komplektā

Veiktspējas regulēšanas

Ja atbildes šķiet vispārīgas: palieliniet candidate_top_k un pievienojiet spēcīgāku pārrindotāju

Ja atbildēs trūkst detaļu: samaziniet fragmenta izmēru; nedaudz palieliniet leksisko svaru

Ja citāti atkārto vienu un to pašu fragmentu: iespējojiet MMR un palieliniet daudzveidību

Ja latentums ir augsts: kešatmiņā saglabājiet iegulšanu, iepriekš aprēķiniet vaicājumu pārrakstīšanu, izmantojiet mazāku pārrindotāju

Ja izmaksas pieaug: samaziniet ģenerēšanas temperatūru, saīsiniet , izmēģiniet mazāku LLM pirmajai kārtai

Drošības un pārvaldības pamati

Šifrējiet saglabātos vektorus un rediģējiet sensitīvus laukus metadatos

Izmantojiet piekļuves kontroli katram indeksam; segmentējiet pēc komandas vai datu jutīguma

Uzturiet datu izcelsmes ierakstu: doc avota URL, kontrolsummu un ievadīšanas laika zīmogu

Gadījuma izpētes momentuzņēmums: No sarežģītiem PDF līdz uzticamām atbildēm

Atbalsta komanda ievadīja 1200 PDF lappuses. Sākotnējā izguve bija nekonsekventa; aģenti neuzticējās botam. Pēc pārejas uz semantiski hibrīdu fragmentēšanu (800 , 80 pārklāšanās), iespējojot pārrindošanu un ieviešot citēt vai klusēt, top-k trāpījumu līmenis pieauga no 62% līdz 89%, un aģentu pieņemšana dubultojās. Galvenais nebija lielāks LLM — tie bija tīrāki fragmenti un stingrāka izguve.

Rīku padoms: Ātra atkārtošana ar AI sānjoslu

Vērts atzīmēt: ja jūs eksperimentējat ar un izguves fragmentiem daudzos dokumentos, AI asistents, kas ļauj jums tērzēt par PDF, tīmekļa lapām un kodu tieši no pārlūkprogrammas, var paātrināt atkārtošanu. Starp citu, Sider.AI (https://sider.ai/) piedāvā AI sānjoslu, kas ļauj jums ievilkt kontekstu no lapas, kurā atrodaties, apkopot un ātri precizēt . Tas ir noderīgi RAG prototipēšanai un fragmentu kvalitātes pārbaudei pirms formalizēšanas.

RAGFlow problēmu novēršana: Ātri labojumi

“Modelis ir pārliecināts, bet kļūdains.”

Iespējojiet atbildamības pārbaudi; samaziniet temperatūru; pieprasiet citātus

“Meklēšana atgriež gandrīz dublikātus.”

Ieslēdziet MMR; pievienojiet pārrindotāju; samaziniet fragmentu pārklāšanos

“Latentums maksimumā palielinās.”

Partijas iegulšana; kešatmiņā saglabājiet vaicājumu pārrakstīšanu; izmantojiet straumēšanas ģenerēšanu

“Vecās politikas turpina parādīties.”

Filtrējiet pēc version = latest; norakstiet vai apbediet novecojušus dokumentus

Nākamie soļi: Padariet savu RAGFlow uzticamu ražošanā

Sāciet ar mazu, uzticamu korpusu; vispirms pilnveidojiet fragmentēšanu un filtrus

Pievienojiet pārrindotāju pirms LLM jaunināšanas

Izveidojiet 100 jautājumu eval komplektu un katru nedēļu izsekojiet trāpījumu līmeni

Savienojiet lietotāju atsauksmes, lai nepārtraukti regulētu izguvi

Galvenie secinājumi:

Izguves kvalitāte pārspēj modeļa lielumu RAG

Fragmentēšana, metadati un pārrindošana ir jūsu galvenie sviras

Drošības pasākumi, piemēram, citēt vai klusēt, dramatiski palielina uzticību

Ieguldiet agrīni novērojamībā un novērtēšanā

Ar šīm praksēm RAGFlow kļūst par uzticamu pamatu pamatotām atbildēm — neatkarīgi no tā, vai jūs nodrošināt palīdzības botu, izstrādātāja palīgu vai iekšējo zināšanu asistentu.

FAQ

Q1:Kas ir RAGFlow un kā es varu to izmantot dokumentu QA? RAGFlow ir ietvars izguves papildinātu ģenerēšanas izveidei. Jūs ievadāt, sadalāt, ieguldat, izgūstat un ģenerējat atbildes ar citātiem, lai samazinātu halucinācijas un uzlabotu precizitāti.

Q2:Kā man vajadzētu sadalīt dokumentus RAGFlow? Izmantojiet semantisku vai hibrīdu fragmentēšanu ar 600–1000 fragmentiem un 50–100 pārklāšanos. Koda gadījumā sadaliet pēc funkcijas vai klases un iekļaujiet apkārtējo kontekstu.

Q3:Kura vektoru datubāze darbojas vislabāk ar RAGFlow? Izvēlieties krātuvi, kas atbalsta hibrīda meklēšanu, metadatu filtrus un pārrindošanu — Qdrant, Weaviate, Pinecone vai lokāla opcija ir izplatītas izvēles.

Q4:Kā es varu novērst halucinācijas RAGFlow lietotnē? Ieviesiet citēt vai klusēt politiku, pievienojiet atbildamības pārbaudi pirms ģenerēšanas un saglabājiet stingrus par tikai izgūta konteksta izmantošanu.

Q5:Kāda metrika man jāizseko, lai novērtētu RAGFlow? Uzraugiet izguves trāpījumu līmeni, atbildes uzticamību, latentumu un izmaksas par 100 vaicājumiem, un uzturiet mazu, bet reprezentatīvu novērtēšanas komplektu.