What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Kako koristiti RAGFlow: Praktični vodič za izgradnju pouzdanih RAG aplikacija

Ako ste pokušali izgraditi sustav generiranja s proširenim dohvaćanjem (RAG), vjerojatno ste naišli na klasične probleme: halucinacije, nepouzdano dohvaćanje, spore procese i neurednu pretprocesiranje dokumenata. RAGFlow stupa na scenu kao alat za cjeloviti tijek rada koji vam pomaže orkestrirati unos dokumenata, razdvajanje u dijelove, vektorizaciju, dohvaćanje i generiranje uz više kontrole i mogućnosti promatranja.

Ovaj vodič ima praktičan pristup usmjeren na rješenja. Proći ćemo kroz čisto postavljanje, pokazati vam kako koristiti RAGFlow za stvarne dokumente i podijeliti obrasce koji zapravo smanjuju halucinacije i poboljšavaju kvalitetu odgovora.

Što je RAGFlow i zašto ga koristiti?

RAGFlow je sustav za izgradnju cjevovoda generiranja s proširenim dohvaćanjem. U tipičnom RAG postavu, vi:

Unosite dokumente (PDF-ove, web stranice, slajdove, kod itd.)

Dijelite sadržaj u jedinice koje se mogu dohvatiti

Ugrađujete dijelove u vektore za semantičko pretraživanje

Dohvaćate top‑k relevantne dijelove u trenutku postavljanja pitanja

Generirate utemeljen odgovor pomoću LLM-a

RAGFlow dodaje mišljenja o zadanim postavkama, blokove tijeka rada i zaštitne mehanizme kako biste mogli brže iterirati i isporučiti pouzdanije aplikacije. Posebno je koristan ako želite:

Dosljedno razdvajanje u dijelove i metapodatke: Bolje dohvaćanje započinje s boljim dijelovima.

Uključive ugradnje i LLM-ove: Zamijenite OpenAI, lokalne modele ili korporativne krajnje točke.

Procjene i zaštitne mehanizme: Izmjerite kvalitetu dohvaćanja i smanjite halucinacije.

Cjevovode spremne za implementaciju: Prijeđite s prijenosnog računala na produkciju s manje prepisivanja.

Brzi početak: Od nule do radnog RAGFlow cjevovoda

U nastavku je minimalni, cjeloviti tijek rada koji možete prilagoditi. Čak i ako se vaše okruženje razlikuje, slijed i zaštitni mehanizmi su prenosivi.

1) Pripremite svoje okruženje

Stvorite .env sa svojim ključevima:

OPENAI_API_KEY (ili drugi pružatelj LLM-a)

EMBEDDINGS_API_KEY (ako koristite zasebnog pružatelja)

VECTOR_DB_URL (npr. Pinecone, Weaviate, Qdrant ili lokalni)

Postavite direktorij projekta, npr. ragflow-project/ sa sljedećim mapama:

data/raw/ (izvorne datoteke)

data/processed/ (očišćeni dijelovi)

configs/ (YAML/JSON za postavke cjevovoda)

eval/ (skupovi podataka i izvješća)

2) Unosite dokumente s čistim metapodacima

Dobri metapodaci = bolje dohvaćanje. Normalizirajte naslove, autore, datume i izvore.

Pretvorite PDF-ove i slajdove u tekst pomoću robusnog parsera

Sačuvajte strukturu: naslove, popise, blokove koda i tablice

Priložite metapodatke svakom dijelu: source, section, page, timestamp, version

Savjet: Zadržite doc_id i chunk_id za podršku citatima i ponovnom unosu.

3) Odaberite strategiju razdvajanja u dijelove koja odgovara vašem sadržaju

Razdvajanje u dijelove snažno utječe na kvalitetu dohvaćanja i latenciju.

Za narativne dokumente: semantičko razdvajanje u dijelove (podjela po naslovima/odlomcima)

Za tehničke dokumente: koristite hibridno razdvajanje u dijelove (semantičko + fiksni prozor)

Za kod: razdvajajte po funkciji/klasi s malim kliznim prozorom

Preporučene postavke za početak:

chunk_size: 600–1000 tokena

chunk_overlap: 50–100 tokena

max_depth: ograničite ugniježđene odjeljke na 2–3 razine kako biste izbjegli fragmentaciju

4) Odaberite ugradnje i bazu vektora

Započnite s jakim modelom ugradnje opće namjene (npr. text‑embedding‑3‑large ili moderni lokalni model). Ako je privatnost ključna, razmislite o samostalnim ugradnjama.

Koristite DB vektora koji podržava:

Hibridno pretraživanje (gusto + ključne riječi)

Filtri (ograničenja metapodataka)

Skupno umetanje i metrike indeksa

Postavke indeksa za testiranje:

top_k = 5–10 za početno dohvaćanje

similarity_metric = cosine (ili točka za određene modele)

Omogućite maksimalnu marginalnu relevantnost (MMR) kako biste smanjili suvišnost

5) Orkestracija dohvaćanja

Implementirajte dvofazni alat za dohvaćanje:

Brzi opoziv kandidata

Hibridno pretraživanje (BM25 + gusto)

Veliki top_k (npr. 30–50)

Ponovno rangiranje

Ponovno rangiranje križnog kodera ili bodovanje temeljeno na LLM-u

Smanjite na konačni top_k (npr. 5–8)

Dodajte filtre metapodataka: source:"handbook" AND section:"benefits" AND version:"v2" kako biste ograničili odgovore na pouzdane dokumente.

6) Utemeljeno generiranje sa strukturom

Vaš upit bi trebao prisiliti citate i odbijanje kada su dokazi slabi.

Primjer sistemskog upita:

Vi ste pažljiv pomoćnik. Odgovorite SAMO informacijama koje su podržane pruženim kontekstom.
- Navedite izvore inline kao [doc_id:chunk_id].
- Ako kontekst nije dovoljan, recite "Nema dovoljno informacija u pruženim dokumentima."
- Nemojte izmišljati činjenice.

Predložak korisničkog upita:

Pitanje: {query}
Kontekst:
{top_chunks}
Upute:
- Prvo pružite koncizan odgovor, a zatim detalje.
- Uključite citate nakon svake činjenične tvrdnje.

7) Dodajte zaštitne mehanizme za smanjenje halucinacija

Provjera mogućnosti odgovora: Prije generiranja, pitajte mali model: “Postoje li izravni dokazi u dohvaćenim dijelovima?” Ako ne, vratite pitanje za pojašnjenje.

Politika citiranja ili šutnje: Blokirajte izlaze kojima nedostaju citati.

Filtri toksičnosti/PII za korporativni sadržaj.

8) Evaluacija i kontinuirano poboljšanje

Stvorite skup eval/ sa:

50–200 stvarnih pitanja korisnika

Točni odgovori (ili pouzdane reference)

Očekivani izvori (ID-ovi dokumenata) gdje je primjenjivo

Izmjerite:

Stopa pogodaka dohvaćanja (pojavljuje li se zlatni izvor u top‑k?)

Vjernost odgovora (izjave podržane citatima)

Latencija (p95 od kraja do kraja)

Trošak (po 100 upita)

Iterirajte na:

Veličina dijela i preklapanje

Izbor modela ugradnje

Ponovno rangiranje u odnosu na veći top‑k

Struktura upita i ograničenja

Cjeloviti RAGFlow cjevovod: Primjer konfiguracije

U nastavku je konceptualna konfiguracija koju možete prilagoditi svom lancu alata. Zamijenite imena pružatelja usluga prema potrebi.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Kako koristiti RAGFlow za različite vrste sadržaja

Priručnici za proizvode i upute

Preferirajte semantičko razdvajanje u dijelove s jasnim granicama odjeljaka

Priložite verziju i datum stupanja na snagu kako biste spriječili zastarjele odgovore

Koristite stroge filtre: uvijek zahtijevajte version = latest

Baze znanja i često postavljana pitanja

Koristite manje dijelove (400–600 tokena) za precizne odgovore

Povećajte skup kandidata i oslonite se na ponovno rangiranje kako biste pronašli točan isječak

Automatski generirajte kanonske parove pitanja/odgovora kako biste pojačali opoziv putem leksičkog pretraživanja

Inženjerska dokumentacija i kod

Razdvajajte po funkciji/modulu i uključite grafove uvoza u metapodatke

Omogućite dohvaćanje roditelj-dijete: vratite funkciju + njezin kontekst docstringa

Koristite ponovno rangiranje svjesno koda kako biste dali prednost relevantnim simbolima

Pravni i regulatorni poslovi

Zahtijevajte citate na razini odlomka

Dodajte logiku odbijanja za nepotpuni kontekst

Zadržite zlatni skup izvora koje je odobrio regulator u zasebnom indeksu

Obrasci upita koji zapravo rade

Odgovorite, a zatim citirajte: Kratki odgovor na vrhu; citati inline nakon svake tvrdnje

Lanac dohvaćanja: Zamolite model da prvo sažme svaki dio, a zatim sintetizira

Ponovno pisanje upita: Proširite korisničke upite sinonimima i pojmovima domene prije dohvaćanja

Kontrastni upiti: “Objasnite zašto je opcija A bolja od B na temelju konteksta.” To prisiljava korištenje dokaza

Primjer koraka ponovnog pisanja upita:

Izvorno: "koja je naša politika prenošenja PTO-a?"
Ponovno pisanje: "politika prenošenja plaćenog slobodnog vremena; prijenos godišnjeg odmora; maksimalni broj sati; najnovija verzija pravila"

Mogućnost promatranja i povratne petlje

Zabilježite koji su dijelovi korišteni, njihovi rezultati i koji su zanemareni

Snimite palac gore/dolje s kratkim obrazloženjem; vratite to u ugađanje alata za dohvaćanje

Pokrenite tjedne regresijske testove na svom skupu za evaluaciju prije implementacije bilo kakve promjene modela

Varalica za ugađanje performansi

Ako se odgovori čine generičkima: povećajte candidate_top_k i dodajte jači alat za ponovno rangiranje

Ako odgovorima nedostaju detalji: smanjite veličinu dijela; malo povećajte leksičku težinu

Ako se citati ponavljaju isti dio: omogućite MMR i povećajte raznolikost

Ako je latencija visoka: predmemorirajte ugradnje, unaprijed izračunajte ponovno pisanje upita, koristite manji alat za ponovno rangiranje

Ako troškovi porastu: smanjite temperaturu generiranja, skratite upite, isprobajte manji LLM za prvi prolaz

Osnove sigurnosti i upravljanja

Šifrirajte pohranjene vektore i redigirajte osjetljiva polja u metapodacima

Koristite kontrolu pristupa po indeksu; segmentirajte po timu ili osjetljivosti podataka

Održavajte zapis o podrijetlu podataka: URL izvora dokumenta, kontrolni zbroj i vremenska oznaka unosa

Snimka studije slučaja: Od neurednih PDF-ova do pouzdanih odgovora

Tim za podršku unio je 1200 stranica PDF-ova. Početno dohvaćanje bilo je nedosljedno; agenti nisu vjerovali botu. Nakon prelaska na semantičko-hibridno razdvajanje u dijelove (800 tokena, 80 preklapanja), omogućavanja ponovnog rangiranja križnog kodera i provedbe citiranja ili šutnje, stopa pogodaka top‑k porasla je s 62% na 89%, a usvajanje agenata se udvostručilo. Ključ nije bio veći LLM—već čišći dijelovi i strože dohvaćanje.

Savjet za alat: Brza iteracija s bočnom trakom umjetne inteligencije

Vrijedi napomenuti: ako eksperimentirate s upitima i isječcima dohvaćanja u mnogim dokumentima, pomoćnik umjetne inteligencije koji vam omogućuje razgovor o PDF-ovima, web stranicama i kodu izravno iz preglednika može ubrzati iteraciju. Usput, Sider.AI (https://sider.ai/) nudi bočnu traku umjetne inteligencije koja vam omogućuje povlačenje konteksta sa stranice na kojoj se nalazite, sažimanje i brzo pročišćavanje upita. To je korisno za izradu prototipa RAG upita i testiranje kvalitete dijelova prije nego što formalizirate cjevovod.

Rješavanje problema s RAGFlow: Brzi popravci

“Model je uvjeren, ali u krivu.”

Omogućite provjeru mogućnosti odgovora; smanjite temperaturu; zahtijevajte citate

“Pretraživanje vraća gotovo duplikate.”

Uključite MMR; dodajte alat za ponovno rangiranje; smanjite preklapanje dijelova

“Latencija raste na vrhuncu.”

Skupne ugradnje; predmemorirajte ponovno pisanje upita; koristite generiranje strujanja

“Stara pravila se stalno pojavljuju.”

Filtrirajte prema version = latest; ukinite ili poništite zastarjele dokumente

Sljedeći koraci: Učinite svoj RAGFlow pouzdanim u produkciji

Započnite s malim, pouzdanim korpusom; prvo usavršite razdvajanje u dijelove i filtre

Dodajte alat za ponovno rangiranje prije nadogradnje LLM-a

Izgradite skup za evaluaciju od 100 pitanja i pratite stopu pogodaka tjedno

Uključite povratne informacije korisnika za kontinuirano ugađanje dohvaćanja

Ključni zaključci:

Kvaliteta dohvaćanja nadmašuje veličinu modela za RAG

Razdvajanje u dijelove, metapodaci i ponovno rangiranje su vaše glavne poluge

Zaštitni mehanizmi poput citiranja ili šutnje dramatično povećavaju povjerenje

Uložite rano u mogućnost promatranja i evaluaciju

S ovim praksama, RAGFlow postaje pouzdana okosnica za utemeljene odgovore—bez obzira na to pokrećete li bota za pomoć, razvojnog kopilota ili internog pomoćnika za znanje.

Često postavljana pitanja

P1: Što je RAGFlow i kako ga koristiti za QA dokumenata? RAGFlow je okvir za izgradnju cjevovoda generiranja s proširenim dohvaćanjem. Unosite, razdvajate, ugrađujete, dohvaćate i generirate odgovore s citatima kako biste smanjili halucinacije i poboljšali točnost.

P2: Kako bih trebao podijeliti dokumente u RAGFlow? Koristite semantičko ili hibridno razdvajanje s dijelovima od 600–1000 tokena i preklapanjem od 50–100 tokena. Za kod, podijelite po funkciji ili klasi i uključite okolni kontekst.

P3: Koja baza vektora najbolje funkcionira s RAGFlow? Odaberite trgovinu koja podržava hibridno pretraživanje, filtre metapodataka i ponovno rangiranje—Qdrant, Weaviate, Pinecone ili lokalna opcija su uobičajeni izbori.

P4: Kako spriječiti halucinacije u aplikaciji RAGFlow? Provedite politiku citiranja ili šutnje, dodajte provjeru mogućnosti odgovora prije generiranja i držite upite strogima u vezi s korištenjem samo dohvaćenog konteksta.

P5: Koje metrike trebam pratiti za procjenu RAGFlow? Pratite stopu pogodaka dohvaćanja, vjernost odgovora, latenciju i cijenu po 100 upita i održavajte mali, ali reprezentativan skup za evaluaciju.