What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Kako koristiti RAGFlow: Praktični vodič za izgradnju pouzdanih RAG aplikacija

Ako ste pokušali da izgradite sistem za generisanje obogaćen pronalaženjem (RAG), verovatno ste naišli na klasične probleme: halucinacije, nepouzdano pronalaženje, spore procese i neurednu preprocesiranje dokumenata. RAGFlow stupa na scenu kao alat za sveobuhvatni radni tok koji vam pomaže da orkestrirate unos dokumenata, deljenje na delove, vektorizaciju, pronalaženje i generisanje uz više kontrole i mogućnosti praćenja.

Ovaj vodič ima praktičan pristup orijentisan na rešenja. Proći ćemo kroz čisto podešavanje, pokazati vam kako da koristite RAGFlow za stvarne dokumente i podeliti obrasce koji zaista smanjuju halucinacije i poboljšavaju kvalitet odgovora.

Šta je RAGFlow i zašto ga koristiti?

RAGFlow je sistem za izgradnju procesa generisanja obogaćenog pronalaženjem. U tipičnom RAG podešavanju, vi:

dokumente (PDF-ove, veb stranice, slajdove, kod, itd.)

sadržaj u jedinice koje se mogu preuzeti

delove u vektore za semantičko pretraživanje

top‑k relevantne delove u trenutku postavljanja pitanja

utemeljen odgovor koristeći LLM

RAGFlow dodaje unapred definisane postavke, blokove radnog toka i zaštitne mere tako da možete brže da ponavljate i isporučujete pouzdanije aplikacije. Posebno je koristan ako želite:

: Bolje pronalaženje počinje boljim delovima.

: Zamenite OpenAI, lokalne modele ili korporativne krajnje tačke.

: Izmerite kvalitet pronalaženja i smanjite halucinacije.

: Pređite iz sveske u produkciju sa manje prepravki.

Brzi početak: Od nule do funkcionalnog RAGFlow procesa

Ispod je minimalni, sveobuhvatni radni tok koji možete prilagoditi. Čak i ako se vaše okruženje razlikuje, redosled i zaštitne mere su prenosive.

1) Pripremite svoje okruženje

Kreirajte .env sa svojim ključevima:

(ili drugi LLM provajder)

(ako koristite zasebnog provajdera)

(npr. Pinecone, Weaviate, Qdrant, ili lokalni)

Postavite direktorijum projekta, npr. ragflow-project/ sa folderima:

(izvorni fajlovi)

(očišćeni delovi)

(YAML/JSON za podešavanja procesa)

(skupovi podataka i izveštaji)

2) Unesite dokumente sa čistim metapodacima

Dobri metapodaci = bolje pronalaženje. Normalizujte naslove, autore, datume i izvore.

Konvertujte PDF-ove i slajdove u tekst pomoću robusnog parsera

Sačuvajte strukturu: naslove, liste, blokove koda i tabele

Priložite metapodatke svakom delu: source, section, page, timestamp, version

Savet: Zadržite doc_id i chunk_id da biste podržali citate i ponovni unos.

3) Izaberite strategiju deljenja koja odgovara vašem sadržaju

Deljenje snažno utiče na kvalitet pronalaženja i latenciju.

Za narativne dokumente: semantičko deljenje (razdvajanje po naslovima/pasusima)

Za tehničke dokumente: koristite hibridno deljenje (semantičko + fiksni prozor)

Za kod: delite po funkciji/klasi sa malim kliznim prozorom

Preporučena podešavanja za početak:

: 600–1,000 tokena

: 50–100 tokena

: ograničite ugnežđene sekcije na 2–3 nivoa da biste izbegli fragmentaciju

4) Izaberite ugradnje i vektorsku prodavnicu

Počnite sa snažnim modelom za ugrađivanje opšte namene (npr. text‑embedding‑3‑large ili moderni lokalni model). Ako je privatnost ključna, razmislite o samostalno hostovanim ugradnjama.

Koristite vektorsku bazu podataka koja podržava:

(gusto + ključna reč)

(ograničenja metapodataka)

Podešavanja indeksa za testiranje:

za početno pronalaženje

(ili dot za određene modele)

Omogućite maksimalnu marginalnu relevantnost (MMR) da biste smanjili suvišnost

5) Orkestracija pronalaženja

Implementirajte dvostepeni pretraživač:

Hibridno pretraživanje (BM25 + gusto)

Veliki top_k (npr. 30–50)

Unakrsni koder za ponovno rangiranje ili bodovanje zasnovano na LLM

Smanjite na konačni top_k (npr. 5–8)

Dodajte filtere metapodataka: source:"handbook" AND section:"benefits" AND version:"v2" da biste ograničili odgovore na pouzdane dokumente.

6) Utemeljeno generisanje sa strukturom

Vaš upit bi trebalo da nameće citate i odbijanje kada su dokazi slabi.

Primer sistemskog upita:

- Citirajte izvore inline kao [doc_id:chunk_id].
- Ako kontekst nije dovoljan, recite "Nema dovoljno informacija u datim dokumentima."
- Ne izmišljajte činjenice.

Šablon korisničkog upita:

Kontekst:
{top_chunks}
Instrukcije:
- Prvo dajte kratak odgovor, zatim detalje.
- Uključite citate nakon svake činjenične tvrdnje.

7) Dodajte zaštitne mere da biste smanjili halucinacije

: Pre generisanja, pitajte mali model: „Da li postoji direktan dokaz u preuzetim delovima?“ Ako ne, vratite pitanje za pojašnjenje.

: Blokirajte izlaze kojima nedostaju citati.

za korporativni sadržaj.

8) Evaluacija i kontinuirano poboljšanje

Kreirajte eval/ skup sa:

50–200 stvarnih korisničkih pitanja

Osnovni istiniti odgovori (ili pouzdane reference)

Očekivani izvori (ID-ovi dokumenata) gde je primenljivo

Izmerite:

(da li se zlatni izvor pojavljuje u top‑k?)

(izjave podržane citatima)

(p95 od kraja do kraja)

(po 100 upita)

Ponavljajte:

Veličinu i preklapanje delova

Izbor modela za ugrađivanje

Ponovno rangiranje nasuprot višem top‑k

Strukturu i ograničenja upita

Ceo RAGFlow proces: Primer konfiguracije

Ispod je konceptualna konfiguracija koju možete prilagoditi svom lancu alata. Zamenite imena provajdera po potrebi.

io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
<a11>preserve_headings: true</a12>chunking:</a13>method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Kako koristiti RAGFlow za različite tipove sadržaja

Uputstva za upotrebu i priručnici za proizvode

Preferirajte semantičko deljenje sa jasnim granicama sekcija

Priložite verziju i datum stupanja na snagu da biste sprečili zastarele odgovore

Koristite stroge filtere: uvek zahtevajte version = latest

Baze znanja i FAQ

Koristite manje delove (400–600 tokena) za precizne odgovore

Povećajte pul kandidata i oslonite se na ponovno rangiranje da biste pronašli tačan isečak

Automatski generišite kanonske Q/A parove da biste poboljšali opoziv putem leksičkog pretraživanja

Inženjerski dokumenti i kod

Delite po funkciji/modulu i uključite grafove uvoza u metapodatke

Omogućite pronalaženje roditelj‑dete: vratite funkciju + njen kontekst docstring

Koristite koder za ponovno rangiranje svesti o kodu da biste odredili prioritet relevantnim simbolima

Pravni poslovi i usklađenost

Zahtevajte citate na nivou pasusa

Dodajte logiku odbijanja za nepotpun kontekst

Držite zlatni skup izvora koje je odobrio regulator u zasebnom indeksu

Obrasci upita koji zaista funkcionišu

: Kratak odgovor na vrhu; citati inline nakon svake tvrdnje

: Zamolite model da prvo sumira svaki deo, a zatim da sintetiše

: Proširite korisničke upite sinonimima i terminima domena pre pronalaženja

: „Objasnite zašto je opcija A bolja od B na osnovu konteksta.“ Ovo forsira upotrebu dokaza

Primer koraka ponovnog pisanja upita:

Ponovno pisanje: "politika prenošenja plaćenog slobodnog vremena; prenos odmora; maksimalni broj sati; najnovija verzija politike"

Mogućnost praćenja i povratne petlje

Zabeležite koji su delovi korišćeni, njihove ocene i koji su ignorisani

Snimite palac gore/dole sa kratkim obrazloženjem; vratite to u podešavanje pretraživača

Pokrenite nedeljne regresione testove na svom skupu za evaluaciju pre nego što primenite bilo kakvu promenu modela

Vodič za podešavanje performansi

Ako se odgovori čine generičkim: povećajte candidate_top_k i dodajte jači koder za ponovno rangiranje

Ako odgovorima nedostaju detalji: smanjite veličinu dela; malo povećajte leksičku težinu

Ako citati ponavljaju isti deo: omogućite MMR i povećajte raznolikost

Ako je latencija visoka: keširajte ugradnje, unapred izračunajte ponovno pisanje upita, koristite manji koder za ponovno rangiranje

Ako troškovi skoče: smanjite temperaturu generisanja, skratite upite, isprobajte manji LLM za prvi prolaz

Osnove bezbednosti i upravljanja

Šifrirajte uskladištene vektore i redigujte osetljiva polja u metapodacima

Koristite kontrolu pristupa po indeksu; segmentirajte po timu ili osetljivosti podataka

Održavajte zapis o poreklu podataka: URL izvora dokumenta, kontrolni zbir i vremenska oznaka unosa

Snimak studije slučaja: Od neurednih PDF-ova do pouzdanih odgovora

Tim za podršku uneo je 1.200 stranica PDF-ova. Početno pronalaženje je bilo nedosledno; agenti nisu verovali botu. Nakon prelaska na semantičko‑hibridno deljenje (800 tokena, 80 preklapanja), omogućavanja unakrsnog kodera za ponovno rangiranje i sprovođenja citiranja ili ćutanja, stopa pogodaka top‑k porasla je sa 62% na 89%, a usvajanje od strane agenata se udvostručilo. Ključ nije bio veći LLM—već čistiji delovi i strože pronalaženje.

Savet za alat: Brza iteracija sa AI bočnom trakom

Vredi napomenuti: ako eksperimentišete sa upitima i isečcima za pronalaženje u mnogim dokumentima, AI asistent koji vam omogućava da ćaskate preko PDF-ova, veb stranica i koda direktno iz pregledača može ubrzati iteraciju. Usput, Sider.AI (https://sider.ai/) nudi AI bočnu traku koja vam omogućava da povučete kontekst sa stranice na kojoj se nalazite, sumirate i brzo poboljšate upite. Zgodna je za prototipiranje RAG upita i testiranje kvaliteta delova pre nego što formalizujete proces.

Rešavanje problema sa RAGFlow: Brza rešenja

„Model je uveren, ali pogrešan.“

Omogućite proveru mogućnosti odgovora; smanjite temperaturu; zahtevajte citate

„Pretraga vraća skoro duplikate.“

Uključite MMR; dodajte koder za ponovno rangiranje; smanjite preklapanje delova

„Latencija skače na vrhuncu.“

Skupno ugrađivanje; keširanje ponovnog pisanja upita; koristite generisanje striminga

„Stare politike se stalno pojavljuju.“

Filtrirajte po version = latest; obezvrednite ili obeležite zastarele dokumente

Sledeći koraci: Učinite svoj RAGFlow pouzdanim u produkciji

Počnite sa malim, pouzdanim korpusom; prvo usavršite deljenje i filtere

Dodajte koder za ponovno rangiranje pre nadogradnje LLM-a

Napravite skup za evaluaciju od 100 pitanja i pratite stopu pogodaka nedeljno

Povežite povratne informacije korisnika da biste kontinuirano podešavali pronalaženje

Ključni zaključci:

Kvalitet pronalaženja nadmašuje veličinu modela za RAG

Deljenje, metapodaci i ponovno rangiranje su vaše osnovne poluge

Zaštitne mere poput citiranja ili ćutanja dramatično povećavaju poverenje

Rano uložite u mogućnost praćenja i evaluaciju

Sa ovim praksama, RAGFlow postaje pouzdana osnova za utemeljene odgovore—bilo da pokrećete bota za pomoć, pomoćnika za programere ili internog asistenta za znanje.