What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Kako uporabljati RAGFlow: Praktični vodnik za izgradnjo zanesljivih RAG aplikacij

Če ste poskusili zgraditi sistem za generiranje z razširitvijo pridobivanja (RAG), ste verjetno naleteli na klasične težave: halucinacije, nestabilno pridobivanje, počasne cevovode in neurejeno predobdelavo dokumentov. RAGFlow nastopi kot orodje za celoten potek dela, ki vam pomaga pri orkestraciji vnosa dokumentov, razdeljevanja, vektorizacije, pridobivanja in generiranja z več nadzora in opaznosti.

Ta vodnik ima praktičen in na rešitve usmerjen pristop. Vodili vas bomo skozi čisto nastavitev, vam pokazali, kako uporabljati RAGFlow za resnične dokumente, in delili vzorce, ki dejansko zmanjšujejo halucinacije in izboljšujejo kakovost odgovorov.

Kaj je RAGFlow in zakaj ga uporabljati?

RAGFlow je sistem za izgradnjo cevovodov za generiranje z razširitvijo pridobivanja. V tipični nastavitvi RAG:

Vnesete dokumente (PDF-je, spletne strani, diapozitive, kodo itd.)

Razdelite vsebino na enote, ki jih je mogoče pridobiti

Vdelate enote v vektorje za semantično iskanje

Pridobite top‑k relevantnih enot v času vprašanja

Generirate utemeljen odgovor z uporabo LLM

RAGFlow dodaja mnenjske privzete vrednosti, bloke poteka dela in zaščitne ograje, tako da lahko hitreje ponavljate in pošiljate bolj zanesljive aplikacije. Posebej uporaben je, če želite:

Dosledno razdeljevanje in metapodatke: Boljše pridobivanje se začne z boljšimi enotami.

Priključljive vdelave in LLM: Zamenjajte OpenAI, lokalne modele ali podjetniške končne točke.

Ocenjevanja in zaščitne ograje: Izmerite kakovost pridobivanja in zmanjšajte halucinacije.

Razmestljive cevovode: Premaknite se iz zvezka v proizvodnjo z manj prepisovanja.

Hitri začetek: Od nič do delujočega cevovoda RAGFlow

Spodaj je minimalen potek dela od začetka do konca, ki ga lahko prilagodite. Tudi če se vaše okolje razlikuje, so zaporedje in zaščitne ograje prenosljive.

1) Pripravite svoje okolje

Ustvarite .env s svojimi ključi:

OPENAI_API_KEY (ali drug ponudnik LLM)

EMBEDDINGS_API_KEY (če uporabljate ločenega ponudnika)

VECTOR_DB_URL (npr. Pinecone, Weaviate, Qdrant ali lokalni)

Nastavite projektno mapo, npr. ragflow-project/ z mapami:

data/raw/ (izvorne datoteke)

data/processed/ (očiščene enote)

configs/ (YAML/JSON za nastavitve cevovoda)

eval/ (nabori podatkov in poročila)

2) Vnesite dokumente s čistimi metapodatki

Dobri metapodatki = boljše pridobivanje. Normalizirajte naslove, avtorje, datume in vire.

Pretvorite PDF-je in diapozitive v besedilo z robustnim parserjem

Ohranite strukturo: naslove, sezname, bloke kode in tabele

Pripnite metapodatke vsaki enoti: source, section, page, timestamp, version

Nasvet: Hranite doc_id in chunk_id za podporo citatom in ponovnemu vnosu.

3) Izberite strategijo razdeljevanja, ki ustreza vaši vsebini

Razdeljevanje močno vpliva na kakovost pridobivanja in zakasnitev.

Za pripovedne dokumente: semantično razdeljevanje (razdelitev po naslovih/odstavkih)

Za tehnične dokumente: uporabite hibridno razdeljevanje (semantično + fiksno okno)

Za kodo: razdelite po funkciji/razredu z majhnim drsnim oknom

Priporočene nastavitve za začetek:

chunk_size: 600–1.000 žetonov

chunk_overlap: 50–100 žetonov

max_depth: omejite ugnezdena poglavja na 2–3 stopnje, da se izognete razdrobitvi

4) Izberite vdelave in vektorsko shrambo

Začnite z močnim modelom vdelave za splošne namene (npr. text‑embedding‑3‑large ali sodoben lokalni model). Če je zasebnost ključna, razmislite o gostovanih vdelavah.

Uporabite vektorsko bazo podatkov, ki podpira:

Hibridno iskanje (gosto + ključna beseda)

Filtre (omejitve metapodatkov)

Paketne vstavitve in indeksne metrike

Nastavitve indeksa za testiranje:

top_k = 5–10 za začetno pridobivanje

similarity_metric = cosine (ali dot za določene modele)

Omogočite največjo mejno relevantnost (MMR) za zmanjšanje redundance

5) Orkestracija pridobivanja

Implementirajte dvostopenjski pridobivalnik:

Hitro priklic kandidatov

Hibridno iskanje (BM25 + gosto)

Velik top_k (npr. 30–50)

Ponovno razvrščanje

Ponovno razvrščanje s križnim kodirnikom ali ocenjevanje na podlagi LLM

Zmanjšajte na končni top_k (npr. 5–8)

Dodajte filtre metapodatkov: source:"handbook" AND section:"benefits" AND version:"v2", da omejite odgovore na zaupanja vredne dokumente.

6) Utemeljeno generiranje s strukturo

Vaš poziv bi moral uveljavljati citate in zavrnitev, kadar je dokazov malo.

Primer sistemskega poziva:

Ste previden pomočnik. Odgovorite SAMO z informacijami, ki jih podpira zagotovljeno besedilo.
- Navedite vire inline kot [doc_id:chunk_id].
- Če je besedilo nezadostno, recite »V zagotovljenih dokumentih ni dovolj informacij.«
- Ne izmišljujte si dejstev.

Predloga uporabniškega poziva:

Vprašanje: {query}
Besedilo:
{top_chunks}
Navodila:
- Najprej podajte jedrnat odgovor, nato pa podrobnosti.
- Po vsaki dejanski trditvi vključite citate.

7) Dodajte zaščitne ograje za zmanjšanje halucinacij

Preverjanje odgovornosti: Pred generiranjem vprašajte majhen model: »Ali obstajajo neposredni dokazi v pridobljenih enotah?« Če ne, vrnite pojasnitveno vprašanje.

Politika citiraj ali molči: Blokirajte izhode, ki nimajo citatov.

Filtri strupenosti/osebnih podatkov za podjetniško vsebino.

8) Ocenjevanje in stalne izboljšave

Ustvarite eval/ niz z:

50–200 resničnih vprašanj uporabnikov

Resnični odgovori (ali zaupanja vredne reference)

Pričakovani viri (ID-ji dokumentov), kjer je to primerno

Merite:

Stopnja zadetka pridobivanja (ali se zlati vir pojavi v top‑k?)

Zvestoba odgovora (izjave, podprte s citati)

Zakasnjenost (p95 od začetka do konca)

Stroški (na 100 poizvedb)

Ponavljajte:

Velikost enote in prekrivanje

Izbira modela vdelave

Ponovno razvrščanje v primerjavi z višjim top‑k

Struktura in omejitve poziva

Celoten cevovod RAGFlow: Primer konfiguracije

Spodaj je konceptualna konfiguracija, ki jo lahko prilagodite svoji orodni verigi. Po potrebi zamenjajte imena ponudnikov.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Kako uporabljati RAGFlow za različne vrste vsebine

Priročniki za izdelke in priročniki

Dajte prednost semantičnemu razdeljevanju z jasnimi mejami poglavij

Pripnite različico in datum veljavnosti, da preprečite zastarele odgovore

Uporabite stroge filtre: vedno zahtevajte version = latest

Baze znanja in pogosta vprašanja

Uporabite manjše enote (400–600 žetonov) za natančne odgovore

Povečajte nabor kandidatov in se zanesite na ponovno razvrščanje, da poiščete natančen izrezek

Samodejno ustvarite kanonične pare vprašanj/odgovorov, da povečate priklic prek leksikalnega iskanja

Inženirska dokumentacija in koda

Razdelite po funkciji/modulu in vključite grafe uvoza v metapodatke

Omogočite priklic starš-otrok: vrnite funkcijo + njen kontekst niza dokumentov

Uporabite ponovno razvrščanje, ki se zaveda kode, da določite prioriteto ustreznih simbolov

Pravne zadeve in skladnost

Zahtevajte citate na ravni odstavka

Dodajte logiko zavrnitve za nepopolno besedilo

Hranite zlati niz virov, ki jih je odobril regulator, v ločenem indeksu

Vzorci pozivov, ki dejansko delujejo

Odgovorite, nato citirajte: Kratek odgovor na vrhu; citati inline za vsako trditev

Veriga pridobivanja: Prosite model, da najprej povzame vsako enoto, nato pa sintetizira

Ponovno pisanje poizvedbe: Razširite poizvedbe uporabnikov s sopomenkami in domenskimi izrazi pred pridobivanjem

Kontrastni pozivi: »Pojasnite, zakaj je možnost A boljša od B na podlagi besedila.« To prisili uporabo dokazov

Primer koraka ponovnega pisanja poizvedbe:

Izvirnik: "kakšna je naša politika prenosa PTO?"
Ponovno pisanje: "politika prenosa plačanega dopusta; prenos počitnic; največje število ur; najnovejša različica politike"

Opaznost in povratne zanke

Zabeležite, katere enote so bile uporabljene, njihove ocene in katere so bile prezrte

Zajemite palce gor/dol s kratko utemeljitvijo; to pošljite nazaj v nastavitev pridobivalnika

Izvajajte tedenske regresijske teste na vašem nizu eval pred uvajanjem katere koli spremembe modela

Goljufija za nastavitev učinkovitosti delovanja

Če se vam odgovori zdijo splošni: povečajte candidate_top_k in dodajte močnejše ponovno razvrščanje

Če v odgovorih manjkajo podrobnosti: zmanjšajte velikost enote; rahlo povečajte leksikalno težo

Če citati ponavljajo isto enoto: omogočite MMR in povečajte raznolikost

Če je zakasnitev visoka: predpomnite vdelave, vnaprej izračunajte ponovne zapise poizvedb, uporabite manjše ponovno razvrščanje

Če stroški poskočijo: znižajte temperaturo generiranja, skrajšajte pozive, poskusite z manjšim LLM za prvi prehod

Osnove varnosti in upravljanja

Šifrirajte shranjene vektorje in redigirajte občutljiva polja v metapodatkih

Uporabite nadzor dostopa na indeks; segmentirajte po ekipi ali občutljivosti podatkov

Vzdržujte zapis porekla podatkov: URL vira dokumenta, kontrolna vsota in časovni žig vnosa

Posnetek študije primera: Od neurejenih PDF-jev do zaupanja vrednih odgovorov

Ekipa za podporo je vnesla 1.200 strani PDF-jev. Začetno pridobivanje je bilo nedosledno; agenti niso zaupali botu. Po prehodu na semantično-hibridno razdeljevanje (800 žetonov, 80 prekrivanja), omogočanju ponovnega razvrščanja s križnim kodirnikom in uveljavljanju citiraj ali molči se je stopnja zadetka top‑k povečala s 62 % na 89 %, sprejetje agentov pa se je podvojilo. Ključ ni bil večji LLM—bili so čistejše enote in strožje pridobivanje.

Nasvet za orodje: Hitro ponavljanje s stransko vrstico AI

Omeniti je treba: če eksperimentirate s pozivi in izrezki pridobivanja v številnih dokumentih, lahko pomočnik AI, ki vam omogoča klepet prek PDF-jev, spletnih strani in kode neposredno iz brskalnika, pospeši ponavljanje. Mimogrede, Sider.AI (https://sider.ai/) ponuja stransko vrstico AI, ki vam omogoča, da povlečete besedilo s strani, na kateri ste, povzamete in hitro izboljšate pozive. Priročno je za prototipiranje pozivov RAG in testiranje kakovosti enot, preden formalizirate cevovod.

Odpravljanje težav RAGFlow: Hitri popravki

»Model je prepričan, vendar napačen.«

Omogočite preverjanje odgovornosti; znižajte temperaturo; zahtevajte citate

»Iskanje vrne skoraj podvojene izvode.«

Vklopite MMR; dodajte ponovno razvrščanje; zmanjšajte prekrivanje enot

»Zakasnjenost poskoči na vrhuncu.«

Paketne vdelave; predpomnite ponovne zapise poizvedb; uporabite pretočno generiranje

»Stare politike se še naprej pojavljajo.«

Filtrirajte po version = latest; opustite ali pokopajte zastarele dokumente

Naslednji koraki: Naj bo vaš RAGFlow zanesljiv v proizvodnji

Začnite z majhnim, zaupanja vrednim korpusom; najprej izpopolnite razdeljevanje in filtre

Dodajte ponovno razvrščanje, preden nadgradite LLM

Zgradite niz eval s 100 vprašanji in tedensko spremljajte stopnjo zadetka

Povežite povratne informacije uporabnikov za stalno nastavitev pridobivanja

Ključni zaključki:

Kakovost pridobivanja premaga velikost modela za RAG

Razdeljevanje, metapodatki in ponovno razvrščanje so vaša glavna orodja

Zaščitne ograje, kot je citiraj ali molči, dramatično povečajo zaupanje

Zgodaj vlagajte v opaznost in ocenjevanje

S temi praksami RAGFlow postane zanesljiva hrbtenica za utemeljene odgovore—ne glede na to, ali poganjate pomočniškega bota, razvojnega kopilota ali notranjega pomočnika za znanje.

Pogosta vprašanja

V1:Kaj je RAGFlow in kako ga uporabljam za dokument QA? RAGFlow je ogrodje za izgradnjo cevovodov za generiranje z razširitvijo pridobivanja. Vnesete, razdelite, vdelate, pridobite in ustvarite odgovore s citati za zmanjšanje halucinacij in izboljšanje natančnosti.

V2:Kako naj razdelim dokumente v RAGFlow? Uporabite semantično ali hibridno razdeljevanje z 600–1.000 žetoni in 50–100 žetoni prekrivanja. Za kodo razdelite po funkciji ali razredu in vključite okoliško besedilo.

V3:Katera vektorska baza podatkov najbolje deluje z RAGFlow? Izberite shrambo, ki podpira hibridno iskanje, filtre metapodatkov in ponovno razvrščanje—Qdrant, Weaviate, Pinecone ali lokalna možnost so pogoste izbire.

V4:Kako preprečim halucinacije v aplikaciji RAGFlow? Uveljavite politiko citiraj ali molči, dodajte preverjanje odgovornosti pred generiranjem in poskrbite, da bodo pozivi strogi glede uporabe samo pridobljenega besedila.

V5:Katere metrike naj spremljam za ocenjevanje RAGFlow? Spremljajte stopnjo zadetka pridobivanja, zvestobo odgovora, zakasnitev in stroške na 100 poizvedb ter vzdržujte majhen, a reprezentativen niz ocenjevanj.