What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Anwendung von RAGFlow: Eine praktische Anleitung zum Erstellen zuverlässiger RAG-Apps

Wenn Sie bereits versucht haben, ein Retrieval-Augmented Generation (RAG)-System zu entwickeln, sind Sie wahrscheinlich auf die typischen Schwachstellen gestoßen: Halluzinationen, unzuverlässige Abrufe, langsame Pipelines und unordentliche Dokumentenvorverarbeitung. RAGFlow ist ein End-to-End-Workflow-Tool, das Sie bei der Orchestrierung von Dokumenten-Ingestion, Chunking, Vektorisierung, Retrieval und Generierung mit mehr Kontrolle und Beobachtbarkeit unterstützt.

Dieser Leitfaden verfolgt einen praktischen und lösungsorientierten Ansatz. Wir führen Sie durch ein sauberes Setup, zeigen Ihnen, wie Sie RAGFlow für echte Dokumente verwenden, und teilen Muster, die Halluzinationen tatsächlich reduzieren und die Antwortqualität verbessern.

Was ist RAGFlow und warum sollte man es verwenden?

RAGFlow ist ein System zum Aufbau von Retrieval-Augmented Generation-Pipelines. Bei einem typischen RAG-Setup gehen Sie wie folgt vor:

Ingest von Dokumenten (PDFs, Webseiten, Folien, Code usw.)

Chunking von Inhalten in abrufbare Einheiten

Einbetten von Chunks in Vektoren für die semantische Suche

Abrufen der Top-k relevanten Chunks zum Zeitpunkt der Fragestellung

Generieren einer fundierten Antwort mithilfe eines LLM

RAGFlow fügt vorgefertigte Standardeinstellungen, Workflow-Blöcke und Leitplanken hinzu, sodass Sie schneller iterieren und zuverlässigere Apps ausliefern können. Es ist besonders nützlich, wenn Sie Folgendes wünschen:

Konsistentes Chunking und Metadaten: Ein besserer Abruf beginnt mit besseren Chunks.

Austauschbare Einbettungen und LLMs: Tauschen Sie OpenAI, lokale Modelle oder Enterprise-Endpunkte aus.

Evaluierungen und Leitplanken: Messen Sie die Abrufqualität und reduzieren Sie Halluzinationen.

Einsetzbare Pipelines: Wechseln Sie mit weniger Umschreibungen vom Notebook zur Produktion.

Schnellstart: Von Null zu einer funktionierenden RAGFlow-Pipeline

Nachfolgend finden Sie einen minimalen End-to-End-Workflow, den Sie anpassen können. Auch wenn sich Ihre Umgebung unterscheidet, sind die Reihenfolge und die Leitplanken übertragbar.

1) Bereiten Sie Ihre Umgebung vor

Erstellen Sie eine .env-Datei mit Ihren Schlüsseln:

OPENAI_API_KEY (oder ein anderer LLM-Anbieter)

EMBEDDINGS_API_KEY (bei Verwendung eines separaten Anbieters)

VECTOR_DB_URL (z. B. Pinecone, Weaviate, Qdrant oder lokal)

Legen Sie ein Projektverzeichnis fest, z. B. ragflow-project/ mit folgenden Ordnern:

data/raw/ (Quelldateien)

data/processed/ (bereinigte Chunks)

configs/ (YAML/JSON für Pipeline-Einstellungen)

eval/ (Datensätze und Berichte)

2) Ingestieren Sie Dokumente mit sauberen Metadaten

Gute Metadaten = besserer Abruf. Normalisieren Sie Titel, Autoren, Daten und Quellen.

Konvertieren Sie PDFs und Folien mit einem robusten Parser in Text

Bewahren Sie die Struktur: Überschriften, Listen, Codeblöcke und Tabellen

Fügen Sie jedem Chunk Metadaten hinzu: source, section, page, timestamp, version

Tipp: Behalten Sie eine doc_id und chunk_id bei, um Zitate und die erneute Ingestion zu unterstützen.

3) Wählen Sie eine Chunking-Strategie, die zu Ihren Inhalten passt

Chunking beeinflusst stark die Abrufqualität und Latenz.

Für narrative Dokumente: Semantisches Chunking (Aufteilung nach Überschriften/Absätzen)

Für technische Dokumente: Verwenden Sie Hybrid-Chunking (semantisch + festes Fenster)

Für Code: Chunking nach Funktion/Klasse mit einem kleinen Schiebefenster

Empfohlene Einstellungen für den Anfang:

chunk_size: 600–1.000 Token

chunk_overlap: 50–100 Token

max_depth: Beschränken Sie verschachtelte Abschnitte auf 2–3 Ebenen, um eine Fragmentierung zu vermeiden

4) Wählen Sie Einbettungen und einen Vektorspeicher

Beginnen Sie mit einem starken Allzweck-Einbettungsmodell (z. B. text-embedding-3-large oder einem modernen lokalen Modell). Wenn der Datenschutz von entscheidender Bedeutung ist, sollten Sie selbst gehostete Einbettungen in Betracht ziehen.

Verwenden Sie eine Vektor-DB, die Folgendes unterstützt:

Hybridsuche (dicht + Keyword)

Filter (Metadatenbeschränkungen)

Batch-Upserts und Indexmetriken

Indexeinstellungen zum Testen:

top_k = 5–10 für den anfänglichen Abruf

similarity_metric = cosine (oder Dot für bestimmte Modelle)

Aktivieren Sie Max Marginal Relevance (MMR), um Redundanz zu reduzieren

5) Abruf-Orchestrierung

Implementieren Sie einen zweistufigen Retriever:

Schneller Kandidatenabruf

Hybridsuche (BM25 + dicht)

Großes top_k (z. B. 30–50)

Neubewertung

Cross-Encoder-Neubewertung oder LLM-basierte Bewertung

Reduzieren Sie auf das endgültige top_k (z. B. 5–8)

Fügen Sie Metadatenfilter hinzu: source:"handbook" AND section:"benefits" AND version:"v2", um Antworten auf vertrauenswürdige Dokumente zu beschränken.

6) Fundierte Generierung mit Struktur

Ihr Prompt sollte Zitate erzwingen und die Ablehnung, wenn die Evidenz schwach ist.

Beispiel für einen System-Prompt:

Sie sind ein sorgfältiger Assistent. Antworten Sie NUR mit Informationen, die durch den bereitgestellten Kontext gestützt werden.
- Zitieren Sie Quellen inline als [doc_id:chunk_id].
- Wenn der Kontext nicht ausreicht, sagen Sie: "Nicht genügend Informationen in den bereitgestellten Dokumenten."
- Erfinden Sie keine Fakten.

Benutzer-Prompt-Vorlage:

Frage: {query}
Kontext:
{top_chunks}
Anweisungen:
- Geben Sie zuerst eine prägnante Antwort und dann Details.
- Fügen Sie nach jeder Tatsachenbehauptung Zitate hinzu.

7) Fügen Sie Leitplanken hinzu, um Halluzinationen zu reduzieren

Überprüfbarkeit der Antwort: Fragen Sie vor der Generierung ein kleines Modell: "Gibt es direkte Beweise in den abgerufenen Chunks?" Wenn nicht, geben Sie eine Klärungsfrage zurück.

Zitieren-oder-Schweigen-Richtlinie: Blockieren Sie Ausgaben, denen Zitate fehlen.

Toxizitäts-/PII-Filter für Enterprise-Inhalte.

8) Evaluierung und kontinuierliche Verbesserung

Erstellen Sie einen eval/-Satz mit:

50–200 echte Benutzerfragen

Ground-Truth-Antworten (oder vertrauenswürdige Referenzen)

Erwartete Quellen (Dokument-IDs), falls zutreffend

Messen Sie:

Abruf-Trefferquote (Erscheint die Goldquelle in den Top-k?)

Antworttreue (durch Zitate gestützte Aussagen)

Latenz (p95 End-to-End)

Kosten (pro 100 Abfragen)

Iterieren Sie über:

Chunk-Größe und -Überlappung

Auswahl des Einbettungsmodells

Neubewertung vs. höheres Top-k

Prompt-Struktur und -Einschränkungen

Eine vollständige RAGFlow-Pipeline: Beispielkonfiguration

Nachfolgend finden Sie eine konzeptionelle Konfiguration, die Sie an Ihre Toolchain anpassen können. Ersetzen Sie die Anbieternamen nach Bedarf.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

So verwenden Sie RAGFlow für verschiedene Inhaltstypen

Produkthandbücher

Bevorzugen Sie semantisches Chunking mit klaren Abschnittsgrenzen

Fügen Sie die Version und das Gültigkeitsdatum hinzu, um veraltete Antworten zu vermeiden

Verwenden Sie strikte Filter: Verlangen Sie immer version = latest

Wissensdatenbanken und FAQs

Verwenden Sie kleinere Chunks (400–600 Token) für präzise Antworten

Erhöhen Sie den Kandidatenpool und verlassen Sie sich auf die Neubewertung, um den genauen Ausschnitt zu finden

Generieren Sie automatisch kanonische Frage/Antwort-Paare, um den Abruf über die lexikalische Suche zu verbessern

Technische Dokumente und Code

Chunking nach Funktion/Modul und Einfügen von Importgraphen in Metadaten

Aktivieren Sie den Abruf von Eltern-Kind-Elementen: Geben Sie die Funktion + den zugehörigen Docstring-Kontext zurück

Verwenden Sie eine codebewusste Neubewertung, um relevante Symbole zu priorisieren

Rechtliches und Compliance

Erfordern Sie Zitate auf Absatzebene

Fügen Sie eine Ablehnungslogik für unvollständigen Kontext hinzu

Führen Sie einen Goldstandard von behördlich genehmigten Quellen in einem separaten Index

Prompt-Muster, die tatsächlich funktionieren

Antworten, dann zitieren: Kurze Antwort oben; Zitate inline nach jeder Behauptung

Kette des Abrufs: Bitten Sie das Modell, zuerst jeden Chunk zusammenzufassen und dann zu synthetisieren

Abfrage neu schreiben: Erweitern Sie Benutzerabfragen mit Synonymen und Fachbegriffen vor dem Abruf

Kontrastierende Prompts: „Erklären Sie anhand des Kontexts, warum Option A besser ist als B." Dies erzwingt die Verwendung von Beweismitteln

Beispiel für einen Schritt zum Umschreiben von Abfragen:

Original: "Was ist unsere PTO-Übertragungsrichtlinie?"
Neu schreiben: "Richtlinie zur Übertragung von bezahlter Freizeit; Urlaubsübertrag; maximale Stunden; Richtlinienversion aktuellste"

Beobachtbarkeit und Feedbackschleifen

Protokollieren Sie, welche Chunks verwendet wurden, ihre Bewertungen und welche ignoriert wurden

Erfassen Sie Daumen hoch/runter mit einer kurzen Begründung; speisen Sie dies wieder in die Feinabstimmung des Retrievers ein

Führen Sie wöchentliche Regressionstests für Ihren Eval-Satz durch, bevor Sie eine Modelländerung bereitstellen

Cheatsheet zur Leistungsoptimierung

Wenn sich Antworten generisch anfühlen: Erhöhen Sie candidate_top_k und fügen Sie eine stärkere Neubewertung hinzu

Wenn Antworten Details verpassen: Reduzieren Sie die Chunk-Größe; erhöhen Sie das lexikalische Gewicht leicht

Wenn Zitate denselben Chunk wiederholen: Aktivieren Sie MMR und erhöhen Sie die Diversität

Wenn die Latenz hoch ist: Zwischenspeichern Sie Einbettungen, berechnen Sie Abfrageumschreibungen vor, verwenden Sie eine kleinere Neubewertung

Wenn die Kosten steigen: Senken Sie die Generierungstemperatur, kürzen Sie Prompts, probieren Sie ein kleineres LLM für den ersten Durchgang aus

Grundlegendes zu Sicherheit und Governance

Verschlüsseln Sie gespeicherte Vektoren und schwärzen Sie sensible Felder in Metadaten

Verwenden Sie eine Index-spezifische Zugriffskontrolle; Segmentierung nach Team oder Datensensibilität

Führen Sie einen Datenherkunftsnachweis: URL der Dokumentquelle, Prüfsumme und Ingestionszeitstempel

Momentaufnahme einer Fallstudie: Von unordentlichen PDFs zu vertrauenswürdigen Antworten

Ein Support-Team hat 1.200 Seiten mit PDFs ingestiert. Der anfängliche Abruf war inkonsistent; die Agenten vertrauten dem Bot nicht. Nach dem Wechsel zu semantisch-hybridem Chunking (800 Token, 80 Überlappung), der Aktivierung der Cross-Encoder-Neubewertung und der Erzwingung von Zitieren-oder-Schweigen stieg die Top-k-Trefferquote von 62 % auf 89 %, und die Akzeptanz durch die Agenten verdoppelte sich. Der Schlüssel war nicht ein größeres LLM – es waren sauberere Chunks und ein strengerer Abruf.

Tooling-Tipp: Schnelle Iteration mit einer KI-Seitenleiste

Erwähnenswert: Wenn Sie mit Prompts und Abrufausschnitten über viele Dokumente hinweg experimentieren, kann ein KI-Assistent, mit dem Sie direkt über PDFs, Webseiten und Code aus dem Browser chatten können, die Iteration beschleunigen. Übrigens bietet Sider.AI (https://sider.ai/) eine KI-Seitenleiste, mit der Sie Kontext von der Seite, auf der Sie sich befinden, abrufen, zusammenfassen und Prompts schnell verfeinern können. Dies ist praktisch, um RAG-Prompts zu prototypisieren und die Chunk-Qualität zu testen, bevor Sie die Pipeline formalisieren.

Fehlerbehebung bei RAGFlow: Schnelle Lösungen

„Das Modell ist zuversichtlich, aber falsch.“

Aktivieren Sie die Überprüfbarkeit der Antwort; senken Sie die Temperatur; fordern Sie Zitate an

„Die Suche gibt fast Duplikate zurück.“

Schalten Sie MMR ein; fügen Sie eine Neubewertung hinzu; reduzieren Sie die Chunk-Überlappung

„Die Latenz steigt bei Spitzenwerten.“

Batch-Einbettungen; Zwischenspeichern von Abfrageumschreibungen; Verwenden von Streaming-Generierung

„Alte Richtlinien werden immer wieder angezeigt.“

Filtern Sie nach version = latest; verwerfen oder kennzeichnen Sie veraltete Dokumente

Nächste Schritte: Machen Sie Ihren RAGFlow in der Produktion zuverlässig

Beginnen Sie mit einem kleinen, vertrauenswürdigen Korpus; perfektionieren Sie zuerst das Chunking und die Filter

Fügen Sie eine Neubewertung hinzu, bevor Sie das LLM aktualisieren

Erstellen Sie einen Eval-Satz mit 100 Fragen und verfolgen Sie die Trefferquote wöchentlich

Verbinden Sie das Benutzerfeedback, um den Abruf kontinuierlich zu optimieren

Wichtige Erkenntnisse:

Die Abrufqualität schlägt die Modellgröße für RAG

Chunking, Metadaten und Neubewertung sind Ihre wichtigsten Hebel

Leitplanken wie Zitieren-oder-Schweigen erhöhen das Vertrauen dramatisch

Investieren Sie frühzeitig in Beobachtbarkeit und Bewertung

Mit diesen Praktiken wird RAGFlow zu einem zuverlässigen Rückgrat für fundierte Antworten – egal, ob Sie einen Help-Bot, einen Entwickler-Copiloten oder einen internen Wissensassistenten betreiben.

FAQ

F1:Was ist RAGFlow und wie verwende ich es für die Dokumenten-QA? RAGFlow ist ein Framework zum Erstellen von Retrieval-Augmented-Generation-Pipelines. Sie nehmen Antworten mit Zitaten auf, chunking, betten sie ein, rufen sie ab und generieren sie, um Halluzinationen zu reduzieren und die Genauigkeit zu verbessern.

F2:Wie soll ich Dokumente in RAGFlow chunking? Verwenden Sie semantisches oder hybrides Chunking mit 600–1.000 Token-Chunks und 50–100 Token-Überlappung. Chunking Sie für Code nach Funktion oder Klasse und fügen Sie den umgebenden Kontext hinzu.

F3:Welche Vektordatenbank funktioniert am besten mit RAGFlow? Wählen Sie einen Speicher, der Hybridsuche, Metadatenfilter und Neubewertung unterstützt – Qdrant, Weaviate, Pinecone oder eine lokale Option sind gängige Optionen.

F4:Wie verhindere ich Halluzinationen in einer RAGFlow-App? Erzwingen Sie eine Zitieren-oder-Schweigen-Richtlinie, fügen Sie vor der Generierung eine Überprüfung der Antwortbarkeit hinzu und halten Sie die Prompts strikt ein, nur den abgerufenen Kontext zu verwenden.

F5:Welche Metriken sollte ich verfolgen, um RAGFlow zu bewerten? Überwachen Sie die Abruf-Trefferquote, die Antworttreue, die Latenz und die Kosten pro 100 Abfragen und pflegen Sie einen kleinen, aber repräsentativen Bewertungssatz.