What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Cara Menggunakan RAGFlow: Panduan Praktis untuk Membangun Aplikasi RAG yang Andal

Jika Anda pernah mencoba membangun sistem (RAG), Anda mungkin pernah mengalami masalah klasik: halusinasi, pengambilan yang tidak konsisten, alur kerja yang lambat, dan praproses dokumen yang berantakan. RAGFlow hadir sebagai alat alur kerja yang membantu Anda mengatur penyerapan dokumen, pemotongan (), vektorisasi, pengambilan (), dan pembuatan () dengan kontrol dan observabilitas yang lebih baik.

Panduan ini mengambil pendekatan praktis & berorientasi solusi. Kita akan membahas pengaturan yang bersih, menunjukkan cara menggunakan RAGFlow untuk dokumen nyata, dan berbagi pola yang benar-benar mengurangi halusinasi dan meningkatkan kualitas jawaban.

Apa itu RAGFlow dan mengapa menggunakannya?

RAGFlow adalah sistem untuk membangun alur kerja . Dalam pengaturan RAG yang tipikal, Anda:

Menyerapan dokumen (PDF, halaman web, slide, kode, dll.)

Memotong konten menjadi unit yang dapat diambil

Menanamkan potongan ke dalam vektor untuk pencarian semantik

Mengambil potongan yang relevan pada saat pertanyaan

Menghasilkan jawaban yang berdasarkan bukti menggunakan LLM

RAGFlow menambahkan standar yang telah ditentukan, blok alur kerja, dan pagar pembatas () sehingga Anda dapat melakukan iterasi lebih cepat dan mengirimkan aplikasi yang lebih andal. Ini sangat berguna jika Anda menginginkan:

Pemotongan dan metadata yang konsisten: Pengambilan yang lebih baik dimulai dengan potongan yang lebih baik.

Embeddings dan LLM yang dapat dipasang: Tukar OpenAI, model lokal, atau titik akhir perusahaan.

Evaluasi dan guardrails: Ukur kualitas pengambilan dan kurangi halusinasi.

Alur kerja yang dapat diterapkan: Beralih dari ke produksi dengan lebih sedikit penulisan ulang.

Mulai cepat: Dari nol hingga alur kerja RAGFlow yang berfungsi

Di bawah ini adalah alur kerja minimal dan yang dapat Anda adaptasi. Bahkan jika lingkungan Anda berbeda, urutan dan -nya dapat dipindahkan.

1) Siapkan lingkungan Anda

Buat .env dengan kunci Anda:

OPENAI_API_KEY (atau penyedia LLM lainnya)

EMBEDDINGS_API_KEY (jika menggunakan penyedia terpisah)

VECTOR_DB_URL (misalnya, Pinecone, Weaviate, Qdrant, atau lokal)

Tetapkan direktori proyek, misalnya, ragflow-project/ dengan folder:

data/raw/ (berkas sumber)

data/processed/ (potongan yang dibersihkan)

configs/ (YAML/JSON untuk pengaturan alur kerja)

eval/ ( dan laporan)

2) Serap dokumen dengan metadata yang bersih

Metadata yang baik = pengambilan yang lebih baik. Normalisasikan judul, penulis, tanggal, dan sumber.

Konversikan PDF dan slide ke teks dengan yang kuat

Pertahankan struktur: judul, daftar, blok kode, dan tabel

Lampirkan metadata ke setiap potongan: source, section, page, timestamp, version

Tip: Simpan doc_id dan chunk_id untuk mendukung sitasi dan penyerapan ulang.

3) Pilih strategi pemotongan yang sesuai dengan konten Anda

Pemotongan sangat memengaruhi kualitas pengambilan dan latensi.

Untuk dokumen naratif: pemotongan semantik (bagi berdasarkan judul/paragraf)

Untuk dokumen teknis: gunakan pemotongan hibrida (semantik + jendela tetap)

Untuk kode: potong berdasarkan fungsi/kelas dengan jendela geser kecil

Pengaturan yang direkomendasikan untuk memulai:

chunk_size: 600–1.000 token

chunk_overlap: 50–100 token

max_depth: batasi bagian bersarang hingga 2–3 level untuk menghindari fragmentasi

4) Pilih dan penyimpanan vektor

Mulailah dengan model serbaguna yang kuat (misalnya, text‑embedding‑3‑large atau model lokal modern). Jika privasi adalah kunci, pertimbangkan yang di- sendiri.

Gunakan DB vektor yang mendukung:

Pencarian hibrida ( + kata kunci)

Filter (batasan metadata)

Batch upserts dan metrik indeks

Pengaturan indeks untuk diuji:

top_k = 5–10 untuk pengambilan awal

similarity_metric = cosine (atau untuk model tertentu)

Aktifkan max marginal relevance (MMR) untuk mengurangi redundansi

5) Orkestrasi pengambilan

Implementasikan dua tahap:

Fast candidate recall

Pencarian hibrida (BM25 + )

top_k besar (misalnya, 30–50)

Reranking

atau penilaian berbasis LLM

Kurangi ke top_k akhir (misalnya, 5–8)

Tambahkan filter metadata: source:"handbook" AND section:"benefits" AND version:"v2" untuk membatasi jawaban pada dokumen yang tepercaya.

6) Pembuatan berdasarkan bukti dengan struktur

Anda harus memberlakukan sitasi dan penolakan ketika bukti lemah.

Contoh sistem:

Anda adalah asisten yang berhati-hati. Jawab HANYA dengan informasi yang didukung oleh konteks yang diberikan.
- Sebutkan sumber secara  sebagai [doc_id:chunk_id].
- Jika konteks tidak mencukupi, katakan "Tidak ada cukup informasi dalam dokumen yang diberikan."
- Jangan mengarang fakta.

Templat pengguna:

Pertanyaan: {query}
Konteks:
{top_chunks}
Instruksi:
- Berikan jawaban singkat terlebih dahulu, lalu detail.
- Sertakan sitasi setelah setiap klaim faktual.

7) Tambahkan untuk mengurangi halusinasi

Pemeriksaan kemampuan menjawab: Sebelum pembuatan, tanyakan pada model kecil: “Apakah ada bukti langsung dalam potongan yang diambil?” Jika tidak, kembalikan pertanyaan klarifikasi.

Kebijakan Sebutkan‑atau‑diam: Blokir keluaran yang tidak memiliki sitasi.

Filter toksisitas/PII untuk konten perusahaan.

8) Evaluasi dan peningkatan berkelanjutan

Buat set eval/ dengan:

50–200 pertanyaan pengguna nyata

Jawaban kebenaran dasar (atau referensi tepercaya)

Sumber yang diharapkan (ID dokumen) jika berlaku

Ukur:

Retrieval hit rate (apakah sumber emas muncul di ?)

Kepercayaan jawaban (pernyataan yang didukung sitasi)

Latensi (p95 )

Biaya (per 100 kueri)

Ulangi:

Ukuran dan potongan

Pilihan model

vs. yang lebih tinggi

Struktur dan batasan

Alur kerja RAGFlow lengkap: Contoh konfigurasi

Di bawah ini adalah konfigurasi konseptual yang dapat Anda adaptasi ke rantai alat Anda. Ganti nama penyedia sesuai kebutuhan.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
<a18>fields: [doc_id, title, section, page, version, source]</a19>embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
<a33>model: bge-reranker-large</a34><a34>final_top_k: 7</a35>generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Cara menggunakan RAGFlow untuk berbagai jenis konten

Manual dan buku panduan produk

Pilih pemotongan semantik dengan batas bagian yang jelas

Lampirkan versi dan tanggal efektif untuk mencegah jawaban yang kedaluwarsa

Gunakan filter yang ketat: selalu memerlukan version = latest

Basis pengetahuan dan FAQ

Gunakan potongan yang lebih kecil (400–600 token) untuk jawaban yang tepat

Tingkatkan dan andalkan untuk menemukan cuplikan yang tepat

Buat pasangan T/J kanonis secara otomatis untuk meningkatkan melalui pencarian leksikal

Dokumen dan kode teknik

Potong berdasarkan fungsi/modul dan sertakan grafik impor dalam metadata

Aktifkan pengambilan : kembalikan fungsi + konteks -nya

Gunakan yang sadar kode untuk memprioritaskan simbol yang relevan

Hukum dan kepatuhan

Wajibkan sitasi tingkat paragraf

Tambahkan logika penolakan untuk konteks yang tidak lengkap

Simpan set sumber yang disetujui regulator di indeks terpisah

Pola yang benar-benar berfungsi

Jawab lalu sebutkan: Jawaban singkat di atas; sitasi setelah setiap klaim

Rantai pengambilan: Minta model untuk meringkas setiap potongan terlebih dahulu, lalu sintesiskan

Tulis ulang kueri: Perluas kueri pengguna dengan sinonim dan istilah domain sebelum pengambilan

Prompt kontrastif: “Jelaskan mengapa opsi A lebih baik daripada B berdasarkan konteks.” Ini memaksakan penggunaan bukti

Contoh langkah penulisan ulang kueri:

Asli: "apa kebijakan  PTO kita?"
Tulis ulang: "kebijakan  cuti berbayar;  liburan; jam maksimal; versi kebijakan terbaru"

Observabilitas dan umpan balik

Catat potongan mana yang digunakan, skornya, dan mana yang diabaikan

Tangkap jempol ke atas/bawah dengan alasan singkat; masukkan kembali ke penyetelan

Jalankan uji regresi mingguan pada set Anda sebelum menerapkan perubahan model apa pun

penyetelan kinerja

Jika jawaban terasa umum: tingkatkan candidate_top_k dan tambahkan yang lebih kuat

Jika jawaban kehilangan detail: kurangi ukuran potongan; tingkatkan bobot leksikal sedikit

Jika sitasi mengulangi potongan yang sama: aktifkan MMR dan tingkatkan diversitas

Jika latensi tinggi: , pra-hitung penulisan ulang kueri, gunakan yang lebih kecil

Jika biaya melonjak: turunkan suhu , perpendek , coba LLM yang lebih kecil untuk

Esensi keamanan dan tata kelola

Enkripsi vektor yang disimpan dan redaksi bidang sensitif dalam metadata

Gunakan kontrol akses per indeks; segmentasikan berdasarkan tim atau sensitivitas data

Pertahankan catatan : URL sumber dokumen, , dan stempel waktu penyerapan

studi kasus: Dari PDF yang berantakan hingga jawaban yang tepercaya

Tim dukungan menyerap 1.200 halaman PDF. Pengambilan awal tidak konsisten; agen tidak mempercayai bot. Setelah beralih ke pemotongan semantik-hibrida (800 token, 80), mengaktifkan , dan memberlakukan sebutkan‑atau‑diam, naik dari 62% menjadi 89%, dan adopsi agen berlipat ganda. Kuncinya bukanlah LLM yang lebih besar—tetapi potongan yang lebih bersih dan pengambilan yang lebih ketat.

Tip peralatan: Iterasi cepat dengan bilah sisi AI

Perlu dicatat: jika Anda bereksperimen dengan dan cuplikan pengambilan di banyak dokumen, asisten AI yang memungkinkan Anda mengobrol melalui PDF, halaman web, dan kode langsung dari dapat mempercepat iterasi. Omong-omong, Sider.AI (https://sider.ai/) menawarkan bilah sisi AI yang memungkinkan Anda menarik konteks dari halaman yang Anda buka, meringkas, dan menyempurnakan dengan cepat. Ini berguna untuk membuat prototipe RAG dan menguji kualitas potongan sebelum Anda meresmikan alur kerja.

Memecahkan masalah RAGFlow: Perbaikan cepat

“Model ini percaya diri tetapi salah.”

Aktifkan pemeriksaan kemampuan menjawab; turunkan suhu; wajibkan sitasi

“Pencarian mengembalikan duplikat dekat.”

Aktifkan MMR; tambahkan ; kurangi

“Lonjakan latensi pada puncak.”

; penulisan ulang kueri; gunakan

“Kebijakan lama terus muncul.”

Filter pada version = latest; hentikan atau kubur dokumen yang kedaluwarsa

Langkah selanjutnya: Jadikan RAGFlow Anda andal dalam produksi

Mulailah dengan korpus kecil yang tepercaya; sempurnakan pemotongan dan filter terlebih dahulu

Tambahkan sebelum meningkatkan LLM

Bangun set 100 pertanyaan dan lacak setiap minggu

Hubungkan umpan balik pengguna untuk terus menyetel pengambilan

Poin-poin penting:

Kualitas pengambilan mengalahkan ukuran model untuk RAG

Pemotongan, metadata, dan adalah tuas inti Anda

seperti sebutkan‑atau‑diam meningkatkan kepercayaan secara dramatis

Berinvestasi lebih awal dalam observabilitas dan evaluasi

Dengan praktik ini, RAGFlow menjadi tulang punggung yang dapat diandalkan untuk jawaban berdasarkan bukti—apakah Anda memberdayakan bot bantuan, pengembang, atau asisten pengetahuan internal.

FAQ

Q1: Apa itu RAGFlow dan bagaimana cara menggunakannya untuk Tanya Jawab dokumen? RAGFlow adalah kerangka kerja untuk membangun alur kerja . Anda menyerap, memotong, menanamkan, mengambil, dan menghasilkan jawaban dengan sitasi untuk mengurangi halusinasi dan meningkatkan akurasi.

Q2: Bagaimana saya harus memotong dokumen di RAGFlow? Gunakan pemotongan semantik atau hibrida dengan potongan 600–1.000 token dan 50–100 token. Untuk kode, potong berdasarkan fungsi atau kelas dan sertakan konteks sekitarnya.

Q3: Basis data vektor mana yang berfungsi paling baik dengan RAGFlow? Pilih penyimpanan yang mendukung pencarian hibrida, filter metadata, dan —Qdrant, Weaviate, Pinecone, atau opsi lokal adalah semua pilihan umum.

Q4: Bagaimana cara mencegah halusinasi di aplikasi RAGFlow? Terapkan kebijakan sebutkan‑atau‑diam, tambahkan pemeriksaan kemampuan menjawab sebelum , dan jaga agar tetap ketat tentang hanya menggunakan konteks yang diambil.

Q5: Metrik apa yang harus saya lacak untuk mengevaluasi RAGFlow? Pantau , kepercayaan jawaban, latensi, dan biaya per 100 kueri, dan pertahankan set evaluasi kecil tetapi representatif.