What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

RAGFlow کو کیسے استعمال کریں: قابل اعتماد RAG ایپس بنانے کے لیے ایک عملی گائیڈ

اگر آپ نے کبھی ریٹریول-آگمینٹڈ جنریشن (RAG) سسٹم بنانے کی کوشش کی ہے، تو آپ کو شاید عام مسائل کا سامنا کرنا پڑا ہوگا: خیالی باتیں، غیر مستحکم ریٹریول، سست پائپ لائنز، اور دستاویز کی گندی پری پروسیسنگ۔ RAGFlow ایک اینڈ-ٹو-اینڈ ورک فلو ٹول کے طور پر آتا ہے جو آپ کو زیادہ کنٹرول اور مشاہدے کے ساتھ دستاویز کو ان gest کرنے، چنکنگ، ویکٹرائزیشن، ریٹریول، اور جنریشن کو ترتیب دینے میں مدد کرتا ہے۔

یہ گائیڈ ایک عملی اور حل پر مبنی نقطہ نظر اختیار کرتی ہے۔ ہم ایک صاف سیٹ اپ کے ذریعے آپ کی رہنمائی کریں گے، آپ کو دکھائیں گے کہ حقیقی دستاویزات کے لیے RAGFlow کو کیسے استعمال کیا جائے، اور ایسے پیٹرن شیئر کریں گے جو درحقیقت خیالی باتوں کو کم کرتے ہیں اور جواب کے معیار کو بہتر بناتے ہیں۔

RAGFlow کیا ہے اور اسے کیوں استعمال کریں؟

RAGFlow ریٹریول-آگمینٹڈ جنریشن پائپ لائنز بنانے کا ایک نظام ہے۔ ایک عام RAG سیٹ اپ میں، آپ:

ان gest دستاویزات (پی ڈی ایف، ویب صفحات، سلائیڈز، کوڈ وغیرہ)

مواد کو قابلِ بازیافت یونٹس میں چنک کریں۔

سیمنٹک سرچ کے لیے چنکس کو ویکٹرز میں ایمبیڈ کریں۔

سوال کے وقت ٹاپ-کے متعلقہ چنکس کو بازیافت کریں۔

ایل ایل ایم کا استعمال کرتے ہوئے ایک گراؤنڈڈ جواب تخلیق کریں۔

RAGFlow بامعنی ڈیفالٹس، ورک فلو بلاکس، اور گارڈریلز کا اضافہ کرتا ہے تاکہ آپ تیزی سے تکرار کر سکیں اور زیادہ قابل اعتماد ایپس بھیج سکیں۔ یہ خاص طور پر اس وقت مفید ہے جب آپ چاہیں:

مسلسل چنکنگ اور میٹا ڈیٹا: بہتر ریٹریول بہتر چنکس سے شروع ہوتا ہے۔

پلگیبل ایمبیڈنگز اور ایل ایل ایم: اوپن اے آئی، لوکل ماڈلز، یا انٹرپرائز اینڈ پوائنٹس کو تبدیل کریں۔

تشخیصات اور گارڈریلز: ریٹریول کے معیار کی پیمائش کریں اور خیالی باتوں کو کم کریں۔

قابل تعیناتی پائپ لائنز: کم دوبارہ لکھنے کے ساتھ نوٹ بک سے پروڈکشن میں منتقل ہوں۔

کوئیک سٹارٹ: صفر سے کام کرنے والی RAGFlow پائپ لائن تک

ذیل میں ایک کم سے کم، اینڈ-ٹو-اینڈ ورک فلو ہے جسے آپ ڈھال سکتے ہیں۔ اگرچہ آپ کا ماحول مختلف ہو، لیکن ترتیب اور گارڈریلز پورٹیبل ہیں۔

1) اپنے ماحول کو تیار کریں۔

اپنی کیز کے ساتھ ایک .env بنائیں:

OPENAI_API_KEY (یا کوئی اور ایل ایل ایم فراہم کنندہ)

EMBEDDINGS_API_KEY (اگر کوئی علیحدہ فراہم کنندہ استعمال کر رہے ہیں)

VECTOR_DB_URL (مثال کے طور پر، پائن کون، ویویئٹ، کیو ڈرانٹ، یا لوکل)

ایک پروجیکٹ ڈائریکٹری سیٹ کریں، مثلاً ragflow-project/ ان فولڈرز کے ساتھ:

data/raw/ (سورس فائلز)

data/processed/ (صاف شدہ چنکس)

configs/ (پائپ لائن سیٹنگز کے لیے YAML/JSON)

eval/ (ڈیٹا سیٹس اور رپورٹس)

2) صاف میٹا ڈیٹا کے ساتھ دستاویزات کو ان gest کریں۔

اچھا میٹا ڈیٹا = بہتر ریٹریول۔ ٹائٹلز، مصنفین، تاریخوں اور ذرائع کو نارملائز کریں۔

مضبوط پارسر کے ساتھ پی ڈی ایف اور سلائیڈز کو ٹیکسٹ میں تبدیل کریں۔

ساخت کو محفوظ رکھیں: ہیڈنگز، فہرستیں، کوڈ بلاکس اور ٹیبلز

ہر چنک کے ساتھ میٹا ڈیٹا منسلک کریں: source, section, page, timestamp, version

ٹپ: حوالہ جات اور دوبارہ ان gest کرنے کے لیے doc_id اور chunk_id رکھیں۔

3) ایک چنکنگ حکمت عملی کا انتخاب کریں جو آپ کے مواد کے مطابق ہو۔

چنکنگ ریٹریول کے معیار اور لیٹنسی کو سختی سے متاثر کرتی ہے۔

بیانیہ دستاویزات کے لیے: سیمنٹک چنکنگ (ہیڈنگز/پیراگرافس کے ذریعہ تقسیم کریں)

تکنیکی دستاویزات کے لیے: ہائبرڈ چنکنگ استعمال کریں (سیمنٹک + فکسڈ ونڈو)

کوڈ کے لیے: فنکشن/کلاس کے ذریعہ ایک چھوٹی سلائیڈنگ ونڈو کے ساتھ چنک کریں۔

شروع کرنے کے لیے تجویز کردہ سیٹنگز:

chunk_size: 600–1,000 ٹوکنز

chunk_overlap: 50–100 ٹوکنز

max_depth: فریگمنٹیشن سے بچنے کے لیے نیسٹڈ سیکشنز کو 2–3 سطحوں تک محدود کریں۔

4) ایمبیڈنگز اور ایک ویکٹر اسٹور چنیں۔

ایک مضبوط جنرل-مقصد ایمبیڈنگ ماڈل کے ساتھ شروع کریں (مثال کے طور پر، ٹیکسٹ-ایمبیڈنگ-3-لارج یا ایک جدید لوکل ماڈل)۔ اگر رازداری اہم ہے تو، سیلف-ہوسٹڈ ایمبیڈنگز پر غور کریں۔

ایک ویکٹر ڈی بی استعمال کریں جو سپورٹ کرتا ہے:

ہائبرڈ سرچ (ڈینسی + کی ورڈ)

فلٹرز (میٹا ڈیٹا کی رکاوٹیں)

بیچ اپسرٹس اور انڈیکس میٹرکس

ٹیسٹ کرنے کے لیے انڈیکس سیٹنگز:

top_k = 5–10 ابتدائی ریٹریول کے لیے

similarity_metric = cosine (یا بعض ماڈلز کے لیے ڈاٹ)

ریڈنڈینسی کو کم کرنے کے لیے میکسیمم مارجنل ریلیونس (MMR) کو فعال کریں۔

5) ریٹریول آرکیسٹریشن

دو مراحل والا ریٹریور نافذ کریں:

فاسٹ کینڈیڈیٹ ریکال

ہائبرڈ سرچ (BM25 + ڈینسی)

بڑا top_k (مثال کے طور پر، 30–50)

ری رینکنگ

کراس-انکوڈر ری رینکر یا ایل ایل ایم پر مبنی اسکورنگ

فائنل top_k تک کم کریں (مثال کے طور پر، 5–8)

میٹا ڈیٹا فلٹرز شامل کریں: source:"handbook" AND section:"benefits" AND version:"v2" تاکہ جوابات کو قابل اعتماد دستاویزات تک محدود کیا جا سکے۔

6) ساخت کے ساتھ گراؤنڈڈ جنریشن

آپ کا پرامپٹ حوالہ جات اور انکار کو نافذ کرنا چاہیے جب ثبوت کمزور ہوں۔

مثال کے طور پر سسٹم پرامپٹ:

آپ ایک محتاط اسسٹنٹ ہیں۔ صرف فراہم کردہ سیاق و سباق کے ذریعے سپورٹ کردہ معلومات کے ساتھ جواب دیں۔
- ذرائع کو ان لائن [doc_id:chunk_id] کے طور پر حوالہ دیں۔
- اگر سیاق و سباق ناکافی ہے، تو کہیں "فراہم کردہ دستاویزات میں کافی معلومات نہیں ہیں۔"
- حقائق ایجاد نہ کریں۔

صارف پرامپٹ ٹیمپلیٹ:

سوال: {query}
سیاق و سباق:
{top_chunks}
ہدایات:
- پہلے ایک مختصر جواب دیں، پھر تفصیلات۔
- ہر حقیقت پر مبنی دعوے کے بعد حوالہ جات شامل کریں۔

7) خیالی باتوں کو کم کرنے کے لیے گارڈریلز شامل کریں۔

جواب دینے کی صلاحیت کی جانچ: جنریشن سے پہلے، ایک چھوٹے ماڈل سے پوچھیں: "کیا بازیافت کردہ چنکس میں براہ راست ثبوت موجود ہیں؟" اگر نہیں، تو ایک وضاحتی سوال واپس کریں۔

حوالہ دیں یا خاموش رہیں پالیسی: ان آؤٹ پٹس کو بلاک کریں جن میں حوالہ جات موجود نہیں ہیں۔

انٹرپرائز مواد کے لیے Toxicity/PII فلٹرز۔

8) تشخیص اور مسلسل بہتری

ایک eval/ سیٹ بنائیں:

50–200 حقیقی صارف کے سوالات

گراؤنڈ ٹروتھ جوابات (یا قابل اعتماد حوالہ جات)

متوقع ذرائع (ڈاک آئی ڈیز) جہاں قابل اطلاق ہو

پیمائش کریں:

ریٹریول ہٹ ریٹ (کیا ٹاپ-کے میں گولڈ سورس ظاہر ہوتا ہے؟)

جواب کی وفاداری (حوالہ-تائید شدہ بیانات)

لیٹنسی (p95 اینڈ-ٹو-اینڈ)

لاگت (فی 100 سوالات)

ان پر تکرار کریں:

چنک سائز اور اوورلیپ

ایمبیڈنگ ماڈل کا انتخاب

ری رینکر بمقابلہ زیادہ ٹاپ-کے

پرامپٹ کی ساخت اور رکاوٹیں

ایک مکمل RAGFlow پائپ لائن: مثال کے طور پر کنفیگریشن

ذیل میں ایک تصوراتی کنفیگریشن ہے جسے آپ اپنے ٹول چین میں ڈھال سکتے ہیں۔ ضرورت کے مطابق فراہم کنندہ کے ناموں کو تبدیل کریں۔

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

مختلف قسم کے مواد کے لیے RAGFlow کو کیسے استعمال کریں۔

پروڈکٹ مینولز اور ہینڈ بکس

واضح سیکشن باؤنڈریز کے ساتھ سیمنٹک چنکنگ کو ترجیح دیں۔

پرانے جوابات کو روکنے کے لیے ورژن اور موثر تاریخ منسلک کریں۔

سخت فلٹرز استعمال کریں: ہمیشہ version = latest کی ضرورت کریں۔

نالج بیسز اور FAQs

صحیح جوابات کے لیے چھوٹے چنکس (400–600 ٹوکنز) استعمال کریں۔

امیدواروں کے پول کو بڑھائیں اور صحیح سنیپٹ تلاش کرنے کے لیے ری رینکنگ پر انحصار کریں۔

لیکسیکل سرچ کے ذریعے ریکال کو بڑھانے کے لیے کینونیکل سوال/جواب جوڑے خود بخود تیار کریں۔

انجینئرنگ دستاویزات اور کوڈ

فنکشن/ماڈیول کے ذریعہ چنک کریں اور میٹا ڈیٹا میں امپورٹ گراف شامل کریں۔

والد-بچہ بازیافت کو فعال کریں: فنکشن + اس کے ڈاک اسٹرنگ سیاق و سباق کو واپس کریں۔

متعلقہ علامتوں کو ترجیح دینے کے لیے کوڈ سے متعلقہ ری رینکر استعمال کریں۔

قانونی اور تعمیل

پیراگراف کی سطح کے حوالہ جات کی ضرورت کریں۔

نامکمل سیاق و سباق کے لیے انکار کی منطق شامل کریں۔

ایک علیحدہ انڈیکس میں ریگولیٹر کی منظور شدہ ذرائع کا ایک سنہری سیٹ رکھیں۔

پرامپٹ پیٹرن جو درحقیقت کام کرتے ہیں۔

جواب دیں پھر حوالہ دیں: اوپر مختصر جواب؛ ہر دعوے کے بعد ان لائن حوالہ جات

بازیافت کی زنجیر: ماڈل سے پہلے ہر چنک کا خلاصہ کرنے کو کہیں، پھر سنتھیسائز کریں۔

سوال کو دوبارہ لکھیں: بازیافت سے پہلے مترادفات اور ڈومین کی شرائط کے ساتھ صارف کے سوالات کو وسعت دیں۔

مخالف پرامپٹس: "وضاحت کریں کہ سیاق و سباق کی بنیاد پر آپشن A آپشن B سے بہتر کیوں ہے۔" یہ ثبوت کے استعمال پر مجبور کرتا ہے۔

سوال کو دوبارہ لکھنے کا مثال کے طور پر قدم:

اصل: "ہماری PTO کیری اوور پالیسی کیا ہے؟"
دوبارہ لکھیں: "پیڈ ٹائم آف کیری اوور پالیسی؛ چھٹیوں کا رول اوور؛ زیادہ سے زیادہ گھنٹے؛ پالیسی ورژن تازہ ترین"

مشاہداتی صلاحیت اور فیڈ بیک لوپس

لاگ کریں کہ کون سے چنکس استعمال کیے گئے، ان کے اسکورز، اور کون سے نظر انداز کیے گئے۔

ایک مختصر استدلال کے ساتھ تھمز اپ/ڈاؤن کیپچر کریں۔ اسے ریٹریور ٹیوننگ میں واپس فیڈ کریں۔

کسی بھی ماڈل کی تبدیلی کو تعینات کرنے سے پہلے اپنے eval سیٹ پر ہفتہ وار ریگریشن ٹیسٹ چلائیں۔

پرفارمنس ٹیوننگ چیٹ شیٹ

اگر جوابات عام محسوس ہوتے ہیں: candidate_top_k میں اضافہ کریں اور ایک مضبوط ری رینکر شامل کریں۔

اگر جوابات تفصیلات سے محروم ہیں: چنک سائز کو کم کریں؛ لیکسیکل ویٹ کو قدرے بڑھائیں۔

اگر حوالہ جات ایک ہی چنک کو دہراتے ہیں: MMR کو فعال کریں اور تنوع کو بڑھائیں۔

اگر لیٹنسی زیادہ ہے: ایمبیڈنگز کو کیش کریں، سوال کو دوبارہ لکھنے کا پہلے سے حساب لگائیں، چھوٹے ری رینکر کا استعمال کریں۔

اگر لاگت میں اضافہ ہوتا ہے: جنریشن ٹیمپریچر کو کم کریں، پرامپٹس کو مختصر کریں، پہلی پاس کے لیے ایک چھوٹا ایل ایل ایم آزمائیں۔

سیکیورٹی اور گورننس کے لازمی عناصر

محفوظ شدہ ویکٹرز کو انکرپٹ کریں اور میٹا ڈیٹا میں حساس فیلڈز کو ریڈیکٹ کریں۔

فی-انڈیکس رسائی کنٹرول استعمال کریں؛ ٹیم یا ڈیٹا کی حساسیت کے لحاظ سے تقسیم کریں۔

ایک ڈیٹا لینایج ریکارڈ رکھیں: دستاویز سورس یو آر ایل، چیکسم، اور ان gest کرنے کا ٹائم اسٹیمپ

کیس اسٹڈی سنیپ شاٹ: گندی پی ڈی ایف سے قابل اعتماد جوابات تک

ایک سپورٹ ٹیم نے 1,200 صفحات پر مشتمل پی ڈی ایف ان gest کیا۔ ابتدائی بازیافت غیر مستقل تھی؛ ایجنٹس نے بوٹ پر بھروسہ نہیں کیا۔ سیمنٹک-ہائبرڈ چنکنگ (800 ٹوکنز، 80 اوورلیپ) پر سوئچ کرنے، کراس-انکوڈر ری رینکنگ کو فعال کرنے، اور حوالہ دیں یا خاموش رہیں کو نافذ کرنے کے بعد، ٹاپ-کے ہٹ ریٹ 62% سے بڑھ کر 89% ہو گیا، اور ایجنٹ کی قبولیت دگنی ہو گئی۔ کلید ایک بڑا ایل ایل ایم نہیں تھی—یہ صاف چنکس اور سخت بازیافت تھی۔

ٹولنگ ٹپ: ایک AI سائیڈبار کے ساتھ تیز تکرار

غور کرنے کے قابل: اگر آپ بہت ساری دستاویزات میں پرامپٹس اور بازیافت سنیپٹس کے ساتھ تجربہ کر رہے ہیں، تو ایک AI اسسٹنٹ جو آپ کو براؤزر سے ہی پی ڈی ایف، ویب صفحات اور کوڈ پر چیٹ کرنے کی اجازت دیتا ہے، تکرار کو تیز کر سکتا ہے۔ ویسے، Sider.AI (https://sider.ai/) ایک AI سائیڈبار پیش کرتا ہے جو آپ کو اس صفحہ سے سیاق و سباق حاصل کرنے، خلاصہ کرنے اور فوری طور پر پرامپٹس کو بہتر بنانے کی سہولت دیتا ہے۔ یہ RAG پرامپٹس کو پروٹوٹائپ کرنے اور پائپ لائن کو باضابطہ بنانے سے پہلے چنک کے معیار کو جانچنے کے لیے کارآمد ہے۔

RAGFlow کی خرابیوں کا ازالہ: فوری اصلاحات

"ماڈل پراعتماد ہے لیکن غلط ہے۔"

جواب دینے کی صلاحیت کی جانچ کو فعال کریں؛ درجہ حرارت کو کم کریں؛ حوالہ جات کی ضرورت کریں۔

"سرچ قریب ترین ڈپلیکیٹس واپس کرتی ہے۔"

MMR کو آن کریں؛ ایک ری رینکر شامل کریں؛ چنک اوورلیپ کو کم کریں۔

"چوٹی پر لیٹنسی بڑھ جاتی ہے۔"

بیچ ایمبیڈنگز؛ سوال کو دوبارہ لکھنے کو کیش کریں؛ اسٹریمنگ جنریشن کا استعمال کریں۔

"پرانی پالیسیاں ظاہر ہوتی رہتی ہیں۔"

version = latest پر فلٹر کریں؛ متروک دستاویزات کو فرسودہ یا ٹومب اسٹون کریں۔

اگلے اقدامات: پروڈکشن میں اپنی RAGFlow کو قابل اعتماد بنائیں۔

ایک چھوٹے، قابل اعتماد کارپس سے شروع کریں؛ پہلے چنکنگ اور فلٹرز کو کامل بنائیں۔

ایل ایل ایم کو اپ گریڈ کرنے سے پہلے ایک ری رینکر شامل کریں۔

100 سوالوں کا eval سیٹ بنائیں اور ہفتہ وار ہٹ ریٹ کو ٹریک کریں۔

مسلسل بازیافت کو ٹیون کرنے کے لیے صارف کے فیڈ بیک میں وائر کریں۔

اہم نکات:

بازیافت کا معیار RAG کے لیے ماڈل کے سائز کو مات دیتا ہے۔

چنکنگ، میٹا ڈیٹا اور ری رینکنگ آپ کے بنیادی لیور ہیں۔

حوالہ دیں یا خاموش رہیں جیسے گارڈریلز ڈرامائی طور پر اعتماد میں اضافہ کرتے ہیں۔

مشاہداتی صلاحیت اور تشخیص میں ابتدائی طور پر سرمایہ کاری کریں۔

ان طریقوں کے ساتھ، RAGFlow گراؤنڈڈ جوابات کے لیے ایک قابل اعتماد ریڑھ کی ہڈی بن جاتا ہے—چاہے آپ ہیلپ بوٹ، ڈویلپر کوپائلٹ، یا اندرونی نالج اسسٹنٹ کو طاقت دے رہے ہوں۔

اکثر پوچھے جانے والے سوالات

Q1:RAGFlow کیا ہے اور میں اسے دستاویز QA کے لیے کیسے استعمال کروں؟ RAGFlow بازیافت-آگمینٹڈ جنریشن پائپ لائنز بنانے کے لیے ایک فریم ورک ہے۔ آپ خیالی باتوں کو کم کرنے اور درستگی کو بہتر بنانے کے لیے حوالہ جات کے ساتھ جوابات کو ان gest، چنک، ایمبیڈ، بازیافت اور تیار کرتے ہیں۔

Q2:مجھے RAGFlow میں دستاویزات کو کیسے چنک کرنا چاہیے؟ 600–1,000 ٹوکن چنکس اور 50–100 ٹوکن اوورلیپ کے ساتھ سیمنٹک یا ہائبرڈ چنکنگ استعمال کریں۔ کوڈ کے لیے، فنکشن یا کلاس کے ذریعہ چنک کریں اور ارد گرد کے سیاق و سباق کو شامل کریں۔

Q3:کون سا ویکٹر ڈیٹا بیس RAGFlow کے ساتھ بہترین کام کرتا ہے؟ ایک ایسا اسٹور منتخب کریں جو ہائبرڈ سرچ، میٹا ڈیٹا فلٹرز اور ری رینکنگ کو سپورٹ کرتا ہو—Qdrant، Weaviate، Pinecone، یا ایک لوکل آپشن سبھی عام انتخاب ہیں۔

Q4:میں RAGFlow ایپ میں خیالی باتوں کو کیسے روک سکتا ہوں؟ حوالہ دیں یا خاموش رہیں پالیسی کو نافذ کریں، جنریشن سے پہلے جواب دینے کی صلاحیت کی جانچ شامل کریں، اور پرامپٹس کو صرف بازیافت کردہ سیاق و سباق استعمال کرنے کے بارے میں سخت رکھیں۔

Q5:مجھے RAGFlow کا جائزہ لینے کے لیے کن میٹرکس کو ٹریک کرنا چاہیے؟ بازیافت ہٹ ریٹ، جواب کی وفاداری، لیٹنسی، اور فی 100 سوالات لاگت کی نگرانی کریں، اور ایک چھوٹا لیکن نمائندہ تشخیصی سیٹ برقرار رکھیں۔