What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Як використовувати RAGFlow: Практичний посібник зі створення надійних RAG-застосунків

Якщо ви намагалися створити систему генерації, доповнену пошуком (RAG), ви, ймовірно, зіткнулися з класичними проблемами: галюцинації, нестабільний пошук, повільні конвеєри та безладне попереднє оброблення документів. RAGFlow виступає як наскрізний інструмент робочого процесу, який допомагає вам організувати отримання документів, розбиття на частини, векторизацію, пошук і генерацію з більшим контролем і спостережуваністю.

Цей посібник використовує практичний і орієнтований на рішення підхід. Ми розглянемо чисте налаштування, покажемо, як використовувати RAGFlow для реальних документів, і поділимося шаблонами, які дійсно зменшують галюцинації та покращують якість відповідей.

Що таке RAGFlow і навіщо його використовувати?

RAGFlow — це система для створення конвеєрів Retrieval-Augmented Generation. У типовій установці RAG ви:

Отримуєте документи (PDF-файли, вебсторінки, слайди, код тощо)

Розбиваєте контент на частини, які можна отримати

Вбудовуєте частини у вектори для семантичного пошуку

Отримуєте top‑k релевантних частин під час запиту

Генеруєте обґрунтовану відповідь за допомогою LLM

RAGFlow додає обґрунтовані значення за замовчуванням, блоки робочого процесу та захисні механізми, щоб ви могли швидше ітерувати та постачати надійніші застосунки. Це особливо корисно, якщо ви хочете:

Послідовне розбиття на частини та метадані: Кращий пошук починається з кращих частин.

Під’єднувані вбудовування та LLM: Замінюйте OpenAI, локальні моделі або корпоративні кінцеві точки.

Оцінювання та захисні механізми: Вимірюйте якість пошуку та зменшуйте галюцинації.

Розгортаємі конвеєри: Переходьте від блокнота до виробництва з меншою кількістю переписувань.

Швидкий старт: Від нуля до робочого конвеєра RAGFlow

Нижче наведено мінімальний наскрізний робочий процес, який ви можете адаптувати. Навіть якщо ваше середовище відрізняється, послідовність і захисні механізми є портативними.

1) Підготуйте своє середовище

Створіть .env з вашими ключами:

OPENAI_API_KEY (або іншого постачальника LLM)

EMBEDDINGS_API_KEY (якщо використовуєте окремого постачальника)

VECTOR_DB_URL (наприклад, Pinecone, Weaviate, Qdrant або локальний)

Встановіть каталог проєкту, наприклад, ragflow-project/ з папками:

data/raw/ (вихідні файли)

data/processed/ (очищені частини)

configs/ (YAML/JSON для налаштувань конвеєра)

eval/ (набори даних і звіти)

2) Отримуйте документи з чистими метаданими

Хороші метадані = кращий пошук. Нормалізуйте назви, авторів, дати та джерела.

Перетворюйте PDF-файли та слайди на текст за допомогою надійного парсера

Зберігайте структуру: заголовки, списки, блоки коду та таблиці

Додавайте метадані до кожної частини: source, section, page, timestamp, version

Порада: Зберігайте doc_id та chunk_id для підтримки цитувань і повторного отримання.

3) Виберіть стратегію розбиття на частини, яка відповідає вашому контенту

Розбиття на частини сильно впливає на якість пошуку та затримку.

Для наративних документів: семантичне розбиття на частини (розділення за заголовками/параграфами)

Для технічних документів: використовуйте гібридне розбиття на частини (семантичне + фіксоване вікно)

Для коду: розбивайте на частини за функцією/класом з невеликим ковзним вікном

Рекомендовані налаштування для початку:

chunk_size: 600–1000 токенів

chunk_overlap: 50–100 токенів

max_depth: обмежте вкладені розділи до 2–3 рівнів, щоб уникнути фрагментації

4) Виберіть вбудовування та векторне сховище

Почніть із сильної моделі вбудовування загального призначення (наприклад, text‑embedding‑3‑large або сучасної локальної моделі). Якщо конфіденційність є ключовою, розгляньте можливість самостійного розміщення вбудовувань.

Використовуйте векторну БД, яка підтримує:

Гібридний пошук (щільний + за ключовими словами)

Фільтри (обмеження метаданих)

Пакетні вставки та метрики індексу

Налаштування індексу для тестування:

top_k = 5–10 для початкового пошуку

similarity_metric = cosine (або dot для певних моделей)

Увімкніть максимальну граничну релевантність (MMR) для зменшення надмірності

5) Організація пошуку

Реалізуйте двоетапний пошук:

Швидкий відбір кандидатів

Гібридний пошук (BM25 + щільний)

Великий top_k (наприклад, 30–50)

Переранжування

Переранжувальник крос-енкодера або оцінювання на основі LLM

Зменшення до остаточного top_k (наприклад, 5–8)

Додайте фільтри метаданих: source:"handbook" AND section:"benefits" AND version:"v2", щоб обмежити відповіді лише надійними документами.

6) Обґрунтована генерація зі структурою

Ваш запит має забезпечувати цитування та відмову, коли доказів недостатньо.

Приклад системного запиту:

Ви — уважний помічник. Відповідайте ЛИШЕ інформацією, підтвердженою наданим контекстом.
- Цитуйте джерела в тексті як [doc_id:chunk_id].
- Якщо контексту недостатньо, скажіть: «Недостатньо інформації в наданих документах».
- Не вигадуйте факти.

Шаблон запиту користувача:

Запитання: {query}
Контекст:
{top_chunks}
Інструкції:
- Спочатку надайте стислу відповідь, потім деталі.
- Включайте цитування після кожного фактичного твердження.

7) Додайте захисні механізми для зменшення галюцинацій

Перевірка можливості відповіді: Перед генерацією запитайте невелику модель: «Чи є прямі докази в отриманих частинах?» Якщо ні, поверніть уточнююче запитання.

Політика Цитуй або мовчи: Блокуйте результати, які не містять цитувань.

Фільтри токсичності/PII для корпоративного контенту.

8) Оцінювання та постійне вдосконалення

Створіть набір eval/ з:

50–200 реальних запитань користувачів

Обґрунтовані відповіді (або надійні посилання)

Очікувані джерела (ідентифікатори документів), де це можливо

Вимірюйте:

Коефіцієнт попадання при пошуку (чи з’являється золоте джерело в top‑k?)

Вірність відповіді (твердження, підтверджені цитуваннями)

Затримка (p95 наскрізний)

Вартість (за 100 запитів)

Ітеруйте:

Розмір і перекриття частин

Вибір моделі вбудовування

Переранжувальник проти вищого top‑k

Структура та обмеження запиту

Повний конвеєр RAGFlow: Приклад конфігурації

Нижче наведено концептуальну конфігурацію, яку ви можете адаптувати до свого інструментарію. Замініть назви постачальників за потреби.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
<a15>overlap_tokens: 80</a16><a16>windowing: 2</a17>metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
model: bge-reranker-large
final_top_k: 7
generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Як використовувати RAGFlow для різних типів контенту

Інструкції з експлуатації та довідники

Віддавайте перевагу семантичному розбиттю на частини з чіткими межами розділів

Додайте версію та дату набрання чинності, щоб запобігти застарілим відповідям

Використовуйте суворі фільтри: завжди вимагайте version = latest

Бази знань і поширені запитання

Використовуйте менші частини (400–600 токенів) для точних відповідей

Збільште пул кандидатів і покладайтеся на переранжування, щоб знайти точний фрагмент

Автоматично створюйте канонічні пари «запитання/відповідь», щоб підвищити відтворення за допомогою лексичного пошуку

Технічна документація та код

Розбивайте на частини за функцією/модулем і включайте графи імпорту в метадані

Увімкніть отримання батьківських/дочірніх елементів: повертайте функцію + контекст її рядка документації

Використовуйте переранжувальник, який враховує код, щоб визначити пріоритетність відповідних символів

Юридичні питання та відповідність вимогам

Вимагайте цитування на рівні абзаців

Додайте логіку відмови для неповного контексту

Зберігайте золотий набір затверджених регулятором джерел в окремому індексі

Шаблони запитів, які дійсно працюють

Спочатку відповідайте, потім цитуйте: Коротка відповідь угорі; цитування в тексті після кожного твердження

Ланцюжок пошуку: Попросіть модель спочатку узагальнити кожну частину, а потім синтезувати

Переписування запиту: Розширюйте запити користувачів синонімами та галузевими термінами перед пошуком

Контрастні запити: «Поясніть, чому варіант A кращий за B на основі контексту». Це змушує використовувати докази

Приклад кроку переписування запиту:

Оригінал: "яка наша політика перенесення PTO?"
Переписування: "політика перенесення оплачуваного часу; перенесення відпустки; максимальна кількість годин; остання версія політики"

Спостережуваність і цикли зворотного зв’язку

Реєструйте, які частини було використано, їхні оцінки та які було проігноровано

Захоплюйте оцінки «великий палець вгору/вниз» із коротким обґрунтуванням; повертайте це в налаштування пошуку

Щотижня запускайте регресійні тести на своєму наборі оцінювання перед розгортанням будь-якої зміни моделі

Шпаргалка з налаштування продуктивності

Якщо відповіді здаються загальними: збільште candidate_top_k і додайте сильніший переранжувальник

Якщо відповіді пропускають деталі: зменште розмір частини; трохи збільште лексичну вагу

Якщо цитування повторюють ту саму частину: увімкніть MMR і підвищте різноманітність

Якщо затримка висока: кешуйте вбудовування, попередньо обчислюйте переписування запитів, використовуйте менший переранжувальник

Якщо витрати різко зростають: зменште температуру генерації, скоротіть запити, спробуйте менший LLM для першого проходу

Основи безпеки та управління

Зашифруйте збережені вектори та відредагуйте конфіденційні поля в метаданих

Використовуйте контроль доступу для кожного індексу; сегментуйте за командою або чутливістю даних

Ведіть записи про походження даних: URL-адреса джерела документа, контрольна сума та позначка часу отримання

Короткий огляд тематичного дослідження: Від безладних PDF-файлів до надійних відповідей

Команда підтримки отримала 1200 сторінок PDF-файлів. Початковий пошук був непослідовним; агенти не довіряли боту. Після переходу на семантично-гібридне розбиття на частини (800 токенів, 80 перекриттів), увімкнення переранжування крос-енкодера та забезпечення політики «цитуй або мовчи», коефіцієнт попадання top‑k зріс із 62 % до 89 %, а впровадження агентами подвоїлося. Ключем був не більший LLM, а чистіші частини та суворіший пошук.

Порада щодо інструментів: Швидка ітерація з бічною панеллю AI

Варто зазначити: якщо ви експериментуєте із запитами та фрагментами пошуку в багатьох документах, помічник AI, який дозволяє вам спілкуватися в чаті через PDF-файли, вебсторінки та код прямо з браузера, може прискорити ітерацію. До речі, Sider.AI (https://sider.ai/) пропонує бічну панель AI, яка дозволяє вам отримувати контекст зі сторінки, на якій ви перебуваєте, узагальнювати та швидко вдосконалювати запити. Це зручно для створення прототипів запитів RAG і тестування якості частин, перш ніж формалізувати конвеєр.

Усунення несправностей RAGFlow: Швидкі виправлення

«Модель впевнена, але помиляється».

Увімкніть перевірку можливості відповіді; знизьте температуру; вимагайте цитування

«Пошук повертає майже дублікати».

Увімкніть MMR; додайте переранжувальник; зменште перекриття частин

«Затримка зростає в пік».

Пакетне вбудовування; кешуйте переписування запитів; використовуйте потокову генерацію

«Постійно з’являються старі політики».

Фільтруйте за version = latest; застарілі документи анулюйте або забудьте

Наступні кроки: Зробіть свій RAGFlow надійним у виробництві

Почніть із невеликого надійного корпусу; спочатку вдосконалюйте розбиття на частини та фільтри

Додайте переранжувальник перед оновленням LLM

Створіть набір оцінювання зі 100 запитань і щотижня відстежуйте коефіцієнт попадання

Підключіть відгуки користувачів для постійного налаштування пошуку

Основні висновки:

Якість пошуку перевершує розмір моделі для RAG

Розбиття на частини, метадані та переранжування — ваші основні важелі

Захисні механізми, як-от «цитуй або мовчи», значно підвищують довіру

Інвестуйте на ранніх етапах у спостережуваність та оцінювання

Завдяки цим практикам RAGFlow стає надійною основою для обґрунтованих відповідей — незалежно від того, чи використовуєте ви його для живлення бота довідки, пілотного помічника розробника чи внутрішнього помічника знань.

FAQ

Q1:Що таке RAGFlow і як його використовувати для QA документів? RAGFlow — це фреймворк для створення конвеєрів генерації, доповнених пошуком. Ви отримуєте, розбиваєте на частини, вбудовуєте, знаходите та генеруєте відповіді з цитуваннями, щоб зменшити галюцинації та підвищити точність.

Q2:Як розбивати документи на частини в RAGFlow? Використовуйте семантичне або гібридне розбиття на частини з частинами розміром 600–1000 токенів і перекриттям 50–100 токенів. Для коду розбивайте на частини за функцією або класом і включайте навколишній контекст.

Q3:Яка векторна база даних найкраще працює з RAGFlow? Виберіть сховище, яке підтримує гібридний пошук, фільтри метаданих і переранжування — Qdrant, Weaviate, Pinecone або локальний варіант є поширеними варіантами.

Q4:Як запобігти галюцинаціям у програмі RAGFlow? Забезпечте політику «цитуй або мовчи», додайте перевірку можливості відповіді перед генерацією та зберігайте запити суворими щодо використання лише отриманого контексту.

Q5:Які показники слід відстежувати для оцінювання RAGFlow? Відстежуйте коефіцієнт попадання при пошуку, вірність відповіді, затримку та вартість за 100 запитів і підтримуйте невеликий, але репрезентативний набір оцінювання.