What is RAGFlow and how do I use it for document QA?

RAGFlow is a framework for building retrieval-augmented generation pipelines. You ingest, chunk, embed, retrieve, and generate answers with citations to reduce hallucinations and improve accuracy.

How should I chunk documents in RAGFlow?

Use semantic or hybrid chunking with 600–1,000 token chunks and 50–100 token overlap. For code, chunk by function or class and include surrounding context.

Which vector database works best with RAGFlow?

Choose a store that supports hybrid search, metadata filters, and reranking—Qdrant, Weaviate, Pinecone, or a local option are all common choices.

How do I prevent hallucinations in a RAGFlow app?

Enforce a cite‑or‑silence policy, add an answerability check before generation, and keep prompts strict about using only retrieved context.

What metrics should I track to evaluate RAGFlow?

Monitor retrieval hit rate, answer faithfulness, latency, and cost per 100 queries, and maintain a small but representative evaluation set.

Cách Sử Dụng RAGFlow: Hướng Dẫn Thực Tế Để Xây Dựng Các Ứng Dụng RAG Đáng Tin Cậy

Nếu bạn đã thử xây dựng một hệ thống sinh tăng cường truy xuất (RAG), bạn có lẽ đã gặp phải những vấn đề nan giải kinh điển: ảo giác, truy xuất không ổn định, quy trình chậm và tiền xử lý tài liệu lộn xộn. RAGFlow xuất hiện như một công cụ quy trình làm việc toàn diện, giúp bạn điều phối việc nhập, chia nhỏ, vector hóa, truy xuất và tạo tài liệu một cách có kiểm soát và dễ quan sát hơn.

Hướng dẫn này tiếp cận theo hướng thực tế và tập trung vào giải pháp. Chúng ta sẽ cùng nhau thiết lập một quy trình rõ ràng, chỉ cho bạn cách sử dụng RAGFlow với các tài liệu thực tế và chia sẻ các mẫu thực sự làm giảm ảo giác và cải thiện chất lượng câu trả lời.

RAGFlow là gì và tại sao nên sử dụng nó?

RAGFlow là một hệ thống để xây dựng các quy trình Sinh Tăng Cường Truy Xuất. Trong một thiết lập RAG điển hình, bạn:

Nhập tài liệu (PDF, trang web, slide, code, v.v.)

Chia nhỏ nội dung thành các đơn vị có thể truy xuất

Nhúng các đoạn nhỏ vào vectơ để tìm kiếm ngữ nghĩa

Truy xuất top‑k các đoạn liên quan nhất vào thời điểm đặt câu hỏi

Tạo một câu trả lời có căn cứ bằng LLM

RAGFlow bổ sung các giá trị mặc định có chủ đích, các khối quy trình làm việc và các biện pháp bảo vệ để bạn có thể lặp lại nhanh hơn và xuất xưởng các ứng dụng đáng tin cậy hơn. Nó đặc biệt hữu ích nếu bạn muốn:

Chia nhỏ và siêu dữ liệu nhất quán: Truy xuất tốt hơn bắt đầu với các đoạn nhỏ tốt hơn.

Khả năng cắm các embeddings và LLM: Hoán đổi OpenAI, các mô hình cục bộ hoặc các điểm cuối doanh nghiệp.

Đánh giá và các biện pháp bảo vệ: Đo lường chất lượng truy xuất và giảm ảo giác.

Các quy trình có thể triển khai: Chuyển từ notebook sang sản xuất với ít lần viết lại hơn.

Bắt đầu nhanh: Từ con số không đến một quy trình RAGFlow hoạt động

Dưới đây là một quy trình làm việc tối thiểu, toàn diện mà bạn có thể điều chỉnh. Ngay cả khi môi trường của bạn khác biệt, trình tự và các biện pháp bảo vệ vẫn có thể di chuyển được.

1) Chuẩn bị môi trường của bạn

Tạo một file .env với các khóa của bạn:

OPENAI_API_KEY (hoặc một nhà cung cấp LLM khác)

EMBEDDINGS_API_KEY (nếu sử dụng một nhà cung cấp riêng biệt)

VECTOR_DB_URL (ví dụ: Pinecone, Weaviate, Qdrant hoặc cục bộ)

Đặt một thư mục dự án, ví dụ: ragflow-project/ với các thư mục:

data/raw/ (các tệp nguồn)

data/processed/ (các đoạn đã làm sạch)

configs/ (YAML/JSON cho các cài đặt quy trình)

eval/ (các tập dữ liệu và báo cáo)

2) Nhập tài liệu với siêu dữ liệu sạch

Siêu dữ liệu tốt = truy xuất tốt hơn. Chuẩn hóa tiêu đề, tác giả, ngày tháng và nguồn.

Chuyển đổi PDF và slide thành văn bản bằng một trình phân tích cú pháp mạnh mẽ

Bảo tồn cấu trúc: tiêu đề, danh sách, khối code và bảng

Đính kèm siêu dữ liệu vào mỗi đoạn: source, section, page, timestamp, version

Mẹo: Giữ một doc_id và chunk_id để hỗ trợ trích dẫn và nhập lại.

3) Chọn một chiến lược chia nhỏ phù hợp với nội dung của bạn

Việc chia nhỏ ảnh hưởng mạnh mẽ đến chất lượng truy xuất và độ trễ.

Đối với các tài liệu tường thuật: chia nhỏ ngữ nghĩa (chia theo tiêu đề/đoạn văn)

Đối với các tài liệu kỹ thuật: sử dụng chia nhỏ hỗn hợp (ngữ nghĩa + cửa sổ cố định)

Đối với code: chia nhỏ theo hàm/lớp với một cửa sổ trượt nhỏ

Các cài đặt được đề xuất để bắt đầu:

chunk_size: 600–1.000 token

chunk_overlap: 50–100 token

max_depth: giới hạn các phần lồng nhau ở 2–3 cấp để tránh phân mảnh

4) Chọn embeddings và một kho lưu trữ vectơ

Bắt đầu với một mô hình embedding đa năng mạnh mẽ (ví dụ: text‑embedding‑3‑large hoặc một mô hình cục bộ hiện đại). Nếu quyền riêng tư là yếu tố then chốt, hãy cân nhắc các embeddings tự lưu trữ.

Sử dụng một vector DB hỗ trợ:

Tìm kiếm hỗn hợp (mật độ + từ khóa)

Bộ lọc (các ràng buộc siêu dữ liệu)

Upsert hàng loạt và các chỉ số index

Các cài đặt index để kiểm tra:

top_k = 5–10 cho lần truy xuất ban đầu

similarity_metric = cosine (hoặc dot cho một số mô hình nhất định)

Bật độ phù hợp biên tối đa (MMR) để giảm sự dư thừa

5) Điều phối truy xuất

Triển khai một trình truy xuất hai giai đoạn:

Thu hồi ứng viên nhanh chóng

Tìm kiếm hỗn hợp (BM25 + mật độ)

top_k lớn (ví dụ: 30–50)

Xếp hạng lại

Cross‑encoder reranker hoặc tính điểm dựa trên LLM

Giảm xuống top_k cuối cùng (ví dụ: 5–8)

Thêm bộ lọc siêu dữ liệu: source:"handbook" AND section:"benefits" AND version:"v2" để giới hạn các câu trả lời cho các tài liệu đáng tin cậy.

6) Tạo có căn cứ với cấu trúc

Lời nhắc của bạn nên thực thi các trích dẫn và từ chối khi bằng chứng yếu.

Ví dụ về lời nhắc hệ thống:

Bạn là một trợ lý cẩn thận. CHỈ trả lời bằng thông tin được hỗ trợ bởi ngữ cảnh được cung cấp.
- Trích dẫn các nguồn nội dòng dưới dạng [doc_id:chunk_id].
- Nếu ngữ cảnh không đủ, hãy nói "Không đủ thông tin trong các tài liệu được cung cấp."
- Không bịa ra sự thật.

Mẫu lời nhắc người dùng:

Câu hỏi: {query}
Ngữ cảnh:
{top_chunks}
Hướng dẫn:
- Cung cấp một câu trả lời ngắn gọn trước, sau đó là chi tiết.
- Bao gồm trích dẫn sau mỗi tuyên bố thực tế.

7) Thêm các biện pháp bảo vệ để giảm ảo giác

Kiểm tra khả năng trả lời: Trước khi tạo, hãy hỏi một mô hình nhỏ: “Có bằng chứng trực tiếp nào trong các đoạn được truy xuất không?” Nếu không, hãy trả về một câu hỏi làm rõ.

Chính sách Trích dẫn‑hoặc‑im lặng: Chặn các đầu ra thiếu trích dẫn.

Bộ lọc độc hại/PII cho nội dung doanh nghiệp.

8) Đánh giá và cải tiến liên tục

Tạo một tập hợp eval/ với:

50–200 câu hỏi thực tế của người dùng

Các câu trả lời đúng (hoặc các tham chiếu đáng tin cậy)

Các nguồn dự kiến (doc ids) nếu có

Đo lường:

Tỷ lệ truy xuất thành công (nguồn vàng có xuất hiện trong top‑k không?)

Độ trung thực của câu trả lời (các tuyên bố được hỗ trợ trích dẫn)

Độ trễ (p95 end‑to‑end)

Chi phí (trên 100 truy vấn)

Lặp lại trên:

Kích thước và độ chồng chéo của đoạn

Lựa chọn mô hình embedding

Reranker so với top‑k cao hơn

Cấu trúc và các ràng buộc của lời nhắc

Một quy trình RAGFlow đầy đủ: Cấu hình ví dụ

Dưới đây là một cấu hình khái niệm mà bạn có thể điều chỉnh cho chuỗi công cụ của mình. Thay thế tên nhà cung cấp khi cần.

project: product-handbook-rag
io:
input_path: data/raw/
output_index: product-handbook-index
parsing:
pdf:
strategy: auto
keep_layout: true
extract_tables: true
markdown:
preserve_headings: true
chunking:
method: semantic_hybrid
target_tokens: 800
overlap_tokens: 80
windowing: 2
metadata:
fields: [doc_id, title, section, page, version, source]
embeddings:
provider: openai
model: text-embedding-3-large
vectorstore:
type: qdrant
url: ${VECTOR_DB_URL}
similarity: cosine
retrieval:
hybrid: true
lexical_weight: 0.35
semantic_weight: 0.65
candidate_top_k: 40
rerank:
enabled: true
<a33>model: bge-reranker-large</a34>final_top_k: 7</a34>generation:
llm: gpt-4o
temperature: 0.2
cite_or_silence: true
guardrails:
answerability_check: true
pii_filter: true
toxicity_filter: moderate
monitoring:
log_traces: true
latency_budget_ms: 3500
cost_budget_per_100: 1.25

Cách sử dụng RAGFlow cho các loại nội dung khác nhau

Hướng dẫn sử dụng sản phẩm và sổ tay

Ưu tiên chia nhỏ ngữ nghĩa với các ranh giới phần rõ ràng

Đính kèm phiên bản và ngày có hiệu lực để ngăn chặn các câu trả lời lỗi thời

Sử dụng các bộ lọc nghiêm ngặt: luôn yêu cầu version = latest

Cơ sở kiến thức và Câu hỏi thường gặp

Sử dụng các đoạn nhỏ hơn (400–600 token) để có câu trả lời chính xác

Tăng số lượng ứng viên và dựa vào việc xếp hạng lại để tìm đoạn mã chính xác

Tự động tạo các cặp Hỏi/Đáp chính tắc để tăng khả năng thu hồi thông qua tìm kiếm từ vựng

Tài liệu kỹ thuật và code

Chia nhỏ theo hàm/module và bao gồm đồ thị nhập trong siêu dữ liệu

Bật truy xuất cha‑con: trả về hàm + ngữ cảnh docstring của nó

Sử dụng trình xếp hạng lại nhận biết code để ưu tiên các ký hiệu liên quan

Pháp lý và tuân thủ

Yêu cầu trích dẫn cấp đoạn văn

Thêm logic từ chối cho ngữ cảnh không đầy đủ

Giữ một tập hợp vàng các nguồn được cơ quan quản lý phê duyệt trong một index riêng biệt

Các mẫu lời nhắc thực sự hiệu quả

Trả lời sau đó trích dẫn: Câu trả lời ngắn gọn ở trên cùng; trích dẫn nội dòng sau mỗi tuyên bố

Chuỗi truy xuất: Yêu cầu mô hình tóm tắt từng đoạn trước, sau đó tổng hợp

Viết lại truy vấn: Mở rộng các truy vấn của người dùng bằng các từ đồng nghĩa và các thuật ngữ chuyên ngành trước khi truy xuất

Các lời nhắc tương phản: “Giải thích tại sao tùy chọn A tốt hơn B dựa trên ngữ cảnh.” Điều này buộc phải sử dụng bằng chứng

Ví dụ về bước viết lại truy vấn:

Bản gốc: "chính sách chuyển PTO của chúng ta là gì?"
Viết lại: "chính sách chuyển thời gian nghỉ có lương; chuyển kỳ nghỉ; số giờ tối đa; phiên bản chính sách mới nhất"

Khả năng quan sát và các vòng phản hồi

Ghi lại những đoạn nào đã được sử dụng, điểm số của chúng và những đoạn nào đã bị bỏ qua

Thu thập các lượt thích/không thích với một lý do ngắn gọn; đưa điều đó trở lại việc điều chỉnh trình truy xuất

Chạy các thử nghiệm hồi quy hàng tuần trên tập hợp eval của bạn trước khi triển khai bất kỳ thay đổi mô hình nào

Phiếu gian lận điều chỉnh hiệu suất

Nếu câu trả lời có vẻ chung chung: tăng candidate_top_k và thêm một trình xếp hạng lại mạnh hơn

Nếu câu trả lời thiếu chi tiết: giảm kích thước đoạn; tăng nhẹ trọng số từ vựng

Nếu các trích dẫn lặp lại cùng một đoạn: bật MMR và tăng tính đa dạng

Nếu độ trễ cao: cache embeddings, tính toán trước các lần viết lại truy vấn, sử dụng trình xếp hạng lại nhỏ hơn

Nếu chi phí tăng đột biến: giảm nhiệt độ tạo, rút ngắn các lời nhắc, hãy thử một LLM nhỏ hơn cho lần chuyển đầu tiên

Các yếu tố cần thiết về bảo mật và quản trị

Mã hóa các vectơ được lưu trữ và biên tập các trường nhạy cảm trong siêu dữ liệu

Sử dụng kiểm soát truy cập trên mỗi index; phân đoạn theo nhóm hoặc độ nhạy dữ liệu

Duy trì hồ sơ dòng dữ liệu: URL nguồn tài liệu, tổng kiểm tra và dấu thời gian nhập

Ảnh chụp nhanh nghiên cứu điển hình: Từ PDF lộn xộn đến câu trả lời đáng tin cậy

Một nhóm hỗ trợ đã nhập 1.200 trang PDF. Việc truy xuất ban đầu không nhất quán; các tác nhân không tin tưởng bot. Sau khi chuyển sang chia nhỏ ngữ nghĩa‑hỗn hợp (800 token, 80 chồng chéo), bật xếp hạng lại cross‑encoder và thực thi trích dẫn‑hoặc‑im lặng, tỷ lệ truy xuất thành công top‑k đã tăng từ 62% lên 89% và số lượng tác nhân sử dụng đã tăng gấp đôi. Điều quan trọng không phải là một LLM lớn hơn — mà là các đoạn sạch hơn và khả năng truy xuất nghiêm ngặt hơn.

Mẹo về công cụ: Lặp lại nhanh chóng với thanh bên AI

Điều đáng chú ý: nếu bạn đang thử nghiệm với các lời nhắc và đoạn mã truy xuất trên nhiều tài liệu, một trợ lý AI cho phép bạn trò chuyện qua PDF, trang web và code ngay từ trình duyệt có thể tăng tốc độ lặp lại. Nhân tiện, Sider.AI (https://sider.ai/) cung cấp một thanh bên AI cho phép bạn kéo ngữ cảnh từ trang bạn đang ở, tóm tắt và tinh chỉnh các lời nhắc một cách nhanh chóng. Nó rất tiện dụng để tạo mẫu các lời nhắc RAG và kiểm tra chất lượng đoạn trước khi bạn chính thức hóa quy trình.

Khắc phục sự cố RAGFlow: Các bản sửa lỗi nhanh

“Mô hình tự tin nhưng sai.”

Bật kiểm tra khả năng trả lời; giảm nhiệt độ; yêu cầu trích dẫn

“Tìm kiếm trả về các bản sao gần giống nhau.”

Bật MMR; thêm một trình xếp hạng lại; giảm độ chồng chéo của đoạn

“Độ trễ tăng đột biến khi đạt đỉnh.”

Batch embeddings; cache viết lại truy vấn; sử dụng tạo trực tuyến

“Các chính sách cũ cứ hiển thị.”

Lọc trên version = latest; phản đối hoặc đánh dấu các tài liệu lỗi thời

Các bước tiếp theo: Làm cho RAGFlow của bạn đáng tin cậy trong sản xuất

Bắt đầu với một kho văn bản nhỏ, đáng tin cậy; hoàn thiện việc chia nhỏ và lọc trước

Thêm một trình xếp hạng lại trước khi nâng cấp LLM

Xây dựng một tập hợp eval gồm 100 câu hỏi và theo dõi tỷ lệ truy xuất thành công hàng tuần

Kết nối phản hồi của người dùng để liên tục điều chỉnh việc truy xuất

Những điều quan trọng:

Chất lượng truy xuất đánh bại kích thước mô hình cho RAG

Việc chia nhỏ, siêu dữ liệu và xếp hạng lại là các đòn bẩy cốt lõi của bạn

Các biện pháp bảo vệ như trích dẫn‑hoặc‑im lặng làm tăng đáng kể sự tin tưởng

Đầu tư sớm vào khả năng quan sát và đánh giá

Với những thực hành này, RAGFlow trở thành một xương sống đáng tin cậy cho các câu trả lời có căn cứ — cho dù bạn đang cung cấp năng lượng cho một bot trợ giúp, một trợ lý lập trình viên hay một trợ lý kiến thức nội bộ.

Câu hỏi thường gặp

Q1: RAGFlow là gì và làm cách nào để sử dụng nó cho QA tài liệu? RAGFlow là một framework để xây dựng các quy trình sinh tăng cường truy xuất. Bạn nhập, chia nhỏ, nhúng, truy xuất và tạo câu trả lời với các trích dẫn để giảm ảo giác và cải thiện độ chính xác.

Q2: Tôi nên chia nhỏ tài liệu như thế nào trong RAGFlow? Sử dụng chia nhỏ ngữ nghĩa hoặc hỗn hợp với các đoạn 600–1.000 token và chồng chéo 50–100 token. Đối với code, chia nhỏ theo hàm hoặc lớp và bao gồm ngữ cảnh xung quanh.

Q3: Cơ sở dữ liệu vectơ nào hoạt động tốt nhất với RAGFlow? Chọn một kho lưu trữ hỗ trợ tìm kiếm hỗn hợp, bộ lọc siêu dữ liệu và xếp hạng lại — Qdrant, Weaviate, Pinecone hoặc một tùy chọn cục bộ đều là những lựa chọn phổ biến.

Q4: Làm cách nào để ngăn chặn ảo giác trong một ứng dụng RAGFlow? Thực thi chính sách trích dẫn‑hoặc‑im lặng, thêm kiểm tra khả năng trả lời trước khi tạo và giữ cho các lời nhắc nghiêm ngặt về việc chỉ sử dụng ngữ cảnh được truy xuất.

Q5: Tôi nên theo dõi những chỉ số nào để đánh giá RAGFlow? Theo dõi tỷ lệ truy xuất thành công, độ trung thực của câu trả lời, độ trễ và chi phí trên 100 truy vấn, đồng thời duy trì một tập hợp đánh giá nhỏ nhưng đại diện.