Tại sao các AI agent (tác nhân AI) dành cho doanh nghiệp thất bại — và cách để chúng sẵn sàng cho sản xuất với Glean và AWS
Đây là một tuyên bố táo bạo: hầu hết các bản demo "AI agent" trong phòng họp không thực sự sẵn sàng cho doanh nghiệp. Chúng tạo ra ảo giác khi chịu áp lực, gặp sự cố với dữ liệu thực và không thể vượt qua kiểm toán SOC 2. Nếu bạn muốn AI được các nhóm pháp lý, bảo mật và CNTT của bạn thực sự chấp thuận—và nhân viên của bạn thực sự sử dụng—bạn cần một bản dựng kết hợp khả năng truy xuất cấp doanh nghiệp (Glean), các nguyên tắc đám mây mạnh mẽ (AWS) và kiến trúc kỷ luật có thể chịu được quy mô.
Hướng dẫn này sẽ hướng dẫn bạn từng bước cách xây dựng các AI agent sẵn sàng cho doanh nghiệp với Glean và AWS—từ truy xuất nhận biết danh tính đến sử dụng công cụ an toàn, từ ngân sách độ trễ đến khả năng quan sát và từ thử nghiệm đến sản xuất.
Chúng tôi sẽ sử dụng cấu trúc dựa trên câu hỏi để bạn có thể bỏ qua những gì quan trọng nhất: truy cập dữ liệu, bảo mật, kiến trúc và triển khai.
Chúng ta muốn nói gì khi đề cập đến các AI agent sẵn sàng cho doanh nghiệp?
Một AI agent sẵn sàng cho doanh nghiệp không chỉ là một giao diện trò chuyện. Đó là một hệ thống an toàn, có thể kiểm toán, có thể:
- Trả lời các câu hỏi bằng kiến thức của công ty với ranh giới quyền nghiêm ngặt
- Thực hiện các hành động thông qua các công cụ đã được phê duyệt (ví dụ: phiếu yêu cầu ServiceNow, sự cố Jira, bài đăng Slack)
- Thuộc tính nguồn và giải thích lý do
- Hoạt động theo SSO, SCIM và DLP của doanh nghiệp
- Tuân thủ các yêu cầu về cư trú dữ liệu, ghi nhật ký và lưu giữ
- Mở rộng quy mô cho hàng nghìn người dùng với độ trễ và chi phí có thể dự đoán được
Đây là nơi xây dựng các AI agent với Glean và AWS tỏa sáng: Glean cung cấp tìm kiếm và truy xuất cấp doanh nghiệp nhận biết danh tính trên các ứng dụng, trong khi AWS mang đến nền tảng điện toán, điều phối, mạng và quản trị mà bạn sẽ cần trong sản xuất.
Tổng quan về kiến trúc: Glean + AWS
Hãy coi hệ thống như bốn lớp:
- Lớp danh tính & truy cập (SSO, SCIM, quyền)
- SSO qua Okta/Azure AD; SCIM để cung cấp; ánh xạ vai trò
- Glean thực thi các quyền ở cấp độ tài liệu tại thời điểm truy vấn
- AWS Cognito hoặc SAML/OIDC trực tiếp để môi giới mã thông báo vào các dịch vụ
- Lớp truy xuất doanh nghiệp (Glean)
- Chỉ mục thống nhất trên Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion, v.v.
- Truy xuất và xếp hạng nhận biết quyền
- Viết lại truy vấn, tìm kiếm kết hợp, xếp hạng lại ngữ nghĩa
- Lớp lý luận & điều phối (AWS + mô hình)
- AWS Lambda hoặc ECS cho các bước agent không trạng thái
- Amazon Bedrock để quản lý quyền truy cập vào các mô hình tiên tiến
- Step Functions cho quy trình làm việc và thử lại nhiều công cụ
- Secrets Manager/Parameter Store cho khóa và thông tin xác thực công cụ
- Lớp hành động & công cụ (tích hợp doanh nghiệp)
- Đọc và ghi các hoạt động vào hệ thống ghi (ServiceNow, Salesforce, Jira, Slack)
- Các biện pháp bảo vệ, phê duyệt và quan sát cho mỗi lệnh gọi công cụ
- Nhật ký kiểm toán trong CloudWatch/OpenSearch để giải thích
Xây dựng cốt lõi: Cách xây dựng các AI agent sẵn sàng cho doanh nghiệp với Glean & AWS
Dưới đây là một lộ trình thực tế, đầu cuối. Hãy điều chỉnh cho phù hợp với ngăn xếp của bạn, nhưng hãy giữ các nguyên tắc.
1) Thiết lập danh tính và quản trị trước
- Thiết lập SSO thông qua Okta/Azure AD. Ánh xạ các nhóm/vai trò với quyền ứng dụng.
- Sử dụng SCIM để tự động hóa vòng đời người dùng (người tham gia/người chuyển/người rời đi). Việc hủy cấp phép phải thác xuống agent.
- Định cấu hình tài khoản AWS với các vai trò IAM có đặc quyền tối thiểu. Tách biệt dev, staging, prod. Thực thi các điểm cuối VPC cho Bedrock và kiểm soát luồng dữ liệu ra nếu cần.
- Xác định thời gian lưu giữ dữ liệu: thời gian lưu trữ các lời nhắc, phản hồi và nhúng vectơ. Sử dụng các bucket S3 được mã hóa KMS cho nhật ký và artefakt.
Mẹo: Coi danh tính là một tín hiệu thời gian chạy. Agent phải chuyển danh tính của người dùng cuối thông qua Glean và các công cụ để kiểm tra quyền vẫn còn nguyên vẹn.
2) Kết nối các nguồn trong Glean và bật truy xuất nhận biết quyền
- Kết nối Slack, Drive, Confluence, Notion, GitHub, Jira, Box và email theo dấu chân của bạn.
- Cho phép Glean thu thập dữ liệu và lập chỉ mục với đặc quyền tối thiểu; xác nhận phạm vi với bảo mật.
- Xác thực lan truyền quyền: người dùng chỉ nên truy xuất những gì họ có thể xem trong ứng dụng nguồn.
- Điều chỉnh cấu hình truy vấn Glean: bật viết lại truy vấn, truy xuất kết hợp và xếp hạng lại ngữ nghĩa để có độ chính xác tốt hơn.
Tại sao nó lại quan trọng: Trong hầu hết các doanh nghiệp, 70–90% vấn đề "ảo giác" thực sự là một vấn đề truy xuất. Với Glean, AI agent truy xuất các tài liệu phù hợp dựa trên quyền của người dùng, giảm đáng kể rủi ro và các câu trả lời không liên quan.
3) Chọn mô hình thông qua Amazon Bedrock và đặt các biện pháp bảo vệ
- Bắt đầu với một mô hình tổng quát (ví dụ: Claude, Llama hoặc Mistral thông qua Bedrock) và A/B so với các lời nhắc miền.
- Sử dụng Bedrock Guardrails cho các bộ lọc an toàn, kiểm tra chèn lời nhắc và chính sách nội dung.
- Hạn chế phản hồi: yêu cầu trích dẫn theo ID/URL tài liệu, thực thi lược đồ JSON cho đầu ra công cụ và đặt số lượng mã thông báo tối đa cho mỗi bước.
- Giữ ngân sách độ trễ: nhắm mục tiêu P95 đầu cuối < 2,5 giây cho Q&A và < 6 giây cho quy trình sử dụng công cụ.
4) Điều phối agent trên AWS
Mô hình: Lập kế hoạch kiểu ReAct + sử dụng công cụ + trả lời có cơ sở.
- Sử dụng Step Functions để điều phối các bước: truy xuất → lập kế hoạch → công cụ → xác thực → trả lời.
- Các lệnh gọi lý luận chạy trong Lambda hoặc ECS; chọn Lambda cho lưu lượng truy cập đột biến, ECS cho thông lượng liên tục.
- Bộ điều hợp công cụ (Jira, Slack, ServiceNow) là các Lambda không trạng thái với các bí mật được IAM giới hạn phạm vi trong AWS Secrets Manager.
- Lưu trữ trạng thái hội thoại tồn tại trong thời gian ngắn trong DynamoDB với TTL; phân tích dài hạn trong S3/Glue/Athena.
5) Triển khai tạo sinh tăng cường truy xuất (RAG) với Glean
- Truy vấn Glean với mã thông báo danh tính của người dùng và câu hỏi của người dùng.
- Truy xuất kết quả top‑k (ví dụ: kết hợp: k=10 ngữ nghĩa + 10 từ khóa) tôn trọng các quyền.
- Xếp hạng lại với mức độ liên quan của Glean; chỉ chuyển các đoạn được khử trùng hàng đầu cho mô hình.
- Yêu cầu agent trích dẫn nguồn và bao gồm điểm tin cậy.
Khung lời nhắc:
- Hệ thống: “Bạn là một trợ lý doanh nghiệp có cơ sở. Chỉ sử dụng ngữ cảnh được cung cấp. Nếu không liên quan, hãy hỏi câu hỏi tiếp theo. Luôn trích dẫn nguồn theo tiêu đề và liên kết.”
- Công cụ: “Bạn có thể gọi Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Chỉ hành động sau khi xác nhận với người dùng trừ khi một runbook cho phép tự động hóa.”
6) Thêm sử dụng công cụ an toàn và phê duyệt
- Gói từng công cụ với xác thực tham số và giới hạn tỷ lệ.
- Yêu cầu xác nhận của con người hoặc phê duyệt của người quản lý đối với các hành động có tác động (ví dụ: cấp quyền truy cập, đóng P1).
- Ghi nhật ký mọi lệnh gọi công cụ (ai, cái gì, khi nào, lược đồ đầu vào, đầu ra) vào CloudWatch và S3 để kiểm toán.
- Đối với các bài đăng trên Slack/Teams, hãy hỗ trợ “chế độ nháp” để xem trước trước khi gửi.
7) Khả năng quan sát, đánh giá và kiểm soát độ lệch
- Thu thập lời nhắc, đoạn mã ngữ cảnh, trích dẫn và phản hồi với sửa đổi khi cần.
- Sử dụng bảng điều khiển OpenSearch để theo dõi độ chính xác@k, tính có cơ sở và tỷ lệ chuyển hướng.
- Chạy đánh giá ngoại tuyến: quản lý một tập hợp vàng gồm 100–300 câu hỏi dành riêng cho tổ chức với các câu trả lời dự kiến và các nguồn yêu cầu.
- Lên lịch canaries để phát hiện độ lệch của trình kết nối hoặc quyền (ví dụ: các kênh Slack đã thay đổi, di chuyển ổ đĩa).
8) Điều chỉnh hiệu suất và chi phí
- Bộ nhớ đệm các truy vấn Glean cho mỗi người dùng cho các chủ đề nóng (ví dụ: chính sách HR) với TTL ngắn.
- Sử dụng các mô hình nhỏ hơn để định tuyến, các mô hình lớn hơn chỉ cho các truy vấn khó hoặc các kế hoạch nhiều công cụ.
- Xếp hạng lại hàng loạt khi có thể; nén ngữ cảnh; sử dụng khử trùng đoạn.
- Theo dõi chi phí cho mỗi tác vụ đã giải quyết; đặt hạn ngạch cho mỗi tổ chức và cho mỗi nhóm người dùng.
Ví dụ: Trợ lý CNTT doanh nghiệp được xây dựng với Glean và AWS
Hãy cùng xem một kịch bản cụ thể cho thấy cách xây dựng các AI agent sẵn sàng cho doanh nghiệp với Glean và AWS.
Trường hợp sử dụng: Phân loại và giải quyết hỗ trợ CNTT.
- Người dùng hỏi: “VPN không hoạt động trên macOS 14 sau khi cập nhật—có cách khắc phục nào không?”
- Agent định tuyến đến bản ghi theo dõi runbook CNTT.
- Truy xuất: Truy vấn Glean với danh tính của người dùng và tìm nạp runbook VPN (Confluence), một chuỗi Slack từ #it‑support và một tài liệu chính sách Jamf. Chỉ những tài nguyên mà người dùng có thể truy cập mới được xem xét.
- Lập kế hoạch: Agent đề xuất các bước: chia sẻ bản sửa lỗi, kiểm tra tuân thủ thiết bị thông qua Jamf và nếu không giải quyết được, hãy mở một sự cố ServiceNow.
- Các lệnh gọi công cụ: Đọc trạng thái Jamf (chỉ đọc), soạn thảo một tin nhắn sửa lỗi và yêu cầu người dùng xác nhận leo thang. Khi được xác nhận, tạo một sự cố với mẫu phù hợp.
- Trả lời: Cung cấp bản tóm tắt sửa lỗi ngắn gọn với các trích dẫn cho runbook và chuỗi Slack, tất cả đều nằm trong phạm vi quyền của người dùng.
Tại sao nó hoạt động: Agent được đặt nền tảng trong truy xuất nhận biết quyền từ Glean và AWS xử lý việc thực thi, phê duyệt và ghi nhật ký.
Danh sách kiểm tra bảo mật và tuân thủ (không bỏ qua điều này)
- Giữ ngữ cảnh truy xuất ở phía máy chủ; không hiển thị nội dung tài liệu thô cho máy khách.
- Mã hóa khi nghỉ bằng KMS; thực thi TLS 1.2+ khi truyền.
- Chuyển danh tính người dùng đến Glean và các công cụ; không bao giờ sử dụng danh tính bot dùng chung để truy xuất.
- Ánh xạ RBAC từ các nhóm IdP đến phạm vi công cụ.
- Bật Bedrock Guardrails; không cho phép bí mật trong lời nhắc.
- Sửa đổi PII khi cần và ghi lại các cửa sổ lưu giữ.
- Nhật ký bất biến vào S3 với Object Lock; xuất sang SIEM của bạn.
- Giữ một runbook để ứng phó sự cố và khôi phục mô hình.
Bản thiết kế triển khai: 10 bước để sản xuất
- Xác định 3 trường hợp sử dụng agent hàng đầu (CNTT, HR, Hoạt động bán hàng) và các số liệu thành công (tỷ lệ chuyển hướng, CSAT, thời gian giải quyết).
- Thiết lập tài khoản AWS, VPC, đường cơ sở IAM và quyền truy cập Bedrock.
- Tích hợp SSO/SCIM; ánh xạ vai trò và quy trình phê duyệt.
- Kết nối các nguồn cốt lõi trong Glean và xác thực truy xuất nhận biết quyền.
- Xây dựng một dịch vụ điều phối tối thiểu (Lambda + API Gateway) với Step Functions.
- Triển khai hợp đồng lời nhắc RAG, trích dẫn và lọc nguồn.
- Thêm hai công cụ đầu cuối (chỉ đọc trước, sau đó ghi với sự chấp thuận).
- Ghi nhật ký thiết bị, đánh giá và bảng điều khiển; tạo một tập hợp vàng gồm 150 câu hỏi.
- Chạy bản beta kín với 50–100 người dùng; khắc phục các sự cố hàng đầu; đặt SLO.
- Triển khai rộng rãi; thiết lập đánh giá thay đổi hàng tuần và đánh giá mô hình hàng tháng.
Các câu hỏi thường gặp khi xây dựng AI agent với Glean và AWS
Làm cách nào để giảm ảo giác trong các agent doanh nghiệp?
Đặt nền tảng cho mô hình bằng cách truy xuất từ Glean và thực thi một lời nhắc nghiêm ngặt: chỉ sử dụng ngữ cảnh được cung cấp và luôn trích dẫn nguồn. Từ chối các câu trả lời có độ tin cậy thấp và đặt câu hỏi làm rõ. Hầu hết các ảo giác đều giảm khi bạn dựa vào truy xuất nhận biết quyền.
Agent có thể tôn trọng các quyền ở cấp độ tài liệu trên các ứng dụng không?
Có. Khi bạn xây dựng các AI agent với Glean và AWS, Glean thực thi các quyền từ các ứng dụng được kết nối tại thời điểm truy vấn, do đó agent chỉ thấy những gì người dùng có thể truy cập. Luôn chuyển mã thông báo danh tính của người dùng để duy trì chuỗi hành trình.
Tôi nên bắt đầu với những mô hình nào trên AWS?
Sử dụng Amazon Bedrock để truy cập vào nhiều mô hình. Bắt đầu với một mô hình chung mạnh mẽ để lý luận và một mô hình nhỏ hơn, nhanh hơn để định tuyến. Đánh giá độ trễ, chi phí và độ chính xác so với tập hợp vàng được quản lý của bạn.
Làm cách nào để cho phép các agent thực hiện các hành động một cách an toàn trong các hệ thống như Jira hoặc ServiceNow?
Gói từng công cụ với các lược đồ nghiêm ngặt, xác thực đầu vào và quy trình phê duyệt. Ghi nhật ký mọi lệnh gọi công cụ và lưu trữ đầu ra để kiểm toán. Đối với các hành động có tác động, hãy yêu cầu một bước xác nhận của con người.
Những số liệu nào chứng minh một agent đã sẵn sàng cho sản xuất?
Theo dõi tính có cơ sở (tỷ lệ trích dẫn), độ chính xác của câu trả lời, độ trễ P95, tỷ lệ giải quyết/chuyển hướng và chi phí cho mỗi tác vụ đã giải quyết. Xây dựng bảng điều khiển và chạy kiểm tra hồi quy hàng tuần trên tập hợp vàng của bạn.
Nhân tiện: đẩy nhanh vòng lặp xây dựng
Đáng chú ý: nếu nhóm của bạn tạo mẫu thường xuyên, một copilot để nghiên cứu và soạn thảo có thể tăng tốc các tài liệu thiết kế, runbook và lặp lại lời nhắc. Các công cụ như {Sider.AI} giúp các nhóm tóm tắt các chuỗi dài, soạn thảo lời nhắc đánh giá và so sánh đầu ra của mô hình cạnh nhau—hữu ích khi bạn đang điều chỉnh cách xây dựng các AI agent sẵn sàng cho doanh nghiệp với Glean và AWS.
Những điều quan trọng và các bước tiếp theo
- Xây dựng các AI agent với Glean và AWS cung cấp cho bạn khả năng truy xuất nhận biết danh tính và điều phối cấp doanh nghiệp.
- Bắt đầu với danh tính, quản trị và truy xuất nhận biết quyền trước logic lập kế hoạch phức tạp.
- Sử dụng các biện pháp bảo vệ Bedrock, lược đồ công cụ nghiêm ngặt và phê duyệt có sự tham gia của con người.
- Ghi lại mọi thứ: đánh giá, kiểm toán và kiểm soát chi phí.
Các bước tiếp theo trong tuần này:
- Soạn thảo ba trường hợp sử dụng hàng đầu và các số liệu thành công của bạn.
- Kết nối hai nguồn cốt lõi trong Glean; chạy đánh giá 150 câu hỏi.
- Thiết lập một bộ điều phối Lambda + Step Functions tối thiểu với một công cụ chỉ đọc.
- Đặt ngân sách độ trễ và chi phí của bạn trước khi bản thử nghiệm mở rộng.
Câu hỏi thường gặp
Q1: Ý nghĩa của việc sẵn sàng cho doanh nghiệp đối với các AI agent trên AWS?
Nó có nghĩa là các agent an toàn, có thể kiểm toán, tôn trọng SSO và quyền tài liệu, cung cấp trích dẫn và chạy trên cơ sở hạ tầng tuân thủ. Khi bạn xây dựng các AI agent với Glean và AWS, bạn sẽ có được khả năng truy xuất nhận biết quyền và khả năng quan sát cấp đám mây.
Q2: Glean ngăn chặn rò rỉ dữ liệu trong các câu trả lời AI như thế nào?
Glean thực thi các quyền ở cấp độ tài liệu từ mỗi ứng dụng được kết nối tại thời điểm truy vấn. Agent chỉ truy xuất nội dung mà người dùng có thể truy cập, điều này rất quan trọng khi xây dựng các AI agent sẵn sàng cho doanh nghiệp với Glean và AWS.
Q3: Tôi nên sử dụng những dịch vụ AWS nào để điều phối?
Sử dụng Lambda hoặc ECS để thực thi, Step Functions cho quy trình làm việc nhiều bước, Bedrock cho mô hình và biện pháp bảo vệ và Secrets Manager cho thông tin xác thực. Ngăn xếp này là một cơ sở đã được chứng minh để xây dựng các AI agent với Glean và AWS.
Q4: Làm cách nào để đánh giá độ chính xác và giảm ảo giác?
Tạo một tập hợp vàng các câu hỏi, yêu cầu trích dẫn và sử dụng tạo sinh tăng cường truy xuất. Với Glean và AWS, khả năng truy xuất nhận biết quyền cộng với các biện pháp bảo vệ giúp giảm đáng kể ảo giác.
Q5: Các AI agent có thể thực hiện các hành động một cách an toàn như tạo phiếu yêu cầu hoặc đăng bài trên Slack không?
Có—với các công cụ được xác thực lược đồ, phê duyệt cho các hành động có tác động cao và ghi nhật ký kiểm toán đầy đủ. Đây là một mô hình cốt lõi khi bạn xây dựng các AI agent sẵn sàng cho doanh nghiệp với Glean và AWS.
