Чому корпоративні AI-агенти зазнають невдачі — і як зробити їх готовими до виробництва з Glean і AWS
Ось смілива заява: більшість «AI-агентів», продемонстрованих у залах засідань, насправді не готові до використання на підприємстві. Вони галюцинують під тиском, ламаються на реальних даних і не можуть пройти аудит SOC 2. Якщо вам потрібен AI, який ваші юридичні команди, команди безпеки та IT дійсно схвалять — і яким ваші співробітники дійсно користуватимуться, — вам потрібна збірка, яка поєднує пошук корпоративного рівня (Glean), надійні хмарні примітиви (AWS) і дисципліновану архітектуру, яка витримує масштабування.
Цей посібник крок за кроком проведе вас через процес створення AI-агентів корпоративного рівня з Glean і AWS — від пошуку з урахуванням ідентифікації до безпечного використання інструментів, від бюджетів затримки до спостережливості та від пілотного проєкту до виробництва.
Ми використовуватимемо структуру, орієнтовану на запитання, щоб ви могли перейти до того, що є найважливішим: доступ до даних, безпека, архітектура та розгортання.
Що ми маємо на увазі під AI-агентами корпоративного рівня?
AI-агент корпоративного рівня — це не просто інтерфейс чату. Це безпечна система з можливістю аудиту, яка може:
- Відповідати на запитання, використовуючи знання компанії, зі строгими межами дозволів
- Виконувати дії за допомогою затверджених інструментів (наприклад, тікети ServiceNow, завдання Jira, публікації Slack)
- Атрибутувати джерела та пояснювати міркування
- Працювати під контролем корпоративного SSO, SCIM і DLP
- Відповідати вимогам щодо розташування даних, ведення журналів і зберігання
- Масштабуватися до тисяч користувачів із передбачуваною затримкою та вартістю
Саме тут блищить створення AI-агентів із Glean і AWS: Glean забезпечує корпоративний пошук і отримання інформації з урахуванням ідентифікації в різних додатках, тоді як AWS надає обчислювальну, оркеструвальну, мережеву та управлінську основу, яка вам знадобиться у виробництві.
Архітектура з першого погляду: Glean + AWS
Уявіть систему як чотири шари:
- Шар ідентифікації та доступу (SSO, SCIM, дозволи)
- SSO через Okta/Azure AD; SCIM для забезпечення; відображення ролей
- Glean забезпечує дотримання дозволів на рівні документів під час запиту
- AWS Cognito або прямий SAML/OIDC для передачі токенів у сервіси
- Шар корпоративного пошуку (Glean)
- Уніфікований індекс у Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion тощо
- Пошук і ранжування з урахуванням дозволів
- Перезапис запитів, гібридний пошук, семантичне переранжування
- Шар міркування та оркестрування (AWS + моделі)
- AWS Lambda або ECS для кроків агента без збереження стану
- Amazon Bedrock для керованого доступу до передових моделей
- Step Functions для робочих процесів із кількома інструментами та повторних спроб
- Secrets Manager/Parameter Store для ключів і облікових даних інструментів
- Шар дій та інструментів (корпоративні інтеграції)
- Операції читання та запису в системи обліку (ServiceNow, Salesforce, Jira, Slack)
- Захисні огородження, затвердження та спостереження за кожним викликом інструменту
- Журнали аудиту в CloudWatch/OpenSearch для пояснюваності
Основна збірка: як створити AI-агентів корпоративного рівня з Glean & AWS
Нижче наведено практичний, наскрізний шлях. Адаптуйте для свого стеку, але дотримуйтесь принципів.
1) Спочатку налаштуйте ідентифікацію та управління
- Встановіть SSO через Okta/Azure AD. Зіставте групи/ролі з дозволами додатків.
- Використовуйте SCIM для автоматизованого життєвого циклу користувачів (приєднання/переміщення/звільнення). Відключення має каскадуватися до агента.
- Налаштуйте облікові записи AWS із ролями IAM із найменшими привілеями. Розділіть dev, staging, prod. Забезпечте використання кінцевих точок VPC для Bedrock і контролю вихідних даних, де це потрібно.
- Визначте термін зберігання даних: як довго зберігати підказки, відповіді та векторні вкладення. Використовуйте зашифровані KMS S3-відра для журналів і артефактів.
Порада: розглядайте ідентифікацію як сигнал під час виконання. Агент повинен передавати ідентифікаційні дані кінцевого користувача через Glean та інструменти, щоб перевірки дозволів залишалися незмінними.
2) Підключіть джерела в Glean і ввімкніть пошук з урахуванням дозволів
- Підключіть Slack, Drive, Confluence, Notion, GitHub, Jira, Box і електронну пошту відповідно до вашого використання.
- Дозвольте Glean сканувати та індексувати з найменшими привілеями; підтвердьте обсяги з безпекою.
- Перевірте поширення дозволів: користувач повинен отримувати лише те, що він може переглядати у вихідному додатку.
- Налаштуйте конфігурацію запитів Glean: увімкніть перезапис запитів, гібридний пошук і семантичне переранжування для кращої точності.
Чому це важливо: у більшості підприємств 70–90% проблеми «галюцинацій» насправді є проблемою пошуку. З Glean AI-агент отримує правильні документи, обумовлені дозволами користувача, що значно зменшує ризик і нерелевантні відповіді.
3) Виберіть моделі через Amazon Bedrock і встановіть захисні огородження
- Почніть із моделі загального призначення (наприклад, Claude, Llama або Mistral через Bedrock) і A/B проти доменних підказок.
- Використовуйте Bedrock Guardrails для фільтрів безпеки, перевірок введення підказок і політик вмісту.
- Обмежте відповіді: вимагайте цитування за ідентифікатором документа/URL, забезпечте схеми JSON для вихідних даних інструментів і встановіть максимальну кількість токенів на крок.
- Дотримуйтеся бюджету затримки: цільовий показник P95 наскрізно < 2,5 с для Q&A і < 6 с для потоків використання інструментів.
4) Організуйте агента на AWS
Шаблон: планування в стилі ReAct + використання інструментів + обґрунтовані відповіді.
- Використовуйте Step Functions для координації кроків: отримання → планування → інструмент → перевірка → відповідь.
- Виклики міркування виконуються в Lambda або ECS; виберіть Lambda для сплескового трафіку, ECS для стабільної пропускної здатності.
- Адаптери інструментів (Jira, Slack, ServiceNow) — це Lambdas без збереження стану з секретами, обмеженими IAM, в AWS Secrets Manager.
- Зберігайте короткочасний стан розмови в DynamoDB із TTL; довгострокову аналітику в S3/Glue/Athena.
5) Впроваджуйте генерацію, доповнену пошуком (RAG), за допомогою Glean
- Запитайте Glean за допомогою токена ідентифікації користувача та запитання користувача.
- Отримайте найкращі результати k (наприклад, гібридний: k=10 семантичний + 10 ключових слів) із дотриманням дозволів.
- Переранжуйте за допомогою релевантності Glean; передайте моделі лише найкращі, дедупліковані частини.
- Вимагайте від агента цитувати джерела та включати оцінку довіри.
Структура підказки:
- Система: «Ви — обґрунтований корпоративний помічник. Використовуйте лише наданий контекст. Якщо нерелевантно, задайте додаткове запитання. Завжди цитуйте джерела за назвою та посиланням.»
- Інструменти: «Ви можете викликати Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Дійте лише після підтвердження з користувачем, якщо тільки runbook не дозволяє автоматизацію.»
6) Додайте безпечне використання інструментів і затвердження
- Обгорніть кожен інструмент перевіркою параметрів і обмеженням швидкості.
- Вимагайте підтвердження людини або затвердження менеджера для важливих дій (наприклад, забезпечення доступу, закриття P1).
- Записуйте кожен виклик інструменту (хто, що, коли, схема введення, виведення) в CloudWatch і S3 для аудитів.
- Для публікацій у Slack/Teams підтримуйте «режим чернетки» для попереднього перегляду перед відправленням.
7) Спостережливість, оцінка та контроль дрейфу
- Збирайте підказки, фрагменти контексту, цитати та відповіді з редагуванням, де це необхідно.
- Використовуйте інформаційні панелі OpenSearch для моніторингу precision@k, обґрунтованості та коефіцієнта відхилення.
- Запускайте офлайн-оцінки: створіть золотий набір із 100–300 специфічних для організації запитань з очікуваними відповідями та необхідними джерелами.
- Заплануйте канарейки для виявлення дрейфу з'єднувача або дозволів (наприклад, змінені канали Slack, міграції дисків).
8) Налаштування продуктивності та вартості
- Кешуйте запити Glean для кожного користувача для гарячих тем (наприклад, політика HR) із короткими TTL.
- Використовуйте менші моделі для маршрутизації, більші моделі лише для складних запитів або планів із кількома інструментами.
- Пакетне переранжування, коли це можливо; стискайте контекст; використовуйте дедуплікацію фрагментів.
- Відстежуйте вартість на вирішене завдання; встановлюйте квоти для кожної організації та кожної групи користувачів.
Приклад: помічник з корпоративного IT, створений за допомогою Glean і AWS
Давайте розглянемо конкретний сценарій, який показує, як створити AI-агентів корпоративного рівня за допомогою Glean і AWS.
Випадок використання: сортування та вирішення проблем IT-підтримки.
- Користувач запитує: «VPN не працює на macOS 14 після оновлення — чи є якесь виправлення?»
- Агент направляє до IT runbook track.
- Пошук: запитує Glean з ідентифікаційними даними користувача та отримує runbook VPN (Confluence), гілку Slack з #it-support і документ політики Jamf. Розглядаються лише ті ресурси, до яких користувач має доступ.
- Планування: агент пропонує кроки: поділитися виправленням, перевірити відповідність пристрою через Jamf і, якщо проблему не вирішено, відкрити інцидент ServiceNow.
- Виклики інструментів: зчитує статус Jamf (лише для читання), створює чернетку повідомлення про виправлення та просить користувача підтвердити ескалацію. Після підтвердження створює інцидент із правильним шаблоном.
- Відповідь: надає стислий опис виправлення з цитатами з runbook і гілки Slack, у межах обсягу дозволів користувача.
Чому це працює: агент базується на пошуку з урахуванням дозволів від Glean, а AWS обробляє виконання, затвердження та ведення журналів.
Контрольний список безпеки та відповідності (не пропускайте це)
- Зберігайте контекст пошуку на стороні сервера; не розкривайте необроблений вміст документа клієнту.
- Шифруйте в стані спокою за допомогою KMS; забезпечте TLS 1.2+ під час передачі.
- Передавайте ідентифікаційні дані користувача в Glean та інструменти; ніколи не використовуйте спільні ідентифікаційні дані бота для пошуку.
- Зіставте RBAC із груп IdP з областями інструментів.
- Увімкніть Bedrock Guardrails; забороніть секрети в підказках.
- Редагуйте PII, де це потрібно, і задокументуйте терміни зберігання.
- Незмінні журнали в S3 з Object Lock; експортуйте у свій SIEM.
- Ведіть runbook для реагування на інциденти та відкочування моделі.
План реалізації: 10 кроків до виробництва
- Визначте 3 основні випадки використання агентів (IT, HR, Sales ops) і показники успіху (коефіцієнт відхилення, CSAT, час вирішення).
- Розгорніть облікові записи AWS, VPC, базові показники IAM і доступ до Bedrock.
- Інтегруйте SSO/SCIM; зіставте ролі та потоки затвердження.
- Підключіть основні джерела в Glean і перевірте пошук з урахуванням дозволів.
- Створіть мінімальну службу оркестрування (Lambda + API Gateway) за допомогою Step Functions.
- Реалізуйте контракт підказки RAG, цитування та фільтрування джерел.
- Додайте два інструменти наскрізно (спочатку лише для читання, потім запис із затвердженням).
- Інструментуйте ведення журналів, оцінки та інформаційні панелі; створіть золотий набір із 150 запитань.
- Запустіть закриту бета-версію з 50–100 користувачами; виправте основні проблеми; встановіть SLO.
- Розгорніть широко; встановіть щотижневий огляд змін і щомісячну оцінку моделі.
Часті запитання щодо створення AI-агентів із Glean і AWS
Як зменшити галюцинації в корпоративних агентах?
Обґрунтуйте модель пошуком із Glean і забезпечте строгу підказку: використовуйте лише наданий контекст і завжди цитуйте джерела. Відхиляйте відповіді з низькою впевненістю та задавайте уточнюючі запитання. Більшість галюцинацій зникають, коли ви покладаєтесь на пошук з урахуванням дозволів.
Чи може агент дотримуватися дозволів на рівні документів у різних додатках?
Так. Коли ви створюєте AI-агентів із Glean і AWS, Glean забезпечує дотримання дозволів із підключених додатків під час запиту, тому агент бачить лише те, до чого користувач має доступ. Завжди передавайте токен ідентифікації користувача, щоб підтримувати ланцюг зберігання.
З яких моделей мені слід почати на AWS?
Використовуйте Amazon Bedrock для доступу до кількох моделей. Почніть із потужної загальної моделі для міркувань і меншої, швидшої моделі для маршрутизації. Оцініть затримку, вартість і точність у порівнянні з вашим золотим набором.
Як безпечно дозволити агентам виконувати дії в таких системах, як Jira або ServiceNow?
Обгорніть кожен інструмент строгими схемами, перевіркою введення та робочими процесами затвердження. Записуйте кожен виклик інструменту та зберігайте вихідні дані для аудиту. Для важливих дій вимагайте крок підтвердження людини.
Які показники доводять, що агент готовий до виробництва?
Відстежуйте обґрунтованість (коефіцієнт цитування), точність відповіді, затримку P95, коефіцієнт вирішення/відхилення та вартість на вирішене завдання. Створюйте інформаційні панелі та запускайте щотижневі перевірки регресії у своєму золотому наборі.
Між іншим: прискорення циклу збірки
Варто зазначити: якщо ваша команда часто створює прототипи, копілот для дослідження та створення чернеток може пришвидшити створення проектної документації, runbook і ітерацій підказок. Такі інструменти, як Sider.AI, допомагають командам підсумовувати довгі гілки, створювати чернетки підказок для оцінки та порівнювати вихідні дані моделей пліч-о-пліч — корисно, коли ви налаштовуєте, як створити AI-агентів корпоративного рівня з Glean і AWS. Ключові висновки та наступні кроки
- Створення AI-агентів із Glean і AWS надає вам пошук з урахуванням ідентифікації та оркестрування корпоративного рівня.
- Почніть з ідентифікації, управління та пошуку з урахуванням дозволів, перш ніж використовувати складну логіку планування.
- Використовуйте захисні огородження Bedrock, строгі схеми інструментів і затвердження за участі людини.
- Інструментуйте все: оцінки, аудити та контроль витрат.
Наступні кроки цього тижня:
- Створіть чернетку трьох основних випадків використання та показників успіху.
- Підключіть два основні джерела в Glean; запустіть оцінку 150 запитань.
- Розгорніть мінімальний оркестратор Lambda + Step Functions з одним інструментом лише для читання.
- Встановіть бюджети затримки та вартості до розширення пілотного проєкту.
FAQ
Q1: Що означає готовність до використання на підприємстві для AI-агентів на AWS?
Це означає безпечні агенти з можливістю аудиту, які поважають SSO та дозволи на документи, надають цитати та працюють на сумісній інфраструктурі. Коли ви створюєте AI-агентів із Glean і AWS, ви отримуєте пошук з урахуванням дозволів і спостережливість хмарного рівня.
Q2: Як Glean запобігає витоку даних у відповідях AI?
Glean забезпечує дотримання дозволів на рівні документів із кожного підключеного додатка під час запиту. Агент отримує лише вміст, до якого користувач має доступ, що має вирішальне значення під час створення AI-агентів корпоративного рівня з Glean і AWS.
Q3: Які служби AWS слід використовувати для оркестрування?
Використовуйте Lambda або ECS для виконання, Step Functions для багатоетапних робочих процесів, Bedrock для моделей і захисних огороджень і Secrets Manager для облікових даних. Цей стек є перевіреною базою для створення AI-агентів із Glean і AWS.
Q4: Як оцінити точність і зменшити галюцинації?
Створіть золотий набір запитань, вимагайте цитування та використовуйте генерацію, доповнену пошуком. З Glean і AWS пошук з урахуванням дозволів плюс захисні огородження значно зменшують галюцинації.
Q5: Чи можуть AI-агенти безпечно виконувати такі дії, як створення тікетів або публікація в Slack?
Так — за допомогою інструментів із перевіреною схемою, затверджень для важливих дій і повного ведення журналів аудиту. Це основний шаблон, коли ви створюєте AI-агентів корпоративного рівня з Glean і AWS.
