Почему корпоративные AI-агенты терпят неудачу — и как сделать их готовыми к работе с Glean и AWS
Вот смелое заявление: большинство «AI-агентов», демонстрируемых в залах заседаний, на самом деле не готовы к корпоративному использованию. Они выдают галлюцинации под давлением, ломаются на реальных данных и не могут пройти аудит SOC 2. Если вам нужен AI, который ваши юридические, службы безопасности и ИТ-команды действительно одобрят, и который ваши сотрудники действительно будут использовать, вам нужна сборка, сочетающая в себе поиск корпоративного уровня (Glean), надежные облачные примитивы (AWS) и дисциплинированную архитектуру, выдерживающую масштабирование.
Это руководство шаг за шагом проведет вас через процесс создания корпоративных AI-агентов с помощью Glean и AWS — от поиска с учетом идентификации до безопасного использования инструментов, от бюджетов задержек до наблюдаемости и от пилотного проекта до производства.
Мы будем использовать структуру, основанную на вопросах, чтобы вы могли перейти к самому важному: доступу к данным, безопасности, архитектуре и развертыванию.
Что мы подразумеваем под корпоративными AI-агентами?
Корпоративный AI-агент — это не просто интерфейс чата. Это безопасная, поддающаяся аудиту система, которая может:
- Отвечать на вопросы, используя корпоративные знания, со строгими границами разрешений
- Выполнять действия с помощью утвержденных инструментов (например, тикеты ServiceNow, задачи Jira, сообщения Slack)
- Указывать источники и объяснять логику рассуждений
- Работать под управлением корпоративных SSO, SCIM и DLP
- Соответствовать требованиям к местонахождению данных, ведению журналов и хранению
- Масштабироваться до тысяч пользователей с предсказуемой задержкой и стоимостью
Именно здесь проявляется преимущество создания AI-агентов с помощью Glean и AWS: Glean обеспечивает корпоративный поиск и извлечение информации с учетом идентификации во всех приложениях, а AWS предоставляет вычислительную, оркестрационную, сетевую и управленческую основу, необходимую в производственной среде.
Архитектура вкратце: Glean + AWS
Рассматривайте систему как четыре уровня:
- Уровень идентификации и доступа (SSO, SCIM, разрешения)
- SSO через Okta/Azure AD; SCIM для подготовки; сопоставления ролей
- Glean обеспечивает соблюдение разрешений на уровне документов во время запроса
- AWS Cognito или прямой SAML/OIDC для передачи токенов в сервисы
- Уровень корпоративного поиска (Glean)
- Унифицированный индекс для Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion и других
- Поиск и ранжирование с учетом разрешений
- Перефразирование запросов, гибридный поиск, семантическое переранжирование
- Уровень рассуждений и оркестрации (AWS + модели)
- AWS Lambda или ECS для бессерверных шагов агента
- Amazon Bedrock для управляемого доступа к передовым моделям
- Step Functions для рабочих процессов с несколькими инструментами и повторных попыток
- Secrets Manager/Parameter Store для ключей и учетных данных инструментов
- Уровень действий и инструментов (корпоративные интеграции)
- Операции чтения и записи в системы учета (ServiceNow, Salesforce, Jira, Slack)
- Защитные ограждения, утверждения и наблюдение за каждым вызовом инструмента
- Журналы аудита в CloudWatch/OpenSearch для объяснимости
Основная сборка: Как создать корпоративных AI-агентов с помощью Glean и AWS
Ниже представлен практический, сквозной путь. Адаптируйте его для своего стека, но придерживайтесь принципов.
1) Сначала настройте идентификацию и управление
- Установите SSO через Okta/Azure AD. Сопоставьте группы/роли с разрешениями приложений.
- Используйте SCIM для автоматизированного жизненного цикла пользователей (присоединение/перемещение/увольнение). Отмена подготовки должна каскадироваться на агента.
- Настройте учетные записи AWS с ролями IAM с наименьшими привилегиями. Разделите разработку, промежуточную среду, продакшн. При необходимости обеспечьте соблюдение конечных точек VPC для Bedrock и контроля исходящего трафика данных.
- Определите срок хранения данных: как долго хранить подсказки, ответы и векторные вложения. Используйте S3-корзины, зашифрованные KMS, для журналов и артефактов.
Совет: Рассматривайте идентификацию как сигнал времени выполнения. Агент должен передавать идентификацию конечного пользователя через Glean и инструменты, чтобы проверки разрешений оставались нетронутыми.
2) Подключите источники в Glean и включите поиск с учетом разрешений
- Подключите Slack, Drive, Confluence, Notion, GitHub, Jira, Box и электронную почту в соответствии с вашим объемом.
- Позвольте Glean выполнять обход и индексацию с наименьшими привилегиями; подтвердите области действия с помощью безопасности.
- Проверьте распространение разрешений: пользователь должен получать только то, что он может просматривать в исходном приложении.
- Настройте конфигурацию запросов Glean: включите перефразирование запросов, гибридный поиск и семантическое переранжирование для повышения точности.
Почему это важно: В большинстве предприятий 70–90% проблемы «галлюцинаций» на самом деле является проблемой поиска. С помощью Glean AI-агент извлекает правильные документы с учетом разрешений пользователя, что значительно снижает риск и количество нерелевантных ответов.
3) Выберите модели через Amazon Bedrock и установите защитные ограждения
- Начните с модели общего назначения (например, Claude, Llama или Mistral через Bedrock) и выполните A/B-тестирование по отношению к подсказкам домена.
- Используйте Bedrock Guardrails для фильтров безопасности, проверок внедрения подсказок и политик контента.
- Ограничьте ответы: требуйте цитирования по идентификатору/URL-адресу документа, применяйте JSON-схемы для выходных данных инструментов и установите максимальное количество токенов на шаг.
- Соблюдайте бюджет задержки: целевой показатель P95 end-to-end < 2,5 с для вопросов и ответов и < 6 с для потоков использования инструментов.
4) Организуйте агента на AWS
Шаблон: Планирование в стиле ReAct + использование инструментов + обоснованный ответ.
- Используйте Step Functions для координации шагов: извлечение → планирование → инструмент → проверка → ответ.
- Вызовы рассуждений выполняются в Lambda или ECS; выберите Lambda для скачкообразного трафика, ECS — для устойчивой пропускной способности.
- Адаптеры инструментов (Jira, Slack, ServiceNow) — это бессерверные Lambda с секретами, определенными IAM, в AWS Secrets Manager.
- Храните кратковременное состояние разговора в DynamoDB с TTL; долгосрочную аналитику — в S3/Glue/Athena.
5) Внедрите генерацию, расширенную извлечением (RAG), с помощью Glean
- Запрашивайте Glean с помощью токена идентификации пользователя и вопроса пользователя.
- Получите лучшие результаты top-k (например, гибридный: k=10 семантический + 10 ключевых слов) с соблюдением разрешений.
- Переранжируйте с помощью релевантности Glean; передайте модели только верхние, дедуплицированные фрагменты.
- Потребуйте от агента цитировать источники и включать оценку достоверности.
Структура подсказки:
- Система: «Вы — обоснованный корпоративный помощник. Используйте только предоставленный контекст. Если это нерелевантно, задайте уточняющий вопрос. Всегда указывайте источники по названию и ссылке».
- Инструменты: «Вы можете вызывать Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Действуйте только после подтверждения пользователем, если только в служебной инструкции не разрешена автоматизация».
6) Добавьте безопасное использование инструментов и утверждения
- Оберните каждый инструмент проверкой параметров и ограничением скорости.
- Требуйте подтверждения человека или утверждения менеджера для важных действий (например, предоставление доступа, закрытие P1).
- Регистрируйте каждый вызов инструмента (кто, что, когда, входная схема, выходные данные) в CloudWatch и S3 для аудитов.
- Для сообщений Slack/Teams поддерживайте «режим черновика» для предварительного просмотра перед отправкой.
7) Наблюдаемость, оценка и контроль отклонений
- Собирайте подсказки, фрагменты контекста, цитаты и ответы с редактированием, где это необходимо.
- Используйте панели мониторинга OpenSearch для мониторинга precision@k, обоснованности и коэффициента отклонения.
- Выполняйте автономные оценки: создайте золотой набор из 100–300 вопросов, специфичных для организации, с ожидаемыми ответами и необходимыми источниками.
- Запланируйте канарейки для обнаружения дрейфа соединителя или разрешений (например, измененные каналы Slack, миграции дисков).
8) Настройка производительности и стоимости
- Кэшируйте запросы Glean для каждого пользователя по горячим темам (например, политика отдела кадров) с коротким TTL.
- Используйте более мелкие модели для маршрутизации, более крупные модели — только для сложных запросов или планов с несколькими инструментами.
- Выполняйте переранжирование пакетами, когда это возможно; сжимайте контекст; используйте дедупликацию фрагментов.
- Отслеживайте стоимость каждой решенной задачи; установите квоты для каждой организации и каждой группы пользователей.
Пример: Корпоративный ИТ-помощник, созданный с помощью Glean и AWS
Давайте рассмотрим конкретный сценарий, который показывает, как создать корпоративных AI-агентов с помощью Glean и AWS.
Вариант использования: Triage и разрешение ИТ-поддержки.
- Пользователь спрашивает: «VPN не работает на macOS 14 после обновления — есть ли исправление?»
- Агент направляет к треку служебной инструкции ИТ.
- Извлечение: Запрашивает Glean с идентификацией пользователя и получает служебную инструкцию VPN (Confluence), ветку Slack из #it-support и документ политики Jamf. Учитываются только ресурсы, к которым пользователь имеет доступ.
- Планирование: Агент предлагает шаги: поделиться исправлением, проверить соответствие устройства через Jamf и, если проблема не решена, открыть инцидент ServiceNow.
- Вызовы инструментов: Считывает статус Jamf (только для чтения), составляет сообщение об исправлении и просит пользователя подтвердить эскалацию. После подтверждения создает инцидент с правильным шаблоном.
- Ответ: Предоставляет краткое изложение исправления со ссылками на служебную инструкцию и ветку Slack, и все это в рамках области разрешений пользователя.
Почему это работает: Агент основан на поиске с учетом разрешений от Glean, а AWS обрабатывает выполнение, утверждения и ведение журналов.
Контрольный список безопасности и соответствия требованиям (не пропускайте это)
- Храните контекст извлечения на стороне сервера; не предоставляйте необработанное содержимое документа клиенту.
- Шифруйте в состоянии покоя с помощью KMS; обеспечьте соблюдение TLS 1.2+ при передаче.
- Передавайте идентификацию пользователя в Glean и инструменты; никогда не используйте общую идентификацию бота для извлечения.
- Сопоставьте RBAC из групп IdP с областями инструментов.
- Включите Bedrock Guardrails; запретите секреты в подсказках.
- Редактируйте PII, где это необходимо, и документируйте окна хранения.
- Неизменяемые журналы в S3 с блокировкой объектов; экспортируйте в SIEM.
- Храните служебную инструкцию для реагирования на инциденты и отката модели.
План реализации: 10 шагов к производству
- Определите 3 основных варианта использования агента (ИТ, кадры, операции продаж) и показатели успеха (коэффициент отклонения, CSAT, время решения).
- Поднимите учетные записи AWS, VPC, базовые уровни IAM и доступ к Bedrock.
- Интегрируйте SSO/SCIM; сопоставьте роли и потоки утверждения.
- Подключите основные источники в Glean и проверьте поиск с учетом разрешений.
- Создайте минимальную службу оркестрации (Lambda + API Gateway) с Step Functions.
- Реализуйте контракт подсказки RAG, цитаты и фильтрацию источников.
- Добавьте два инструмента end-to-end (сначала только для чтения, затем для записи с утверждением).
- Инструментируйте ведение журналов, оценки и панели мониторинга; создайте золотой набор из 150 вопросов.
- Запустите закрытую бета-версию с 50–100 пользователями; исправьте основные проблемы; установите SLO.
- Широко разверните; установите еженедельный обзор изменений и ежемесячную оценку модели.
Часто задаваемые вопросы при создании AI-агентов с помощью Glean и AWS
Как уменьшить количество галлюцинаций у корпоративных агентов?
Обоснуйте модель с помощью поиска из Glean и обеспечьте соблюдение строгой подсказки: используйте только предоставленный контекст и всегда указывайте источники. Отклоняйте ответы с низкой достоверностью и задавайте уточняющие вопросы. Большинство галлюцинаций исчезают, когда вы полагаетесь на поиск с учетом разрешений.
Может ли агент соблюдать разрешения на уровне документов во всех приложениях?
Да. Когда вы создаете AI-агентов с помощью Glean и AWS, Glean обеспечивает соблюдение разрешений из подключенных приложений во время запроса, поэтому агент видит только то, к чему пользователь имеет доступ. Всегда передавайте токен идентификации пользователя, чтобы поддерживать цепочку хранения.
С каких моделей мне следует начать работу на AWS?
Используйте Amazon Bedrock для доступа к нескольким моделям. Начните с надежной общей модели для рассуждений и более мелкой, более быстрой модели для маршрутизации. Оцените задержку, стоимость и точность по отношению к вашему курируемому золотому набору.
Как мне безопасно позволить агентам выполнять действия в таких системах, как Jira или ServiceNow?
Оберните каждый инструмент строгими схемами, проверкой входных данных и рабочими процессами утверждения. Регистрируйте каждый вызов инструмента и сохраняйте выходные данные для аудита. Для важных действий требуется шаг подтверждения человеком.
Какие показатели доказывают, что агент готов к работе?
Отслеживайте обоснованность (частота цитирования), точность ответов, задержку P95, коэффициент решения/отклонения и стоимость каждой решенной задачи. Создавайте панели мониторинга и выполняйте еженедельные проверки регрессии в своем золотом наборе.
Кстати: ускорение цикла сборки
Стоит отметить: если ваша команда часто создает прототипы, сопрограмма для исследований и составления черновиков может ускорить создание проектной документации, служебных инструкций и итерации подсказок. Такие инструменты, как Sider.AI, помогают командам обобщать длинные ветки, составлять подсказки для оценки и сравнивать выходные данные моделей бок о бок — это полезно, когда вы настраиваете способ создания корпоративных AI-агентов с помощью Glean и AWS. Основные выводы и следующие шаги
- Создание AI-агентов с помощью Glean и AWS обеспечивает поиск с учетом идентификации и оркестрацию корпоративного уровня.
- Начните с идентификации, управления и поиска с учетом разрешений, прежде чем приступать к сложной логике планирования.
- Используйте защитные ограждения Bedrock, строгие схемы инструментов и утверждения с участием человека.
- Инструментируйте все: оценки, аудиты и элементы управления затратами.
Следующие шаги на этой неделе:
- Составьте черновик трех основных вариантов использования и показателей успеха.
- Подключите два основных источника в Glean; выполните оценку по 150 вопросам.
- Поднимите минимальный оркестратор Lambda + Step Functions с одним инструментом только для чтения.
- Установите бюджеты задержек и затрат до расширения пилотного проекта.
FAQ
Q1: Что означает «готовность к корпоративному использованию» для AI-агентов на AWS?
Это означает безопасных, поддающихся аудиту агентов, которые соблюдают SSO и разрешения на документы, предоставляют цитаты и работают на совместимой инфраструктуре. Когда вы создаете AI-агентов с помощью Glean и AWS, вы получаете поиск с учетом разрешений и наблюдаемость облачного уровня.
Q2: Как Glean предотвращает утечку данных в ответах AI?
Glean обеспечивает соблюдение разрешений на уровне документов из каждого подключенного приложения во время запроса. Агент извлекает только контент, к которому пользователь имеет доступ, что имеет решающее значение при создании корпоративных AI-агентов с помощью Glean и AWS.
Q3: Какие сервисы AWS следует использовать для оркестрации?
Используйте Lambda или ECS для выполнения, Step Functions для многоэтапных рабочих процессов, Bedrock для моделей и защитных ограждений и Secrets Manager для учетных данных. Этот стек является проверенной основой для создания AI-агентов с помощью Glean и AWS.
Q4: Как оценить точность и уменьшить количество галлюцинаций?
Создайте золотой набор вопросов, требуйте цитаты и используйте генерацию, расширенную извлечением. С Glean и AWS поиск с учетом разрешений плюс защитные ограждения значительно снижают количество галлюцинаций.
Q5: Могут ли AI-агенты безопасно выполнять такие действия, как создание тикетов или публикация в Slack?
Да — с инструментами с проверенной схемой, утверждениями для действий с высоким воздействием и полным ведением журналов аудита. Это основная модель при создании корпоративных AI-агентов с помощью Glean и AWS.
