Pourquoi les agents d'IA d'entreprise échouent — et comment les rendre prêts pour la production avec Glean et AWS
Voici une affirmation audacieuse : la plupart des « agents d'IA » présentés dans les salles de réunion ne sont pas vraiment prêts pour l'entreprise. Ils hallucinent sous la pression, tombent en panne avec des données réelles et ne peuvent pas passer un audit SOC 2. Si vous voulez une IA que vos équipes juridiques, de sécurité et informatiques approuveront réellement — et que vos employés utiliseront réellement — vous avez besoin d'une construction qui combine la récupération de niveau entreprise (Glean), des primitives cloud robustes (AWS) et une architecture disciplinée qui survit à l'échelle.
Ce guide vous explique étape par étape comment créer des agents d'IA prêts pour l'entreprise avec Glean et AWS — de la récupération tenant compte de l'identité à l'utilisation sécurisée des outils, des budgets de latence à l'observabilité, et du pilote à la production.
Nous utiliserons une structure axée sur les questions afin que vous puissiez passer directement à ce qui compte le plus : l'accès aux données, la sécurité, l'architecture et le déploiement.
Qu'entendons-nous par agents d'IA prêts pour l'entreprise ?
Un agent d'IA prêt pour l'entreprise n'est pas seulement une interface de chat. C'est un système sécurisé et auditable qui peut :
- Répondre aux questions en utilisant les connaissances de l'entreprise avec des limites d'autorisation strictes
- Entreprendre des actions grâce à des outils approuvés (par exemple, les tickets ServiceNow, les problèmes Jira, les publications Slack)
- Attribuer des sources et expliquer le raisonnement
- Fonctionner sous les contrôles SSO, SCIM et DLP de l'entreprise
- Se conformer aux exigences de résidence, de journalisation et de conservation des données
- Évoluer vers des milliers d'utilisateurs avec une latence et un coût prévisibles
C'est là que la construction d'agents d'IA avec Glean et AWS brille : Glean fournit une recherche et une récupération d'entreprise tenant compte de l'identité à travers les applications, tandis qu'AWS apporte les fondations de calcul, d'orchestration, de réseau et de gouvernance dont vous aurez besoin en production.
Architecture en un coup d'œil : Glean + AWS
Considérez le système comme quatre couches :
- Couche d'identité et d'accès (SSO, SCIM, permissions)
- SSO via Okta/Azure AD ; SCIM pour le provisionnement ; mappages de rôles
- Glean applique les autorisations au niveau du document au moment de la requête
- AWS Cognito ou SAML/OIDC direct pour transmettre les jetons aux services
- Couche de récupération d'entreprise (Glean)
- Index unifié à travers Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion, et plus encore
- Récupération et classement tenant compte des autorisations
- Réécriture de requête, recherche hybride, reclassement sémantique
- Couche de raisonnement et d'orchestration (AWS + modèles)
- AWS Lambda ou ECS pour les étapes d'agent sans état
- Amazon Bedrock pour un accès géré aux modèles de pointe
- Step Functions pour les flux de travail multi-outils et les nouvelles tentatives
- Secrets Manager/Parameter Store pour les clés et les informations d'identification des outils
- Couche d'action et d'outil (intégrations d'entreprise)
- Opérations de lecture et d'écriture vers les systèmes d'enregistrement (ServiceNow, Salesforce, Jira, Slack)
- Garde-fous, approbations et observation pour chaque appel d'outil
- Journaux d'audit dans CloudWatch/OpenSearch pour l'explicabilité
Construction de base : Comment construire des agents d'IA prêts pour l'entreprise avec Glean et AWS
Ci-dessous se trouve un chemin pratique de bout en bout. Adaptez-le à votre pile, mais conservez les principes.
1) Configurez d'abord l'identité et la gouvernance
- Établissez le SSO via Okta/Azure AD. Mappez les groupes/rôles aux autorisations de l'application.
- Utilisez SCIM pour le cycle de vie automatisé des utilisateurs (arrivée/mutation/départ). La désaffectation doit se répercuter sur l'agent.
- Configurez les comptes AWS avec les rôles IAM de moindre privilège. Séparez le développement, la mise en scène, la production. Appliquez les points de terminaison VPC pour Bedrock et les contrôles de sortie de données si nécessaire.
- Définissez la conservation des données : combien de temps stocker les prompts, les réponses et les embeddings vectoriels. Utilisez des buckets S3 chiffrés KMS pour les journaux et les artefacts.
Conseil : Considérez l'identité comme un signal d'exécution. L'agent doit transmettre l'identité de l'utilisateur final via Glean et les outils afin que les vérifications d'autorisation restent intactes.
2) Connectez les sources dans Glean et activez la récupération tenant compte des autorisations
- Connectez Slack, Drive, Confluence, Notion, GitHub, Jira, Box et e-mail selon votre empreinte.
- Laissez Glean crawler et indexer avec le moindre privilège ; confirmez les étendues avec la sécurité.
- Validez la propagation des autorisations : un utilisateur ne doit récupérer que ce qu'il peut voir dans l'application source.
- Ajustez la configuration des requêtes Glean : activez la réécriture des requêtes, la récupération hybride et le reclassement sémantique pour une meilleure précision.
Pourquoi c'est important : Dans la plupart des entreprises, 70 à 90 % du problème des « hallucinations » est en fait un problème de récupération. Avec Glean, l'agent d'IA récupère les bons documents en fonction des autorisations de l'utilisateur, ce qui réduit considérablement les risques et les réponses non pertinentes.
3) Choisissez les modèles via Amazon Bedrock et définissez des garde-fous
- Commencez avec un modèle généraliste (par exemple, Claude, Llama ou Mistral via Bedrock) et faites un test A/B par rapport aux prompts de domaine.
- Utilisez Bedrock Guardrails pour les filtres de sécurité, les vérifications d'injection de prompts et les politiques de contenu.
- Contrôlez les réponses : exigez des citations par ID/URL de document, appliquez des schémas JSON pour les sorties d'outils et définissez un nombre maximal de jetons par étape.
- Gardez un budget de latence : ciblez P95 de bout en bout < 2,5 s pour les questions/réponses et < 6 s pour les flux d'utilisation d'outils.
4) Orchestrez l'agent sur AWS
Modèle : Planification de style ReAct + utilisation d'outils + réponse fondée.
- Utilisez Step Functions pour coordonner les étapes : récupérer → planifier → outil → valider → répondre.
- Les appels de raisonnement s'exécutent dans Lambda ou ECS ; choisissez Lambda pour le trafic en rafale, ECS pour le débit soutenu.
- Les adaptateurs d'outils (Jira, Slack, ServiceNow) sont des Lambdas sans état avec des secrets à portée IAM dans AWS Secrets Manager.
- Stockez l'état de conversation à court terme dans DynamoDB avec TTL ; l'analyse à long terme dans S3/Glue/Athena.
5) Mettez en œuvre la génération augmentée par la récupération (RAG) avec Glean
- Interrogez Glean avec le jeton d'identité de l'utilisateur et la question de l'utilisateur.
- Récupérez les k meilleurs résultats (par exemple, hybride : k=10 sémantique + 10 mots-clés) en respectant les autorisations.
- Reclassez avec la pertinence de Glean ; ne transmettez que les chunks supérieurs et dédupliqués au modèle.
- Exigez que l'agent cite les sources et inclue un score de confiance.
Squelette de prompt :
- Système : « Vous êtes un assistant d'entreprise fondé. Utilisez uniquement le contexte fourni. Si ce n'est pas pertinent, posez une question de suivi. Citez toujours les sources par titre et lien. »
- Outils : « Vous pouvez appeler Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. N'agissez qu'après avoir confirmé avec l'utilisateur, sauf si un manuel d'exécution autorise l'automatisation. »
6) Ajoutez une utilisation sécurisée des outils et des approbations
- Encapsulez chaque outil avec une validation des paramètres et une limitation du débit.
- Exigez une confirmation humaine ou une approbation du gestionnaire pour les actions importantes (par exemple, l'accès au provisionnement, la clôture des P1).
- Enregistrez chaque appel d'outil (qui, quoi, quand, schéma d'entrée, sortie) dans CloudWatch et S3 pour les audits.
- Pour les publications Slack/Teams, prenez en charge le « mode brouillon » pour la prévisualisation avant l'envoi.
7) Observabilité, évaluation et contrôle de la dérive
- Capturez les prompts, les extraits de contexte, les citations et les réponses avec la rédaction si nécessaire.
- Utilisez les tableaux de bord OpenSearch pour surveiller precision@k, le fondement et le taux de déviation.
- Exécutez des évaluations hors ligne : organisez un ensemble de référence de 100 à 300 questions spécifiques à l'organisation avec les réponses attendues et les sources requises.
- Planifiez des canaris pour détecter la dérive du connecteur ou des autorisations (par exemple, les canaux Slack modifiés, les migrations de lecteurs).
8) Réglage des performances et des coûts
- Mettez en cache les requêtes Glean par utilisateur pour les sujets brûlants (par exemple, la politique RH) avec des TTL courts.
- Utilisez des modèles plus petits pour le routage, des modèles plus grands uniquement pour les requêtes difficiles ou les plans multi-outils.
- Reclassez par lots lorsque cela est possible ; compressez le contexte ; utilisez la déduplication des chunks.
- Suivez le coût par tâche résolue ; définissez des quotas par organisation et par groupe d'utilisateurs.
Exemple : Un assistant informatique d'entreprise construit avec Glean et AWS
Parcourons un scénario concret qui montre comment construire des agents d'IA prêts pour l'entreprise avec Glean et AWS.
Cas d'utilisation : Triage et résolution du support informatique.
- L'utilisateur demande : « Le VPN échoue sur macOS 14 après la mise à jour — un correctif ? »
- L'agent achemine vers la piste du manuel d'exécution informatique.
- Récupération : Interroge Glean avec l'identité de l'utilisateur et récupère le manuel d'exécution VPN (Confluence), un fil Slack de #it-support et un document de politique Jamf. Seules les ressources auxquelles l'utilisateur peut accéder sont prises en compte.
- Planification : L'agent propose des étapes : partager le correctif, vérifier la conformité de l'appareil via Jamf, et si non résolu, ouvrir un incident ServiceNow.
- Appels d'outils : Lit l'état Jamf (lecture seule), rédige un message de correctif et demande à l'utilisateur de confirmer l'escalade. Avec confirmation, crée un incident avec le bon modèle.
- Réponse : Fournit un résumé concis du correctif avec des citations du manuel d'exécution et du fil Slack, le tout dans le champ d'application des autorisations de l'utilisateur.
Pourquoi ça marche : L'agent est ancré dans la récupération tenant compte des autorisations de Glean, et AWS gère l'exécution, les approbations et la journalisation.
Liste de contrôle de sécurité et de conformité (ne sautez pas ceci)
- Conservez le contexte de récupération côté serveur ; n'exposez pas le contenu brut du document au client.
- Chiffrez au repos avec KMS ; appliquez TLS 1.2+ en transit.
- Transmettez l'identité de l'utilisateur à Glean et aux outils ; n'utilisez jamais une identité de bot partagée pour la récupération.
- Mappez RBAC des groupes IdP aux étendues d'outils.
- Activez Bedrock Guardrails ; n'autorisez pas les secrets dans les prompts.
- Rédigez les informations PII si nécessaire et documentez les fenêtres de conservation.
- Journaux immuables vers S3 avec Object Lock ; exportez vers votre SIEM.
- Conservez un manuel d'exécution pour la réponse aux incidents et la restauration du modèle.
Plan d'implémentation : 10 étapes vers la production
- Définissez les 3 principaux cas d'utilisation de l'agent (IT, RH, opérations de vente) et les mesures de succès (taux de déviation, CSAT, temps de résolution).
- Configurez les comptes AWS, le VPC, les bases de référence IAM et l'accès Bedrock.
- Intégrez SSO/SCIM ; mappez les rôles et les flux d'approbation.
- Connectez les sources principales dans Glean et validez la récupération tenant compte des autorisations.
- Construisez un service d'orchestration minimal (Lambda + API Gateway) avec Step Functions.
- Mettez en œuvre le contrat de prompt RAG, les citations et le filtrage des sources.
- Ajoutez deux outils de bout en bout (lecture seule d'abord, puis écriture avec approbation).
- Instrumentez la journalisation, les évaluations et les tableaux de bord ; créez un ensemble de référence de 150 questions.
- Exécutez une version bêta fermée avec 50 à 100 utilisateurs ; corrigez les principaux problèmes ; définissez des SLO.
- Déployez largement ; établissez un examen hebdomadaire des modifications et une évaluation mensuelle du modèle.
Foire aux questions lors de la construction d'agents d'IA avec Glean et AWS
Comment puis-je réduire les hallucinations dans les agents d'entreprise ?
Ancrez le modèle avec la récupération de Glean et appliquez un prompt strict : utilisez uniquement le contexte fourni et citez toujours les sources. Rejetez les réponses avec une faible confiance et posez des questions de clarification. La plupart des hallucinations disparaissent lorsque vous vous fiez à la récupération tenant compte des autorisations.
L'agent peut-il respecter les autorisations au niveau du document à travers les applications ?
Oui. Lorsque vous construisez des agents d'IA avec Glean et AWS, Glean applique les autorisations des applications connectées au moment de la requête, de sorte que l'agent ne voit que ce à quoi l'utilisateur peut accéder. Transmettez toujours le jeton d'identité de l'utilisateur pour maintenir la chaîne de contrôle.
Avec quels modèles devrais-je commencer sur AWS ?
Utilisez Amazon Bedrock pour accéder à plusieurs modèles. Commencez avec un modèle général solide pour le raisonnement et un modèle plus petit et plus rapide pour le routage. Évaluez la latence, le coût et la précision par rapport à votre ensemble de référence organisé.
Comment puis-je laisser les agents prendre des mesures en toute sécurité dans des systèmes comme Jira ou ServiceNow ?
Encapsulez chaque outil avec des schémas stricts, une validation des entrées et des flux de travail d'approbation. Enregistrez chaque appel d'outil et stockez les sorties pour l'audit. Pour les actions importantes, exigez une étape de confirmation humaine.
Quelles mesures prouvent qu'un agent est prêt pour la production ?
Suivez le fondement (taux de citation), la précision de la réponse, la latence P95, le taux de résolution/déviation et le coût par tâche résolue. Créez des tableaux de bord et exécutez des vérifications de régression hebdomadaires sur votre ensemble de référence.
Au fait : accélérer la boucle de construction
Il est intéressant de noter que si votre équipe prototype fréquemment, un copilote pour la recherche et la rédaction peut accélérer les documents de conception, les manuels d'exécution et les itérations de prompts. Des outils comme Sider.AI aident les équipes à résumer les longs threads, à rédiger des prompts d'évaluation et à comparer les sorties des modèles côte à côte — utile lorsque vous réglez la façon de construire des agents d'IA prêts pour l'entreprise avec Glean et AWS. Principaux points à retenir et prochaines étapes
- La construction d'agents d'IA avec Glean et AWS vous offre une récupération tenant compte de l'identité et une orchestration de niveau entreprise.
- Commencez par l'identité, la gouvernance et la récupération tenant compte des autorisations avant la logique de planification sophistiquée.
- Utilisez les garde-fous de Bedrock, les schémas d'outils stricts et les approbations humaines dans la boucle.
- Instrumentez tout : les évaluations, les audits et les contrôles des coûts.
Prochaines étapes cette semaine :
- Rédigez vos trois principaux cas d'utilisation et mesures de succès.
- Connectez deux sources principales dans Glean ; exécutez une évaluation de 150 questions.
- Configurez un orchestrateur minimal Lambda + Step Functions avec un outil en lecture seule.
- Définissez vos budgets de latence et de coût avant que le pilote ne s'étende.
FAQ
Q1 : Que signifie prêt pour l'entreprise pour les agents d'IA sur AWS ?
Cela signifie des agents sécurisés et auditables qui respectent le SSO et les autorisations de document, fournissent des citations et fonctionnent sur une infrastructure conforme. Lorsque vous construisez des agents d'IA avec Glean et AWS, vous obtenez une récupération tenant compte des autorisations et une observabilité de niveau cloud.
Q2 : Comment Glean empêche-t-il les fuites de données dans les réponses de l'IA ?
Glean applique les autorisations au niveau du document de chaque application connectée au moment de la requête. L'agent ne récupère que le contenu auquel l'utilisateur peut accéder, ce qui est essentiel lors de la construction d'agents d'IA prêts pour l'entreprise avec Glean et AWS.
Q3 : Quels services AWS dois-je utiliser pour l'orchestration ?
Utilisez Lambda ou ECS pour l'exécution, Step Functions pour les flux de travail en plusieurs étapes, Bedrock pour les modèles et les garde-fous, et Secrets Manager pour les informations d'identification. Cette pile est une base éprouvée pour la construction d'agents d'IA avec Glean et AWS.
Q4 : Comment évaluer la précision et réduire les hallucinations ?
Créez un ensemble de référence de questions, exigez des citations et utilisez la génération augmentée par la récupération. Avec Glean et AWS, la récupération tenant compte des autorisations et les garde-fous réduisent considérablement les hallucinations.
Q5 : Les agents d'IA peuvent-ils prendre des mesures en toute sécurité, comme créer des tickets ou publier dans Slack ?
Oui — avec des outils validés par schéma, des approbations pour les actions à fort impact et une journalisation d'audit complète. C'est un modèle de base lorsque vous construisez des agents d'IA prêts pour l'entreprise avec Glean et AWS.
