Hvorfor enterprise AI-agenter fejler – og hvordan du gør dem produktionsklare med Glean og AWS
Her er en dristig påstand: De fleste "AI-agenter", der demonstreres i bestyrelseslokaler, er ikke rigtigt enterprise-klare. De hallucinerer under pres, bryder ned på rigtige data og kan ikke bestå en SOC 2-audit. Hvis du vil have AI, som dine juridiske, sikkerheds- og IT-teams rent faktisk vil godkende – og dine medarbejdere rent faktisk vil bruge – skal du have en build, der kombinerer enterprise-grade hentning (Glean), robuste cloud-primitiver (AWS) og en disciplineret arkitektur, der overlever skalering.
Denne guide fører dig trin for trin igennem, hvordan du bygger enterprise-klare AI-agenter med Glean og AWS – fra identitetsbevidst hentning til sikker værktøjsbrug, fra latency-budgetter til observerbarhed og fra pilot til produktion.
Vi vil bruge en spørgsmålsdrevet struktur, så du kan springe til det, der betyder mest: dataadgang, sikkerhed, arkitektur og udrulning.
Hvad mener vi med enterprise-klare AI-agenter?
En enterprise-klar AI-agent er ikke bare en chat-grænseflade. Det er et sikkert, auditerbart system, der kan:
- Besvare spørgsmål ved hjælp af virksomhedsviden med strenge tilladelsesgrænser
- Udføre handlinger gennem godkendte værktøjer (f.eks. ServiceNow-tickets, Jira-issues, Slack-opslag)
- Attribuere kilder og forklare ræsonnement
- Fungere under enterprise SSO, SCIM og DLP-kontroller
- Overholde krav til datalagring, logning og opbevaring
- Skalere til tusindvis af brugere med forudsigelig latency og omkostninger
Det er her, opbygning af AI-agenter med Glean og AWS skinner: Glean leverer identitetsbevidst enterprise-søgning og hentning på tværs af apps, mens AWS bringer det compute-, orkestrerings-, netværks- og governance-fundament, du har brug for i produktion.
Arkitektur i et overblik: Glean + AWS
Tænk på systemet som fire lag:
- Identitets- og adgangslag (SSO, SCIM, tilladelser)
- SSO via Okta/Azure AD; SCIM til provisionering; rolletilknytninger
- Glean håndhæver dokumentniveau-tilladelser på forespørgselstidspunktet
- AWS Cognito eller direkte SAML/OIDC til at formidle tokens til tjenester
- Enterprise-hentningslag (Glean)
- Unified index på tværs af Google Drive, Slack, Confluence, Jira, GitHub, Box, Notion og mere
- Tilladelsesbevidst hentning og rangering
- Forespørgselsomskrivning, hybrid søgning, semantisk reranking
- Ræsonnement- og orkestreringslag (AWS + modeller)
- AWS Lambda eller ECS til statsløse agenttrin
- Amazon Bedrock til administreret adgang til frontier-modeller
- Step Functions til multi-værktøjs workflows og genforsøg
- Secrets Manager/Parameter Store til nøgler og værktøjslegitimationsoplysninger
- Handlings- og værktøjslag (enterprise-integrationer)
- Læse- og skriveoperationer til systemer med records (ServiceNow, Salesforce, Jira, Slack)
- Guardrails, godkendelser og observation for hvert værktøjskald
- Audit logs i CloudWatch/OpenSearch for forklarbarhed
Core build: Sådan bygger du enterprise-klare AI-agenter med Glean & AWS
Nedenfor er en praktisk, end-to-end sti. Tilpas til din stack, men behold principperne.
1) Konfigurer identitet og governance først
- Etabler SSO via Okta/Azure AD. Kortlæg grupper/roller til app-tilladelser.
- Brug SCIM til automatiseret brugerlivscyklus (joiner/mover/leaver). Deprovisionering skal kaskade til agenten.
- Konfigurer AWS-konti med mindst privilegerede IAM-roller. Adskil dev, staging, prod. Håndhæv VPC-endpoints for Bedrock og data egress-kontroller, hvor det er påkrævet.
- Definer dataopbevaring: hvor længe skal prompter, svar og vektorindlejringer gemmes. Brug KMS-krypterede S3-buckets til logs og artefakter.
Tip: Behandl identitet som et runtime-signal. Agenten skal sende slutbrugerens identitet gennem Glean og værktøjer, så tilladelseskontroller forbliver intakte.
2) Forbind kilder i Glean og aktiver tilladelsesbevidst hentning
- Forbind Slack, Drive, Confluence, Notion, GitHub, Jira, Box og e-mail pr. dit footprint.
- Lad Glean crawle og indeksere med mindst privilegium; bekræft scopes med sikkerhed.
- Valider tilladelsespropagation: en bruger bør kun hente, hvad de kan se i kildeappen.
- Tune Glean-forespørgselskonfiguration: aktiver forespørgselsomskrivning, hybrid hentning og semantisk reranking for bedre præcision.
Hvorfor det er vigtigt: I de fleste virksomheder er 70-90 % af "hallucinations"-problemet faktisk et hentningsproblem. Med Glean henter AI-agenten de rigtige dokumenter betinget af brugerens tilladelser, hvilket reducerer risikoen og irrelevante svar massivt.
3) Vælg modeller via Amazon Bedrock og sæt guardrails
- Start med en generalistmodel (f.eks. Claude, Llama eller Mistral via Bedrock) og A/B-test mod domæne-prompter.
- Brug Bedrock Guardrails til sikkerhedsfiltre, prompt injection-kontroller og indholdspolitikker.
- Begræns svar: kræv citater efter doc ID/URL, håndhæv JSON-skemaer for værktøjsoutput og sæt maks. tokens pr. trin.
- Hold et latency-budget: mål P95 end-to-end < 2,5s for Q&A og < 6s for værktøjsbrugs-flows.
4) Orkestrer agenten på AWS
Mønster: ReAct-style planlægning + værktøjsbrug + grounded besvarelse.
- Brug Step Functions til at koordinere trin: hent → planlæg → værktøj → valider → svar.
- Ræsonnement-kald kører i Lambda eller ECS; vælg Lambda til bursty trafik, ECS til vedvarende throughput.
- Værktøjsadaptere (Jira, Slack, ServiceNow) er statsløse Lambdas med IAM-scoped secrets i AWS Secrets Manager.
- Gem kortvarig samtale-state i DynamoDB med TTL; langsigtet analyse i S3/Glue/Athena.
5) Implementer retrieval-augmented generation (RAG) med Glean
- Forespørg Glean med brugerens identitetstoken og brugerens spørgsmål.
- Hent top-k resultater (f.eks. hybrid: k=10 semantisk + 10 keyword) og overhold tilladelser.
- Rerank med Gleans relevans; send kun de øverste, deduplikerede chunks til modellen.
- Kræv, at agenten citerer kilder og inkluderer en confidence score.
Prompt skeleton:
- System: “Du er en grounded enterprise-assistent. Brug kun den angivne kontekst. Hvis det er irrelevant, så stil et opfølgende spørgsmål. Citer altid kilder efter titel og link.”
- Tools: “Du kan kalde Jira_CreateIssue, Slack_PostMessage, ServiceNow_CreateIncident. Handl kun efter at have bekræftet med brugeren, medmindre en runbook autoriserer automatisering.”
6) Tilføj sikker værktøjsbrug og godkendelser
- Wrap hvert værktøj med parametervalidering og rate limiting.
- Kræv menneskelig bekræftelse eller managergodkendelse for virkningsfulde handlinger (f.eks. provisionering af adgang, lukning af P1'ere).
- Log hvert værktøjskald (hvem, hvad, hvornår, inputskema, output) til CloudWatch og S3 til audits.
- For Slack/Teams-opslag, understøt "draft mode" til forhåndsvisning før afsendelse.
7) Observerbarhed, evaluering og drift kontrol
- Fang prompter, kontekst snippets, citater og svar med redigering, hvor det er nødvendigt.
- Brug OpenSearch-dashboards til at overvåge precision@k, groundedness og deflection rate.
- Kør offline evals: kurater et gold set af 100-300 org-specifikke spørgsmål med forventede svar og påkrævede kilder.
- Planlæg canaries for at opdage connector- eller tilladelsesdrift (f.eks. ændrede Slack-kanaler, drive-migrationer).
8) Performance- og cost tuning
- Cache Glean-forespørgsler pr. bruger for hotte emner (f.eks. HR-politik) med korte TTL'er.
- Brug mindre modeller til routing, større modeller kun til hårde forespørgsler eller multi-værktøjs planer.
- Batch reranking når det er muligt; komprimer kontekst; brug chunk deduplikering.
- Spor omkostninger pr. løst opgave; sæt kvoter pr. org og pr. brugergruppe.
Eksempel: En enterprise IT-assistent bygget med Glean og AWS
Lad os gennemgå et konkret scenario, der viser, hvordan man bygger enterprise-klare AI-agenter med Glean og AWS.
Use case: IT-support triage og resolution.
- Brugeren spørger: “VPN fejler på macOS 14 efter opdatering – nogen fix?”
- Agenten router til IT-runbook-sporet.
- Hentning: Forespørger Glean med brugerens identitet og henter VPN-runbooken (Confluence), en Slack-tråd fra #it-support og et Jamf-politicydokument. Kun ressourcer, som brugeren kan få adgang til, tages i betragtning.
- Planlægning: Agenten foreslår trin: del fixet, tjek enhedsoverholdelse via Jamf, og hvis det ikke er løst, åbn en ServiceNow-incident.
- Værktøjskald: Læser Jamf-status (skrivebeskyttet), udarbejder en fix-besked og beder brugeren om at bekræfte eskalering. Med bekræftelse opretter den en incident med den rigtige skabelon.
- Svar: Giver et kortfattet fix-resume med citater til runbooken og Slack-tråden, alt inden for brugerens tilladelsesomfang.
Hvorfor det virker: Agenten er grounded i tilladelsesbevidst hentning fra Glean, og AWS håndterer udførelse, godkendelser og logning.
Sikkerheds- og compliance-tjekliste (spring ikke dette over)
- Behold hentningskontekst serverside; udsæt ikke råt doc-indhold for klienten.
- Krypter i hvile med KMS; håndhæv TLS 1.2+ under transport.
- Send brugeridentitet til Glean og værktøjer; brug aldrig en delt bot-identitet til hentning.
- Kortlæg RBAC fra IdP-grupper til værktøjs scopes.
- Aktiver Bedrock Guardrails; tillad ikke secrets i prompter.
- Rediger PII, hvor det er påkrævet, og dokumenter opbevaringsvinduer.
- Uforanderlige logs til S3 med Object Lock; eksporter til din SIEM.
- Hold en runbook til incident response og model rollback.
Implementeringsblueprint: 10 trin til produktion
- Definer top 3 agent use cases (IT, HR, Sales ops) og succesmetrics (deflection rate, CSAT, time-to-resolution).
- Opsæt AWS-konti, VPC, IAM-baselines og Bedrock-adgang.
- Integrer SSO/SCIM; kortlæg roller og godkendelsesflows.
- Forbind core-kilder i Glean og valider tilladelsesbevidst hentning.
- Byg en minimal orkestreringsservice (Lambda + API Gateway) med Step Functions.
- Implementer RAG-promptkontrakten, citater og kildefiltrering.
- Tilføj to værktøjer end-to-end (skrivebeskyttet først, derefter skriv med godkendelse).
- Instrumenter logning, evalueringer og dashboards; opret et 150-spørgsmåls gold set.
- Kør en lukket beta med 50-100 brugere; fix top-problemer; sæt SLO'er.
- Rul bredt ud; etabler en ugentlig ændring-review og månedlig model evaluering.
Ofte stillede spørgsmål, når du bygger AI-agenter med Glean og AWS
Hvordan reducerer jeg hallucinationer i enterprise-agenter?
Ground modellen med hentning fra Glean og håndhæv en streng prompt: brug kun angivet kontekst og citer altid kilder. Afvis svar med lav confidence og stil afklarende spørgsmål. De fleste hallucinationer falder, når du stoler på tilladelsesbevidst hentning.
Kan agenten respektere dokumentniveau-tilladelser på tværs af apps?
Ja. Når du bygger AI-agenter med Glean og AWS, håndhæver Glean tilladelser fra tilsluttede apps på forespørgselstidspunktet, så agenten kun ser, hvad brugeren kan få adgang til. Send altid brugerens identitetstoken for at opretholde chain of custody.
Hvilke modeller skal jeg starte med på AWS?
Brug Amazon Bedrock til adgang til flere modeller. Start med en stærk generel model til ræsonnement og en mindre, hurtigere model til routing. Evaluer latency, omkostninger og nøjagtighed mod dit kuraterede gold set.
Hvordan lader jeg sikkert agenter udføre handlinger i systemer som Jira eller ServiceNow?
Wrap hvert værktøj med strenge skemaer, inputvalidering og godkendelses workflows. Log hvert værktøjskald og gem output til audit. For virkningsfulde handlinger kræves et menneskeligt bekræftelsestrin.
Hvilke metrics beviser, at en agent er produktionsklar?
Spor groundedness (citeringsrate), svarnøjagtighed, P95-latency, resolution/deflection rate og omkostninger pr. løst opgave. Byg dashboards og kør ugentlige regressionskontroller på dit gold set.
I øvrigt: accelererende build loop
Værd at bemærke: hvis dit team laver prototyper ofte, kan en copilot til research og udarbejdelse fremskynde design docs, runbooks og prompt-iterationer. Værktøjer som Sider.AI hjælper teams med at opsummere lange tråde, udarbejde evaluerings-prompter og sammenligne modeloutput side om side – nyttigt, når du tuner, hvordan man bygger enterprise-klare AI-agenter med Glean og AWS. Vigtigste takeaways og næste trin
- Opbygning af AI-agenter med Glean og AWS giver dig identitetsbevidst hentning og enterprise-grade orkestrering.
- Start med identitet, governance og tilladelsesbevidst hentning før fancy planlægningslogik.
- Brug Bedrock guardrails, strenge værktøjsskemaer og human-in-the-loop-godkendelser.
- Instrumenter alt: evalueringer, audits og omkostningskontroller.
Næste trin i denne uge:
- Udarbejd dine top tre use cases og succesmetrics.
- Forbind to core-kilder i Glean; kør en 150-spørgsmåls eval.
- Opsæt en minimal Lambda + Step Functions-orkestrator med et skrivebeskyttet værktøj.
- Sæt dine latency- og omkostningsbudgetter, før piloten udvides.
FAQ
Q1: Hvad betyder enterprise-klar for AI-agenter på AWS?
Det betyder sikre, auditerbare agenter, der respekterer SSO- og dokumenttilladelser, giver citater og kører på kompatibel infrastruktur. Når du bygger AI-agenter med Glean og AWS, får du tilladelsesbevidst hentning og cloud-grade observerbarhed.
Q2: Hvordan forhindrer Glean datalækager i AI-svar?
Glean håndhæver dokumentniveau-tilladelser fra hver tilsluttet app på forespørgselstidspunktet. Agenten henter kun indhold, som brugeren kan få adgang til, hvilket er kritisk, når du bygger enterprise-klare AI-agenter med Glean og AWS.
Q3: Hvilke AWS-tjenester skal jeg bruge til orkestrering?
Brug Lambda eller ECS til udførelse, Step Functions til multi-trins workflows, Bedrock til modeller og guardrails og Secrets Manager til legitimationsoplysninger. Denne stack er en gennemprøvet base til opbygning af AI-agenter med Glean og AWS.
Q4: Hvordan evaluerer jeg nøjagtighed og reducerer hallucinationer?
Opret et gold set af spørgsmål, kræv citater, og brug retrieval-augmented generation. Med Glean og AWS reducerer tilladelsesbevidst hentning plus guardrails hallucinationer betydeligt.
Q5: Kan AI-agenter sikkert udføre handlinger som at oprette tickets eller poste i Slack?
Ja – med skemavaliderede værktøjer, godkendelser for high-impact handlinger og fuld audit-logging. Dette er et core-mønster, når du bygger enterprise-klare AI-agenter med Glean og AWS.
